Rgressions Christelle Scharff IFI 2004 1 Rgression linaire

Régressions Christelle Scharff IFI 2004 1

Régression linéaire n n Cette méthode se focalise sur les cas où les valeurs d’une variable à prédire sont continues Les valeurs à prédire peuvent être représentées par une fonction linéaire, donc une droite 2

Régression logistique n Cette méthode se focalise sur les situations où les valeurs d’une variable à prédire sont binaires (0 ou 1) n n n Exemple: Une variable booléenne Au lieu de prédire la valeur d’une variable, on prédit la probabilité de la variable à être égale à 0 et 1. Les probabilités décrivent une sigmoïde (courbe en forme de S) entre 0 et 1 3

Prédiction de banqueroute 4

Étude de Cas 5

Compagnie de téléphone n n n Adoption d’un nouveau service téléphonique (boite vocale, accès a Internet…) suivant l’éducation, la stabilité de résidence et le salaire 10524 personnes ont répondu à un questionnaire sur ce thème réalisé par une compagnie de téléphone Comment prédire l’adoption d’un nouveau service téléphonique en fonction de l’éducation, de la stabilité de résidence et du salaire d’une personne? 6

Réponses au questionnaire Il y a 2160 personnes qui ont répondu au questionnaire qui ont un niveau d’étude inférieur ou égale au lycée, un bas salaire et qui n’ont pas changé de résidence depuis 5 ans. Il y a 153 personnes (sur ces 2160 personnes) qui ont adopté un nouveau service téléphonique Probabilité globale d’adoption d’un nouveau service téléphone pour cette catégorie: 1628/10524 = 0. 155 7

Le modèle de régression logistique • Prédire la probabilité de la valeur de Y à partir de variables indépendantes x 1, …, xk • Y = 1: Choisir une option • Y = 0: Ne pas choisir une option Les i sont des constantes inconnues à déterminer. Ils sont calculés/estimés par des programmes. Exemples: Maximum Likehood Estimates, Newton-Raphson 8

Interprétation des coefficients n n n Si i = 0, alors le facteur i n’a aucun effet sur la chance de succès Si i > 0, le facteur i augmente la chance de succès Si i < 0, le facteur i décroît la chance de succès 9

Suite de l’ étude de cas 10

Poser le problème (1) n n On doit calculer les probabilités d’adopter un nouveau service téléphonique en fonction de l’éducation, de la stabilité de résidence et le salaire d’une personne Soit Y la variable représentant l’adoption d’un nouveau service téléphonique n Y = 1 si un nouveau service est adopté, et Y = 0 sinon 11

Poser le problème (2) n n n On a trois variables x 1 pour l’éducation, x 2 pour la stabilité de résidence et x 3 pour le salaire X 1 = 1 pour un niveau d étude supérieur ou égal à l’université, 0 sinon X 2 = 1 pour un changement de résidence dans les 5 dernières années, 0 sinon X 3 = 1 pour un salaire élevé, 0 sinon Modèle: 12

Résumé des données 13

Calcul de 0, 1, 2 et 3 0 1 2 3 14

Modèle 2160 x 0. 076 = 164 Estimation du nombre de personnes qui peuvent adopter un nouveau service téléphonique 15

Nouvelles données Calculs d’erreurs 598 nouvelle personnes sont sondées 85 x 0. 289 = 24. 5 Estimation du nombre de personnes qui peuvent adopter un nouveau service téléphonique 16

Calcul d’erreurs n n Total erreur: -2. 8 (or 2. 8 / 119 = 2. 3%) La moyenne d’erreur absolue (sommes des erreurs absolues / 119): 24. 9% 17

Tableau de contingence n Matrice de contingence [Kohavi, Provost, 1998]: Observé Prédit Adopteur Non adopteur Total Adopteur Non Adopteur Total 103 (TP) 16 (FN) 119 13 (FP) 466 (TN) 479 116 482 598 TP: true positive, FP: false positive, FN: false negative, TN: true 18 negative

Calcul de taux n n n Vrais positives: n Cas positifs correctement prédits n 103 / 119 = 86. 5 % Fausses positives: n Cas incorrectement prédits positif n 13 / 479 = 2. 7 % Exactitude: n Nombre total de prédictions correctes n (103 + 466) / 598 = 95. 15% Précision: n Proportion des prédictions positives correctes n 103 / (103 + 13) = 88. 8 % Erreurs: n Proportion des prédictions incorrectes n (13+16) / 598 = 4. 85 % 19

Quel est le meilleur modèle? n n n Vrai: Offrir une carte de crédit Faux: Ne pas offrir une carte de crédit Modèle 1: TP 600 FP 75 FN 25 n Modèle 2: TP 600 FP 25 FN 75 n n TN 300 Taux d’erreur pour les 2 modèles: 10% Le meilleur modèle est Modèle 2 car ce modèle a moins de FP 20

Conclusion n n Méthode facile a comprendre Méthode efficace Les prédictions sont faciles à réaliser Le bruit peut avoir un effet significatif sur la méthode Besoin de plusieurs mesures pour évaluer le modèle 21

Références n n N. R. Nitin, and P. C. Bruce. Data Mining in Excel : Lecture notes and Cases. Cours de modélisation et de fouilles de données de Prof. Ravi Mantena, New York University. 22