CHAPITRE 5 Mthodes multivariables Lecture Notes for E
CHAPITRE 5: Méthodes multivariables Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Données multivariables n n n Mesures multiples (senseurs) d inputs/traits/attributs: d-variate N instances/observations/exemples 2 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Paramètres multivariables 3 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Estimation paramétrique 4 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
5 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Estimation des valeurs manquantes n n Que faire dans les instances où certains attributs sont manquants? Ignore ces instances? Mauvais idée si l’ensemble des échantillons est petit. Utilisation de manquant comme attribut: peut fournir de l’information Imputation: Remplir les attributs manquants Moyenne de l’imputation: Utilisation de valeurs plausibles (e. g. , moyenne) ¨ Imputation par régression: prédire les attributs manquants avec les autres attributs. ¨ 6 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Distribution normale multivariable 7 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
8 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
9 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Distribution normale multivariable n n Distance de Mahalanobis : (x – μ)T ∑– 1 (x – μ) mesure la distance entre x et μ en terme de ∑ (normalisée pour compenser pour la différence de variances et de corrélations) Bivariable: d = 2 10 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Normal bivariable 11 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
12 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Inputs indépendants: Bayes naïfs n Si xi sont indépendants, les valeurs hors de la diagonales de ∑ valent 0, la distance de Mahalanobis est réduite à la distance Euclédienne pondérée (multipliée par 1/σi ): n Si les variances sont aussi égales alors cela se réduit à la distance Euclédienne. 13 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Classification paramétrique n Si p (x | Ci ) ~ N ( μi , ∑i ) n Fonctions discriminantes sont : 14 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Estimation des paramètres 15 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Différent Si n Discrimination quadratique 16 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
vraisemblance discriminant: P (C 1|x ) = 0. 5 aposteriori pour C 1 17 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Matrice de covariance commune S n Partager la matrice de covariance S n Fonction discriminante devient alors en d’autres c’est une fonction discriminante linéaire 18 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Matrice de covariance commune S 19 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Matrice de covariance diagonale S n Quand xj j = 1, . . d, sont indépendants, ∑ est diagonale p (x|Ci) = ∏j p (xj |Ci) (hypothèse de Bayes naïfs) Classification basée sur la pondération des distances euclédiennes 20 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Matrice de covariance diagonale S variances peuvent être différentes 21 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
S diagonale avec variances égales n Classificateur de la plus proche moyenne : Classification basée sur la distance euclédienne de la plus proche moyenne lassify based on Euclidean distance to the nearest mean n Chaque moyenne peut être considérée comme un prototype ou un patron (template) et ça devient une concordance de patrons (template matching). 22 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
S diagonale avec variances égales *? 23 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
24 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Sélection de modèles Hypothèse Matrice de Covariance # de paramètres Partagée, Hypersphère Si=S=s 2 I 1 Partagée, Aligné avec axes Si=S, with sij=0 d Partagée, Hyperellipsoïde Si=S Différent, Hyperellipsoïde Si n n d(d+1)/2 K d(d+1)/2 Quand la complexité augmente (S moins restreint), biais décroit et la variance augmente Assumons des modèles simples (accepte un certain biais) afin de contrôler la variance (régularisation) 25 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Attributs discrets n Attributs binaires : si xj sont indépendants (Bayes naïfs) la discrimination est linéaire Paramètres estimés 26 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Attributs discrets n Attributs multinomiaux (1 -de-nj) : xj Î {v 1, v 2, . . . , vn } j si xj sont indépendants 27 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
Régression multivariable n Modèle linéaire multivariable n Modèle polynomial multivariable: Definissons de nouvelles variables à haut degré z 1=x 1, z 2=x 2, z 3=x 12, z 4=x 22, z 5=x 1 x 2 et utilisons un modèle linéaire avec ce nouvel espace z (fonctions de base, kernel trick, SVM: Chapter 10) 28 Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V 1. 1)
- Slides: 28