Introduction lApprentissage Artificiel Laurent Orseau Agro Paris Tech

Introduction à l'Apprentissage Artificiel Laurent Orseau Agro. Paris. Tech laurent. orseau@agroparistech. fr EFREI 2010 -2011 A partir des transparents d'Antoine Cornuéjols

Plan Général • • Introduction à l'Induction (Laurent Orseau) Réseaux de Neurones Séparatrices à Vastes Marges Arbres de Décision Introduction au Data-Mining (Christine Martin) Règles d'Association Clustering Algorithmes Génétiques 2

Plan • Introduction à l'Induction q Exemples d'applications q Types d'apprentissage • Apprentissage Supervisé • Apprentissage par Renforcement • Apprentissage Non-supervisé q Théorie de l'Apprentissage (Artificiel) • Quelles questions se pose-t-on ? 3

Introduction

Introduction Qu'est ce que l'apprentissage ? • Mémoire q q Acquisition de connaissance Neurosciences • A court terme (de travail) q rétention de 7± 2 objets à la fois (exemple du joueur d'échec professionnel, plateau aléatoire, plateau structuré) • A long terme q q • Types d'apprentissage q q • Mémoire procédurale » les enchaînements d'actions Mémoire déclarative » sémantique (concepts) » épisodique (faits) Par coeur Par règles Par imitation / démonstration Par essais-erreurs Réutilisation de la connaissance q Dans des situations similaires 5

Introduction Qu'est-ce que l'Apprentissage Artificiel ? • "Donner la capacité aux machines d'apprendre sans les programmer explicitement" Arthur Samuel, 1959 Samuel's Checkers > Schaeffer 2007 (résolution) + TD-Gammon, Tesauro 1992 6

Introduction Qu'est-ce que l'Apprentissage Artificiel ? Etant donné : q de l'expérience E, q une classe de tâches T q une mesure de performance P, On dit d'un ordinateur qu'il apprend si sa performance sur une tâche de T mesurée par P augmente avec l'expérience E Tom Mitchell, 1997 7

Introduction Termes associés à l'Apprentissage Artificiel • Robotique q • Prédiction / prévision q • Robots, prothèses de main Résolution automatique de problèmes Adaptation q • • Chauffage, trafic, température du frigo, … Autonomie q • • vitesse du métro, voyageur de commerce, Régulation q • faciale, parole, écriture, mouvements, … Optimisation q • Bourse, pics de pollution, … Reconnaissance q • Automatic Google Cars, Nao préférences utilisateur, Robot sur terrain accidenté, … Induction Généralisation Découverte automatique … 8

Quelques applications

Applications Apprendre à cuisiner • Apprentissage par imitation / démonstration • Apprentissage procédural (précision motrice) • Reconnaissance d'objets 10

Applications DARPA Grand challenge (2005) 11

Applications > DARPA Grand Challenge 200 km de désert Dangers naturels et artificiels Sans conducteur Sans télécommande 12

Applications > DARPA Grand Challenge 5 Finalistes 13

Applications > DARPA Grand Challenge Reconnaissance de la route 14

Applications Apprendre à étiqueter des images: Reconnaissance de visages “Face Recognition: Component-based versus Global Approaches” (B. Heisele, P. Ho, J. Wu and T. Poggio), 15 Computer Vision and Image Understanding, Vol. 91, No. 1/2, 6 -21, 2003.

Applications > Reconnaissance d'images Combinaisons de composantes 16

Applications Prothèse de main • Reconnaissance des signaux pronateurs et supinateurs capteurs imparfaits q bruit des signaux q incertitude q 17

Applications Robot autonome sur Mars 18

1. 1 - Des scénarios Apprendre par coeur ? INEXPLOITABLE Généraliser Comment coder les formes ? 19

Introduction à la théorie de l'Apprentissage Artificiel

Introduction à la théorie de l'apprentissage • • Apprentissage supervisé Apprentissage par renforcement Apprentissage non-supervisé (CM) Algorithmes Génétiques (CM) 21

Apprentissage supervisé • Ensemble d'exemples xi étiquetés ui • Trouver une hypothèse h tq: h(xi) = ui ? h(xi) : étiquette prédite • Meilleure hypothèse h* ? 22

Apprentissage supervisé Apprentissage Supervisé : 1 er Exemple • Maisons : Prix / m² • Recherche de h q Plus proches voisins ? q Régression linéaire, polynomiale ? • Plus d'information q localisation (x, y ? ou variable symbolique ? ), age du batiment, voisinage, piscine, impots locaux, évolution temporelle ? 23

Apprentissage Supervisé Problème Prédiction du prix du m² pour une maison donnée. Idéal Pratique 1) Modélisation 2) Collecte des données 3) Apprentissage 4) Validation (dans 3) ? ? ) 5) Utilisation en cas réel 24

Apprentissage Supervisé 1) Modélisation • Espace d'entrée q Quelles sont les informations pertinentes ? q Variables • Espace de sortie q Que cherche-t-on à prédire ? • Espace des hypothèses q Entrées –(calcul) Sorties q Quel (genre de) calcul? 25

Apprentissage Supervisé > 1) Modélisation 1 -a) Espace d'entrée : Variables • Quelles sont les informations pertinentes ? • Doit-on récupérer tout ce qu'on peut ? • Qualité des informations ? q q Bruit Quantité • Coût de la collecte d'une information ? q q q Economique Temps Risque (invasif ? ) Ethique Droit (CNIL) • Domaine de définition de chaque variable ? q Symbolique, numérique borné, non bornée, etc. 26

Apprentissage Supervisé > 1) Modélisation > a) Variables Prix au m² : Variables • Localisation q Continu : (x, y) longitude latitude ? q Symbolique : nom de la ville ? • Age du bâtiment q Années q relatif au présent ou année de création ? • Nature du terrain • Piscine ? 27

Apprentissage Supervisé > 1) Modélisation 1 -b) Espace de sortie • Que veut-on en sortie ? q Classes symboliques ? (classification) • Booléennes Oui/Non (apprentissage de concept) • Multi-valuées A/B/C/D/… q Valeur numérique ? (régression) • [0 ; 1] ? • [-∞ ; +∞] ? • Combien de sorties ? q Multi-valué Multi-classe ? • 1 sortie pour chaque classe q Apprendre un modèle pour chaque sortie ? • Plus "libre" q Apprendre un modèle pour toutes les sorties ? • Chaque "modèle" peut utiliser des informations des autres 28

Apprentissage Supervisé > 1) Modélisation 1 -c) Espace des hypothèses • Phase cruciale • Dépend de la méthode d'apprentissage utilisée ! q Régression linéaire : espace = ax + b q Régression polynomiale • nombre de paramètres = degré du polynôme q Réseaux de neurones, SVM, Algo Gen, … q… 30

Choix de l'espace des hypothèses 31

Apprentissage Supervisé > 1) Modélisation > c) Espace des hypothèses Choix de l'espace des hypothèses • Espace trop "pauvre" Solutions inadaptées q Ex: modéliser sin(x) avec une seule droite y=ax+b • Espace trop "riche" risque de sur-apprentissage q Ex: cf. tableau • Défini par ensemble de paramètres q Plus grand nb param app. plus difficile • Préférer cependant un espace plus riche ! Utilisation de méthodes génériques q Ajouter de la régularisation q 32

Apprentissage Supervisé 2) Collecte des données • Collecte q q q Capteurs électroniques Par simulation Sondages Récupération automatique sur internet … • Obtenir la plus grande quantité d'exemples q Coût de la collecte • Obtenir les données les plus "pures" possibles q éviter tout bruit • bruit dans les variables • bruit dans les étiquettes ! q Un exemple = 1 valeur pour chacune des variables • valeurs manquantes = exemple inutilisable ? 33

Apprentissage Supervisé > 2) Collecte des données Données collectées Entrées / Variables Sortie / Classe / Etiquette mesurée x 1 x 2 x 3 u Exemple 1 Oui 1. 5 Vert - Exemple 2 Non 1. 4 Orange + Exemple 3 Oui 3. 7 Orange - … … … Mais véritable étiquette y inaccessible ! 34

Apprentissage Supervisé > 2) Collecte des données Prétraitements des données • Nettoyer les données q ex: Réduire le bruit de fond • Transformer les données Format final adapté à la tâche q Ex: Transformée de Fourier d'un signal audio temps/amplitude fréquence/amplitude q 35

Apprentissage Supervisé 3) Apprentissage a) Choix des paramètres du programme b) Choix du critère inductif c) Lancement du programme d'apprentissage d) Test des performances Si mauvais, retour en a)… 36

Apprentissage Supervisé > 3) Apprentissage a) Choix des paramètres du programme • Temps max de calcul alloué • Erreur maximale acceptée • Paramètres d'apprentissage q Spécifiques au modèle • Introduction de connaissance q Initialiser les paramètres à des valeurs correctes ? • … 37

Apprentissage Supervisé > 3) Apprentissage b) Choix du critère inductif Objectif : trouver une hypothèse h H minimisant le risque réel (espérance de risque, erreur en généralisation) R(h) = ò l (h(x), y ) d. P(x, y) X Y Loi de probabilité jointe sur X Y Fonction de perte Étiquette prédite Étiquette vraie y (ou désirée u) 38

Apprentissage Supervisé > 3) Apprentissage > b) Critère inductif Risque réel • Objectif : Minimiser le risque réel R (h ) = ò l ( h (x ), y ) d. P (x , y ) X Y • On ne connaît pas le risque réel, en particulier pas la loi de probabilité P(X, Y). • Discrimination • Régression 39

Apprentissage Supervisé > 3) Apprentissage > b) Critère inductif Minimisation du risque empirique • Le principe ERM (minimisation du risque empirique) prescrit de cher l’hypothèse h H minimisant le risque empirique • Plus faible erreur sur l'ensemble d'apprentissage 40

Apprentissage Supervisé > 3) Apprentissage > b) Critère inductif > Risque empirique Courbe d'apprentissage • La quantité de données d'apprentissage est importante ! "Erreur" Courbe d'apprentissage Taille échantillon d'apprentissage 41

Apprentissage Supervisé > 3) Apprentissage > b) Critère inductif > Risque empirique Test / Validation • Mesurer le sur-apprentissage • GENERALISATION la connaissance acquise est-elle utilisable dans des circonstances nouvelles ? q Ne pas valider sur l'ensemble d'apprentissage ! q • Validation sur ensemble de test supplémentaire • Validation Croisée utile quand peu de données q leave-p-out q 42

Apprentissage Supervisé > 3) Apprentissage > b) Critère inductif > Risque empirique Sur-apprentissage 43

Apprentissage Supervisé > 3) Apprentissage > b) Critère inductif > Risque empirique Régularisation • Limiter le sur-apprentissage avant de le mesurer sur le test • Ajout d'une pénalisation dans le critère pénalisation inductif q Ex: • Pénaliser l'utilisation de grands nombres • Pénaliser l'utilisation de ressources • … 44

Apprentissage Supervisé > 3) Apprentissage > b) Critère inductif Maximum a posteriori • Approche bayésienne • On suppose qu’il existe une distribution de probabilités a priori sur l’espace H : p. H(h) Principe du Maximum A Posteriori (MAP): • On cherche l’hypothèse h la plus probable après observation des données S • Ex: Observation de la couleur des moutons q h = "Un mouton est blanc" 45

Apprentissage Supervisé > 3) Apprentissage > b) Critère inductif Principe de Description de Longueur Minimale • Rasoir d'Occam "Les hypothèses les plus simples sont les meilleures" • Simplicité : taille de h Compression maximale • Maximum a posteriori avec p. H(h) = 2 -d(h) • d(h) : longueur en bits de l'hypothèse h • Compression généralisation 46

Apprentissage Supervisé > 3) Apprentissage c) Moulinette • Recherche de h • Utilise les exemples d'un ensemble d'apprentissage q Un par un q Tous ensemble • Minimiser le critère inductif 47

Apprentissage Supervisé > 3) Apprentissage > c) Moulinette Découverte des paramètres du modèle • Explorer l'espace des hypothèses H q q Quelle meilleure hypothèse selon le critère inductif ? Dépend fondamentalement de H a) Exploration Structurée b) Exploration Locale c) Pas d'exploration 48

Apprentissage Supervisé > 3) Apprentissage > c) Moulinette > Exploration de H Exploration structurée • Structuré par une relation de généralité (ordre partiel) q q q Espace des versions PLI (Programmation Logique Inductive) EBL, reformulation en général et révision de théorie Inférence grammaticale Enumération de programmes 49

Apprentissage Supervisé > 3) Apprentissage > c) Moulinette > Exploration de H Représentation de l'espace des versions Observation fondamentale : L'espace des versions structuré par une relation d'ordre partiel peut être représenté par : o sa borne supérieure : le G-set o sa borne inférieure : le S-set • G-set = Ensemble de toutes les hypothèses les plus générales cohérentes avec les exemples connus • S-set = Ensemble de toutes les hypothèses les plus spécifiques cohérentes avec les exemples connus 50

Apprentissage Supervisé > 3 -c) > Exploration de H > Espace des versions Apprentissage… … par mise à jour de l'espace des versions Idée : maintenir le S-set et le G-set après chaque nouvel exemple Algorithme d'élimination des candidats Ø Exemple des rectangles (au tableau…) 51

Apprentissage Supervisé > 3 -c) > Exploration de H > Espace des versions Algorithme d'élimination des candidats Initialiser S et G par (resp. ) : q l'ensemble des hypothèses les plus spécifiques (resp. générales) cohérentes avec le 1 er exemple positif connu. Pour chaque nouvel exemple (positif ou négatif) q mettre à jour S q mettre à jour G Jusqu'à convergence ou jusqu'à ce que S = G = Ø 52

Apprentissage Supervisé > 3 -c) > Exploration de H > Espace des versions M-à-j de S et G : xi est positif • Mise à jour de S q Généraliser les hypothèses de S ne couvrant pas xi juste assez pour qu'elles le couvrent q Puis éliminer les hypothèses de S • couvrant un ou plusieurs exemples négatifs • plus générales que des hypothèses de S • Mise à jour de G q Eliminer les hypothèses de G ne couvrant pas xi 55

Apprentissage Supervisé > 3 -c) > Exploration de H > Espace des versions M-à-j de S et G : xi est négatif • Mise à jour de S q Eliminer les hypothèses de S couvrant (indûment) xi • Mise à jour de G q Spécialiser les hypothèses de G couvrant xi juste assez pour qu'elles ne le couvrent plus q Puis éliminer les hypothèses de G • n'étant pas plus générales qu'au moins un élément de S • plus spécifiques qu'au moins une autre hypothèse de G 56

Apprentissage Supervisé > 3 -c) > Exploration de H > Espace des versions Algorithme d'élimination des candidats Mise à jour des bornes S et G 57

Apprentissage Supervisé > 3) Apprentissage > c) Moulinette > Exploration de H Exploration locale • Seulement une notion de voisinage dans H q Méthodes de « gradient » • Réseaux de neurones • SVM (Séparatrices à Vastes Marges) • Recuit simulé / algorithmes d’évolution simulée • /! Minima locaux h x H 61

Apprentissage Supervisé > 3) Apprentissage > c) Moulinette > Exploration de H Exploration sans espace d'hypothèse • Pas d’espace d’hypothèses q Utiliser directement les exemples • Et l'espace des exemples q Méthodes de plus proches voisins (Raisonnement par cas / Instance-based learning) q Notion de distance • Exemple : k Plus Proches Voisins q Option : Vote pondéré par la distance 62

Apprentissage Supervisé Biais inductif • Préférence a priori de certaines hypothèses Dépendant de H q Dépendant de la méthode de recherche q • Quelque soit le critère utilisé ERM : implicite dans H q MAP : explicite, libre à l'utilisateur q MDL : explicite, fixe (longueur) q PPV : notion de distance q • Justification du biais ? 63

Apprentissage supervisé Types d'apprentissage moins fréquents

Apprentissage Supervisé Apprentissage Incrémental • Les exemples sont fournis les uns après les autres q Mise à jour incrémentale de l'hypothèse q Utiliser la connaissance acquise pour • apprendre mieux • apprendre plus rapidement • Les données ne sont plus i. i. d. ! i. i. d : Indépendamment et Identiquement Distribuées q Dépendance à la séquence / au temps q • Ex: Goûts utilisateurs téléphonie mobile 65

Apprentissage Supervisé Apprentissage Actif • Ensemble d'exemples non-étiquetés • Etiqueter un exemple coute cher • Demander l'étiquette d'un exemple choisi q Quel exemple choisir ? • Données non i. i. d. • Ex: étiquetage de séquences vidéos 66

Autres types d'apprentissage Apprentissage par Renforcement Apprentissage non-supervisé

Apprentissage par Renforcement • Pavlov q q q Cloche : déclencheur Gamelle : récompense saliver : action Association cloche ↔ gamelle Renforcement du comportement "saliver" Environnement Perception Action Récompense / Punition • Contrôler le comportement par renforcements q Récompenses et punitions 68

Apprentissage par Renforcement • L'agent doit découvrir le bon comportement q Et l'optimiser Maximiser l'espérance des récompenses st : état à l'instant t Choix de l'action : at : = argmaxa Q(st, a) • Mise à jour des valeurs rt : récompense reçue à l'instant t Q(st, at) α Q(st, at) + (1 - α) [ rt+1 + γ maxa Q(st+1, a) ] 69

Apprentissage Non-supervisé • Pas de classe, pas de sortie, pas de récompense • Objectif : grouper les exemples • Notion de distance • Biais inductif 70

Conclusion • Induction q Trouver un hypothèse générale à partir d'exemples • Eviter le sur-apprentissage • Choisir le bon espace d'hypothèse Pas trop petit (mauvaise induction) q Pas trop grand (sur-apprentissage) q • Utiliser un algorithme adapté Aux données q A l'espace des hypothèses q 71

Ce qu'il faut retenir • C'est surtout l'induction supervisée qui est étudiée • On ne peut apprendre sans biais • La réalisation de l'apprentissage dépend de la structuration de l'espace des hypothèses q Sans structure : méthodes par interpolation q Notion de distance : méthodes par gradient (approximation) q Relation d'ordre partiel : exploration guidée (exploration) 72