Lestimation Plan n n Dfinition et Objectifs Rappel

L’estimation

Plan n n Définition et Objectifs Rappel régression linéaire Réseaux neuronaux Démonstrations

Définition et Objectifs Prévoir la valeur d’une variable non observée à partir de variables observées n Applications typiques n Prévision n n Finance, économie, météo, environnement. Modélisation numérique n Représentation numérique de systèmes physiques difficiles à décrire par des équations explicites : moteurs, …

Caractérisation n n Généralisation de la classification à une variable à prévoir continue Comme la classification n Utilisation descriptive n n n C’est un problème supervisé Il comporte 2 utilisations (mais dans une moindre mesure) Exprimer l’équation de dépendance entre les variables d’entrée et la variable de sortie. Etudier la sensibilité aux variables d’entrée Utilisation décisionnelle n n Calculer l’estimation de la sortie en fonction des entrées La nature fondamentale du problème est un calcul d’espérance conditionnelle : n E(Demain|Aujourd’hui)

Caractérisation (suite) n n Les variables observées peuvent être Qualitatives ou quantitatives La variable à prévoir est continue Le modèle est mis au point sur un ensemble de données où toutes les variables sont observées (y compris la sortie) Exemple : Prévision financière n n n Données : Historique de données macroéconomiques et financières Variables explicatives : Production industrielle, Devises, Taux de chomage, Taux d’utilisation des capacités, etc. Variable à prévoir : Indice boursier (CAC 40)

Techniques disponibles n n Régression linéaire Régression polynomiale ou autres Réseaux neuronaux Support Vector Machines

Régression linéaire

La régression linéaire : rappels n n n Cadre théorique : variables aléatoires Cadre expérimental : observations En pratique : n n Un ensemble de couples (X, Y) On pose : Y* = b 0 + b 1 X 1 + b 2 X 2 + … + bp. Xp n n n On cherche Y* qui minimise (Y*-Y)2 On peut trouver facilement les (bi), et on peut mesurer la qualité de l’ajustement Cas non linéaires ?

Réseaux neuronaux

Plan Fondements biologiques q Le perceptron q Les réseaux multicouches q Applications : estimation, classification q

Fondements biologiques n Objectifs : n n Comment : n n Reproduire les capacités de raisonnement de l’homme Reproduire le fonctionnement des structures de base du cerveau Approche n n n Modéliser l’élément de base (le neurone) Modéliser la structure du système (le réseau) Modéliser le fonctionnement du système (dynamique et apprentissage)

Le neurone n n n Corps cellulaire Dendrites Axone

Le corps cellulaire n n n Contient le noyau de la cellule Quelques m de diamètre Vie du neurone Intégration de signaux Génération de l’influx

Les dendrites n n n Extensions tubulaires du corps cellulaire Quelques 1/10 m de diamètre Réception des signaux

L’axone n Fibre nerveuse 1 mm à quelques m de longueur n Transport des signaux n

Le neurone : résumé Structure Fonction Dendrite Réception des signaux des autres neurones Corps cellulaire Intégration des signaux de génération de l’influx Axone Conduction et transmission de l’influx

La synapse n Point de contact entre neurones n n axone / dendrite axone / corps cellulaire etc.

Le fonctionnement du système n Au niveau microscopique n n Neurones, synapses Au niveau macroscopique n Réseau

Fonctionnement micro Réception Dendrite Intégration Corps cellulaire Génération Corps cellulaire Conduction Axone Transmission Synapse De l’influx nerveux MEMBRANE

Le corps cellulaire n Sommateur à seuil : n n n réception de signaux sommation génération si influx total dépasse un certain seuil dendrites axone sommation seuillage

L’influx nerveux n Membrane au repos : ddp = -70 m. V membrane au repos +++++++ ~~~~~~~ - 70 m. V +++++++ influx n Influx = inversion locale de polarité +++++~~++++++ ~~~~~++~~~~~~ +++++~~++++++ - 70 m. V

La membrane au repos n Maintien de la ddp n n n Ions K+ n n n canaux K+ ouverts canaux Na+ fermés pression osmotique : vers l’exterieur ddp : vers l’intérieur Maintien couche K+ [K+] [Na+] [K+] pompes [Cl~] [K+] [Na+] canaux

Propagation de l’influx n Inversion locale n n n sortie [K+] ++++++~~~~++++ Résultats n n ouverture canaux Na+ (aval) ouverture canaux K+ (amont) inversion progresse rétablissement du potentiel (K+) rétablissement des concentrations (pompes) Délai de réaction ~ ~ ~ + + entrée ~ ~ ~[Na+] ~~~~~ ++++++~~~~++++

La réception de l’influx n n Transformation du signal électrique en signal chimique (bouton synaptique) Transformation inverse (dendrite) axone influx neurotransmetteurs récepteurs dendrite

Le modèle du neurone n Un sommateur à seuil n n n reçoit un ensemble d’influx effectue une sommation émet lui-même un influx si la somme des influx reçus dépasse un certain seuil Le neurone = séparateur linéaire Neurone de Mc Cullogh & Pitts (1943)

Un neurone pour réaliser des fonctions logiques n ET logique X Y -1. 5 n OU logique X Y -0. 5

Le modèle du réseau n Le système visuel : n n n réseau de neurones réels le mieux connu capable de réaliser des fonctions complexes dont les ordinateurs sont encore incapables (reconnaissance des formes) Architecture du système visuel Architecture en couches *** Niveaux d’abstraction successifs

Fonctionnement du système n Le système visuel de la grenouille détecte 4 types de stimuli : Un objet pénètre dans le champ visuel Un objet pénètre dans le champ n n Stimuli , , FUITE Stimulus ATTAQUE visuel et s’y arrête Le niveau d’éclairement général du champ visuel diminue Un petit objet de forme arrondie pénètre dans le champ visuel et s’y déplace de façon erratique En laboratoire, la grenouille est incapable de se nourrir de moucherons déjà tués : le stimulus correspondant n’est pas reconnu !!

Adaptation n Constat : La capacité de traitement de stimuli complexes est insuffisante => Adaptation nécessaire n Support de l’adaptation : Les synapses n Principe : Le réseau de neurones adapte la fonction qu’il réalise à son environnement en modifiant la force des relations entre les neurones. Un nouveau stimulus pourra alors progressivement déclencher une action

Fondements biologiques : résumé n 3 idées : n n n Une cellule à seuil pour réaliser des séparations Un réseau à couches pour hiérarchiser les informations Un mécanisme d’apprentissage des connexions pour adapter le réseau à une fonction donnée

Principe des modélisations n A partir du modèle biologique n n n Modèle du neurone (neurone formel) Modèle du réseau (architecture et fonctionnement) Mécanisme d’apprentissage

Modèle du neurone Sommateur à seuil

Architecture du réseau (1) Hiérarchique

Architecture du réseau : (2) Complètement connecté

Fonctionnement du réseau n n Le réseau est un système dynamique Etat initial n n n Aléatoire Fixé par l’extérieur (ex : rétine) Règle de fonctionnement n n Séquentiel Parallèle

Apprentissage n Non supervisé n n L’environnement imprime sa marque sur le réseau neuronal : le réseau devient d’une certaine façon une image de l’environnement Supervisé n On introduit explicitement la notion de tâche à accomplir pour le système. Le réseau neuronal doit alors s’adapter pour réaliser une fonction donnée.

Apprentissage non supervisé : La règle de Hebb n Ai = activation du neurone i i Wij j Wij(t+1)=Wij(t)+k Wij(t+1)=Wij(t)+k. Ai. Aj

Règle de Hebb : exemple Cette matrice représente un réseau de neurones complètement connecté sur lequel on a formé la lettre A (les connexions ne sont pas représentées). Si on forme successivement un ensemble de lettres, et que deux neurones sont souvent activés simultanément, alors la règle de Hebb conduira à renforcer la connexion entre ces deux neurones.

Apprentissage supervisé n Principe n n n On dispose d’un ensemble d’exemples (X, Y), où X est l’entrée et Y la sortie. Présenter un exemple Xk au réseau Le faire fonctionner Comparer la sortie du réseau avec Yk Modifier les poids du réseau s’il y a une erreur

Apprentissage supervisé n Règles de modification des poids n n Dépendent de l’architecture La règle de Hebb peut s’appliquer

Le perceptron n n 1958 (Rosenblatt) Première tentative d’intégrer : n n n Le neurone à seuil La règle de Hebb Propriétés : n n spécifications précises assez complexes pour être intéressant assez simple pour être étudié biologiquement plausible

Description n Neurones à seuil Architecture calquée sur celle du système visuel Apprentissage par essai et erreur Couche d’association figée

Fonctionnement du perceptron n n On présente Xk sur la rétine du perceptron, et on souhaite avoir la réponse dk (binaire) Quatre cas peuvent se produire n n dk=1 et sk=1 => ok dk=1 et sk=0 => erreur dk=0 et sk=1 => erreur dk=0 et sk=0 => ok

Règle d’apprentissage du perceptron n Cas d’erreur n n Explication n n Par exemple dk=1 et sk=0 La somme pondérée des entrées de la cellule de décision est trop faible Action n n Augmenter les poids dont l’entrée est positive Diminuer les poids dont l’entrée est négative

Règle d’apprentissage du perceptron n Wi(k+1)= Wi(k)+ (dk-sk). ai Cette règle n n n Peut se ramener à la règle de Hebb entre les cellules d’association et la cellule de décision Converge si la solution existe La solution existe ssi n Le problème est linéairement séparable

Limites du perceptron : le XOR

Le problème du XOR n’est pas linéairement séparable : il s’agirait ici de faire passer une droite séparant les points blancs des noirs.

Solution du problème du XOR En ajoutant une cellule d’association qui réalise le ET logique des deux cellules de la rétine, le problème du XOR devient linéairement séparable : il suffit à présent de faire passer un plan pour séparer les points blancs des noirs, ce que réalise le plan figuré sur le dessin.

Théorème de connexité (Papert & Minsky) • Non connexe L+M+R > s • Connexe L’+M+R <= s => L’< L • Connexe L+M+R’ <= s => R’<R • Non connexe L’+M+R’ > s => R’>R : impossible m cases m+2 cases

Faites-vous mieux qu’un perceptron ?

Performances & limitations du perceptron n n Théorème de convergence si la solution existe Réalisation de n’importe quelle fonction logique en spécifiant la couche intermédiaire Impossible d’apprendre la première couche => on ne peut pas apprendre n’importe quelle fonction logique La limitation porte sur la méthode d’apprentissage : comment faire apprendre les poids rétine>association ?

Conclusion n n Nécessité de faire apprendre la 1ère couche intermédiaire Nécessité d’une connexion totale entre les différentes couches

Les réseaux multi-couches formels Définition du neurone formel Définition de l’architecture multi-couches Algorithme d’apprentissage = rétropropagation du gradient

Le neurone formel

Architecture multi-couches n n Couches entièrement connectées Pas de connexion récurrente Perceptron multi-couches

Fonctionnement du réseau multi-couches

Apprentissage du réseau n Base d’exemples n Erreur du réseau n n Minimisation de l’erreur par descente de gradient Mise en oeuvre en rétropropageant le signal d’erreur à travers le réseau en sens inverse

Algorithme de rétropropagation du gradient Mise en oeuvre élégante (inversion du réseau et propagation d’un signal d’erreur) Non garantie de convergence (problème inhérent à la méthode de gradient)

Réseaux neuronaux & Estimation n Problème de l’estimation : estimer une relation de dépendance entre les variables Utilisation des RN : approximer F par un réseau neuronal multi-couches à une sortie Résultat théorique : les RN sont des approximateurs universels

Réseaux neuronaux & Classification classe 1 classe 2 F(x)=0 Classification avec séparation non linéaire

Avantages et Inconvénients n Avantages n n Séparation non linéaire Approximateur universel Aucune forme explicite a priori de la séparation Inconvénients n n n Boîte noire (difficile d’interpréter les paramètres) Convergence vers un minimum local Contrôle de la robustesse