RSEAUX DE NEURONES BASE RADIALE INTRODUCTION Une fonction

RÉSEAUX DE NEURONES À BASE RADIALE

INTRODUCTION Une fonction de base radiale (FBR) dépend de manière non croissante de la distance entre la variable indépendante et un vecteur de référence. Les FBRs représentent des récepteurs locaux; dans la figure, chaque point vert est un vecteur de référence pour une FBR. Un réseau à base radiale contient une couche cachée constituée de FBRs. Une unité de sortie réalise la combinaison linéaire de leurs sorties. w 3 w 2 w 1 Les coordonnées du point noir sont “interpolées” à l’aide de celles des trois points verts, dont la contribution individuelle de chacun dépend de sa distance du point noir et de son poids w. Dans l’illustration :

ARCHITECTURE RBR x 1 w 1 x 2 y wm 1 xm Couche tampon Couche de sortie ; Couche cachée ; les « poids » combinateur linéaire. sont les coordonnées Peut être suivi d’une des centres des FBR fonction de sortie au besoin Couche cachée : fonction d’activation/sortie FBR Sont généralement des gaussiennes Unité de sortie : fonction d’activation/sortie linéaire.

MODÈLE DES UNITÉS CACHÉES Unités cachées : Utilisent des FBR φ ( || x - t||) x 1 x 2 xm La sortie dépend de la distance entre L’entrée x et le centre t φ ( || x - t||) t est le centre est l’étendue t et sont à déterminer

PROPRIÉTÉS DES UNITÉS CACHÉES Un neurone caché est plus sensible aux entrées situées proche de son centre. Pour un FBR de type gaussien, la sensibilité est réglée à l’aide du paramètre d’étendue , pour lequel une valeur plus grande signifie moins de sensibilité. Plausibilité biologique: Les cellules cochléaires stéréociliaires du système auditif possèdent des réponses qui sont optimales pour des bandes de fréquences données. centre grand petit

DIFFÉRENTES SORTES DE FBR Multiquadriques Gaussiennes inverses (les plus utilisées)

ILLUSTRATION DU RÔLE DE LA COUCHE CACHÉE f( ) f( ) f( ) f( ) f( )

EXEMPLE: LE PROBLÈME DU OU-X Espace simuli (problème) : x 2 (0, 1) (1, 1) (0, 0) (1, 0) 0 1 x 1 y Espace réseau (solution) : Construire un classifieur RBR tel que : (0, 0) et (1, 1) sont projetés sur 0 (classe C 1) (1, 0) et (0, 1) sont projetés sur 1 (classe C 2)

LE PROBLÈME DU OU-X (2) x 1 x 2 Dans l’espace des traits (couche cachée) : t 1 t 2 φ2 -1 y -1 +1 1. 0 0. 5 (0, 1) et (1, 0) (0, 0) Frontière de décision (1, 1) 0. 5 1. 0 φ1 Une fois projetées dans la couche cachée, C 1 and C 2 deviennent linéairement séparables, permettant au classifieur linéaire à la sortie de prendre 1(x) and 2(x) comme entrées et donner la bonne sortie OU-X.

PARAMÈTRES D’UN RÉSEAU RBR Que doit-on connaître (apprendre) pour un réseau RBR donné ? Le nombre de FBR Les centres des FBR Les étendues des FBR Les poids entre la couche cachée et la couche de sortie Plusieurs algorithmes d’apprentissage sont possibles

ALGORITHME D’APPRENTISSAGE 1 Centres : sélectionnés aléatoirement Les centres sont choisis aléatoirement en partant de l’ensemble d’apprentissage Étendues: La déterminées par normalization : fontion d’activation/sortie d’un neurone caché i est alors :

ALGORITHME D’APPRENTISSAGE 1 Poids: Déterminés par la méthode de la matrice pseudo-inverse : Considérons la sortie du réseau pour la paire d’apprentissage Nous voulons avoir : pour chaque xi :

ALGORITHME D’APPRENTISSAGE 1 On peut réécrire les équations précédentes : pour un exemple d’apprentissage xi donné, et pour tous les exemples simultanément

ALGORITHME D’APPRENTISSAGE 1 Si on pose Alors on a : et où est la matrice pseudo-inverse de

Principe du pseudo inverse n Soit un vecteur X = (X 1…Xp) et une relation linéaire : n Règle des moindres carrés : min

RÉSUMÉ DE L’ALGORITHME 1. Choisir les centres aléatoirement à partir de l’ensemble d’apprentissage. 2. Déterminer les étendues des FBR en utilisant la méthode de normalisation. 3. Trouver les poids de sortie en utilisant la méthode de la pseudo-inverse.

ALGORITHME D’APPRENTISSAGE 2 Centres : déterminés par un l’algorithme de groupement des k moyennes adaptatif Initialisation: tk(0) aléatoire k = 1, …, m 1 2 Échantillonnage : on tire x dans l’espace d’apprentissage 3 Appariement par similarité: trouver l’index du centre le plus proche de x 1 4 Mise à jour : adaptation des centres 5 Continuation: n=n+1, aller à 2 et continuer jusqu’à ce que les centres se stabilisent (changent peu).

ALGORITHME D’APPRENTISSAGE 2 n Étendues : déterminés par un algorithme basés sur les plus P plus proches voisins 1. 2. Un nombre P est choisi, et pour chaque centre, les P centres les plus proches sont déterminés. La distance quadratique moyenne entre le centre courant et les centres de ses P plus proches voisins est calculée, et est utilisée comme valeur de . Si le centre du groupe courant est cj, la valeur de est : Une valeur typique pour P est 2, auquel cas est la distance moyenne entre les deux plus proches centroÍdes voisins.

RÉSUMÉ DE L’ALGORITHME Processus d’apprentissage hybride: Algorithme de groupement pour trouver les centres. Étendue fixée par normalisation des distances entre P plus proches voisins. Poids déterminés par un algorithme de moindres carrés (e. g. Adaline)

ALGORITHME D’APPRENTISSAGE 3 Appliquer la technique de descente de gradient pour trouver aussi bien les centres, les étendues et les poids, de manière à minimiser l’erreur quadratique Centres Étendues Poids

COMPARAISON RBR-PMC Tous les deux approximateurs universels de fonctions L 2. Réseaux non récurrents à couches multiples. RBR surtout utilisé pour la régression et la classification binaire. RBR apprend plus vite que PMC La couche cachée RBR est souvent plus facile à interpréter que celle d’un PMC Après apprentissage, les réseaux RBR sont généralement plus lents en phase de rappel.

COMPARAISON RBR-PMC Architecture: RBR possède une seule couche cachée. PMC peut posséder plus d’une couche cachée. Dans PMC, le modèle de neurone dans les différentes couches peut être le même. Dans PMC, toutes les couches peuvent être non-lineaires. Modèle de neurone: Dans RBR, le modèle des neurones cachés est différent de celui des neurones de sortie. La couche cachée dans RBR est non-linéaire, celle de sortie est linéaire.

COMPARAISON RBR-PMC Fonctions de sortie : Dans RBR, l’argument d’une FBR de la couche cachée est la distance (euclidienne ou autre) entre un vecteur d’entrée et le centre de l’unité. Dans PMC, l’argument d’un neurone caché est le produit scalaire d’un vecteur d’entrée et du vecteur des poids synaptiques qui alimentent le neurone. Approximation: Les réseaux RBR construisent généralement une approximation locale de projections non-linéaires. Peuvent demander plus de ressources mais mènent à des représententations terses et linéairement decodables. Les réseaux PMC construisent une approximation globale des mêmes projections. Peuvent êter difficiles à interpréter.

APPLICATION: RECONNAISSANCE DE VISAGES Le problème : Reconnaitre des visages de personnes faisant partie d’un groupe dans un environnement intérieur. L’approche: Apprendre les différentes classes, chacune représentant des poses diverses d’un même visage en utilisant un réseau RBR.

DONNÉES Base de données 100 images de 10 personnes (tons de gris sur 8 bits, résolution de 384 x 287) Pour chaque individu, 10 images de la tête vue de face et de profil Conçue pour évaluer la performance de techniques de reconnaissance du visage en présence de variations de l’angle de prise de vue.

DONNÉES Images des classes 0 -3 de la base de données Sussex, centrées sur le nez et réduites à un format de 25 x 25 avant traitement

APPROCHE: RBR POUR CHAQUE VISAGE Un réseau RBR par personne est utilisé pour reconnaître le visage de la personne. L’apprentissage utilise des exemples d’images de la personne à reconnaître comme évidence positive et des images d’autres personnes pouvant prêter à confusion comme évidence négative.

ARCHITECTURE DU RÉSEAU La couche d’entrée contient 25*25 entrées répréseantant les intensités (normalisées) des pixels d’une image. La couche cachée contient p+a neurones: p neurones cachés pro (récepteur pour évidence positive) a neurones cachés con (récepteurs for évidence negative) La couche de sortie contient deux neurones: Un pour la personne visée. Un pour toutes les autres. Le résultat est ignoré si la différence absolue entre les sorties deux neurones est inférieure à un seuil R.

ARCHITECTURE POUR RECONNAÎTRE UN VISAGE Unités de sortie linéaires Supervisé Unités FBR Non-linéaires Non supervisé Unités d’entrée

COUCHE CACHÉE Les unités cachées peuvent être : Neurones pro : Évidence positive pour la personne. Neuones anti : Évidence négative pour la personne. Le nombre de neurones pro est égal aux exemples positifs dans l’ensemble d’apprentissage. À chaque Neurone pro correspondent un ou deux neurones anti. Modèle de neurone caché : FBR gaussienne.

APPRENTISSAGE ET TEST Centres: d’un neurone pro : l’exemple positif correspondant D’un neurone anti : l’exemple négatif le plus similaire au neurone pro correspondant, en utilisant une distance euclidienne. Étendue : distance moyenne entre le centre du neurone et tous les autres centres. L’étendue d’un neurone caché est donc où H est le nombre de neurones cachés et est le centre du neurone. Poids: déterminés par la méthode du pseudo inverse. Un réseau RBR avec 6 neurones pro, 12 neurones anti, et R égal à 0. 3, rejeta 23 % des images de l’ensemble de test et classa correctement 96 % des images retenues.