Chapitre 3 INTRODUCTION AUX RSEAUX MULTICOUCHES Introduction Dans

Chapitre 3 INTRODUCTION AUX RÉSEAUX MULTICOUCHES

Introduction Dans un effort pour surmonter les limitations pratiques de la monocouche, le réseau de neurones a évolué vers une architecture multicouche. Cependant, il a fallu environ 30 ans pour ajouter la couche cachée au réseau de neurones à une couche. Il n’est pas facile de comprendre pourquoi cela a pris si longtemps, mais le problème tient à la règle d’apprentissage. Le processus d’apprentissage étant la seule méthode permettant au réseau de neurones de stocker des informations, les réseaux de neurones ¨inexpérimentés¨ sont inutiles. L’élaboration d’une règle d’apprentissage appropriée pour le réseau de neurones multicouches a pris un certain temps

Introduction La règle delta précédemment introduite est inefficace pour l’entraînement du réseau de neurones multicouches. En effet, l'erreur, élément essentiel de l'application de la règle de delta pour l'apprentissage, n'est pas définie dans les couches masquées (cachées). les données d'apprentissage ne fournissent pas des sorties correctes pour les nœuds des couches cachées et l'erreur ne peut donc pas être calculée en utilisant la même approche que celle utilisée pour les nœuds de sortie. Comment définir l’erreur aux nœuds cachés ? Pour cela, il va falloir l'algorithme dit de rétro-propagation, la règle d'apprentissage représentative du réseau neuronal multicouche.

Introduction En octobre 1986, David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, dans leur publication, dans la revue Nature, intitulée : “Learning representations by back-propagating errors”, le problème a été résolu. L’importance de l’algorithme de rétro-propagation était qu’il fournissait une méthode systématique pour déterminer l’erreur des nœuds cachés. Une fois les erreurs de couche cachée déterminées, la règle de delta est appliquée pour ajuster les poids.

Introduction Figure 3 -1. Illustration de la rétro-propagation

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation Pour l’illustrer, nous allons étudier un petit exemple

Algorithme de rétro-propagation