LA RETROPROPAGATION

Rseaux de neurones La rtropropagation

14

LA RETROPROPAGATION

1) INTRODUCTION : La rtropropagation est actuellement loutil le plus utilis dans le domaine de rseaux de neurones. C'est une technique de calcul des drives qui peut tre applique nimporte quelle structure de fonctions drivables. Mathmatiquement, cette mthode est base sur lalgorithme de descente du gradient et utilise les rgles de drivation des fonctions drivables. Dans cette mthode, lerreur commise en sortie du rseau sera rtropropage vers les couches caches do le nom de rtropropagation.

2) EQUATION DU RESEAU : Avant de dfinir la rgle dapprentissage, on doit dfinir la relation entre les sorties du rseau dune part, et les entres et les poids dautre part. Dans un rseau (l) couches ayant (n) entres et (m) sorties les tats des diffrents neurones sont donns par6] : ]

U il (k ) = f l Pil (k ) N l (k ) = l 1 W l U l 1(k ) Pi ij j j =1 l

(3 - 1)

avec

(3 - 2)

ou i = 1,2,..........N et j = 1,2,..........N N N N L

l l-1

l 1 et q = 1,2,..........N l +1 nombre de neurones dans la couche l . nombre de neurones dans la couche l - 1 . nombre de neurones dans la couche l + 1 . nombre de couches .

l+1

15

LA RETROPROPAGATION

U l (k ) sortie du neurone i de la couche l . i W l (k) coeficient synaptique (poids )de la jeme entre du neurone (i) de la couche (l) . ij i = 1,2,........, n (3 - 3) U 0 (k) = X (k) i i i = 1,2..........., m (3 - 4) U l (k) = Y (k) i i Ou : X (k) et Y (k) sont respectivement les entres et les sorties du rseau . i i

L' objectif de la mthode de la rtropropagation est d' adapter les paramtres W l de faon a minimiser une fonction de cot donn par : ij

avec

T E (W ) = E p (W ) p =1 2 1 m E p (W ) = yid ( k ) yi (k ) 2 i =1

(3 - 5) (3 - 6)

o y d ( k ) est le vecteur de sortie dsir , y ( k ) le vecteur de sortie de rseau et T le nombre d' exemples ou longueur de l' ensemble d' entraneme nt.
3) PRINCIPE DE LA RETROPROPAGATION :

Lapproche la plus utilise pour la minimisation de la fonction E est base sur la mthode du gradient. On commence lentranement par un choix alatoire des vecteurs initiaux du poids. On prsente le premier vecteur dentre, une fois on a la sortie du rseau, lerreur correspondante et le gradient de lerreur par rapport tous les poids sont calculs. Les poids sont alors ajusts. On refait la mme procdure pour tous les exemples dapprentissage. Ce processus est rpt jusqu ce que les sorties du rseau soient suffisamment proches des sorties dsires.

16

LA RETROPROPAGATION

4) ADAPTATION DES POIDS :

Ladaptation des poids se fait par la mthode du gradient base sur la

W l ( k + 1) = W l ( k ) W l ij ij ij E (W ) W l = lr . avec ij W l ( k ) ij formule itrative suivante :

O k : reprsente le numro ditration.

(3 - 7) (3 - 8)

lr est une constante appele facteur ou pas dapprentissage.

La vitesse de convergence dpend de la constante . Sa valeur est gnralement choisie exprimentalement. La drive de la fonction du cot par rapport au poids W l est donnes par : ij T E p (W ) E (W ) (3 - 9) = l l Wij (k ) p=1 Wij (k ) E p (W ) E p (W ) U il (k ) (3 - 10) = l (k ) U l (k ) W l (k ) Wij ij i pour la couche de sortie : E p (k ) (3 - 11) = ( yid (k ) yi (k )) U iL (k ) pour les couches caches :
E p (W )

l +1 N l+1 E p (W ) U q (k ) = l (k ) q=1 U l +1(k ) U l (k ) U i q i

(3 - 12)

U il (k ) ' = f l Pil (k ) U lj1(k ) l Wij

(3 - 13)

17

LA RETROPROPAGATION

E p (W ) E p (W ) l ' = f (P(k )) U lj1(k ) l (k ) l Wij U j Donc lexpression (3-10) scrit sous la forme :

(3 - 14

Pour minimiser lerreur totale sur lensemble dentranement, les poids du rseau doivent tre ajusts aprs prsentation de tous les exemples.

5) ALGORITHME DE LA RETROPROPAGATION :

Etape 1 : Initaliser les poids W l et les seuils internes des neurones des petites ij valeurs alatoires .
Etape 2 : Calculer le vecteur dentre et de sortie dsire, correspondant.

Etape 3 : Calculer la sortie du rseau en utilisant les expressions (3-1) et (3-2)

.

Etape 4 : Calculer lerreur de sortie en utilisant lexpression (3-11)

Etape 5 : Calculer lerreur dans les couches en utilisant lexpression (3-12)

Etape 6 : Calculer le gradient de lerreur par rapport aux poids en utilisant

lexpression (3-8)

Etape 7 : Ajuster les poids selon lexpression (3-7).

18

LA RETROPROPAGATION

Etape 8 : Si la condition sur lerreur ou sur le nombre ditrations est atteinte, aller ltape 9, sinon aller ltape 2.

Etape 9: Fin.

Les exemples sont prsents dune manire rcursive, lorsque tous les exemples sont prsents, le test seffectue sur lerreur de sortie et les poids sont ajusts au fur et mesure, jusqu ce que lerreur de sortie se stabilise une valeur acceptable.

6) ACCELERATION DE LA RETROPROPAGATION : Bien que l'algorithme de rtropropagation soit le plus utilis pour

l'apprentissage supervis des MLP, son implantation se heurte plusieurs difficults techniques. Il n'existe pas de mthodes permettant de : - Trouver une architecture approprie (nombres de couches, nombre de neurones). - Choisir d'entranement. - Choisir des valeurs initiales satisfaisantes pour les poids, et des valeurs convenables pour les paramtres d'apprentissage permettant d'acclrer la vitesse de convergence. - Problme de la convergence vers un minimum local, qui empche la convergence et cause l'oscillation de l'erreur. Plusieurs approches ont t proposes pour remdier ces problmes Une des techniques d'acclration est celle de la cration dynamique des neurones, un neurone est ajout chaque fois que l'erreur se stabilise un niveau inacceptable. une taille et une qualit adquate d'exemples

19

LA RETROPROPAGATION

Dans le chapitre qui ce suit on va tudier d'autres mthodes qui sont plus efficaces et qui deviennent actuellement les plus employes dans le domaine des rseaux de neurones

7) CONCLUSION : Nous avons vu dans ce chapitre la mthode la plus utilise pour

l'apprentissage des rseaux de neurones statiques, la rtropropagation qui repose simplement sur la technique de calcul du gradient, applique toute fonction drivable. Ainsi que quelques techniques d'acclration de cette mthode.

20