Vous êtes sur la page 1sur 7

Rseaux de neurones

RSEAUX DE NEURONES
Le gne de la folie, celui du langage ou de l'intelligence n'existent pas. Nous savons qu'il n'est pas possible d'assigner une fonction crbrale intgre un "centre" unique ou un seul neurotransmetteur, mais un systme d'"tapes de transit" o se "nouent" des tats d'activit lectrique et chimique. Jean-Pierre CHANGEUX

La science du gouvernement et neurones La science du gouvernement tudie les proprits et les lois du comportement de diffrent systmes de contrle, indpendamment de la nature physique de ces systmes. C'est l'tude des systmes de traitement de l'information. Ses fondateurs principaux sont: Wiener, Shannon, Turing, Von Neumann, Ashby, Grey Walter, Culloch, Pitts, Rosenblatt, Kolmogorov Le cerveau humain Le cerveau humain est constitu d'environ 1010 Neurones connects chacun 104 neurones. Ce systme organique permet une bonne adaptation aux tches complexes, est robuste aux pannes (continue de fonctionner mme en cas de lsion quelquefois importante) et possde des capacits d'apprentissage, de gnralisation et d'auto organisation. Les rseaux de neurones Les rseaux de neurones constituent une nouvelle race machines qui par conception se rapproche du cerveau humain. Historique: 1943 1948 Mc Culloch & Pitts Dfinition du neurone formel Von Neumann Dfinition de l'automate cellulaire
Tous droits rservs 1/7

de

Copyright 1986 2009 C Jousselin

Rseaux de neurones 1949 1960 1969 1970 1982 1985 Hebb Dfinition de la "Synaptic plasticity" Rosenblatt Premiers travaux sur le Perceptron Minsky & Papert Limites du Perceptron Conway Turing et jeu de la vie Hopfield Modlisation "Spin glasses" Hopfield Rsolution du problme du voyageur de commerce avec un rseau de neurones Rumelhart Dfinition et exprimentation de l'algorithme de rtro-propagation du gradient Sejnowski Dfinition et ralisation d'apprentissage la lecture du rseau "NetTalk"

1985

1986

Approche classique et neuronale de la mmoire L'approche classique de la mmoire fait que chaque donne lmentaire est tout moment stocke en un seul endroit de la machine. L'approche neuronale de la mmoire fait que chaque donne lmentaire est tout moment rpartie sur l'ensemble de la machine. Comparaisons de ces deux approches: Donnes Donnes Localises Dlocalises Programmation Programmation dcompose en tapes non dcomposable Tolrance Tolrance aux fautes aux fautes grer explicitement intrinsque Ralisation Ralisation numrique numrique analogique (en gnrale) ou mixte Le temps de Le temps de traitement traitement crot trs vite avec la est indpendant de la taille taille et de la complexit et la complexit

Copyright 1986 2009 C Jousselin

Tous droits rservs 2/7

Rseaux de neurones

Axiomes de dfinition d'un rseau de neurone Ce type de machine repose sur un certains nombre d'axiomes dont voici les principaux: 1 2 Le neurone rpond par tout ou rien Pour exciter le neurone un moment quelconque, un nombre fix de synapses y arrivant doivent tre excites au cours d'une priode o leurs effets puissent se sommer. Le seul dlai significatif dans le systme nerveux est le dlais synaptique. L'excitation d'une synapse inhibitrice empche toute rponse du neurone. La structure du rseau neuronique ne change pas au cours du temps. (Axiomes 1 5 : Mc Culloch et 2' Pitts en 1943)

3 4 5

Les synapses sont pondres, et la rponse du neurone se fait en tout ou rien aprs un certain seuil. (Axiome 2 modifi par Von Neumann en 1958)

L'excitation du neurone dpend galement des groupes de neurones avoisinant, qui sont stimuls en mme temps que lui.

(Axiome de Jan Gecsel en 1963) D'autre jeux d'axiomes peuvent tre utiliss, par exemple en considrant que la rponse d'un neurone n'est pas binaire mais continue dans le domaine ]-1,+1[. Lois d'apprentissage Une des principales capacits d'un rseau de neurones d'apprendre, des modles de lois d'apprentissage ont raliss, en voici deux: La loi de Hebb (1949) Loi: Le coefficient synaptique augmente si les neurones PRE et POST synaptiques sont actifs simultanment. Wj,i ----- = a*Vj*Vi t
Copyright 1986 2009 C Jousselin Tous droits rservs 3/7

est t

Rseaux de neurones

t est le temps, Wj,i est le coefficient synaptique entre le neurone pr-synaptique Nj et le neurone post-synaptique Ni, Vj et Vi sont les sorties des neurones post et pr-synaptiques a est une constante de renforcement de l'apprentissage,

La loi de Hubel et Wiesel (1960) Loi: 1) 2) 3) Activit conjointe PRE et POST => Wj,i augmente Neurone PRE actif, POST repos => Wj,i diminue Neurone POST au repos => dcroissance lente de Wj,i : l'oubli Wj,i ----- = -f*Wj,i+a*F(Vj)*G(Vi-b) t t est le temps, Wj,i est le coefficient synaptique entre le neurone pr-synaptique Nj et le neurone post-synaptique Ni, Vj et Vi sont les sorties des neurones post et pr-synaptiques f est une constante d'oubli, a est une constante de renforcement de l'apprentissage, F et G sont des fonctions de filtrage des sorties, b est un niveau de base,

Modlisation d'un neurone Modlisation du neurone Ni;c dans un environnement rseau en couches: Couche c-1 Oj-1;c-1 [Nj-1;c-1] Oj;c-1 [Nj;c-1] Couche c Wj-1,i;c x Oi;c [ Ni;c ] Ti;c

Wj,i;c x

Oj+1;c-1 [Nj+1;c-1] Sortie du neurone Valeur du neurone Ni;c Ni;c : :

Wj+1,i;c x Si;c Oi;c

= fi;c(Vi;c) j=nbc-1 Vi;c=( Mj,i;c) - Si;c j=1


Tous droits rservs 4/7

Copyright 1986 2009 C Jousselin

Rseaux de neurones nbc-1 est le nombre de neurones de la couche c-1 Moment j,i du neurone Ni;c : Mj,i;c = Wj,i;c * Oj;c-1 x - ---Ti;c 1 - e Fonction non linaire (sigmode) fi;c(x) = -------------du neurone Ni;c x - ---Ti;c 1 + e

Caractristiques du neurone i de la couche c : Ni;c Ti;c est la temprature du neurone Ni;c Si;c est la valeur de seuil du neurone Ni;c Caractristique du et le neurone j de Wj,i;c est le neurone lien entre le neurone i de la couche c N i;c la couche prcdente Nj;c-1 le coefficient synaptique entre Nj;c-1 et le neurone Ni;c

Avec cette dfinition de rseau en couche, un neurone d'une couche c n'est influenc que par les neurones de la couche prcdente c-1. La fonction non linaire utilise impose que la temprature du neurone doit tre diffrente de 0; le domaine de variation de la temprature d'un neurone est ]-,0[ U ]0,+[. Le domaine de variation de la sortie d'un neurone est ]-1,+1[. Le domaine de variation de la valeur d'un neurone est ]-,+[. Le domaine de variation des coefficients synaptiques est ]-, +[. Le domaine de variation du seuil d'un neurone est ]-,+[. Apprentissage par la mthode de rtro-propagation du gradient La technique d'apprentissage par la mthode de rtropropagation du gradient est de type supervis. On appelle nergie partielle du rseau pour le pattern k: i=nbsortie (Pki;sortie - Oi;sortie) i=1 On appelle nergie du rseau pour un ensemble de patterns K: E(k) = E = E(k) kK

On appelle erreur sur le neurone Ni;c pour le pattern k: i;c = E(k) ----Vi;c
Tous droits rservs 5/7

Copyright 1986 2009 C Jousselin

Rseaux de neurones d'o: E(k) ----= Wj,i;c E(k) ----Si;c E(k) ----Ti;c = i;c*Oj;c-1

-i;c Vi;c -i;c* ---Ti;c

Erreur sur la couche de sortie: i;sortie = (f'i;sortie(Vi;sortie))*(Oi;sortie-Pki;sortie) ou i;sortie = (f'i;sortie(f-1(Oi;sortie)))*(Oi;sortie-Pki;sortie) o f'(Vi;c) = 1 - O2i;c --------2Ti;c 1 - Oi;c f-1(Oi;c) = -Ti;c Log -------1 + Oi;c

La technique de la rtro-propagation du gradient est base sur la propagation de l'erreur i;c en sens inverse: de la couche c la couche prcdente c-1 avec comme hypothse que les coefficients synaptique utiliss dans le calcul du rtromoment sont de mme valeurs que ceux utiliss dans le calcul du moment. Erreur sur les couches prcdentes: j=nbc i;c-1 = (f'i;c-1(Vi;c-1))* Ri,j;c-1 j=1 j=nbc i;c-1 = (f'i;c-1(f-1(Oi;c-1))) * Ri,j;c-1 j=1 Ri,j;c-1 = Wi,j;c*j;c du rseau

ou

o: Rtro-moment du neurone Ni;c-1 :

Calcul des modifications des caractristiques (Wj,i;c) et des neurones (Si;c et Ti;c): E(k) (t+1) = *(t) - * ----(k)

Copyright 1986 2009 C Jousselin

Tous droits rservs 6/7

Rseaux de neurones o (t) reprsente une des caractristiques : Wj,i;c Si;c Ti;c. : Paramtre de relaxation : Paramtre d'apprentissage soit: Wj,i;c(t+1) = Si;c(t+1) Ti;c(t+1) = = Wj,i;c(t) - **Oj;c-1 Si;c(t) + *i;c Ti;c(t) - *i;c*Log

1 - Oi;c -------1 + Oi;c Domaine d'application des rseaux de neurones Les principaux domaines d'application des rseaux de neurones sont: le traitement d'image, traitement de la parole, la compression d'informations, la robotique et les systme experts. La "programmation" d'un rseau de neurones est une technique particulire qui ncessite la dfinition d'une topologie et d'un mcanisme d'apprentissage adapts au problme rsoudre. Comparaison des types de "programmation": Algorithme Rsolution de problmes Rseaux de neurones = = = Logique + contrle Connaissances + stratgie Topologie + apprentissage

Copyright 1986 2009 C Jousselin

Tous droits rservs 7/7

Vous aimerez peut-être aussi