Rseaux de neurones

Sommaire
Perceptron Mmoires associatives Rseau couches caches
Rtro-propagation de lerreur

Perceptron
Considr comme 1er rseau de neurones Bas sur la biologie humaine Cr
Par Rosenblatt Entre 1957 et 1961

But : associer des configurations dentre des rponses

3

Perceptron
Constitution
Couche dentre / Rtine 1/0 1/0 1/0 1/0 Connexions/Synapses
4

Couche de sortie

{0/1}

{0/1}

{0/1}

Perceptron
Constitution
Couche dentre / Rtine 1/0 1/0 1/0 1/0 Connexions/Synapses
5

Couche de sortie

{0/1}

{0/1}

{0/1}

Perceptron
Constitution
1/0 1/0 1/0 1/0 {0/1} {0/1} {0/1}

x0

w0j
oj=f(aj) w1j w2j aj= i xiwij

x1

x2 x3

w3j
6

Perceptron
Constitution
aj : activation de la jme cellule de sortie

x0

w0j

xi : valeur de sortie de la ime cellule de la rtine

wi,j : intensit connexion entre ime cellule dentre et jme cellule de sortie oj : rgle de dcision oj = 0 pour aj <= j, 1 pour aj > j x1 w1j w2j x2 w3j aj= i xiwij

oj=f(aj)

x3
7

Perceptron
Apprentissage
Supervis
On donne lentre et la sortie attendue

Si sortie dune cellule est bonne => on ne fait rien Sinon,

si elle est active : on diminue la valeur de ses connexions si elle est dsactive : on augmente la valeur de ses connexions

Jusquau moment o les rponses sont toutes correctes

Perceptron
Apprentissage
Comment diminuer ou augmenter les connexions ? Rgle dapprentissage de Widrow-Hoff

wi,j(t+1) = wi,j(t)+n(tj-oj)xi = wi,j(t)+wi,j

Rponse thorique de la jme cellule de sortie Facteur dapprentissage

Perceptron
Problmes
Difficile de trouver de bons paramtres Impossible de modliser le XOR

Pourquoi ?
XOR est non linairement sparable

0,1

1,1

0,0

1,0

Consquence
Le perceptron est alors mal vu et est abandonn

10

Mmoires associatives
Vers 1970 Deux types
Mmoires htro-associatives Mmoires auto-associatives

11

Mmoires htro-associatives
Gnralisation du perceptron Lactivation de sortie est continue et non plus 0 ou 1 Mme constitution mais

oj=aj= (i xiwij)

12

Mmoires auto-associatives
Constitution

Input

Rseau de neurones
13

Mmoires auto-associatives
Deux types
Linaires
Recherche de rponse par combinaison linaire des stimulis stocks

Non linaires
Rseaux de Hopfield
Rponses binaires : fonction sign dans {-1 , 1} Mise jour asynchrone

14

Mmoires auto-associatives
But
Retrouver une information partir dune partie de celle-ci

Exemple
Retrouver un visage connu partir dun nez et deux yeux

15

Sommaire
Perceptron Mmoires associatives Rseau couches caches
Rtro-propagation de lerreur

16

Rseaux couches caches

Constitution
Matrices de connexions W Z

x INPUT I neurones

h HIDDEN L neurones

o OUTPUT J neurones

17

Rseaux couches caches

Constitution

x0

Zj0 w0j

oj=f(aj)
x1 w1j w2j x2 w3j aj= i xiwij

Zj1 Zj2

x3

18

Rtro-propagation de lerreur
Technique dapprentissage Ide :
On teste une entre On rcupre la rponse On la compare la rponse thorique On propage lerreur entre les deux rponses, de la sortie vers lentre du rseau

19

Rtro-propagation de lerreur
Choix de f (fonction de transfert):
La plus populaire : la fonction logistique

1 f ( x) 1 e x
Sa drive

f ' ( x) f ( x)[1 f ( x)]

20

Rtro-propagation de lerreur
Algorithme
1. On place une entre

21

Rtro-propagation de lerreur
Algorithme
1. On place une entre h=f(W*x) 2. Calcul des rponses pour h

22

Rtro-propagation de lerreur
Algorithme
h=f(W*x) o=f(Z*h) 1. On place une entre 2. Calcul des rponses pour h 3. Calcul des rponses pour o

23

Rtro-propagation de lerreur
Algorithme
sortie=f(Zh)*(t - o) o=f(Z*h) 1. On place une entre 2. Calcul des rponses pour h 3. Calcul des rponses pour o 4. Calcul du signal derreur de sortie

24

Rtro-propagation de lerreur
Algorithme
sortie=f(Zh)*(t - o) 1. On place une entre 2. Calcul des rponses pour h 3. Calcul des rponses pour o 4. Calcul du signal derreur de sortie 5. On ajuste Z avec le signal derreur

Z(t+1)=Z(t)+n sortie h = Z(t) + (t)Z

25

Rtro-propagation de lerreur
Algorithme
cache=f(Wx)*(Z sortie)
1. On place une entre 2. Calcul des rponses pour h 3. Calcul des rponses pour o 4. Calcul du signal derreur de sortie 5. On ajuste Z avec le signal derreur 6. Calcul du signal derreur de la couche cache Z(t+1)=Z(t)+n sortie h = Z(t) + (t)Z
26

Rtro-propagation de lerreur
Algorithme
cache=f(Wx)*(Z sortie)
1. On place une entre 2. Calcul des rponses pour h 3. Calcul des rponses pour o 4. Calcul du signal derreur de sortie 5. On ajuste Z avec le signal derreur 6. Calcul du signal derreur de la couche cache

W(t+1)=W(t)+n cache x = W(t) + (t)W

7. On ajuste W avec le signal 27 derreur

Rtro-propagation de lerreur
Algorithme
1. On place une entre 2. Calcul des rponses pour h 3. Calcul des rponses pour o 4. Calcul du signal derreur de sortie 5. On ajuste Z avec le signal derreur 6. Calcul du signal derreur de la couche cache

W(t+1)=W(t)+n cache x = W(t) + (t)W

7. On ajuste W avec le signal 28 derreur

Rtro-propagation de lerreur
Algorithme
1. On place une entre 2. Calcul des rponses pour h 3. Calcul des rponses pour o 4. Calcul du signal derreur de sortie 5. On ajuste Z avec le signal derreur 6. Calcul du signal derreur de la couche cache

7. On ajuste W avec le signal 29 derreur

Domaine des rseaux de neurones

Aide pour lhomme Classification dobjets Apprentissage supervis Recherche dune fonction complexe

30