Réseaux de neurones

Sommaire
 Perceptron
 Mémoires associatives
 Réseau à couches cachées
 Rétro-propagation de l’erreur

2
Perceptron
 Considéré comme 1er réseau de
neurones
 Basé sur la biologie humaine
 Créé
 Par Rosenblatt
 Entre 1957 et 1961

 But : associer des configurations d’entrée

à des réponses
3
Perceptron
 Constitution

Couche d’entrée / Rétine Couche de sortie

1/0
∑ {0/1}

1/0
∑ {0/1}

1/0
∑ {0/1}

1/0
Connexions/Synapses 4
Perceptron
 Constitution

Couche d’entrée / Rétine Couche de sortie

1/0
∑ {0/1}

1/0
∑ {0/1}

1/0
∑ {0/1}

1/0
Connexions/Synapses 5
Perceptron
 Constitution

1/0
∑ {0/1}
1/0
∑ {0/1} x0
1/0
∑ {0/1} w0j
1/0
oj=f(aj)
w1j aj= ∑i xiwij
x1
w2j

x2
w3j
x3
6
 Perceptron
 Constitution

aj : activation de la jème cellule de sortie x0

w0j
xi : valeur de sortie de la ième cellule de la rétine oj=f(aj)
w1j aj= ∑i xiwij
x1
wi,j : intensité connexion entre ième cellule
d’entrée et jème cellule de sortie w2j

x2
oj : régle de décision w3j
oj = 0 pour aj <= θj, 1 pour aj > θj x3

7
Perceptron
 Apprentissage
 Supervisé
 On donne l’entrée et la sortie attendue
 Si sortie d’une cellule est bonne => on ne fait rien
 Sinon,
 si elle est activée : on diminue la valeur de ses
connexions
 si elle est désactivée : on augmente la valeur de ses
connexions
 Jusqu’au moment où les réponses sont toutes correctes

8
Perceptron
 Apprentissage
 Comment diminuer ou augmenter les
connexions ?
 Règle d’apprentissage de Widrow-Hoff

wi,j(t+1) = wi,j(t)+n(tj-oj)xi = wi,j(t)+∆wi,j

Réponse théorique de la jème cellule de sortie

Facteur d’apprentissage

9
Perceptron
 Problèmes
 Difficile de trouver de bons paramètres
 Impossible de modéliser le XOR
 Pourquoi ? 0,1 1,1
 XOR est non linéairement séparable

0,0 1,0
 Conséquence
 Le perceptron est alors mal vu et est abandonné

10
Mémoires associatives
 Vers 1970
 Deux types
 Mémoires hétéro-associatives
 Mémoires auto-associatives

11
Mémoires hétéro-associatives
 Généralisation du perceptron
 L’activation de sortie est continue et non
plus 0 ou 1
 Même constitution mais

oj=γaj= γ(∑i xiwij)

12
Mémoires auto-associatives
 Constitution

Réseau de neurones
Input
13
Mémoires auto-associatives
 Deux types
 Linéaires
 Recherche de réponse par combinaison linéaire des
stimulis stockés

 Non linéaires
 Réseaux de Hopfield
• Réponses binaires : fonction sign dans {-1 , 1}
• Mise à jour asynchrone

14
Mémoires auto-associatives
 But
 Retrouver une information à partir d’une partie
de celle-ci
 Exemple
 Retrouver un visage connu à partir d’un nez et
deux yeux

15
Sommaire
 Perceptron
 Mémoires associatives
 Réseau à couches cachées
 Rétro-propagation de l’erreur

16
Réseaux à couches cachées
 Constitution Matrices de connexions

W Z

x h o
INPUT HIDDEN OUTPUT 17

I neurones L neurones J neurones

Réseaux à couches cachées
 Constitution

x0 Zj0
w0j
oj=f(aj)
Zj1
w1j aj= ∑i xiwij
x1
Zj2
w2j

x2
w3j
x3
18
Rétro-propagation de l’erreur
 Technique d’apprentissage
 Idée :
 On teste une entrée
 On récupère la réponse

 On la compare à la réponse théorique

 On propage l’erreur entre les deux réponses, de

la sortie vers l’entrée du réseau

19
Rétro-propagation de l’erreur
 Choix de f (fonction de transfert):
 La plus populaire : la fonction logistique

1
f ( x) 
1  e x
 Sa dérivée

f ' ( x)  f ( x)[1  f ( x)]

20
Rétro-propagation de l’erreur
 Algorithme
1. On place une entrée

21
Rétro-propagation de l’erreur
 Algorithme
1. On place une entrée
h=f(W*x)
2. Calcul des réponses pour h

22
Rétro-propagation de l’erreur
 Algorithme o=f(Z*h)
1. On place une entrée
h=f(W*x)
2. Calcul des réponses pour h

3. Calcul des réponses pour o

23
Rétro-propagation de l’erreur
 Algorithme o=f(Z*h)
sortie=f’(Zh)*(t - o) 1. On place une entrée

2. Calcul des réponses pour h

3. Calcul des réponses pour o

4. Calcul du signal d’erreur

de sortie

24
Rétro-propagation de l’erreur
 Algorithme
sortie=f’(Zh)*(t - o) 1. On place une entrée

2. Calcul des réponses pour h

3. Calcul des réponses pour o

4. Calcul du signal d’erreur

de sortie
5. On ajuste Z avec le signal
d’erreur

Z(t+1)=Z(t)+n sortie h = Z(t) + ∆(t)Z 25

Rétro-propagation de l’erreur
 Algorithme
cachée=f’(Wx)*(Z sortie) 1. On place une entrée

2. Calcul des réponses pour h

3. Calcul des réponses pour o

4. Calcul du signal d’erreur

de sortie
5. On ajuste Z avec le signal
d’erreur
6. Calcul du signal d’erreur de
la couche cachée
Z(t+1)=Z(t)+n sortie h = Z(t) + ∆(t)Z 26
Rétro-propagation de l’erreur
 Algorithme
cachée=f’(Wx)*(Z sortie) 1. On place une entrée

2. Calcul des réponses pour h

3. Calcul des réponses pour o

4. Calcul du signal d’erreur

de sortie
5. On ajuste Z avec le signal
d’erreur
6. Calcul du signal d’erreur de
la couche cachée
7. On ajuste W avec le signal
W(t+1)=W(t)+n cachée x = W(t) + ∆(t)W 27
d’erreur
Rétro-propagation de l’erreur
 Algorithme
1. On place une entrée

2. Calcul des réponses pour h

3. Calcul des réponses pour o

4. Calcul du signal d’erreur

de sortie
5. On ajuste Z avec le signal
d’erreur
6. Calcul du signal d’erreur de
la couche cachée
7. On ajuste W avec le signal
W(t+1)=W(t)+n cachée x = W(t) + ∆(t)W 28
d’erreur
Rétro-propagation de l’erreur
 Algorithme
1. On place une entrée

2. Calcul des réponses pour h

3. Calcul des réponses pour o

4. Calcul du signal d’erreur

de sortie
5. On ajuste Z avec le signal
d’erreur
6. Calcul du signal d’erreur de
la couche cachée
7. On ajuste W avec le signal
29
d’erreur
Domaine des réseaux de neurones
 Aide pour l’homme
 Classification d’objets
 Apprentissage supervisé
 Recherche d’une fonction complexe

30