Module : Apprentissage Automatique

LES RESEAUX DE NEURONES

ARTIFICIELS
Mr. Lakhmissi CHERROUN
Dpartement de Mathmatique et Informatique
Universit de Djelfa
2011-2012
1

Introduction
Dfinition
Contexte Scientifique
Historique
Fondements Biologiques

Dfinition
Les rseaux de neurones artificiels sont des rseaux
fortement connects de processeurs lmentaires
fonctionnant en parallle.
Chaque processeur lmentaire (neurone artificiel)
calcule une sortie unique sur la base des informations
quil reoit.
Parallel Distributed Processing :
Calculs lmentaires et parallles
Donnes/informations distribues dans le rseau

Inspiration naturelle : analogie avec le cerveau

3

Contexte Scientifique
Neuromimtisme et sciences de la cognition :
comprendre et simuler le fonctionnement du cerveau
reproduire les phnomnes cognitifs (I.A.)

Connexionisme :
outils dingnierie performants

Intelligence computationnelle :
une intelligence base sur le calcul numrique
oppose l intelligence artificielle (calcul symbolique)
rseau de neurones; logique floue; algorithmes gntiques; ...
4

Historique
la prhistoire

James [1890] :
mmoire associative

McCulloch & Pitts [1943]

A logical calculus of the ideas immanent in nervous activities
neurone formel

Les ordinateurs codage binaire (Von Neumann)

L intelligence artificielle (calcul symbolique)

Les rseaux de neurones

Hebb [1949]
Organisation of behavior
le conditionnement est une proprit des neurones
loi dapprentissage

Historique
les premiers succs

Rosenblatt [1957] :
le perceptron, premier modle oprationnel
reconnaissance d une configuration apprise
tolrance aux bruits

Widrow [1960] :
adaline, adaptive linear element

Minsky & Papert [1969] :

impossibilit de classer des configurations non linairement
sparables
abandon (financier) des recherches sur les RNA
6

Historique
lombre et le renouveau

[1967 - 1982] :
Mise en sommeil des recherches sur les RNA. Elles
continuent sous le couvert de domaines divers.
Grossberg, Kohonen, Anderson, ...

Hopfield [1982] :
modle des verres de spins

Boltzmann [1983] :
premire rponse Minsky et Papert

[1985] :
la rtro-propagation du gradient et le perceptron multicouche

Rumelhart, McClelland, [1985] :

le groupe Parallel Distributed Processing

Domaines dapplication
Classification :
rpartir en plusieurs classes des objets
donnes quantitatives  informations qualitatives
reconnaissance des formes

Recherche Oprationnelle
rsoudre des problmes dont on ne connat pas la solution

Mmoire Associative
restituer une donne partir dinformations incompltes et/ou
bruites.
8

Fondements Biologiques
Structure des neurones

Le systme nerveux est compos de 1012 neurones

interconnects. Bien quil existe une grande diversit
de neurones, ils fonctionnent tous sur le mme
schma.
Ils se dcomposent en trois rgions principales :
Le corps cellulaire
Les dendrites
L axone

Fondements Biologiques
Fonctionnement des neurones

Linflux nerveux est assimilable un signal lectrique

se propageant comme ceci :
Les dendrites reoivent linflux nerveux d autres
neurones.
Le neurone value lensemble de la stimulation reue.
Si elle est suffisante, il est excit : il transmet un signal
(0/1) le long de l axone.
Lexcitation est propage jusquaux autres neurones qui y
sont connects via les synapses.

10

Fondements Biologiques
Fonctionnement des neurones

11

Fondements biologiques
Le cerveau

Trois couches successives :

Le cerveau reptilien (la couche la plus ancienne)
Lhippocampe (cerveau archaque)
Le cortex (la couche la plus rcente)

Dcoupage en rgions :
au niveau morphologique et fonctionnel

Adaptation : renforcement de lefficacit synaptique:

renforcement des corrlations (loi de Hebb)
12

Les modles Mathmatiques

Le neurone de McCulloch & Pitts
Le neurone formel
Architecture gnrale d un RNA
Structure d Interconnexion

13

Le Neurone de
McCulloch & Pitts

0
1

Inh
Exc

1.0

2.0

1.0
1

Exc

14

Le Neurone Formel

Le neurone formel, lunit lmentaire dun RNA, se

compose de deux parties :
valuation de la stimulation reue (fonction E)
valuation de son activation (fonction f)

Il est caractris par :

son tat X (binaire, discret, continu)
le niveau dactivation reu en entre U (continu)
le poids des connections en entre
15

Le Neurone Formel

La fonction dentre :
somme pondre des signaux dentre

Le biais dentre (bias input):

unit fictive dont le poids permet de rgler le seuil de
dclenchement du neurone
16

Le Neurone Formel
Les fonctions dactivation :

17

Le Neurone Formel
La fonction linaire et la fonction seuil :
Output (sortie)
Activation de la cellule

Output (sortie)
Activation de la cellule
fonction linaire du type
y = x

maximum

maximum

minimum

Input (entres)
Somme pondre des entres
L'activation augmente en mme temps
que la somme pondre des entres. Elle
varie entre un minimum et un maximum

minimum

seuil

Input (entres)
Somme pondre des entres

L'activation passe brutalement de son

minimum son maximum, une fois atteint
le seuil critique en entre.

18

Le Neurone Formel
La fonction sigmode :

t+1
i

1
1+e

X i Si

avec

X i = Wij a j

19

Architecture gnrale dun RNA

Pattern
d'entre

Stimulus
codage

0
1
0
1
1
1
0
0

Pattern
de sortie

Rseau

1
1
0
0
1
dcodage
0
1
0

Rponse

20

Structure dInterconnexion
propagation avant (feedforward)

couche dentre

couche cache
couche de sortie
rseau multicouche

rseau connections
locales

propagation des activations : de l entre vers la sortie

21

Structure dInterconnexion
modle rcurrent (feedback network)

propagation des activations :

synchrone : toutes les units sont mises jour simultanment
asynchrone : les units sont mises jours squentiellement
22

Apprentissage
Dfinition
Apprentissage supervis
Apprentissage non supervis
Rgles d apprentissage

23

Dfinition
L apprentissage est une phase du dveloppement dun
rseau de neurones durant laquelle le comportement du
rseau est modifi jusqu lobtention du comportement
dsir.
On distingue deux grandes classes dalgorithmes
dapprentissage :
Lapprentissage supervis
Lapprentissage non supervis
24

Apprentissage supervis

superviseur

sortie dsire
erreur

rseau

sortie obtenue

25

Apprentissage non supervis

rseau

sortie obtenue

26

Rgles dapprentissage
Lapprentissage consiste modifier le poids des
connections entre les neurones.
i

Wij

Il existe plusieurs rgles de modification :

Loi de Hebb : wij=Raiaj
Rgle de Widrow-Hoff (delta rule) : wij=R(di - ai)aj
Rgle de Grossberg : wij=R(aj - wij)ai
27

Rgles dapprentissage
Loi de Hebb :
Si deux units connectes sont actives simultanment, le poids
de leur connexion est augment ou diminu. R est une constante
positive qui reprsente la force d'apprentissage (learning rate).

ai = -1
ai = 1
aj = -1 Wij = R Wij = -R
aj = 1 Wij = -R Wij = R

w ij

Wij = Rai a j
28

Rgles dapprentissage
Loi de Widrow-Hoff (delta rule) :
ai activation produite par le rseau
di rponse dsire par l'expert humain
Par exemple si la sortie est infrieure la rponse dsire, il
va falloir augmenter le poids de la connexion condition bien
sr que l'unit j soit excitatrice (gale 1). On est dans
l'hypothse d'units boolennes {0,1}.
j
i
ai = 0
ai = 1
w
di = 0 Wij = 0

Wij = -R

di = 1 Wij = R

Wij = 0

ij

Wij = R(di a i )a j
29

Rgles dapprentissage
Loi de Grossberg :
On augmente les poids qui entrent sur l'unit gagnante
ai s'ils sont trop faibles, pour les rapprocher du vecteur
d'entre aj. Cest la rgle dapprentissage utilise dans
les cartes auto-organisatrices de Kohonen

Wij = Rai (a j Wij )

w ij
30

Diffrents modles
Le perceptron
Limite du perceptron
Le perceptron multicouche
Le modle de Hopfield
Le modle d Elmann
Les rseaux ART
31

Le perceptron
Le perceptron de Rosenblatt (1957) est le premier RNA
oprationnel. Cest un rseau propagation avant avec
seulement deux couches (entre et sortie) entirement
interconnectes.
Il est compos de neurones seuil.
L apprentissage est supervis et les poids sont
modifis selon la rgle delta.

32

Le perceptron

Traits significatifs

Classification

j=1
Rtine

Entre

Wij

Sortie

i
ai {-1,+1 }

j=n
aj {1,0 }

33

Limite du perceptron
Le perceptron est incapable de distinguer les patterns
non sparables linairement [Minsky 69]
P

input P
input Q
ET
XOR

0
1
0
1

1
0
0
1

0
0
0
0

1
1
1
0

fonction ET logique

fonction XOR (ou exclusif)

1 0

0 0
0

0
1

0 0
0

patterns sparables linairement

1
1

patterns non sparables linairement

34

Le perceptron multicouche
architecture

Environnement

bias 1

M
bias

couche
d'entre

couche

(input) i

cache
(hidden) j

E
1

couche
de sortie

Environnement

(output) k

35

Le perceptron multicouche
activation
ai
aj

W ji

x j = w jiai
a j = f (x j )

Wbias

bias = 1

fonction sigmode

fonction tangente hyperbolique

1
a = f (x ) =
x
1+ e

e x e x
a = f (x ) = x
x
e +e

f ( x ) = f ( x ).(1 f (x ))

f ( x ) = (1 + f ( x )).(1 f (x ))
36

Le perceptron multicouche
apprentissage : retropropagation de lerreur
S j = aiWij

S k = a jW jk

a j = f (S j )

1 Calcul activations

2 Calcul activations

units caches

units de sortie

Units a
d'entre i

Units a
de sortie k

Units a
caches j

j = W jk k . f (S j )

ak = f ( S k )

Calcul Erreur 3
entre
sorties dsires
et
sorties obtenues

Calcul de l'erreur 5
sur les units caches

Calcul de l'erreur 4
sur les units de sortie

ek = d k ak

k = ek . f (S k )

Ajustement des poids

Apprentissage
Apprentissage
des units de sortie
des units caches

Wij = j ai

W jk = k a j

37

Le modle de Hopfield
les mmoires associatives
Dans une mmoire informatique classique, une information est
retrouve partir d'une cl arbitraire. Par opposition, une
donne entrepose dans une mmoire associative est
accessible partir d'informations qui lui sont associes.
La fonction d'une mmoire associative est de restituer une
information en tenant compte de sa perturbation ou de son
bruit. L'information doit alors se rapprocher d'une information
apprise ou connue.
Si les mmoires associatives restituent des informations
qu'elles ont apprises partir d'entres incompltes ou
bruites, il existe aussi des mmoires htro-associatives qui
en plus peuvent associer plusieurs informations entre elles.
38

Le modle de Hopfield
larchitecture du rseau
Les neurones de Hopfield sont discrets et rpondent une
fonction seuil. Pour des commodits dutilisation, on considre
une fonction seuil trs simple :
1, si x > 0
F(x) =
-1, sinon
Le rseau est compltement connect, et les connexions sont
symtriques.
Les valeurs dentre sont binaires (-1, 1) mais peuvent tre
aisment remplaces par les valeurs binaires usuelles (0, 1) en
utilisant une simple transformation. A(-1,1) = 2.A(0,1) - 1
39

Le modle de Hopfield
principe de fonctionnement

Apprentissage (loi de Hebb):

1
Wij = W ji =
P
Utilisation :

p p
s
i sj
p
P
P

Wii = 0

un vecteur est prsent au rseau

les neurones calculent leurs sorties
les sorties sont propages et on itre jusqu la convergence
40

Le modle de Hopfield
principe de fonctionnement

Modification de ltat dun neurone

t 1
t
si
W
.
s
<
0
alors
s
i = 1
ij j
jN
t 1
t
si Wij .s j > 0 alors si = 1
jN t 1
t
t 1
si Wij .s j = 0 alors si = si
jN

Energie du rseau
E=

1
Wij .s j .si

2 i , jN

41

Le modle de Hopfield
application : reconnaissance de caractre

42

Le modle dElman
le modle rcurrent de rtro-propagation

apprentissage : rtropropagation
application : reconnaissance de srie temporelle
output
Frquence

etc. Units caches

etc.
input
f(x)
Units de contexte
(retour des units caches)

43

Le modle dElman
le modle rcurrent de rtro-propagation

Phase dapprentissage

On prsente une srie temporelle au rseau (f(x)=sin(F*x))

La sortie dsire est fixe (F)
Pour chaque lment de la srie : rtropropagation
On recommence pour deux ou plus valeurs de F

Reconnaissance
Lorsquon prsente une fonction de frquence apprise,
aprs quelques itrations, le rseau russi la reconnatre

Gnralisation
Lorsquon prsente une fonction de frquence non apprise,
le rseau peut interpoler cette dernire
44

Les rseaux concurrentiels

prsentation

Un rseau concurrentiel comporte une couche de

neurone dite comptitive.
Dans cette couche :
les neurones ragissent diffremment aux entres
un neurone est lu vainqueur
le gagnant le droit de modifier ses poids de connexion

Type d apprentissage : supervis / non supervis

45

Les rseaux concurrentiels

fonctionnement
Fonction dactivation
S j = Wij ai
i
Si Sj est le max sur toute la couche comptitive, aj = 1
Sinon aj = 0
Apprentissage
La somme des poids arrivant sur une unit comptitive reste
constante et gale 1
Seule lunit gagnante a le droit de modifier ses poids, afin
quils se rapprochent encore plus du vecteur dentre (mais
ils restent normaliss)
Comptition par inhibition
Il est possible de simuler la comptition par des connections
inhibitrices entre les units comptitives
46

Les rseaux concurrentiels

les cartes topologique de Kohonen

Un rseau de Kohonen est compos d une couche

d entre et d une couche comptitive.
La couche comptitive possde une structure
topologique, ce qui permet de dfinir un voisinage pour
le neurone.
L apprentissage est
non supervis.

47

Les rseaux concurrentiels

les cartes topologique de Kohonen
Les voisins proches du gagnant modifient positivement leurs poids
Les voisins loigns du gagnant modifient ngativement leurs
poids
Aprs lapprentissage, les poids dcrivent la densit et la structure
de la rpartition des vecteurs dentre
Application :
Classification non supervise
Rduction du nombre de dimension
Analyse en composantes principales

48

Les rseaux ART

[Carpenter & Grossberg 87]
Les rseaux ART sont utiliss comme dtecteurs de
caractristiques pour classer des patterns prsents au systme,
tels quils arrivent et sans autre information que leur description
interne, grce aux deux couches de neurones F1 et F2 :
F1 qui dtecte les caractristiques des patterns tudis.
F2 qui classe ces patterns en catgories.
Cest un apprentissage non supervis qui fait appel
simultanment aux deux aspects de la mmoire :
la mmoire long terme (LTM) qui gre les interactions entre
les couches F1 et F2 et senrichit pendant la phase
dapprentissage.
la mmoire court terme (STM) qui dcrit ltat interne des
couches FI et F2 et se modifie chaque cycle du systme. 49