Vous êtes sur la page 1sur 47

Sleon une dtue de l'Uvinertis de

Cmabrigde, l'odrre des ltteers dnas un


mtos n'a pas d'ipmrotncae, la suele
coshe ipmrotnate est que la pmeirre et
la drenire soit la bnnoe pclae. Le
rsete peut rte dnas un dsrorde ttoal et
vuos puoevz tujoruos lrie snas
porlblme. C'est prace que le creaveu
hmauin ne lit pas chuaqe ltetre elle-
mme, mias le mot cmome un tuot.
Chapitre 1
Rseaux de neurones artificiels
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 3
Plan
1- Neurone artificiel
Modle
Activation
Apprentissage
Rseaux
Historique
Parallle avec la statistique
Taxonomie
Simulateurs
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 4
Dcouverte
J.M. Zurada, Introduction to Artificial
Neural Systems, West Publishing,
1992.
Approche ingnierie
Orientation pdagogique
Livre de rfrence pour tudes
suprieures (SYS-843 Rseaux de
neurones et systmes flous)
S. Thiria, Y. Lechevalier, O. Gascuel
et S. Caru (Eds.), Statistiques et
mthodes neuronales, Dunod (Paris),
1997.
Dcouvert en France durant le
sabbatique (2001-2003)
Aspect statistique des rseaux de
neurones.
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 5
Aperu des grands domaines
dapplication des RNAs
On utilise des rseaux de neurones
artificiels (RNAs) pour tenter de rsoudre
des problmes complexes qui sont plus
faciles rsoudre par le cerveau que par un
ordinateur
Reconnaissance dun visage familier
Systme de sonar chez la chauve-souris
Conduire sous la pluie
Reconnaissance de forme
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 6
Exemple en reconnaissance
de forme
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 7
Utilit des rseaux de neurones (1)
Modles de systmes nerveux
biologiques et de lintelligence

Corps cellule unit de calcul

Axone signal de sortie
impulsions lectriques

Dendrites entres du neurone
impulsions lectriques

Synapses poids dune entre
impuls. raction impuls.
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 8
Utilit des rseaux de neurones (2)
Processeurs adaptatifs de
signal en temps-rel
Le processeur COKOS (Speckmann et al., 1994, tir de Kohonen, SOM, 1997) :

8 units parallles de calcul MAB (Memory Arithmetic Board)
Fonctions arithmtiques de base, structure SIMD.
Mmoire RAM
Reprsentation des donnes en 16 bits
Prise de dcision par un rseau Winner-Takes-All
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 9
Utilit des rseaux de neurones (3)
Contrleurs pour des
applications de robotique
Visuomotor Control of Robot Arm (Kohonen, SOM, 1997) :

Le vecteur u de donnes dentre est donn par la position de la cible
Un rseau de neurone SOM trois dimensions est lespace de reprsentation du bras robot
Les coordonnes angulaires des joints du bras sont stockes dans le vecteur u
Apprentissage supervis
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 10
Utilit des rseaux de neurones (4)
Analyse et interprtation de donnes -
classification des canneberges
0 1
-1
40 50 60 tacy
Indice
canneberge

GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 12
Architecture de von Neumann (1)
Unit centrale
de
traitement
Mmoire
Donnes
Instructions
et
Donnes
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 13
Cycle dopration
1. Charger une instruction de la mmoire
2. Charger les donnes requises par linstruction
3. Excuter linstruction (traiter les donnes)
4. Emmagasiner les rsultats en mmoire
5. Retour ltape 1
Utilisation
Description dun problme par un algorithme
Traitement de symboles selon des rgles
Architecture de von Neumann (2)
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 14
Caractristiques des machines de von Neumann
La machine doit connatre lavance la squence des
oprations effectuer: cest le programme
Les donnes sont dans un format connu et prcis
Dgradation brusque des performances en cas de bris
(crash)
Correspondance entre les symboles manipuls et le
matriel (chaque objet occupe un bloc prcis de
mmoire)
Architecture de von Neumann (3)
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 15
Difficults pour les algorithmes
de traitement dimage
Certaines lettres
inverses
Changement de contexte
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 16
1.1 Modle dun neurone
Neurone artificiel

Unit de calcul simple qui essaie de mimer le
fonctionnement dun neurone biologique

GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 17
Le neurone biologique
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 18
Modle lectrique de la
membrane
Na : sodium
K : potassium
Cl : chlore
Batteries : pompes ions
Cm : capacit de la
membrane
Modle Shunt (Grossberg)
Le potentiel V
Cl
est approxim
nul
C
m
dV
m
dt
=(V
Na
V
K
)G
Na
+(V
K
V
m
)G
K
+(V
Cl
V
m
)G
Cl
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 19
Sortie
x
1

x
2

x
3

x
4

x
n

x
N

x
5

E
n
t
r

e


X
k

W
m 1

W
m 2

W
m 3

W
m 4

W
m 5

W
m n

W
m N


y
m
Modle dun neurone artificiel
y
m

=
f(a)
net
m

u
m

f :
Binaire ou
Signe
Linaire
seuil
Sigmode

net
m
= w
mn
x
n
u
m
n=1
N


y
m
= f F w
mn
n = 0
N
x
n
, a
m
|
\


|
.
|
|
|
\


|
.
|
|
= f a
m
( )
a
m
(k)
F(net,a)
=
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 20
Notation
net
m
valeur dentre du
neurone m.
Gnralement 1 site
par neurone.

y
m
valeur de sortie du
neurone m.

W
mn
poids de la connexion
de la sortie du neurone
n au synapse dentre
du neurone m

a
m
activation du neurone m.
Aussi appel
potentiel (not x
m
)

F() fonction dactivation

f() fonction de sortie

u
m
seuil
ou polarisation
du neurone m

u
m


+|
m

GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 21


1.2 Fonction de site
Utilisation dun seuil ou dune polarisation u
j

En gnral, on considre u
m
comme une connexion
supplmentaire.
net
m

u
m

x
n

u
m

1
seuil
polarisation
|
m

GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 22
net
m
: Somme pondre de toutes les
entres ce site du neurone
net
m
: lorsquil y a 1 site
s
im
: lorsquil y a plus dun site par neurone

net
m
= w
mn
x
n
=W
m
-X
k
n=0
N


net
m
= W
m
X
k
cos u
( )
u
W
X
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 23
1.3 Fonction dactivation F()
Linaire : la plus courante

a
m
= net
m
= w
mn
x
n
n = 0
N

GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 24


Shunt: simulation dune cellule
nerveuse
On part de lquation
dynamique
dune cellule nerveuse
da=Aa+(Ba)E(C+a)I
C
m
dV
m
dt
=(V
Na
V
K
)G
Na
+(V
K
V
m
)G
K
+(V
Cl
V
m
)G
Cl
Excitation Inhibition passif
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 25
1.4 Fonction de sortie f()
Linaire : y
m
= a
m
Binaire : souvent avec seuil u
m
Signe : +1 si a
m
positive, -1 sinon
Sigmode : compression de la plage

de sortie, diffrentiable (pour
la rtropropagation derreur)
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 26
Sigmode
Le paramtre T
commande la pente
lorigine

Sortie unipolaire





Sortie bipolaire

y=
1
1+e
a
T

y=tanh
a
2T
( )
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 27
Rsum
Un neurone (ou une couche) est caractris
principalement (la plupart des modles) par
sa fonction de sortie et par la valeur de son
seuil ou polarisation que lon indique dans
le cercle du neurone. On modlise ce
paramtre par un lien reli 1
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 31
1.5 Apprentissage
Apprentissage
Modification des poids jusqu atteindre
une sortie correcte pour les formes
dentre du set dapprentissage
Gnralisation
Capacit du rseau produire une rponse
correcte une forme non-apprise
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 32
Rgle dapprentissage
Fonction de modification des poids
avec r : signal dapprentissage

avec q : constante dapprentissage

Catgories dapprentissage
Supervis prsence du tuteur d
j

Non-supervis absence de signal-tuteur

Aw
ji
x
i
r

Aw
ji
=qx
i
r w
ji
,y
j
,d
j
( )
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 33

net
i
= w
in
x
n
u
i
n=1
N

=
a
i
(k)
F(net,a)
y
i

=
f(a)
net
i

u
j

x
1

x
2

x
3

x
4

x
n

x
N

x
5

Sortie y
i
W
i 1

W
i 2

W
i 3

W
i 4

W
i 5

W
i n

W
i N

E
n
t
r

e

X


Aw
in
=qx
n
r w
in
,y
i
,d
i
( )

AWi=qr(Wi,yi,di)X
Gnrateur du
signal
dapprentissage
x
n
q

Aw
i n

d
i

r
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 34
1.6 Rseaux de neurones
Simple couche, par anticipation
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 35
Multicouche, en cascade
entre cache sortie
y
1

y
2
d
2

d
1

x
2

x
1

GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 36
Multicouche, en cascade, partiel
Champ
rcepteur
de i
i
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 37
Multicouche, rsonant
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 38
Monocouche, rcurrent
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 39
1.7 Historique
McCulloch & Pitts 1943
Modle simple de neurone biologique.
Sortie binaire, poids fixes
Rseaux pour simuler oprations logiques de base
(ex.: portes ET, OU, OU Exclusif)
Donald Hebb (McGill) 1949
Professeur minent de psychologie
Premire loi dapprentissage


Rosenblatt 1959
Perceptron

Aw
ji
x
i
y
j
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 40
Minsky & Papert 1969
Article qui monte les limitations du Perceptron


Priode de grande noirceur

Chercheurs actifs :
Grossberg ; Fukishawa
Kohonen ; Amari ; Anderson

Hopfield 1982
Groupe PDP 1986
Renaissance de lintrt
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 41
Statistique et rseaux de neurones
Une question de nomenclature?
Rseaux de neurones Statistiques
Apprentissage Estimation
Poids Paramtres
Connaissance Valeur des paramtres
Apprentissage supervis Rgression / classification
Classification Discrimination / classement
Apprentissage non-supervis Estimation de densit / clustering
Clustering Classification / taxinomie
Rseau de neurones Modle
Grand : 100 000 poids Grand : 50 paramtres
Ensemble dapprentissage chantillon
Grand : 50 000 exemples Grand : 200 cas.
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 42
1.8 Taxonomie
La taxonomie consiste btir un arbre de
classification des rseaux neuroniques selon le
nombre de couches, la mthode de recherche
de solution et la rgle dapprentissage

Une des toutes premires taxonomies propose
dans la littrature fut larbre de classification de
Lippmann, en 1987. Cet arbre de classification a
longtemps t considr comme un classique
dans le domaine.
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 43
Taxonomie de Lippmann (1987)
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 44
Taxonomie de Jain et al. (1996)
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 45
Taxonomie gnrale
# couches
dynamique
modle
apprentis.
Rseaux
monocouches
Anticipation Rcurrent Anticipation Rsonant
supervis
non
supervis
Percept ron
Adaline
Mmoire
associat ive
Comptition
Oja Sanger
Cellulaire
LVQ1-2 LVQ
SOFM
Rseaux
multicouches
supervis
non
supervis
Percept ron
(rtroprop)
Madaline
RBF
Multirso-
lut ion
BCS
supervis
non
supervis
Hopfield
Bolt zmann
BSB
Eidos
supervis
non
supervis
ARTMAP ART 1-2
BAM
Cognitron
Convolution
SARDSRN
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 46
Espace
d'entre
X
Extraction
des
primitives
Espace
des primitives
Y
Systme
de
dcision
Espace
des dcisions
D
Problmatique
Taxonomie pour la
reconnaissance de formes
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 54
Taxonomie pour la reconnaissance de formes
Extraction de primitives Systme de dcision
Type (a) : vecteurs propres
rseau dOja; rseau de Sanger
composantes principales
composantes indpendantes
Type (c) : primitives visuelles
rseau c ellulaire; BCS
pyramide multirsolution
rseau impulsionnel de Eckhorn
Type (b) : vecteurs prototypes
rseaux LVQ; LVQ1 et LVQ2
rseau SOFM de Kohonen
Rseaux de classification
neurone de McCulloch & Pitts
perceptron de Rosenblatt
Adaline; Madaline
rseau base radiale (RBF)
Mmoires associatives
statiques : matrices
itratives : Hopfield, BAM
squentielles : SARDSRN, SARDNET
ACP : Brain St at e in a Box, EIDOS
Rseaux mixtes dextraction de primitives et de classification
rseaux multic ouches : rtropropagation du gradient derreur ; G.A. L.
rseaux rsonants : ART1, ART2, ARTMAP
rseaux convolutifs:
Noc ognitron; c onvolution
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 55
1.9 Simulateurs
Approche objet
Environnement
graphique volu
Inspire de la POO
Neurone objet
Attributs
Valeur dactivation
Valeur de sortie
Poids
etc.
Mthodes
Fonctions
dactivation, de sortie
Apprentissage
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 56
Approche
matricielle
Utilisation de
logiciels spcialiss
en traitement
matriciel
MATLAB
Mathematica
couche vecteur
poids matrice
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 57
Approche par
programmation
Environnement de
simulation
Language orient objet :
C++ ou Java
Objet informatique :
Attributs
Mthodes

Valentini, G. & Masulli, F. (2002).
NEURObjects: an object-oriented
library for neural network
development. Neurocomputing,
48, 623-646.
GPA-779 Application des rseaux de neurones et des systmes experts Cours #2 - 58
YANNS
Yet Another Neural Network
Simulator
http://www-
rocq.inria.fr/~crucianu/yanns/
Langage de description simple
Interface graphique multiplateforme en
Java
Noyau de simulation et bibliothque en
C++

Bon, R., Crucianu, M., et Asselin de Beauville,
J.-P., Yet Another Neural Network
Simulator, dans Proceedings of the
NEURal networks and their APplications
(NEURAP'98), 1998, Vol., tenue
Marseille, Francep. 421-424.