Sleon une édtue de l'Uvinertisé de

Cmabrigde, l'odrre des ltteers dnas

un mtos n'a pas d'ipmrotncae, la
suele coshe ipmrotnate est que la
pmeirère et la drenèire soit à la
bnnoe pclae. Le rsete peut êrte
dnas un dsérorde ttoal et vuos
puoevz tujoruos lrie snas porlblème.
C'est prace que le creaveu hmauin
ne lit pas chuaqe ltetre elle-mmêe,
mias le mot cmome un tuot.
 Chapitre 1
Réseaux de neurones artificiels
 Plan
1- Neurone artificiel
 Modèle
 Activation
 Apprentissage
 Réseaux
 Historique
 Parallèle avec la statistique
 Taxonomie
 Simulateurs
Cours #2 GPA-779
- 3 Application des réseaux de neurones et des systèmes experts
 Découverte
 J.M. Zurada, Introduction to Artificial
Neural Systems, West Publishing,
1992.
 Approche ingénierie
 Orientation pédagogique
 Livre de référence pour études
supérieures (SYS-843 Réseaux de
neurones et systèmes flous)
 S. Thiria, Y. Lechevalier, O. Gascuel
et S. Caru (Eds.), Statistiques et
méthodes neuronales, Dunod (Paris),
1997.
 Découvert en France durant le
sabbatique (2001-2003)
 Aspect statistique des réseaux de
neurones.

Cours #2 GPA-779
- 4 Application des réseaux de neurones et des systèmes experts
 Aperçu des grands domaines
d’application des RNAs
On utilise des réseaux de neurones
artificiels (RNAs) pour tenter de résoudre
des problèmes complexes qui sont plus
faciles à résoudre par le cerveau que par un
ordinateur
 Reconnaissance d’un visage familier
 Système de sonar chez la chauve-souris
 Conduire sous la pluie
 Reconnaissance de forme

Cours #2 GPA-779
- 5 Application des réseaux de neurones et des systèmes experts
 Exemple en reconnaissance
de forme

Cours #2 GPA-779
- 6 Application des réseaux de neurones et des systèmes experts
 Utilité des réseaux de neurones (1)
Modèles de systèmes nerveux
biologiques et de l’intelligence

Corps cellule  unité de calcul

Axone  signal de sortie

impulsions électriques

Dendrites  entrées du neurone

impulsions électriques

Synapses  poids d’une entrée

impuls.  réaction  impuls.

Cours #2 GPA-779
- 7 Application des réseaux de neurones et des systèmes experts
 Utilité des réseaux de neurones (2)
Processeurs adaptatifs de
signal en temps-réel

Le processeur COKOS (Speckmann et al., 1994, tiré de

Kohonen, SOM, 1997) :

• 8 unités parallèles de calcul MAB (Memory Arithmetic

Board)
• Fonctions arithmétiques de base, structure SIMD.
• Mémoire RAM
• Représentation des données en 16 bits
Cours • GPA-779
#2 Prise
- 8 de décision
Application par
des réseaux un réseau
de neurones Winner-Takes-All
et des systèmes experts
 Utilité des réseaux de neurones (3)
Contrôleurs pour des
applications de robotique

Visuomotor Control of Robot Arm (Kohonen, SOM, 1997) :

• Le vecteur u de données d’entrée est donné par la position de

la cible
• Un réseau de neurone SOM à trois dimensions est l’espace de
représentation du bras robot
• Les coordonnées angulaires des joints du bras sont stockées
dans le vecteur 
Cours • GPA-779
#2 Apprentissage
- 9 Application dessupervisé
réseaux de neurones et des systèmes experts
 Utilité des réseaux de neurones (4)
Analyse et interprétation de données -
classification des canneberges

tacy 40 50 60

Indice
canneberge -1 0 1

Cours #2 GPA-779
- 10 Application des réseaux de neurones et des systèmes experts
 Architecture de von Neumann (1)

Unité centrale

de

traitement

Instructions
Données
et

Données

Mémoire

Cours #2 GPA-779
- 12 Application des réseaux de neurones et des systèmes experts
 Architecture de von Neumann (2)
 Cycle d’opération
1. Charger une instruction de la mémoire
2. Charger les données requises par l’instruction
3. Exécuter l’instruction (traiter les données)
4. Emmagasiner les résultats en mémoire
5. Retour à l’étape 1
 Utilisation
 Description d’un problème par un algorithme
 Traitement de symboles selon des règles

Cours #2 GPA-779
- 13 Application des réseaux de neurones et des systèmes experts
 Architecture de von Neumann (3)
 Caractéristiques des machines de von Neumann
 La machine doit connaître à l’avance la séquence des
opérations à effectuer: c’est le programme
 Les données sont dans un format connu et précis
 Dégradation brusque des performances en cas de bris
(crash)
 Correspondance entre les symboles manipulés et le
matériel (chaque objet occupe un bloc précis de
mémoire)

Cours #2 GPA-779
- 14 Application des réseaux de neurones et des systèmes experts
 Difficultés pour les algorithmes
de traitement d’image
 Certaines lettres
inversées

Changement de
contexte

Cours #2 GPA-779
- 15 Application des réseaux de neurones et des systèmes experts
 1.1 Modèle d’un neurone
 Neurone artificiel

 Unité de calcul simple qui essaie de mimer le

fonctionnement d’un neurone biologique

Cours #2 GPA-779
- 16 Application des réseaux de neurones et des systèmes experts
  Le neurone biologique

Cours #2 GPA-779
- 17 Application des réseaux de neurones et des systèmes experts
  Modèle électrique de la
membrane
dV
Cm m = (VNa − VK )GNa + (VK − Vm )GK + (VCl − Vm )GCl
Na : sodium dt
K : potassium
Cl : chlore
Batteries : pompes à ions
Cm : capacité de la
membrane
 Modèle Shunt (Grossberg)
Le potentiel VCl est approximé
nul

Cours #2 GPA-779
- 18 Application des réseaux de neurones et des systèmes experts
  Modèle d’un neurone artificiel
N
net = ∑ w x ±θ
x1 Wm
m n=1 mn n m
1
⎛ ⎛ N ⎞⎞
x2 Wm 2
y = f⎜
m
⎜ ⎟ = f (a )
⎜F ⎜ ∑ wmn xn ,am ⎟⎟
⎟ m
⎝ ⎝n = 0 ⎠⎠
Xk

x3 Wm 3
€a (k)
m
Wm ym ym
x4
Entrée

4
netm
Wm 5
€ = =
x5 Wm
m f(a) Sortie
n
F(net,a)
xn €
Wm N

f :
xN
Binaire ou Linéaire Sigmoïde
Signe à seuil

Cours #2 GPA-779
- 19 Application des réseaux de neurones et des systèmes experts
 Notation
netm valeur d’entrée du am activation du neurone m.
neurone m. Aussi appelé
potentiel
Généralement 1 site (noté xm)
par neurone.
F() fonction d’activation
ym valeur de sortie du
neurone m. f() fonction de sortie
∑ −θ m
Wmn poids de la connexion  seuil ∑ +β m
m
de la sortie du ou
neurone n au polarisation €
synapse d’entrée €
du neurone m
du neurone m

Cours #2 GPA-779
- 20 Application des réseaux de neurones et des systèmes experts
 1.2 Fonction de site
netm
xn
m

 Utilisation d’un seuil ou d’une polarisation j

En général, on considère m comme une connexion
supplémentaire.
seuil m
m1
polarisation m

Cours #2 GPA-779
- 21 Application des réseaux de neurones et des systèmes experts
 netm : Somme pondérée de toutes les
entrées à ce site du neurone
netm : lorsqu’il y a 1 site
sim : lorsqu’il y a plus d’un site par
neurone
N v v
net m = ∑ wmn xn = Wm • X
n=0
k
W
v v 
netm = Wm ⋅ X cos(θ ) X
€ k

Cours #2 GPA-779
- 22 €
Application des réseaux de neurones et des systèmes experts
 1.3 Fonction d’activation F()
 Linéaire : la plus courante

N
a = net = ∑ w x
m m mn n
n=0

Cours #2 GPA-779
- 23 Application des réseaux de neurones et des systèmes experts
  Shunt: simulation d’une
cellule nerveuse
On part de l’équation
dynamique
d’une cellule
nerveuse

da = −Aa +(B− a)E −(C + a)I

dV
Cm m = (V − V )G + (V − Vm )G + (V − Vm )G
dt Na K Na K K Cl Cl

Excitation Inhibition pas

Cours #2 GPA-779
- 24 Application des réseaux de neurones et des systèmes experts
 1.4 Fonction de sortie f()
 Linéaire : ym = am
 Binaire : souvent avec seuil m
 Signe : +1 si am positive, -1 sinon
 Sigmoïde : compression de la plage
de sortie, différentiable (pour
la rétropropagation d’erreur)

Cours #2 GPA-779
- 25 Application des réseaux de neurones et des systèmes experts
 Sigmoïde
Le paramètre T
commande la pente à
l’origine

Sortie unipolaire y= 1
−a
1+e T

Sortie bipolaire y=tanh( a )

2T

Cours #2 GPA-779
- 26 Application des réseaux de neurones et des systèmes experts
  Résumé
Un neurone (ou une couche) est caractérisé
principalement (la plupart des modèles) par
sa fonction de sortie et par la valeur de son
seuil ou polarisation que l’on indique dans
le cercle du neurone. On modélise ce
paramètre par un lien relié à 1

Cours #2 GPA-779
- 27 Application des réseaux de neurones et des systèmes experts
 1.5 Apprentissage
 Apprentissage
 Modification des poids jusqu’à atteindre
une sortie «correcte» pour les formes
d’entrée du set d’apprentissage
 Généralisation
 Capacité du réseau à produire une réponse
correcte à une forme non-apprise

Cours #2 GPA-779
- 31 Application des réseaux de neurones et des systèmes experts
  Règle d’apprentissage
 Fonction de modification des poids
Δw ji∝xi⋅r avec r : signal d’apprentissage

avec  : constante d’apprentissage

Δw ji=η⋅xi⋅r(w ji,y j,d j)

 Catégories d’apprentissage
 Supervisé présence du tuteur dj
 Non-supervisé absence de signal-tuteur

Cours #2 GPA-779
- 32 Application des réseaux de neurones et des systèmes experts
 N
neti= ∑ winxn±θi
n=1

Δwin=η⋅xn⋅r(win,yi,di)
x1 Wi 1

x2 Wi 2 ΔWi=η r(Wi,yi,di)X
x3 Wi
Entrée X

3
ai (k)
yi Sortie yi
Wi
x4
4
neti
Wi 5 = =
x5 Wi n
j f(a)
F(net,a)
xn Wi N

wi n
Générateur du
xN xn
r
di
signal

d’apprentissage

Cours #2 GPA-779
- 33 Application des réseaux de neurones et des systèmes experts
 1.6 Réseaux de neurones
 Simple couche, par anticipation

Cours #2 GPA-779
- 34 Application des réseaux de neurones et des systèmes experts
  Multicouche, en cascade

y1 d1
x1
x2 y2 d2

entrée cachée sortie

Cours #2 GPA-779
- 35 Application des réseaux de neurones et des systèmes experts
  Multicouche, en cascade, partiel
Champ
récepteur
de i i

Cours #2 GPA-779
- 36 Application des réseaux de neurones et des systèmes experts
  Multicouche, résonant

Cours #2 GPA-779
- 37 Application des réseaux de neurones et des systèmes experts
  Monocouche, récurrent

Cours #2 GPA-779
- 38 Application des réseaux de neurones et des systèmes experts
 1.7 Historique
 McCulloch & Pitts 1943
Modèle simple de neurone biologique.
Sortie binaire, poids fixes
Réseaux pour simuler opérations logiques de base
(ex.: portes ET, OU, OU Exclusif)
 Donald Hebb (McGill) 1949
Professeur éminent de psychologie
Première loi d’apprentissage

Δw ji∝xi⋅y j
 Rosenblatt 1959
Perceptron

Cours #2 GPA-779
- 39 Application des réseaux de neurones et des systèmes experts
  Minsky & Papert 1969
Article qui monte les limitations du Perceptron

Période de grande noirceur

Chercheurs actifs :
Grossberg ; Fukishawa
Kohonen ; Amari ; Anderson

 Hopfield 1982
Groupe PDP 1986
Renaissance de l’intérêt

Cours #2 GPA-779
- 40 Application des réseaux de neurones et des systèmes experts
Statistique et réseaux de neurones
Une question de nomenclature?
Réseaux de neurones Statistiques
Apprentissage Estimation
Poids Paramètres
Connaissance Valeur des paramètres
Apprentissage supervisé Régression / classification
Classification Discrimination / classement
Apprentissage non-supervisé Estimation de densité / clustering
Clustering Classification / taxinomie
Réseau de neurones Modèle
Grand : 100 000 poids Grand : 50 paramètres
Ensemble d’apprentissage Échantillon
Grand : 50 000 exemples Grand : 200 cas.
Cours #2 GPA-779
- 41 Application des réseaux de neurones et des systèmes experts
 1.8 Taxonomie
La taxonomie consiste à bâtir un arbre de
classification des réseaux neuroniques selon le
nombre de couches, la méthode de recherche
de solution et la règle d’apprentissage

Une des toutes premières taxonomies proposée

dans la littérature fut l’arbre de classification de
Lippmann, en 1987. Cet arbre de classification a
longtemps été considéré comme un classique
dans le domaine.

Cours #2 GPA-779
- 42 Application des réseaux de neurones et des systèmes experts
  Taxonomie de Lippmann (1987)

Cours #2 GPA-779
- 43 Application des réseaux de neurones et des systèmes experts
  Taxonomie de Jain et al. (1996)

Cours #2 GPA-779
- 44 Application des réseaux de neurones et des systèmes experts
  Taxonomie générale
Réseaux Réseaux
# couches
monocouches multicouches

Anticipation Récurrent Anticipation Résonant dynamique

non non non non

supervisé supervisé supervisé supervisé supervisé supervisé supervisé supervisé apprentis.
Perceptron Compétition Perceptron Multiréso-
Adaline Oja Sanger Hopfield BSB (rétroprop) lution ARTMAP ART 1-2 modèle
Mémoire Cellulaire Boltzmann Eidos Madaline BCS BAM SARDSRN
associative SOFM RBF
LVQ1-2 LVQ Cognitron
Convolution

Cours #2 GPA-779
- 45 Application des réseaux de neurones et des systèmes experts
 Taxonomie pour la
reconnaissance de formes
 Problématique

Extraction Système
X des Y de D
primitives décision

Espace Espace Espace

d'entrée des primitives des décision

Cours #2 GPA-779
- 46 Application des réseaux de neurones et des systèmes experts
  Taxonomie pour la reconnaissance de formes

Extraction de primitives Système de décision

Type (a) : vecteurs propres

réseau d’Oja; réseau de Sanger
composantes principales
composantes indépendantes
Type (b) : vecteurs prototypes
réseaux LVQ; LVQ1 et LVQ2
réseau SOFM de Kohonen
Réseaux de classification
neurone de McCulloch & Pitts
perceptron de Rosenblatt
Adaline; Madaline
réseau à base radiale (RBF)

Type (c) : primitives visuelles Mémoires associatives

réseau cellulaire; BCS statiques : matrices
pyramide multirésolution itératives : Hopfield, BAM
réseau impulsionnel de Eckhorn séquentielles : SARDSRN, SARDNET
réseaux convolutifs : ACP : Brain State in a Box, EIDOS
Néocognitron; convolution
Réseaux mixtes d’extraction de primitives et de classification
réseaux multicouches : rétropropagation du gradient d’erreur ; G.A.L.
réseaux résonants : ART1, ART2, ARTMAP

Cours #2 GPA-779
- 54 Application des réseaux de neurones et des systèmes experts
 1.9 Simulateurs
 Approche objet
 Environnement
graphique évolué
 Inspirée de la POO
 Neurone  objet
– Attributs
 Valeur d’activation
 Valeur de sortie
 Poids
 etc.
– Méthodes
 Fonctions
d’activation, de sortie
 Apprentissage

Cours #2 GPA-779
- 55 Application des réseaux de neurones et des systèmes experts
  Approche
matricielle
 Utilisation de
logiciels spécialisés
en traitement
matriciel
– MATLAB
– Mathematica
 couche  vecteur
 poids  matrice

Cours #2 GPA-779
- 56 Application des réseaux de neurones et des systèmes experts
 Approche par
programmation
 Environnement de
simulation
 Language orienté objet :
C++ ou Java
 Objet informatique :
– Attributs
– Méthodes

Valentini, G. & Masulli, F.

(2002). NEURObjects: an
object-oriented library
for neural network
development.
Neurocomputing, 48, 623-
646.
Cours #2 GPA-779
- 57 Application des réseaux de neurones et des systèmes experts
  YANNS
Yet Another Neural Network
Simulator
http://www-rocq.inria.fr/~crucianu/
yanns/
 Langage de description simple
 Interface graphique multiplateforme en
Java
 Noyau de simulation et bibliothèque en
C++

Boné, R., Crucianu, M., et Asselin

de Beauville, J.-P., «Yet
Another Neural Network
Simulator», dans Proceedings of
the NEURal networks and their
APplications (NEURAP'98), 1998,
Vol., tenue à Marseille,
Francep. 421-424.

Cours #2 GPA-779
- 58 Application des réseaux de neurones et des systèmes experts