Chapitre I

Les réseaux de Neurones

Artificiels
Chapitre I Les Réseaux de Neurones Artificiels

I.1 Introduction

L’
évol
uti
on t
echnol
ogi
que dur
antl
esde
rni
ère
sanné
esa pe
rmi
s aux scientifiques
d’
éla
bor
ere
tdepe
rfe
cti
onne
rde
smé
thode
spourdi
ff
ére
ntsdoma
ine
s.L’
évol
uti
on de
s
or
dina
teur
senpa
rti
cul
iere
tlac
apa
cit
éd’
int
égr
ati
ondec
ompos
ant
sfor
mida
blea
tte
int
es à nos
jours ont permis une grande vitesse de calcul et une grande capacité mémoire. Parmi ces
méthodes, il existe une méthode qui est utilisée dans plusieurs domaines de recherches et de
di
ff
ére
nte
sma
niè
res
,ai
nsie
llepe
utê
treut
il
is
éed’
unema
niè
rec
ompl
ète
mentSof
tenut
il
is
ant
uni
que
mentl
’or
dina
teurou d’
unema
niè
reHa
rde
n ut
il
is
antl
esc
irc
uit
s intégrés. Cette
méthode est celle des réseaux de neurones artificiels (RNA).

Les réseaux de neurones artificiels sont des outils puissants capables d’

êtr
eut
il
is
és dans
près que tous les domaines technologiques, et on peut citer : Le traitement du signal, vision,
parole, prévision, modélisation, aide à la décision, robotique, évaluation des écosystèmes,
identification des bactéries, commande des processus, modélisation des systèmes physiques,
reconnaissance des formes, mesure, instrumentation,... [1].

I.2 Historique

Les débuts des RNA ont été mouvementés, leur conception et leur dé
vel
oppe
mentn’
a
pas été une chose facile car après leur mise au point, il y a plus de soixante ans, ils ont
r
enc
ont
réunepé
riode des
omme
ilàc
aus
edel
eurc
ompl
exi
téd’
impl
éme
nta
tion e
tde
réalisation mais ils ontf
inipa
rré
appa
raî
tr
eave
cl’
appa
rit
ionde
spui
ssa
nts ordinateurs.

Les RNA ont commencé à voir le jour dès 1890 avec W. James, un célèbre psychologue
Américain qui a introduit le concept de mémoire associative, et proposa une loi de
fonctionnement pourl
’appr
ent
is
sag
esurl
esr
ése
auxdene
urone
s. Cette règle sera connue sous
le nom : la règle de Hebb. En 1943, Mc Culloch et Pitts deux bio-physiciens de l
’uni
ver
sit
éde
Chi
cag
oontdé
mont
réqu’
unr
ése
audene
urone
sdi
scr
etpe
utr
epr
ése
nte
rn’
impor
tequelle
f
onc
tion bool
éenne
,pr
inc
ipedeb
ased’
un or
dina
teur
.Que
lque
s années après, en 1949
D.
Hebb,phy
siol
ogi
st
eamé
ric
aine
xpl
iquel
econdi
ti
onne
mentc
hezl
’ani
malpa
rle
spr
opr
iét
és
des neurones eux-mêmes. La loi de modification des propriétés des connexions entre neurones
qu’
ilpr
opos
e démontre en partie ses résultats expérimentaux. Il introduit le terme
connexionisme pour parler de modèles massivement parallèles, connectés et proposé de
nombreuses règles de mise à jour des poids dont la célèbre règle de Hebb. Rosenblatt proposa

El
ect
rot
ech
niq
ueM’
sil
a2006 2
Chapitre I Les Réseaux de Neurones Artificiels

en 1958 le perceptron, un réseau de neurones inspiré du système visuel. Il possède deux

couches de neurones :

- une couche de perception,

- une couche liée à la prise de décision.

C'est le premier système artificiel capable d'apprendre par expérience. Ce réseau, était
c
apa
bled’
appr
endr
eàdi
ff
ére
nci
erde
sfor
mess
impl
ese
tàc
alc
ule
rce
rta
ine
sfonc
tions
logiques. Dans la même période, Le modèle de L'Adaline (adaptive linar element) a été
présenté par B. Widrow, chercheur Américain à Stanford. Ce modèle sera par la suite le
modèle de base des réseaux multicouches.

L’
unede
sca
use
squie
stàl
’or
igi
nedudé
sint
ére
sse
mentde
sche
rche
ursa
uxRNA est
apparue en 1969, avecl
’appa
rit
iond’
unl
ivr
econnusous le nom Perceptrons de Minsky et
Papert et dans lequel ils publièrent leur argumentation mathématique visant à démontrer les
limitations du perceptron (Réseaux de neurones à une seule couche) et en particulier,
l
’i
nca
pac
itédur
ése
auàr
ésoudr
ele
spr
obl
ème
snonl
iné
air
eme
nts
épa
rabl
es,dontl
afonc
tion
logique XOR est un célèbre exemple. Cen’
estqu’
audé
butde
sanné
es80 quel
’i
nté
rêtde
s
chercheurs pour les réseaux de neurones renaît et plus précisément en 1982 grâce à Hopfield
qui proposa les réseaux de neurones associatifs. Parallèlement, Werbos conçoit un mécanisme
d’
appr
ent
is
sagepourl
esr
ése
auxmul
ti
couc
hesdet
ypepe
rce
ptr
on.
L’
anné
e1986 a vul
’appa
rit
iond
el’
alg
ori
thmeder
étr
opropagat
iondel
’er
reurpubl
ié par
Rume
lha
rt,Hi
ntone
tWi
ll
iams
rre
urquipe
rme
td’
opt
imi
serl
espa
ramè
tre
sd’
unr
ése
au de
neurones à plusieurs couches, ainsi les recherches sur les réseaux de neurones ont démarré
fortement, impliquant le succès de cette méthode et son application dans divers domaines [1]
[2].

I.3 Le neurone biologique

I.3.1 Système Nerveux

Le cerveau humain, est le meilleur modèle de la machine, polyvalente incroyablement

r
api
dee
tsur
toutdoué
ed’
unei
nco
mpa
rabl
eca
pac
itéd’
aut
o organisation. Son comportement
est beaucoup plus mystérieux que le comportement de ses cellules de base. Il est constitué
d’
ungrand nombr
ed’
uni
tésbi
olog
ique
sél
éme
nta
ire
s(1000 à 10000 synapse par neurone).

El
ect
rot
ech
niq
ueM’
sil
a2006 3
Chapitre I Les Réseaux de Neurones Artificiels

Les cellules nerveuses appelées " neurones ", sont les éléments de base du système nerveux
central. Elles sont constituées de trois parties essentielles : le corps cellulaire, les dendrites et
l
’axonefigure (I.1) [1][2].

I.3.1.1 Le corps cellulaire

Il contient le noyau du neurone et effectue les transformations biochimiques nécessaires
à la synthèse des enzymes et des autres molécules qui assurent la vie de neurone. Sa forme est
pyramidale ou sphérique dans la plupart des cas, elle dépend souvent de sa position dans le
cerveau. Ce corps cellulaire fait quelques microns de diamètre [3].
I.3.1.2 Les dendrites
Chaque neurone possède une chevelure de dendrites. Celles-ci sont de fines extensions
t
ubul
air
es,deque
lque
sdi
xiè
mesdemi
cronsdedi
amè
tree
td’
unel
ong
ueurde quelques
dizaines de microns. Elles sont les récepteurs principaux du neurone qui servent à capter les
signaux qui lui parviennent [3].
I.3.1.3 L’
axone
L’
axone
,quie
stàpr
opr
eme
ntpa
rle
rlaf
ibr
ene
rve
use
,se
rtdemoy
endet
rans
por
tpour
les signaux émis par le neurone. Il se distingue des dendrites par sa forme et par les propriétés
de sa membrane externe. En effet, il est généralement plus longue que les dendrites, et se
ramifie à son extrémité, là oŭ i
lcommuni
que a
vecl
esa
utr
esne
urone
s,a
lor
sque l
es
ramifications des dendrites se produisent plutôt près du corps cellulaire.
Pour former le système nerveux, les neurones sont connectés les uns aux autres suivant des
répartitions spatiales complexes. Lat
rans
mis
sione
ntr
ede
uxne
urone
sn’
estpa
sdi
rec
te.Enfait,
ul
il existe un espace intercell a
ired
eque
lque
sdi
zai
nesd’
Angstrom (10-9 m) ent
rel
’axonedu
neurone et les dendritesd’
una
utr
eneurone. La jonction entre deux neurones est appelée la
synapse [1][3].

Figure (I.1) Le neurone biologique

El
ect
rot
ech
niq
ueM’
sil
a2006 4
Chapitre I Les Réseaux de Neurones Artificiels

I.4 Le neurone formel

I.4.1 Définition

Le neurone formel est le modèle mathématique du neurone biologique. Il fait la somme

pondérée de ses entrées, s
uivi
ed’
unenonl
iné
ari
té(
élé
mentdedécision pour les classifieurs)
a
ppe
léef
onc
tiond’
act
iva
tionou fonction de seuil.
Le
sent
rée
sd’
unne
urones
onts
oitd
ese
ntr
éese
xte
rne
s,s
oitde
ssor
ti
esd’
autres neurones [4].
Les
ché
mad’
unne
uronef
orme
l est donné par la figure (I.2)

+1
Ei1
Wi1 Wi 0
Oi f 
Li 
Ei 2

∙
∙Wi 2
∙
LI f
∙
∙ Sortie
∙
∙
E∙
in

Win
Entrée Poids

Figure (I.2) Sc
hémad’
unne
uronef
orme
l

Le choix de la fonction d'activation dépend de l'application [1].

I.4.2 Principe de fonctionnement

L’
équa
tiondes
ort
ieOi du neurone i est donnée par :

Oi f 
Li  (I.1)

Où

Li Wijk Eij Wiok (I.2)

Les coefficients de pondération Wij sont appelés coefficients synaptiques

Souvent, il y a un paramètre additionnel Wi0, ce terme est considéré comme la valeur du seuil
interne du neurone [4].

El
ect
rot
ech
niq
ueM’
sil
a2006 5
Chapitre I Les Réseaux de Neurones Artificiels

I.4.3 Fonc
tiond’
activation

C’
estunef
onc
tion présentée généralement par une non linéarité appelée aussi fonction
de seuil. Elle permet de dé
fini
rl’
éta
tint
ernedune
uronee
n fonction de son entrée totale

Les fonctions les plus souvent utilisées sont représentées par la figure (I.3) [11].

f
f

s
s s

(b) Fonction sigmoïde f 

1
(a) Fonction linéaire avec seuil s 
1 e S

f
f +1

s s

-1
1 e S
(c) Fonction a seuils multiples (d) Fonction sigmoïde f 
s 
1 e S

(f) Fonction de stochastique

El
ect
rot
ech
niq
ueM’
sil
a2006 6
Chapitre I Les Réseaux de Neurones Artificiels

ƒ ƒ
+1

s s
s
(e) Fonction de Heaviside (g) Fonction linéaire sans saturation

i
Figure (I.3) Les différentes formes de la fonctond’
act
iva
tion

Tout
esl
esf
onc
tionsd’
act
iva
tionutilis
éesdoi
ventê
tredi
ff
ére
nti
abl
es,c
arl
’ar
chi
tec
tur
edu
r
ése
audene
urone
sl’
impos
epourq
uel
’appr
ent
is
sages
oitpos
sibl
e[11].

I.5 Propriétés des réseaux de neurones

L’
int
érê
tpor
téa
ujour
d’huia
uxr
ése
auxde neurones tient sa justification dans quelques
pr
opr
iét
ési
nté
res
sant
esqu’
il
spos
sède
nte
tquide
vra
ientpe
rme
ttr
ededé
pas
serl
esl
imi
tat
ions
del
’i
nfor
mat
iquet
radi
ti
onne
lle
,ta
nta
uni
vea
upr
ogr
amma
tionqu’
auni
vea
uma
chi
ne[6].

I.5.1 Le parallélisme

Ce
tt
enot
ions
esi
tueàl
aba
sedel
’ar
chi
tec
tur
ede
sré
sea
uxdene
urone
scons
idé
rés
c
omme e
nse
mbl
e d’
ent
it
ésé
léme
nta
ire
s travaillant simultanément. Avec l
’ét
ude du
fonctionnement des réseaux de neurones, on pourrait aboutir à des nouvelles techniques de
formalisation de problème qui permettraient de les traiter en parallèle [6].

I.5.2 Lac
apac
itéd’
ada
pta
tion

is
Celle-c ema
nif
est
epa
rlac
apa
cit
éd’
appr
ent
is
sagequipe
rme
tdet
eni
rcompt
ede
s
nouvelles contraintes ou des nouvelles données du monde extérieur. Certains réseaux se
c
ara
cté
ris
enta
uss
ipa
rle
urc
apa
cit
éd’
aut
oor
gani
sat
ionquia
ssur
ele
urs
tabi
li
tée
nta
ntque
systèmes dynamiques capables de tenir compte des situations non encore connues [6].

I.5.3 La mémoire distribuée

Da
nsl
esr
ése
auxdene
uron
es,l
amé
moi
rec
orr
espondàunec
art
ed’
act
iva
tionde
neurones. Cette carte est en quelque sorte un codage du fait mémorisé ce qui attribue à ces

El
ect
rot
ech
niq
ueM’
sil
a2006 7
Chapitre I Les Réseaux de Neurones Artificiels

r
ése
auxl
’ava
nta
geder
ési
st
era
uxbr
uit
s(pa
nne
s)c
arl
ape
rted’
unélément ne correspond pas
àl
ape
rted’
unf
aitmé
mor
isé[6].

I.5.4 La capacité de généralisation

Cette capacité est important s

urt
outda
nsl
eca
soùl
acons
ti
tut
ionder
ecue
ilsd’
expe
rti
se
pour un système expert devient difficile (reconnaissance intuitive ou implicite). Les réseaux
neuronaux peuvent apprendre à retrouver des règles à partir des exemples [6].

I.6 Architectures des réseaux de neurones

Il existe deux grands t
ype
sd’
arc
hit
ect
ure
s de réseaux de neurones :

Les réseaux statiques non récurrents et les réseaux dynamiques récurrents [4].

I.6.1 Les réseaux statiques

Da
nsunr
ése
auxs
tat
iqueounonr
écur
rent,l
asor
ti
ed’
unne
uronenepe
utpa
sêt
re
injectée ni directement à son entrée ni indirectement à trave
rsd’
aut
resneurones ;c
’es
tà- dire
qu’
unes
ort
iec
our
ant
en’
aauc
unei
nfl
uenc
esurl
ess
ort
iesf
utur
es.Da
nsc
eca
s,l
asor
ti
edu
r
ése
aue
stobt
enuedi
rec
teme
nta
prè
sl’
appl
ica
tiondus
igna
ld’
ent
rée l’
inf
orma
tioncircule
dans une seule direction ;del
’ent
réevers la sortie.

Les réseaux statiques réalisent des transformations non linéaires de la forme :

Y f [x] Ou x R m et Y R n , m et n sont les dimensions duve

cte
urd’
ent
réexe
tdu
vecteur de sortie Y respectivement.

Les neurones qui ne sont pas des sorties du système sont appelés neurones cachés
(neurones invisibles dans la sortie). da
nsl
’ar
chi
tec
tur
ela plus général
e,l
’ent
réedec
haque
neurone est connectée à toutes les sorties des neurones précédents mais , la plupart des
réseaux de neurones statiques utilisés , sont organisés en plusieurs couches de neurones ,
appelés réseaux multi couches aux perceptrons multi couches.

Un réseau multi couches comporte : unec

ouc
hed’
ent
rée
,uneou plusieurs couches
cachées et une couche de sortie.

Da
nsu
nte
lré
sea
ux,l
asor
ti
edec
haquene
uroned’
unec
ouc
hel e
stc
onne
cté
eàl
’ent
réede
chaque neurone de la couche suivant l+1.

L’
arc
hit
ect
ure d’
unt
elr
éseau est donnée par la figure (I.4) [4].

El
ect
rot
ech
niq
ueM’
sil
a2006 8
Chapitre I Les Réseaux de Neurones Artificiels

Entrée Sortie

Couche intermédiaire dite cachée

Figure (I.4) For

med’
unr
ése
aunonbouc
lé

I.6.2 Les réseaux dynamiques

Ces réseaux, appelés aussi réseaux récurrents, sont organisés de telle sorte que chaque
é
neurone reçoit sur ses entrées une partie ou la totalité de l’ta
tdur
ése
au(sortie des autres
neurones) en plus des informations externe
s.Pourl
esr
ése
aux r
écur
rent
sl’
inf
lue
nce entre les
ne
urone
ss’
exe
rceda
nsl
esde
uxs
ens
.L’
éta
tgl
oba
ldur
ése
audé
pend aussi de ses états
précédents. L’
équa
tiondune
urone
,da
nsc
eca
s,e
stdé
cri
tepa
rde
séqua
tionsdi
ff
ére
nti
ell
es
ou aux différences. Un exemple de réseaux dynamiques est donné par la figure (I.5) [4].

Figure (I.5) For

med’
unr
ése
aubouc
lé

I.7 Quelques modèles des réseaux de neurones

Cette partie est consacrée à une présentation des modèles connexionnistes

incontournables. Ces modèles reflètent les différentes topologies des réseaux de neurones
dans le sens où la grande majorité des réseaux classiques [7].

El
ect
rot
ech
niq
ueM’
sil
a2006 9
Chapitre I Les Réseaux de Neurones Artificiels

I.7.1 Modèle de Kohonen

Ler
ése
audeKohone
nes
tunr
ése
audene
urone
sdontl
apa
rti
cul
ari
tée
std’
agi
rent
ant
que compresseur de données, en conservant uniquement les informations caractérisant

L’
obj
etp
rés
ent
éaur
ése
aus
anspe
rtei
mpor
tant
e d’
inf
orma
tion.Une é
limi
nat
ion de
s
Pa
ramè
tre
scor
rél
éss
’ef
fec
tue
.Ene
ffe
t,s
aca
pac
itédec
ons
erva
tiont
opol
ogi
quepe
rme
tune
réduction des donné
esdel
’ent
rées
elonl
enombre de neurone formant le réseau [5].

Ce modèle a été présenté par Kohonen en 1982 en se basant sur des constatations biologiques
Il a pour objectif de présenter des données complexes et appartenant généralement à une
espace discret de grandes dimensions dont la topologie est limitée à une ou deux dimensions.

Le
sca
rte
sdeKohone
nsontr
éal
is
éesàpa
rti
rd’
unr
ése
auàde
uxc
ouc
hes
,unee
nent
réee
t
une en sortie.

Not
onsquel
esne
urone
sdel
aco
uched’
ent
rées
onte
nti
ère
mentconnectés à la couche de
sortie figure (I.6) [13].

X1 S1

X2 S2
∙ ∙
∙ ∙
Xn ∙ ∙ Sn

Figure (I.6) Le modèle de Kohonen

Le
sne
urone
sdel
acouc
hedes
ort
ies
ontpl
acé
sda
nsun e
spa
ced’
uneoudede
ux
dimensions en général, chaque neurone possède donc des voisins dans cet espace. Et enfin
chaque neurone de la couche de sortie possède des connexions latérales récurrentes dans sa
couche. Le neurone inhibe les neurones éloignés et laisse agir les neurones voisins.

I.7.2 Modèle de Hopfield

Les modèles de Hopfield représentent une architecture plus historique que pratique. Ils
sont importants car apparus à un tournant de l'histoire du connexionnisme. Ils sont considérés
comme la base de son redémarrage. En revanche ils ne sont quasiment plus utilisés dans leur

El
ect
rot
ech
niq
ueM’
sil
a2006 10
Chapitre I Les Réseaux de Neurones Artificiels

version de base en raison de leur coût en terme de temps de calculs et de leurs relativement
faibles performances [7].

I.7.2.1 L'architecture

Les modèles connexionnistes de Hopfield sont constitués de neurones formels de type

Mc Culloch et Pitts, totalement connectés entre eux. Tous les neurones de cette architecture
sont à la fois neurone d'entrée et neurone de sortie du réseau. La spécificité de ce réseau
réside dans une recherche permanente, pour chacun des neurones du réseau, d'un état stable
[7].

Formellement, comme la montre la figure (I.7), un réseau de Hopfield est un réseau

récurrent, chacun des neurones du réseau étant connecté à tous les autres, mais pas à lui-
même. Les neurones disposent de sorties binaires (+1 ou -1), et les interconnexions entre les
neurones sont symétriques (Pour tous les neurones i et j, wij = wji) [7].

S1 S2 Sn-1
Sn

O1 O2 ● ● ● ● On-1 On

X1 X2 Xn-1 Xn

Figure (I.7) Réseau de Hopfield

Un neurone est lié à tous les autres, les liaisons sont symétriques, un neurone n'est pas lié à
lui-même et un seul neurone est actualisé par itération. Chaque neurone est à la fois neurone
d'entrée et de sortie du réseau [7].

El
ect
rot
ech
niq
ueM’
sil
a2006 11
Chapitre I Les Réseaux de Neurones Artificiels

I.7.3 Le Perceptron

Le Perceptron a été développé par Roseblatt en 1950 pour résoudre, àl

’ai
dede
s
neurones de Mc Culloch et Pitts, les problèmes de la vision humaine.

I.7.3.1 Structure du Perceptron

L’
architecture g
éné
ral
ed’
unPe
rce
ptr
onc
ommedé
cri
tenfigure (I.8) comprend trois
éléments principaux :
I.7.3.1.1 Rétine

La première couche, composée de la rétine, comprend plusieurs cellules qui jouent le

rôle de capteurs. Elle reçoit les exemples ou formes à classer. Chaque élément de la rétine
peut être considéré comme un pixel prenant des valeurs binaires 1 et 0

I.7.3.1.2 Couche d’
ass
oci
ati
on
La deuxième couche d’
ass
oci
ati
on e
stc
ompos
éedec
ell
ule
sassociatives qui sont
connectées totalement ou de façon aléatoire aux cellules de la rétine, Ces cellules
d’
ass
oci
ati
onsAj s
ontdo
tée
sdef
açonsd’
ass
oci
ati
onh qui peuvent par exemple réaliser des
fonctions booléennes ou bien utiliser des fonctions linéaires. Dans le perceptron, les
fonctions hi, i=1,2,….N s
ontdé
ter
miné
esàl
’ava
ncee
tel
lesr
est
entf
ixe
spe
nda
ntl
aphase
d’
appr
ent
is
sage
.Las
ort
ieXj del
ace
llul
ed’
ass
oci
ati
onAj est transmise à la cellule de
décision de Pi après avoir été pondérée par le coefficient ajustable Wij,

I.7.3.1.3 Couche de cellule de décision

La cellule de décision est un automate à seuil de fonction de transfert fi qui délivre la
sortie binaire Si. La combinatoire de toutes les configurations possibles est presque infinie si
l
’oni
nfl
ues
url
esc
onne
xionse
tlana
tur
ede
sfonc
tionsf et h [11][15].

Couche de décision
Rétine Couche d’
ass
oci
ati
on

Figure (I.8) Sc
hémad’
unPe
rce
ptr
on

El
ect
rot
ech
niq
ueM’
sil
a2006 12
Chapitre I Les Réseaux de Neurones Artificiels

I.7.4 Modèle Adaline

Au début des années 60 B. Widrow et M.E. Hoff ont proposé un système adaptatif
qu’
il
sonta
ppe
léAda
line(
del
’ang
lai
sADApt
iveLI
Nea
rEl
eme
nt)

Las
truc
tur
edel
’Ada
line di
ff
èredu pe
rce
ptr
on pa
rl’
uti
li
sat
iond’
unes
eul
ece
llul
e
d’
ass
oci
ati
one
tl’
uti
li
sat
iond’
unef
onc
tiondes
eui
ldi
ff
ére
ntdec
ell
edeHe
aviside (-1 et t+1).
Depl
us,i
lut
il
is
euna
lgor
it
hmea
dapt
ati
fpourme
sur
erl
’éc
art
eent
rel
asor
ti
eré
ell
eetl
a
s
ort
iedupr
oce
sse
uré
léme
nta
ire
.Les
ché
madel
’Adaline est représenté en

figure (I.9). Le plus souvent, les entrées sont binaires et la réponse souhaitée est également
binaire

L’
Ada
linee
stl
ese
ulr
ése
audene
urone
sar
ti
fi
cie
lsut
il
is
éma
ssi
veme
ntd
ansl
’i
ndus
tri
e,Ce
circuit est en effet utilisé dans la télécommunication pour améliorer le signal sur bruit en
t
prenant en compte la variaiondel
’i
mpé
danc
ede
sdi
ff
ére
nte
sli
gne
sté
léphoni
que
s[11].

j N
S W j X j
X0 j 0

W0 S Y
X1 
W1
Xn

Wn  -
Yd Sortie désirée
+

Règle
d’ap
prentiss
ag
e
 Si
gnald’
err
eur

Figure (I.9) Sc
hémadepr
inc
ipedel
’ada
line

I.8 Apprentissage des réseaux de neurones

On peut considérer les réseaux de neurones comme une boite noire contenant
l
’i
nfor
mat
ionqu’
ell
edoi
tappr
endr
eetmé
mor
ise
r.Mais au démarrage lorsqu’
on choisit notre
réseau, la boite noire est vide et ne contient aucune information, ni aucune connaissance sur
s
ons
uje
t,c
’es
tpour
quoiun apprentissage est nécessaire.L’
ens
eig
neme
ntquedoi
tsubi
rle

El
ect
rot
ech
niq
ueM’
sil
a2006 13
Chapitre I Les Réseaux de Neurones Artificiels

réseau de neurones est un apprentissage qui est une phase du développement d'un réseau de
neurones durant laquelle le comportement du réseau est modifié jusqu'à l'obtention du
comportement désiré. L'apprentissage neuronal fait appel à des exemples de comportement

L’
appr
ent
is
sage des réseaux de neurones consiste à adapter ses différents paramètres
(
poi
ds)d’
apr
èsuna
lgor
it
hmei
tér
ati
f d’
ajus
teme
ntoud’
ada
pta
tionl
uipe
rme
tta
ntdepr
endr
e
en considération toutes les données (exemples) qui lui sont fournies à son entrée et ainsi
a
jus
ters
espa
ramè
tre
spourt
rouve
rlej
ust
emi
li
eupe
rme
tta
ntdepr
endr
eenc
har
gen’
impor
te
quel exemple ou donnée apparaissant à son entrée provenant de son environnement [1][2].

Le
sal
gor
it
hme
sd’
appr
ent
is
sage
sdonne
ntde on leur fournit des
s meilleurs résultats lorsqu’
exemples multiples et variés ; ainsi le réseau peut assimiler toutes les connaissances. Il existe
di
ff
ére
nter
ègl
esd’
appr
ent
is
sag
eparmi les quelles on peut distinguer [1]:

- la règle de Widrow-Hoff, la règle de Hebb, la règle du perceptron et la règle de

Grossberg, etc...

I.8.1 Apprentissage supervisé

Les réseaux multicouches avaient déjà été définis par Rosenblatt, mais on ne savait pas
comment f
air
el’
appr
ent
is
sag
e.Ave
cladé
couve
rtedel
’al
gor
it
hmeder
étr
opr
opa
gation de
l
’er
reur(
RP)pa
rRume
lha
rt,on ac
omme
ncéàf
air
edel
’appr
ent
is
sag
ede
sré
sea
ux de
ne
urone
smul
ti
couc
hesàpa
rti
rd’
exe
mpl
es.Ce
ttemé
thodededé
ter
mina
tionde
spoi
dse
st
appelée apprentissage supervisé [8].

L'apprentissage supervisé, repose sur le fait que les exemples sont des couples (entrée,
.C’
sortie désirer) estàdi
requel
’ons
uppos
el’
exi
st
enc
ed’
une
xpe
rtquipr
ende
ncha
rgel
a
sortie de notre réseau en lui fournissant une sortie désirée et les associes aux sorties réelles
rl
fournies pa er
ése
aud’
apr
èsl
esdonné
esàl
’ent
rée
.Ler
ése
aua
dapt
ese
spa
ramè
tre
sen
fonction de la différence qui existe entre la sortie réelle et la sortie désirée en prenant compte
det
ousl
ese
xempl
esdel
’envi
ronne
ment[1][2].

El
ect
rot
ech
niq
ueM’
sil
a2006 14
Chapitre I Les Réseaux de Neurones Artificiels

Superviseur

Erreur

Réseaux de
neurones

Figure (I.10) Illustration del

’appr
ent
iss
ages
upe
rvi
sé

I.8.2 Apprentissage non supervisé

La différence majeure e
ntr
el’
appr
ent
is
sages
upe
rvi
sée
tnons
upe
rvi
sépe
utêtre résumée
da
nsl
efa
itquel
ede
uxi
èmet
yped’
appr
ent
is
sagee
sta
utodi
dac
tequi n’
apa
sbe
soi
nd’
expe
rt
i
pour le guider à adapter ses paramètres qu’lnedi
spos
equede
sva
leur
sent
rée
. Remarquons
cependant que les modèles d’
apprentissage non supervisé nécessitent avant la phase
d'utilisation une étape de labellisation effectuée par l'opérateur, qui n'est pas autre chose
qu'une part de supervision [1][2].

Réseaux de
neurones Sortie

Figure (I.11) I
ll
ust
rat
iondel
’appr
ent
iss
agenons
upe
rvi
sé

I.9 Le Perceptron multi couche

Co
mmenousl
’avonsdé
jàdi
t le cerveau humain est composé de millier et des milliers
ntqu’
de neurones, alors il est évide uns
impl
ene
uroneet seul ne peut rien faire à lui tous seul
il l
uif
autl
acoopé
rat
iond’
aut
resne
urone
s.Ens
uiva
ntc
eré
sonne
menti
les
tévi
dentqu’
il
vaut trouver une architecture qui relie les neurones entre eux, qui crée une liaison entre les
neurones pour créer un réseau de neurones.

El
ect
rot
ech
niq
ueM’
sil
a2006 15
Chapitre I Les Réseaux de Neurones Artificiels

En s
’ins
pir
antdu pe
rceptron monocouche, une architecture plus complexe englobant
plusieurs neurones a été mise au point.

Cette nouvelle architecture est le perceptron multicouches (ou MLP pour Multi Layer
Pe
rce
ptr
one
nang
lai
s).L’
appa
rit
iondec
ett
ear
chi
tec
tur
eape
rmi
s de résoudre les problèmes
de classification non linéaire du perceptron et de dépasser les limites principales de celui-ci.

L'idée principale est de grouper des neurones dans une couche. En plaçant ensuite bout à
bout plusieurs couches et en connectant complètement les neurones de deux couches
adjacentes. Les entrées des neurones de la deuxième couche sont donc en fait les sorties des
neurones de la première couche [1][13].

I.9.1 Architecture

+1 +1 +1
w110 w210 wL10 yj

x01 w111 F(.) x11 w211

F(.) x21 wL11
F(.)
Σ Σ Σ yL1 xL1

+1 +1 +1

x02 F(.) x12 F(.) x22 F(.) xL2

Σ Σ Σ
yL2
. . .
w1N2
. . .
. . .
+1 +1 +1
w11N
x1N
F(.) F(.) x2N F(.) xLN
x0N Σ Σ Σ
w1NN yLN
Entrées Couche 1 Couche 2 Couche L Sorties

Figure (I.12) Architecture de réseaux multi couche

El
ect
rot
ech
niq
ueM’
sil
a2006 16
Chapitre I Les Réseaux de Neurones Artificiels

I.10 Méthode de rétropropagation

l
La rétropropagation est actueleme
ntl
’out
ill
epl
usut
il
is
é dans le domaine des réseaux
dene
urone
s.C’
estunet
echni
quedec
alc
ulde
sdé
rivé
esquipe
utê
trea
ppl
iqué
eàn’
impor
te
quelle structure des fonctions dérivables [4].

L’
anné
e1986 a vul
’a i
ppart
iondel
’al
gor
it
hmeder
étr
opr
opa
gat
iondel
’er
reurpubl
ié par
Rume
lha
rt,Hi
ntone
tWi
ll
iams
rre
urquipe
rme
td’
opt
imi
serl
espa
ramè
tre
sd’
unr
ése
au de
neurones à plusieurs couches [1].

I.10.1 Introduction

Le dé
vel
oppe
ment d’
alg
ori
thme
s d’
appr
ent
is
sag
esupe
rvi
sé pour l
esr
ése
aux
multicouches se heurte au problème de calcul des erreurs de sortie pour les neurones cachés.

Ene
ffe
t,l
esne
urone
sca
ché
sn’
ontpa
sunr
ôlepr
édé
fini
,c’
estl
’appr
ent
is
sag
equil
es
utilise à sa convenance pour former des représentations internes, à c
aus
edel
’abs
enc
ed’
une
règle d’
appr
ent
is
sage convenable, les perceptrons étaient limités à une seule couche pendant
plusieurs années, mais ce type de perceptron ne peut résoudre que les problèmes dont les
données sont linéairement séparables. Les limitations du perceptron ont été levées par la
découve
rtedel
’al
gor
it
hmeder
étr
opropagation qui a permis de résoudre le problème de
calcul des erreurs associées aux neurones cachés. Les applications de cet algorithme ont
connu un succès spectaculaire et ses performances étaient quelques fois surprenantes.

Malgré sa complexité apparente, la méthode de rétropropagation n’

estqu’
unet
echni
que
s
impl
esma
ise
ffi
cac
edec
alc
uld
esdé
rivé
esd’
unee
nti
tépa
rra
ppor
tàl
’ensemble de ses
e
ntr
ées
.El
lepe
utê
trea
ppl
iqué
eàn’
impor
teque
lsy
stè
mec
ompos
édepl
usi
eur
ssous
-
systèmes élémentaires qui peuvent être représentés par des fonctions connues, continues et
dérivables [4].

I.10.2 Equations du réseau

Avant de définir la règle d’

appr
ent
is
sage
,ondoi
tdé
fini
rlar
ela
tione
ntr
ele
ssor
ti
esdu
r
ése
au,d’
unepa
rt,e
tle
sent
rée
setl
espoi
ds d’
aut
repa
rt.Onc
ons
idè
reda
nsc
equis
uitl
es
réseaux non récurrents multicouches.

El
ect
rot
ech
niq
ueM’
sil
a2006 17
Chapitre I Les Réseaux de Neurones Artificiels

Pour un réseau multicouches à M entrées et N sorties, composé de L couches (couches

cachées et couche de sortie), les états des neurones sont donnés par les équations suivantes :

nk 1
S ik Wijk O kj 1 (t ) i = 1,2,… n k ; k = 1,2,…L (I.4)
j 0

Avec :

O0k (t ) 1 k=0, 1,2…, L (I.5)

Oi0 (t ) X i (t ) i = 1,2,…, m (I.6)

yi (t ) OiL (t ) i =1,2,…, n (I.7)

S (t )f  
nk 1
Oik (t ) f k
i
k
W


k k
ij O kj 1 (t ) 
 (I.8)
j 0 

Avec pour la couche k : fk (.) e

stl
afonc
tiond’
act
iva
tion,nk est le nombre de neurones, Oik (t)

est la sortie du neurone i, Wijk est le coefficient synaptique de la connexion entre le neurone i

de la couche k et le neurone j de la couche précédente (k-1). Wi 0k est le seuil adaptable du

neurone i . Yi (t) et X i (t) sont les iemes composant e

sduve
cte
urd’
ent
réex (t)

Et du vecteur de sortie Y (t) respectivement.

Laf
onc
tiond’
act
iva
tiong
éné
ral
eme
ntc
hoi
si
ees
tlaf
onc
tions
igmoï
de:

1 e x
F(x) = (I.9)
1 e x

I.10.3 Principe du rétropropagation

L’
objectif de la méthode de rétropr
opa
gat
ion e
std’
ada
pte
r les paramètres Wijk de façon

à minimiser la valeur moyenne del

’er
reurs
url
’ens
embl
ed’
ent
raî
neme
nt. La fonction coût la
plus utilisée est donnée par :

1 T 1 T
E  E (t )  [Y d (t ) Y (t )] 2 (I.10)
2 t 1 2 t 1

El
ect
rot
ech
niq
ueM’
sil
a2006 18
Chapitre I Les Réseaux de Neurones Artificiels

Où Y d est le vecteur de sortie désirée, Y le vecteur de sortie du réseau et T la longueur de

l
’ens
embl
ed’
appr
ent
is
sag
e.Ce
penda
nt,da
nsque
lque
ssi
tua
tionsd’
aut
resc
rit
ère
sd’
err
eur
uve
pe ntê
trepl
usa
ppr
opr
iés
.L’
appr
ochel
apl
usut
il
is
éepourl
ami
nimi
sat
iondel
afon
cti
on
E est basée sur les méthodes de gradient.

Onc
omme
ncel
’ent
raî
neme
ntpa
runc
hoi
xal
éat
oir
ede
sva
leur
sinitiales des poids. On
présente l
epr
emi
erve
cte
urd’
ent
rée
.Unef
oisl
asor
ti
edur
ése
au,l
’er
reurc
orr
esponda
ntee
t
le gradient de l
’er
reurpa
rra
ppor
tàt
ousl
espoi
dsest calculée, les paramètres sont ajustés
da
nsl
adi
rec
tionoppos
éeàc
ell
edug
radi
entdel
’er
reur
.Onr
efa
itl
amê
mepr
océ
dur
epour
tous l
ese
xempl
esd’
appr
ent
is
sage
.Cepr
oce
ssuse
str
épé
téj
usqu’
àcequel
ess
ort
iesdu
réseau soient suffisamment proches des sorties désirées.

I.10.4 Adaptation des poids

Pour un ensemble de poids donné, il est facile de calculer la sortie Y (t ) e

tl’
err
eurE (t)

correspondant à une entrée X (t), en utilisant les équations (I.4)-(I.10). Les paramètres du
réseau sont alors ajustés par la méthode de gradient en utilisant la formule itérative :

Wijk (n) Wijk (n 1) Wijk (n) (I.11)

E
Wijk (n)  k (I.12)

Wij (n)

Ou  est un constant appelé f

act
euroupa
sd’
appr
ent
is
sag
e.n Est l
enumé
rodel
’i
tér
ati
on.

La vitesse de convergence dépend de la constant .

Sa valeur est généralement choisie expérimentalement. Si est trop petit la convergence est
lente mais la direction de descente est optimale. Si  est trop grand la convergence est
r
api
dema
isl
apr
éci
si
one
stmé
dioc
re,unphé
nomè
ned’
osc
ill
ati
oni
nte
rvi
entdè
squ’
on
vé
approche du minimum. La déri edel
’er
reurE par rapport au poids Wijk (n) est donnée par :

E T
E (t )

Wij (n) t 1 
k
Wijk (n)
(I.13)

El
ect
rot
ech
niq
ueM’
sil
a2006 19
Chapitre I Les Réseaux de Neurones Artificiels

Avec

E (t )
ik (t )Oik 1 (t ) (I.14)
Wij (n)
k

Où ik (t ) e
stl
’er
reuréquivalente à la sortie du neurone i de la couche k, pour les neurones des
couches de sortie :

i1 (t ) f 1 '[ S i1 (t )][Yi d (t ) Yi (t )] (I.15)

Pour les neurones des couches cachées :

nk 1
ik (t ) f k '[ S ik (t )]jk 1 (t )Wijk 1 (n) (I.16)
j
1

s
Pour minimierl
’er
reurtotale E s
url
’ens
embl
ed’
ent
raî
neme
nt,l
espoi
dsdur
ése
audoi
vent
être ajustés après la représentation de tous les exemples. Cependant on peut ajuster les poids
après la représentation de chaque exemple, les corrections sont assez faibles et la
minimisation de E (t) est une bonne approximation de la minimisation de E,l
’équa
tion(
I.12)
est remplacée par :

E (t )
Wijk (n)  k (I.17)

Wij (n)

Alors on à :

Wijk (n 1) Wijk (n) ik Oik 1 (I.18)

El
ect
rot
ech
niq
ueM’
sil
a2006 20
Chapitre I Les Réseaux de Neurones Artificiels

I.10.5 Algorithme

Etape 1: Initialiser les poids Wij et les biais des neurones à des petites valeurs aléatoires.

Etape 2: Présenter le vecteur d'entrée et de sortie désirés correspondants.

Etape 3: Calculer :
1- La somme des entrées des neurones d'une couche cachée : Eq.(I.4).
2- Les sorties des neurones de la couche cachée : Eq.(I.8).
3- La somme des entrées de la couche de sortie : Eq.(I.4).
4- Les sorties du réseau : Eq.(I.8).
Etape 4: calculer :
1- Le
ste
rme
sdel
’er
reurpourl
esne
urone
sdel
acouc
hedes
ort
ie: Eq.(I.15)
2- Le
ste
rme
sdel
’er
reurpourl
esne
urone
sdel
acouc
hec
aché
e: Eq.(I.16)
Etape 5 : Ajuster :
1- Les poids de la couche de sortie et la couche cachée: Eq.(I.18)
Etape 6 : Si la condition sur l'erreur ou sur le nombre d'itération est atteinte, aller à l'étape 7,
si non revenir à l'étape 3 jusqu'à la stabilisation du système.
Etape 7 : Fin.

I.10.6 Te
chni
que
sd’
acc
élé
ration de la rétropropagation

Sibi
enquel
’al
gor
it
hmeder
étr
opr
opa
gat
ions
oitl
’al
gor
it
hmel
epl
usut
il
is
épou
r
l
’appr
ent
is
sage supervisé des réseaux multicouche son implantation se heurte aux plusieurs
di
ff
icul
tést
echni
que
s.I
ln’
exi
st
epa
sdemé
thode
spe
rme
tta
ntde:

- Trouver une architecture appropriée (nombre de couches cachées, nombre de neurones

cachés et connexions).

- Choisir une taille et une qualité adéquate des exemples d’

entraînement, choisir des valeurs
initiales satisfaisantes pour les poids, et des valeurs convenables pour les paramètres
d’
appr
ent
is
sage(
fac
teurd’
appr
ent
is
sage
)pe
rme
tta
ntd’
acc
élé
rer la vitesse de convergence.

- Éviter l
ese
ffe
tsdel
’ent
raî
neme
nt(dégradation des performances due à un entraînement
prolongé) et la convergence vers un minimum local.
Pour trouver une architecture appropriée (nombre de neurones cachés), Ash a proposé une
a
ppr
oched’
addi
ti
oni
nte
rac
tive de neurones dans la quelle on ajoute des neurones aux couches
c
aché
espe
nda
ntl
’appr
ent
is
sag
e.Un ne
uronee
sta
jout
écha
quef
oisquel
’er
reurs
est
abi
li
seà

El
ect
rot
ech
niq
ueM’
sil
a2006 21
Chapitre I Les Réseaux de Neurones Artificiels

unni
vea
uina
cce
pta
ble
.Ce
ttet
echni
ques
’appe
llel
ate
chni
quedec
réa
tiondy
nami
quede
neurones (DNC : Dynamic Node Creation).
Pour éviter le problème des oscillations,be
auc
oupd’ i
auteurs modifentl
’al
gor
it
hmee
nlui
ajoutant un moment 
Lal
oid’
ada
pta
tionde
vie
nt:

Wijk (n 1) Wijk (n) Wijk (n) Wijk (n) (I.19)

Wijk (n 1) Wijk (n) ik Oik 1 (Wijk (n) Wijk (n 1)) (I.20)

Avec
0 1

I.11 Le minimum local

Le fait que l'apprentissage utilise un principe de descente de gradient sur la surface

d'erreur pour modifier les poids. Malheureusement il est possible de tomber dans des
minimums locaux. Le réseau de neurones est une méthode qui se base sur le calcul de la
s
urf
aced
’er
reur
.Laf
ormeobt
enued’
apr
èsl
’équa
tion del
’er
reure
sts
ousf
ormed’
une
c
onve
xee
tenc
her
cha
ntàmi
nimi
serl
’er
reur
,las
olut
iont
endve
rsl
emi
nimum.Lepr
obl
ème
quis
epos
eda
nsc
eca
s,c
’es
tqu’
ilpe
utya
voi
runoupl
usi
eur
smi
nimu
ms locaux induisant
ainsi notre réseau en erreur [9][10][16] vue que si on a deux réseaux avec les même
paramètres, i
lsepe
utquel
’appr
ent
is
sag
edel
’uns
oitme
ill
eurquec
eluidus
econd[
9].

i
Des méthodes sont à suivre afnd’
évi
terl
esmi
nimal
oca
ux:

- Mod
ifi
erl
epa
sd’
appr
ent
is
sag
edur
ése
aupourpousser le réseau hors des minima locaux.

- Ré
dui
rel
espoi
dsdu r
ése
au pa
runepe
tit
equa
nti
téàc
haquepa
sd’
appr
ent
is
sag
e.
L’
act
iva
tiond’
unne
urones
atur
equa
nds
esl
ienspos
sède
ntdet
ropg
randspoi
dss
yna
pti
que
s.
Cepr
obl
èmee
stdi
ff
ici
leàr
ésoudr
elor
sdel
’appr
ent
is
sag
e,c
arl
esva
leur
sd’
act
iva
tion
extrêmes se traduisent souvent au niveau de la rétro-propagation par de petites corrections. Le
réseau se trouve alors dans un minimum local. Réduire systématiquement tous les poids par
une petite valeur à chaque correction contribue à garder les petits poids synaptiques, et peut
résoudre ce problème.

El
ect
rot
ech
niq
ueM’
sil
a2006 22
Chapitre I Les Réseaux de Neurones Artificiels

- Re
lan
cerl
’appr
ent
is
sagepl
usi
eur
sfoi
senut
il
is
antde
spoi
dsi
nit
iau
xdi
ff
ére
nts, ce qui
entraîne un temps de calcul plus élevé [12].

- Ajouter une dose de bruit aléatoire auxpoi

dsdur
ése
aux,pui
sre
lanc
erl
’appr
ent
is
sag
e,
dans le but de « déloger » le réseau hors de bassins peu profonds [8][12][13].

départ aléatoire des wi

Fonction d’
err
eur

Minimum
local

Minimum
global

Figure (I.13) Courbe explicative du phénomène du minimum local

I.12 Quelques applications des réseaux de neurones

Le
spr
opr
iét
ésd’
appl
ica
tione
td’
appr
oxi
mat
ionde
sré
sea
uxdene
urone
sontpe
rmi
sune
importante application de ces derniers dans les différentes domaines pratiques, notamment, les
domaines suivants :

I.12.1 Classification des signaux

Classer des signaux dans des catégories différentes en fonction des caractéristiques de
.
forme (amplitude, fréquence, phase, etc..)
,pe
utê
trer
éal
is
éai
séme
ntpa
rl’
uti
li
sat
iond'
un
réseau de neurones.
Supposons qu'on a deux catégories de signaux A et B et qu'on souhaite classer des formes
dans ces deux catégories en fonction des caractéristiques de ces formes.
On peut simplement définir la fonction non linéaire F qui vaut +1 pour les formes de la
classe A et -1 pour celles de la classe B, le problème de classification revient l’
approximation

El
ect
rot
ech
niq
ueM’
sil
a2006 23
Chapitre I Les Réseaux de Neurones Artificiels

de la fonction non linéaire F qui peut être résolue par un réseau de neurones qui possède des
entrées et une seule sortie pour fournir la décision [15].

I.12.2 Applications industrielles

Le
sdé
bouc
hésc
omme
rci
auxde
ste
chni
que
sne
urona
les(
enc
hif
fred’
aff
air
esoue
npa
rts
dema
rché
)set
rouve
nts
urt
outda
nsde
spr
odui
tsl
ogi
cie
lse
tma
tér
iel
sd’
usa
gegé
nér
al,e
tpl
us
encore dans des prestations de service, alors que la pa
rtàus
agei
nte
rnede
sent
repr
ise
s(c
’es
t-
à-dire les développement destinés à améliorer des méthodes ou des produits) est beaucoup
plus difficile à estimer. La part de marché des applications militaires est importe, et on peut
l
’es
ti
mera
ppr
oxi
mat
ive
ment (avec prudence, étant donné que les informations sont
i
nce
rta
ine
s)e
ntr
eunt
ier
setl
amoi
ti
édel
’ens
embl
e.
Il est difficile de dresser un panorama exhaustif des applications des réseaux de neurones,
pourpl
usi
eur
sra
isons
.D’
unepa
rt,l
esa
ppl
ica
tions potentielle de certains types de réseaux
décrits dans ce chapitre (en particulier les réseaux multicouches) sont si vastes et si diverses
qu’
ell
esr
ecouvr
entde
sdoma
ine
str
èsva
rié
s,a
yantpa
rai
ll
eur
spe
udec
hos
ese
ncommun.
D’
aut
repa
rt,l
apé
nét
rat
ionde
ste
chni
que
sut
il
is
antl
esr
ése
auxdene
urone
s,s
eul
soue
n
a
ssoc
iat
iona
vecd’
aut
rest
echni
que
s,e
stt
rèsi
néga
le,e
tset
rouveda
nsunepha
sed’
expa
nsi
on
et de diversification. Enfin, beaucoup des réalisations connues sont plus souvent dans un état
depr
otot
ypequ’
ene
xpl
oit
ati
onvé
rit
abl
e.
Pl
utôtquedepr
océ
deràuneé
numé
rat
iond’
exe
mpl
espr
éci
sdontl
avi
abi
li
tée
tl’
uti
li
sat
ion
réelle peuvent être incertaines ou imprécises, il nous a semblé plus approprié de tenter une
présentation sommaire en suivant grossièrement deux axes différents : par classe
d’
appl
ica
tion,e
npr
emi
erl
ieu,pa
rdoma
ined’
act
ivi
téensuite [16].
Da
nsl
emonde
,ete
npa
rti
cul
iera
uxU.
S.A.
,l’
int
érê
tpourl
esr
ése
auxdene
urone
sa
démarré plus tôt. Dès 1986, de 600 à 2000 visiteurs participent aux quelques grands congrès
annuels. Au niveau commercial, la figure (I.14) montre que plus de 200 compagnies sont
a
ujour
d’huiimpliquées dans des développements d’
appl
ica
tionsc
onne
xionni
st
es[1].

El
ect
rot
ech
niq
ueM’
sil
a2006 24
Chapitre I Les Réseaux de Neurones Artificiels

1960 1985 1987 Année

Figure (I.14) Evolution du nombre de compagnies proposant

des produits connexionnistes

I.12.2.1 Reconnaissance de formes statiques

Citons en premier lieu la reconnaissance def

orme
sst
ati
que
s(c
’es
t-à-dire indépendantes
du temps). De façon générique, une forme est tout ensemble de grandeurs qui peut se
représenter par un vecteur, ayant des composantes homogènes ou non. Par exemple, une
image peut être mi
ses
ousf
ormed’
unes
ucc
ess
iondepi
xel
s,r
ésul
tantd’
unba
lay
age
,oubi
en
un écho sonar peut être représenté par une succession de pics fréquentiels en fonction de
l
’i
nst
antder
etour
,et
c.l
etr
ait
eme
ntd’
ima
gespr
oprement dit fait évidement partie intégrante
de la reconnaissance de formes en général. Des applications civiles (par exemple
reconnaissance de visages) aussi bien que militaires (reconnaissance de cibles) ont été décrites
avec plus ou moins de détails. Une des applications les plus étudiées consistes dans la
reconnaissance de signes manuscrits, en particulier les chiffres, en vue de la reconnaissance de
codes postaux. Les laboratoires AT & T de Holmdel ont mis au point un système assez
complexe, ma
ise
ffi
cac
e,dontl
ecœure
stunr
ése
auàc
inqc
ouc
hesàpoi
dspa
rta
gés
,pr
écé
dé
d’
uns
yst
èmedepr
étr
ait
eme
nte
tdenor
mal
is
ati
on.Unepa
rti
edec
eré
sea
ues
tcons
ti
tué
epa
r
un circuit intégré spécialement conçu, contenant quatre des cinq couches, et 130 000
connexions. Les performances atteignent 1000 caractères par seconde pour la puce seule, bien
supérieure à celles du système complet, e
ts’
élè
vents
eul
eme
ntà20 caractères par seconde
pour une i
mpl
ant
ati
ons
urunpr
oce
sse
urpl
usg
éné
ral
is
te.D’
aut
resr
éal
is
ati
ons(
acc
omp
agné
es
ou non de circuits intégrés spécifiques) ont été annoncées dans le domaine de la lecture
automatique de caractères imprimés, en alphabet romain comme en alphabet japonais [16].

El
ect
rot
ech
niq
ueM’
sil
a2006 25
Chapitre I Les Réseaux de Neurones Artificiels

I.12.2.2 Identification et commande de processus

L’
ide
nti
fi
cat
ione
tlac
omma
ndedes
yst
ème
scompl
exe
s(i
ncl
uantla robotique) sont un
domaine oŭles réseaux de neurones prennent une place croissante : aide au pilotage de
réacteurs chimiques ou de colonnes à distiller, c
omma
nded’
uneautomobile sans pilote ayant
pour consigne de suivre une certaine trajectoire en terrain accidenté, commande de niveau de
lingotière dans une acière à coulée continue, les applications se multiplient. En général, elles
ne demandent que des ressources assez modestes, dans la mesure oŭles temps caractéristiques
sont relativement longs : une simple simulation sur micro-ordinateur suffit très souvent en
pha
sed’
expl
oit
ati
on,l’
uti
li
téde
sré
sea
uxdene
urone
sseme
sur
e également dans ce domaine
pa
rl’
ass
ez gr
ande r
api
dit
é de mi
see
n œuvr
e initial
e,c
’es
t-à-di
rel
’i
dent
if
ica
tio
n pa
r
apprentissage.
Mentionnons que les techniques de commande à logique floue peuvent faire appel aux
réseaux de neurones pourl
’appr
ent
is
sage des règles [16].

I.12.2.3 Application militaires

Bien que naturellement les publications soient relativement rares et que peu de détails
soient donnés, les applications militaires « classiques » se retrouvent en reconnaissance de
a
cibles, anly
sed’
ima
ge,t
rai
teme
ntdes
igna
uxr
ada
rous
ona
r,e
tda
nsunec
ert
aineme
sur
een
r
obot
ique
.Lede
rni
erc
irc
uiti
nté
gréd’
Int
el(
quie
stun«accélérateur de reconnaissance »,
selon ses propres termes) a été financé pour moitié sur crédits militaires, à ha
ute
urd’
envi
ron
1,5 million de dollars $. Ce circuit implante une architecteur de type RBF (mesure des
distances entre stimulus prototypes), développée par la société Nestor [16].

El
ect
rot
ech
niq
ueM’
sil
a2006 26
Chapitre I Les Réseaux de Neurones Artificiels

I.13 Conclusion

A partir du comportement du cerveau huma

ine
td’
unmodè
lene
urona
lbi
olog
ique
simple, les chercheurs ont arrivé à construire des modèles neuronaux artificiels plus
complexes. Les réseaux de neurones présentent donc une très grande diversité, dans ce
chapitre nous avons exposé les réseaux de neurones, en spécifiant leurs définitions, les
c
onc
ept
sdeba
sedec
ett
ete
chni
que
,l’
appr
ent
issage des réseaux de neurones et ses différents
doma
ine
sd’
uti
li
sat
ion.
Nous avons présenté une étude sur l
’al
gor
it
hmedur
étr
opropagation qui a prouvé son
e
ffi
cac
itéda
nsl
apr
ati
quea
vecs
esc
apa
cit
ésd’
appr
ent
is
sag
eetd’
ide
nti
fi
cat
ion.
Pour ces raisons, cet algorithme sera la base du travail qui sera présenté dans le prochain
c
hapi
tr
equit
rai
tel
’i
dent
if
ica
tione
tlac
omma
ndepa
rle
sré
sea
uxdene
urones.

El
ect
rot
ech
niq
ueM’
sil
a2006 27