3.1.

Introduction

52

3.2. Elments de Base

53

3.3. Fonctionnement des Neurones

54

3.4 Rseaux de Neurone Artificiel

55

3.5 Proprits des Rseaux de Neurones

59

3.6 Topologie des Rseaux de Neurones

60

3.7 Le Perceptron

63

3.8 Perceptron Simple

64

3.9 LApprentissage des Rseaux de Neurones

65

3.10 Les Principales Rgles dApprentissage

66

3.11 Algorithme de Retro propagation

70

3.12 Conclusion

79

Chapitre Trois

Les Rseaux des Neurones Artificiels

LES RESEAUX DES NEURONES

ARTIFICILS

3.1. Introduction
Les rseaux des neurones formels sont des structures la plupart du temps simuls
par des algorithmes excuts sur les ordinateurs dusage gnral, parfois sur des machines ou
mme des circuits spcialiss, qui prennent leurs inspirations partir du fonctionnement
lmentaire des systmes nerveux. Ils sont utiliss essentiellement pour rsoudre des
problmes de classification, de reconnaissance de formes, dassociation, dextraction de
caractristique, et didentification, etc.
Classiquement, lhistoire commence ainsi : en 1943 que, dans un article rest fameux,
MC CLLOCH et PITTS ont mis lide simplificatrice du neurone formel, c'est--dire une
opration binaire interconnecte ses semblables par des synapses excitatrices ou
inhibitrices. Une assemble de tels oprateurs en interaction devait avoir des proprits
collectives mergentes, cest--dire capables de certain calcul que chacun deux
sparment est capable dexcuter.
En 1949, D.O.HEBB, dans un livre rest lui aussi fameux introduisit la notion de
plasticit synaptique , c'est--dire le mcanisme de modification progressive des
couplages inter neurone responsables de changement permanent de leurs proprits
collectives, ce que lon peut appeler lapprentissage .
Son hypothse, limite laugmentation du coefficient de couplage entre deux
neurones rels qui sont excits simultanment, a t tendue aux neurones artificiels comme
une rgle par laquelle les couplages se modifient proportionnellement aux corrlation entre
neurones, que ces corrlations soient positives activation ou ngatives inhibition .
Les travaux sur les rseaux de neurones formels ont connu des dbuts prometteurs vers
la fin des annes 50. Cest en 1958 que ROSENBLATT dcrivit le premier modle
oprationnel de rseaux de neurones, mettant en uvre les ides de HEBB, MC CULLOCH
et PITTS.
En 1969, MINSKY et PEPART, dmontrrent les limites thoriques du perceptron, qui
est capable dapprendre calculer certaines fonctions logiques, mais un certain manque
dapprofondissement de la thorie et le mouvement concurrent de lintelligence artificielle,
ont conduit une mise sommeil assez prolonge des travaux sur le connexionnisme.

52

Chapitre Trois

Les Rseaux des Neurones Artificiels

Assez peu darticles furent publis entre 1970 et 1980, avec un peu de ralentissement en
raison du faible nombre de chercheurs intresss. Ils ont cependant permis une certaine
continuit et surtout ont servi de germes une renaissance frappante de lactivit dans le
dbut des annes 80. Sil faut citer des travaux de cette priode, cest celui de HOPFIELD en
1982, qui dtaille dans un article le bon usage du rseaux de neurones formels, en sappuyant
sur lorganisation en couches et la simulation numrique sur ordinateur et ceux de WIDROW
et HOFF sur les algorithmes adaptatifs.
En 1986, Rumelhart, Hinton et Williams publient, lalgorithme de la rtropropagation
de lerreur qui permet doptimiser les paramtres dun rseau de neurones plusieurs
couches.
partir de ce moment, la recherche sur les rseaux de neurones connat un ressort
fulgurant et les applications commerciales de ce succs acadmique suivent au cours des
annes 90.
Actuellement, les chercheurs sintressent beaucoup plus lexploitation des structures
didentification et de contrle mono et multivariable de la commande adaptative avec les
rseaux de neurones [14].

3.2. Elments de Base

3.2.1. Modlisation biologique
Le cerveau humain, est le meilleur modle de la machine, polyvalente incroyablement
rapide et surtout doue dune incomparable capacit dauto organisation. Son comportement
est beaucoup plus mystrieux que le comportement de ses cellules de base. Il est constitu
dun gronde nombre dunits biologiques lmentaires (1000 10000 synapse par
neurone)[15].
Les cellules nerveuses, appeles neurones, sont les lments de base du systme
nerveux centrale. Celui-ci en possderait environ cent milliards. Les neurones possdent de
nombreux points communs dans son organisation gnrale et leur systme biologique avec
les autres cellules. Ils prsentent cependant des caractristiques qui leurs sont propres et se
retrouvent au niveau de cinq fonctions spcialises quils assurent [15].

Recevoir des signaux en provenance de neurones voisins.

Intgrer ces signaux.

Engendrer un influx nerveux.

Le conduire.

Le transmettre un autre neurone capable de le recevoir.

53

Chapitre Trois

Les Rseaux des Neurones Artificiels

3.2.2. Structure de neurone

Un neurone est constitu de trois parties :
3.2.2.1. Le corps cellulaire
Il contient le noyau du neurone et effectue les transformations biochimiques
ncessaires la synthse des enzymes et des autres molcules qui assurent la vie de neurone.
Sa forme est pyramidale ou sphrique dans les plupart des cas. Elle dpend souvent de sa
position dans le cerveau, ce corps cellulaire fait quelques microns de diamtre [16].
3.2.2.2. Les dendrites
Chaque neurone possde une chevelure de dendrites. Celles-ci sont de fines
extensions tubulaires, de quelques diximes de microns de diamtre et dune longueur de
quelques dizaines de microns. Elles sont les rcepteurs principaux du neurone qui servent
capter les signaux qui lui parviennent [16].
3.2.2.3. Laxone
Laxone, qui est proprement parler la fibre nerveuse, sert de moyen de transport pour
les signaux mis par le neurone. Il se distingue des dendrites par sa forme et par les
proprits de sa membrane externe. En effet, il est gnralement plus longue que les
dendrites, et se ramifie son extrmit, l o il communique avec les autres neurones, alors
que les ramifications des dendrites se produisent plutt prs du corps cellulaire.
Pour former le systme nerveux, les neurones sont connects les uns aux autres suivant des
rpartitions spatiales complexes. Les connexions entre deux neurones se font a des endroits
appels synapses ou ils sont spars par un petit espace synaptique de lordre dun centime
de micron [16].
3.2.2.4. Les synapses
Le rle des synapses est fondamental pour permettre aux cellules nerveuses de
communiquer entre elles. Les signaux qui se propagent dans les neurones sont de nature
lectrique. Cependant, il nexiste pas de liaisons directes entre deux cellules nerveuses.
Celles-ci sont spares par un espace appel fente synaptique que linflux lectrique ne peut
traverser.
Le relais seffectue ce niveau par lintermdiaire dun mdiateur chimique [16].

54

Chapitre Trois

Les Rseaux des Neurones Artificiels

Figure 3.1 Schma du neurone biologique.

3.3. Fonctionnement des Neurones

Dune faon gnrale, le soma de neurone traite les courants lectriques (information)
qui lui proviennent de ses dendrites et quil transmet le courant lectrique rsultant de ce
traitement aux neurones auxquelles il est connect par lintermdiaire de son axone.
Daprs le modle classique, le soma effectuant une sommation des influx nerveux transmise
par les dendrites, Si la sommation dpasse un seuil, le neurone rpond par un influx nerveux
au potentiel daction qui se propage le long de son axone. Si la sommation est infrieure ce
seuil, le neurone reste inactif.
Lorsquun potentiel daction est parvenu au synapse, provoque travers la membrane de
libration dun mdiateur chimique celle-ci se diffuse jusqu la membrane du dendrite qui
provoque naissance un potentiel [17].

3.4. Rseaux de Neurone Artificiel

Lide gnrale des rseaux de neurones artificiels et de trouver une nouvelle
procdure de calcul pour produire une nouvelle gnration dordinateur. Cette ide, inspire
de la biologie du cerveau humain, est diffrente de la mthode conventionnelle utilise sur
les ordinateurs.
Cette nouvelle technique semple plus humaine que mcanique. Lhomme toujours
rver de la machine quest parle, pense, oublie et se rappelle. Le but nest pas de produire une
machine humaine ce que impossible, mais de copier et imiter lapproche naturelle de cerveau
humaine au profite de la science. Un RNA peut tre considr comme une boite noire, qui
reoit des signaux dentre et produit des signaux de sortie cest un modle mathmatique
compos dun grand nombre dlments de calculs organise sous forme de couches
interconnectes [18].
Dautre dfinition sont donns comme suite :

55

Chapitre Trois

Les Rseaux des Neurones Artificiels

Les rseaux de neurones artificiels sont des rseaux fortement connects de processeurs
lmentaires fonctionnant en parallle. Chaque processeur calcule une sortie unique sur la
base des informations quil reoit. Toute structure hirarchique de rseaux est videmment
un rseau [19].
3.4.1. Modlisation
La premire modlisation dun neurone date des annes quarante. Elle a t prsente
par Mac CULLOCH et PITTS. Sinspirant de leurs travaux sur les neurones biologiques, ils
ont propos le modle suivant : un neurone formel fait une somme pondre des potentiels
daction qui lui parviennent (chacun de ces potentiels est une valeur numrique qui
reprsente ltat du neurone qui la mis), puis sactive suivant la valeur de cette sommation
pondre. Si cette somme dpasse une certain seuil, le neurone est activ et transmet une
rponse (sous forme de potentiel daction) dont la valeur est celle de son activation, si le
neurone nest pas activ il ne transmet rien.
La fonction de transfert est un simple effet de seuil. Alors, si une cellule i est
relie N autres cellules, le neurone formel donn par la figure 3.2, effectue une somme
pondre des N entres, augmente dune entre externe dsignant le seuil de
neurone i .
Le tout est suivi dun lment de dcision qui reprsente la fonction dactivation non
linaire qui dtermine la sortie du neurone. La fonction de dcision peut avoir les formes les
plus utilises donnes par la figure 3.3 [20].
Si on dsigne par X le vecteur dentres du neurone i , Wi reprsente la force de la
connexion simulant les poids synaptiques des neurones, tels que :
X=[X1, X2 , Xn]
Wj= [Wj1, Wj2Wjn]
La sortie intermdiaire Si est donne par :
Si = Wi * (X) - i

(3.1)

Et la sortie de neurone Oi est donne par :

Oi = (Si)
Ou les i sont les seuils et est la fonction dactivation (ou de dcision).

56

(3.2)

Chapitre Trois

Les Rseaux des Neurones Artificiels

X1

Wj1

X2

Wj2

Xn

Wjn

Fonction
Dactivation
Corps cellulaire

Synaps
es

Figure 3.2 Modle architectural dun neurone formel

En gnral, un rseau de neurone artificiel peut tre dfinit par les lments suivants :
3.4.1.1. Nature des entres
Elle peuvent tre soit binaires (-1, +1) ou (0, 1), ou bien relles.
3.4.1.2. La fonction dentre totale
Elle dfinit le prtraitement effectu sur les entres.
3.4.1.3. La fonction dactivation
La fonction de transfert est en gnral, une fonction non linaire monotone
croissante ; Par ailleurs, les fonctions de transfert sont de qualits diverses : elles peuvent tre
dterministes, continues, discontinues ou alatoires [21]. La figure 3.3 donne les modles de
fonctions dactivation utilises.

57

Chapitre Trois

Les Rseaux des Neurones Artificiels

f
+1

Fonction de Heaviside
s
Fonction
Linaire sans
saturation
Fonction
linaire avec seuil

Fonction a
seuils multiples

Fonction sigmode
1
= F1(s)
1 + e s

Fonction sigmode
1 es
2(s) =
1 + e s

Fonction
de stochastique

Figure 3.3 Les modles de fonctions dactivation

Le choix de la fonction d'activation dpend de l'application. S'il faut avoir des sorties binaires
c'est la premire fonction que l'on choisit habituellement. Une entre spciale est
pratiquement toujours introduite pour chaque neurone. Cette entre, normalement appele
biais, sert pour dplacer le pas de la fonction d'activation sur l'axe S.
3.4.1.4. La fonction de sortie
Elle calcule la sortie de neurone en fonction de sont tat dactivation, en gnral cette
fonction est considre comme la fonction identit, par la suite confondrons toujours
activation et sortie du neurone.

58

Chapitre Trois

Les Rseaux des Neurones Artificiels

Les fonctions dentre et dactivation sont choisies en fonction des types dautomates
utiliss, c'est--dire tout dpend de la nature des entres et des sorties. En gnral, ils sont au
nombre de six [22]:
3.4.1.5. Les automates boolens

Les entres et les sorties sont boolennes.

La sortie est une fonction boolenne des entres.

3.4.1.6. Les automates seuil

La sortie est binaire alors, que les entres peuvent tre binaires ou relles.

La fonction dentre totale est affine.

La fonction dactivation est la fonction signe ou la fonction de heaviside.

3.4.1.7. Les automates linaires

Les entres et les sorties sont relles.

La fonction dentre totale est linaire.

La fonction de sortie est lidentit.

3.4.1.8. Les automates saturation

Les entres et les sorties sont comprises dans un intervalle [u, v].

La fonction dentre totale est linaire.

La fonction dactivation est la fonction sature.

Si les entres et les sorties sont entires, on obtient un automate multi seuils.
3.4.1.9. Les automates continus

Les entres et les sorties sont relles.

La fonction dentres est linaire ou affine.

La fonction dactivation est stochastique.

3.4.1.10. Les automates probabilistes

Les sorties sont binaires et les entres sont quelconques.

La fonction dentre est affine ou linaire.

La fonction dactivation est stochastique.

3.5. Proprits des Rseaux de Neurones

Un rseau de neurone est un ensemble dlments de traitement de linformation,
avec une topologie spcifique dinterconnexions entre ces lments et une loi dapprentissage
pour adapter les points de connexions. Dune manire gnrale, un rseau de neurones
possde les proprits suivantes [17]:

59

Chapitre Trois

Les Rseaux des Neurones Artificiels

3.5.1. Le paralllisme
Cette notion se situe la base de larchitecture des rseaux de neurones considrs
comme ensembles dentrs lmentaires qui travaillent simultanment.
3.5.2. La rsistance aux pannes
A cause de labondance des entres et la structure du rseau. Les donnes bruites ou
les pannes locales dans un certain nombre de ses lments naffectent pas ses fonctionnalits.
Cette proprit rsulte de fonctionnement collectif et simultan des neurones qui les
composent.
3.5.3. La capacit dadaptation
Celle-ci se manifeste tout dabord dans les rseaux de neurones par la capacit
dapprentissage qui permet au rseau de tenir compte des nouvelles contraintes ou des
nouvelles donnes du monde extrieur. De plus, ils se caractrisent par leur capacit
dauto organisation qui assure leur stabilit en tant que systme dynamique.
3.5.4. La gnralisation
La capacit de gnralisation dun rseau de neurone est son aptitude de donner une
rponse satisfaisante une entre qui ne fait pas partie des exemples partir desquels il a
appris
3.5.5. Structure de connexion
Les connexions entre les neurones qui composent le rseau dcrivent la topologiedu
modle. Elles sont trs varies, le nombre de connexions tant norme. Cette topologie fait
apparatre une certaine rgularit de larrangement des neurones.

3.6. Topologie des Rseaux de Neurones

On peut classer les rseaux de neurones en deux grandes catgories, selon la
dpendance de lvolution de ceux-ci en fonction explicite du temps.
3.6.1. Les rseaux statiques ou rseau couche (FEED FORWARD)
Cest le cas de rseaux statiques, ou le temps nest pas un paramtre significatif. En
dautres termes, la modification dentre nentrane que la modification stable de la sortie,
mais elle nentrane pas le retour de linformation de cette entre.
Les rseaux statiques (FEED FORWARD) sont des rseaux couches, constitus dune
couche dentre, une couche de sortie et entre les deux au moins une couche compose de
nombreux lments de traitements non linaires, appele couche cache.
Les signaux des entres se propagent de la premire couche la couche de sortie en passant
par les couches caches, Il ny a pas des communications entre les units de la mme

60

Chapitre Trois

Les Rseaux des Neurones Artificiels

couche, do le nom de feedforwarde. Les liens dirigs connectant les neurones sont appels
les interconnections [14].
On distingue des rseaux deux couches tel que le perceptron et ladaline (adaptative linear
neurone) qui sont caractriss par :

la simplicit de rglage dapprentissage.

la facilit de dtermination de linfluence dun neurone dentre sur lerreur dun

neurone de sortie den dduire les modifications apporter au lien qui les relie.

La limitation au calcul de fonction trs simple.

Ces rseaux ne pouvaient rsoudre que des problmes simples de classification. Pour
des problmes complexes, une solution consiste organiser le rseau en plusieurs
couches[23].
W1

W2
W3

X1
X2

X3

Couche de
sortie

X4
Couche cache
2

Couche
dentre

Couche cache
1
Figure 3.4 Structure dun rseau statique avec deux couches caches.

Figure 3.5 Forme canonique des rseaux de neurones

61

Chapitre Trois

Les Rseaux des Neurones Artificiels

Y0

Yn

W2

W1

X1 Xn
Figure 3.6 Un rseau FeedForward avec une couche cache.
3.6.2. Les rseaux dynamiques (rcurrents)
Comme leurs noms lindique, contiennent des dbouclages partiels ou totaux entre
neurones, ils reprsentent donc une volution dpendante du temps.
Il faut bien distinguer la dpendance thorique, pour laquelle ltat du rseau un certain
instant dpend de son tat linstant ou aux instants prcdents, du temps ncessaire
obtenir une rponse, dans le cas dune ralisation matrielle ou dune simulation sur
ordinateur.
La thorie de ces rseaux fut publie par HOPFIELD dans les annes 1980 et sont souvent
appeles HOPFIELD nets . Ils sont principalement utiliss pour limplmentation des
mmoires associatives BAM : bidirectional associative memory [14].
S1

S2

O2

O1

X1

Sn-1

X2

On-1

Xn-1

Figure 3.7 Rseau de neurone de Hop Field.

62

Sn

On

Xn

Chapitre Trois

Les Rseaux des Neurones Artificiels

Le perceptron multicouches ordinaire ou la carte auto organisatrice sont des rseaux

statiques. Par contre, le rseau du HOPFIELD ou le perceptron avec rebouclage est des
rseaux dynamiques.
Les critres motivant les choix dun type de rseau sont la simplicit de mise en uvre et
lefficacit des algorithmes dadaptation appels rpondre aux performances dsires du
systme, quelle que soit sa complexit [14].
Loprateur non linaire ralis par un rseau, boucl ou non, dpend des valeurs des
coefficients de pondration du rseau.
Pour quun rseau effectue une tache donne, il faut donc ajuster la valeur des ses
coefficients. Une tache est dfinie par un ensemble dexemples, ou couples (valeurs des
entres et valeurs des sorties dsires correspondantes), tels les couples (forme classe) en
classification, ou les couples (commande sortie mesure du processus) en modlisation ces
couples constituent lensemble dapprentissage.

3.7. Le Perceptron
A la fin des annes 50, la neurobiologie ne disposait pas encore des techniques
modernes de llectrochimie pour tudier les structures du cerveau. Lide de certaine
chercheurs fut alors dutilis les modlisations des neurones et de lvolution des synapses
pour simuler des rseaux de neurones. Ceux-ci pourraient exhiber des comportements proche
de ceux du cerveau et ainsi fournir des explications sur le fonctionnement de celui-ci.
Le premier modle fut prsent par ROSEBLATT ctait le perceptron ce modle a pour
proprits [18] :

Dtre spcifi en termes suffisamment prcis pour permettre le test des

performances annonces.

Dtre suffisamment complexe pour que lon puisse esprer des comportements
intressants.

Dtre suffisamment simple pour que ses performances puissent tre prdites et
analyses.

Enfin et surtout dtre en accord avec les faits biologiques

Une perceptron comprend trois lments principaux :

3.7.1. Rtine
Elle est constitue de cellules, sur lesquelles sinscrit le stimulus.

63

Chapitre Trois

Les Rseaux des Neurones Artificiels

3.7.2. Couche de cellules dassociation

Chacune de ces cellules peut tre connecte des cellules de la rtine, et dautres
cellules de dcision.
Elle fait la somme des impulsions qui lui vienne et des cellules aux quelles elle est connecte.
3.7.3. Couche de cellule de dcision
Ces cellules fonctionnent comme les cellules dassociation, elles reoivent leurs
entres des cellules d association ou dautres cellules de dcision. Elles reprsentent la sortie
du perceptron. Le sens des connexions entre les cellules dassociations et les cellules de
dcisions est bi directionnel, ce qui un FEED BACK de la sortie sur le rseau.
Remarque : Les neurones constituants le perceptron sont des rseaux linaires seuil.

Cellule de
dcision
Rtine

Cellule dassociation

Figure 3.8 Schma dun perceptron

3.8. Perceptron Simple
Pour faciliter ltude des comportements du perceptron, il est courant dutiliser un
perceptron dune forme plus simple que celle dfinie par le modle gnrale. Dans ce cas :
Les valeurs de sorties de toutes les cellules (rtine, association, dcision) sont
binaires en 0 et 1.
Les fonctions ralises par les cellules dassociations sont des fonctions boolennes
et les cellules de dcision sont des automates seuil.
Il nexiste pas de connexion entre deux cellules dassociation, ni entre deux cellules
de dcisions.
Les connexions entre cellules dassociation et cellules de dcision sont sens unique
association dcision.

64

Chapitre Trois

Les Rseaux des Neurones Artificiels

Cellule de dcision

Cellule dassociation
Rtine

Figure 3.9 perceptron simple [22]

Un tel perceptron va tre utilis pour essayer de reconnatre des formes qui lui seront
prsentes sur sa rtine. Si lon nutilise quune cellule de dcision, celle-ci devra rpondre 1
lorsque la forme qui lui sera prsents correspond une forme quon veut lui faire
reconnatre et 0 dans tous les autres cas.
Lapprentissage du perceptron va se faire suivant le perceptron de HEEB, c'est--dire en
modifiant ses connexions [18].

3.9. LApprentissage des Rseaux de Neurones

Lapprentissage se conduit avec une mthodologie prcise. La premire, est la plus
simple, connue sous le nom de rgle de HEBB, date de 1949. Elle indique que lorsque deux
neurones sont excits en mme temps, il faut modifier les coefficients synaptiques pour
renforcer cette excitation simultane. La rgle de WIDROW HOFF, tablie en 1960, inique
que la modification de ses coefficients est proportionnelle lerreur entre le rsultat souhait
et le rsultat rel et aux valeurs dentre.
La phase dapprentissage consiste modifier les poids jusqu obtention dune
stabilisation du rseau. C'est--dire, jusqu ce que le poids ne se modifie plus que dune
faon minime. Lapprentissage mathmatique, bas sur ce concept, sert minimiser une
fonction de cots formule autour de lerreur de sortie. Alors ladaptation commence, par les
neurones de la couche de sortie, forcs de la bonne valeur, puis on fait varier lgrement les
poids des neurones des couches prcdentes :
Il y a autant dalgorithmes dapprentissage que de types de rseau. Mais la question
qui se pose, est ce que on est absolument sur de la stabilit du rseau ? Question classique

65

Chapitre Trois

qui revient

Les Rseaux des Neurones Artificiels

assurer

la convergence des algorithmes dapprentissage utiliss. Les

procdures dapprentissage peuvent se subdiviser, elles aussi, en deux grandes catgories.

3.9.1. Apprentissage supervis
Dans ce cas, la connaissance a priori de la sortie dsire est ncessaire. On prsente
au rseau le vecteur dentre puis on calcule sa sortie, cette dernire sera compare avec la
sortie dsire, ensuite les poids sont ajusts de faon rduire lcart entre elles. Cette
procdure est rpte jusqu ce quun critre de performance soit satisfait.
Lapprentissage supervis dtermine les poids synaptiques partir dexemples tiquets de
formes auquel un professeur a associe des rponses ou des cibles dsires galement
tiquetes et grce une stratgie spcifique. Aprs la phase dapprentissage et la
convergence des calculs, il nest plus ncessaire, en gnral, de mmoriser le jeu
dapprentissage. Ces algorithmes sont particulirement ddies aux problmes de
classification des donnes bruites ou incompltes [14].
3.9.2. Apprentissage non supervis
Ne ncessite pas denseignant externe et se base uniquement sur les valeurs
dentre sans fournir de rponse dsire. Le rseau sauto organise de faon optimises une
fonction de cot [24].
Lapprentissage non supervis copie le fonctionnement du cerveau humain qui
retrouve les informations par association. On prsente lentre du rseau des exemples
connus et le rseau sorganise lui-mme auteur dattracteurs qui correspondent des
configurations stables du modle dynamique non linaire associ au rseau. Lapprentissage
est accompli laide de rgles qui changent ou adaptent le poids des cfficients synaptiques
en fonction des exemples prsents lentre et dans certains cas en fonction des sorties
dsires.

3.10. Les Principales Rgles dApprentissage

Les stratgies des modifications des poids synaptiques sont drives des rgles
gnrales suivantes :
La rgle de HEBB ou les poids des connexions entes deux processeurs lmentaires
est renforc si les deux processeurs lmentaires sont activs simultanment
La rgle de WIDROW HOFF ou rgle delta rgle ou les poids synaptique est adapte
pour obtenir la diminution de lerreur entre la sortie relle du processeur
lmentaire et la sortie dsire.

66

Chapitre Trois

Les Rseaux des Neurones Artificiels

Lapprentissage comptitif dans lequel touts les processeurs lmentaires sont en

comptition. La slection est ralise laide dun processus de comptition bas
sur une mesure de similarit entre lexemple de rfrence associe chaque
processeur et lexemple dentre.
Les expressions prcises des rgles dpendent trs troitement de la nature des fonctions
dentre totale, des fonctions dactivation et de la nature continue ou discrte des
informations contenues dans les cellules des neurones.
La figure 3.10 reprsente la cellule mettrice Pj connecte la cellule rceptrice Pi par
lintermdiaire du poids synaptique Wij
Sj
Si

Pi

Figure 3.10 Modle dapprentissage de la connexion Wij entre deux neurones

Rumelhart [RUME 86] a propos une rgle gnrale de modification de poids synaptique
Wij valable pour de nombreux mcanismes dapprentissage dans le cas dune cellule Pi avec
ventuellement une entre professeur ti.
Wij = i (Si, ti) gj (Si, Wij)
Avec :

(3.3)

: le pas dadaptation
i et j : fonctions dactivations de Pi et Pj.
Si et Sj : valeurs dactivations de Pi et Pj.
ti : entre professeur de Pi.

Dans la rgle de HEBB, il ny a pas de professeur et les fonctions i sont linaires : le

mcanisme dadaptation se rduit :
Wij = Si Sj

(3.4)

La rgle de WIDROW HOFF, connue galement sous le nom de Delta rgle (ou
rgle) ncessite un professeur et se formule en prsence de fonctions dactivation linaire
sous la forme :
Wij = (ti Si) Sj

67

(3.5)

Chapitre Trois

Les Rseaux des Neurones Artificiels

Le modle comptitif de type KOHONEN met en uvre lexpression :

Wij = (ti Wij)

(3.6)

Aprs la phase dapprentissage, toute la mmorisation des connaissances est grave

dans le rseau. Cest la phase la plus longue en calcul connexionniste. Par contre, en phase de
reconnaissance, si la forme reconnatre a dj t apprise, le rseau fournira instantanment
la bonne sortie.
Certains rseaux ddis aux problmes de classification automatique ont t conus
pour rejeter de faon certains les exemples qui nont pas t mmoriss par le rseau [21].
3.10.1. Les mcanismes de classification
La cellule de dcision avec fonction de seuil se comporte comme un adaptateur linaire
qui ralise la sparation des exemples en deux classes w1 et w2 laide de la fonction
discriminante linaire :

g (x)= wtrx

(3.7)

w = (W1j, W2j, Wnj, W0j) tr, vecteur des poids synaptiques.

X = (X1, X2, .Xn, 1) tr.
Cette fonction permet la sparation de lensemble des vecteurs x en deux classes w1et w2 :
x w1 si g(x) 0.
X w2 si g(x) < 0.
La figure 3.11 montre linterprtation gomtrique du mcanisme de classification.
g (x) 0
g(x)=0

Classe w2
Classe w1
g(x) < 0.
Figure 3.11 - Sparation de deux classes avec adaptateur linaire
3.10.2. Les mmoires associatives
Les ordinateurs classiques de type Neumann traitent de faon squentielle des
informations qui sont codes sous forme binaire et ranges dans des mmoires accessibles
par leur adresse indpendamment de leur contenu. La dfaillance dune seule mmoire
provoque linterruption de la chane de traitement squentiel des oprations. Une

68

Chapitre Trois

Les Rseaux des Neurones Artificiels

caractristique importante des rseaux de neurones rside dans la manire avec laquelle sont
stockes les informations et dans la faon de les associer.
En rgle gnrale, la mmoire des rseaux de neurones est distribue et toute ou partie des
poids de connexion du rseau constitue la mmoire du rseau. Ainsi, un exemple de la base
des exemples dapprentissage sera mmoris par un sous ensemble particulier des cellules
qui contient galement la mmoire de certains autres exemples de la base dapprentissage. La
majorit des rseaux de neurones utiliss en diagnostic industriel pour la classification des
dfauts sont appels des mmoires associatives ou classifieurs. On distingue deux familles de
rseau de neurones : les rseaux base de neurones appels souvent neurones grand-mre
et les mmoires auto associatives et les mmoires htro associatives
Dans ce type de rseau, les neurones rpondent spcifiquement un seul exemple de
la base dapprentissage. Le traitement de linformation est ralis par plusieurs neurones
indpendants les un des autres. Le surnom de tels rseaux repose sur lhypothse que le
cerveau humain stocke limage de notre grand-mre dans un neurone particulier plac dans
un endroit prcis du cerveau. Ces rseaux sont particulirement adapts aux problmes de
classification [21].
3.10.3. Mmoires auto associatives et htro associatives
Dans une mmoire associative, les informations ne sont pas localises des
emplacements dtermins, mais la mmorisation de chaque exemple est distribue sur
lensemble de la structure du rseau qui constitue ainsi la mmoire. Les seules sorties
possibles sont galement des contenus des mmoires. Les mmoires auto associatives ont
pour caractristique essentielle de reproduire en sortie, limage apprise de lentre partir
dun exemple incomplet ou bruit. Les mmoires htro associatives apprennent une relation
entre un exemple donn et une sortie dsire diffrente de lexemple. Si un nouvel exemple
prsent est proche de lexemple appris, il restituera la sortie dsire. Ces mmoires sont
particulirement performantes pour la reconnaissance de caractres avec des donnes
incompltes ou bruites [21].

69

Chapitre Trois

Les Rseaux des Neurones Artificiels

3.11. Algorithme de Retro propagation

3.11.1. Introduction
Le rtro propagation est le paradigme des R N A le plus utilis.
Le terme se rfre un algorithme pour ajuster les poids de connections en un R N A multi
couches, ce paradigme a t appliqu avec succs dans diffrents domaines tel que le
domaine militaire, mdicale, synthse de la parole, traitement de signaletc.
Le rtro propagation est bas sur des principes mathmatiques. Cette mthode a donn de
bons rsultats dans beaucoup dapplications. Pour lappliquer il suffit davoir des donnes
dentres et des donnes de sortie.
Cependant, toute information que possde un rseau de neurone est reprsente par les poids
dinterconnections, cette information est acquise durant la phase dapprentissage.
Cette proprit dapprendre a permis lapplication des tels rseaux dans plusieurs domaines,
contrle, identification, diagnostic,etc [18].
3.11.2. Prsentation
Cet algorithme que lon dsigne couramment par Back propagation est une
gnralisation de la rgle de WIDROW HOFF pour un rseau multi couches.
Il

mis

au

France FEGELAM N

point

simultanment

SAULIE,

par

GALLINARI,

deux

quipes

LECUN

indpendantes

et

aux

en

Etats-Unis

RUMELHART, HITON, WILLIAMS .

Lide simple qui est la base de cet algorithme, et qui permet de lever la difficult du
crdit assignent problme est lutilisation dune fonction drivable (fonction sigmode) en
remplacement de la fonction de seuil utilise dans le neurone linaires a seuil.
Mathmatiquement, cet algorithme utilise simplement les rgles de drivation compose et
ne prsente aucune difficult particulire.
Le principe de cet algorithme est que, de mme que lon est capable de propager un
signal provenant de cellules dentre vers la couche de sortie, on peut, en suivant le chemin
inverse, rtro propager lerreur commise en sortie vers les couches internes.
3.11.3. Position de problme
Lapprentissage supervis consiste ajuster les coefficients synaptiques pour que les
sorties du rseau soient les plus proches possibles des sorties de lensemble dentranement.
Donc il faut spcifier une rgle dapprentissage pour ladaptation de ces paramtres.
Pour remdier ce problme, on utilise la mthode de rtro propagation de lerreur pour
lapprentissage des rseaux statiques multi couches.

70

Chapitre Trois

Les Rseaux des Neurones Artificiels

3.11.4. Modle et quation du rseau

Le rseau utilis est un rseau multi couches, comportant une couche dentre qui
corresponde la rtine, une couche de sortie qui corresponde la dcision, et un certain
nombre de couches dites caches. Ces couches caches constituent de vritable
reprsentation interne des problmes [18].
Le neurone utilis dans le rseau est fondamentalement de mme nature que le
neurone linaire seuil du perceptron, il applique une fonction la somme pondrer de ses
entres, cette fonction est une version lisse de la fonction seuil on utilise en gnral
fonction sigmode qui scrit :
(S) = 1/(1+e-s)

(3.8)

Les tats des diffrents neurones dans un rseau ayant L couches (couches caches et
couches de sortie) donnes ayant N entres et M sorties, sont donnes par les quations
suivantes :
Opi = (Spi)

(3.9)

Avec :
S Pi = Wij .Oij

(3.10)

Telle que
Opi : La sortie de neurone i pour lexemple (entre, sortie dsire) p.
Spi : Le potentiel somatique du neurone i pour lexemple (entre, sortie dsire) p.
Wij : Coefficient synaptique (poids) de la jeme entre du neurone i.
3.11.5. Principe de rtro propagation
La rtro propagation est base sur ladaptation des coefficients synaptiques dites
encore des coefficients de pondration dans le but de minimiser une fonction de cot
(performance) donne par :
P

E (W ) = E P (W )

(3.11)

P =1

E P (W ) =

1 n
(t Pi O Pi ) 2

2 i =1

(3.12)

Ou : tpi et Opi Reprsentant respectivement la sortie dsire (Target) et la sortie (output) du

rseau.
P : Le nombre dexemple ou de la longueur de lensemble dentranement.

71

Chapitre Trois

Les Rseaux des Neurones Artificiels

La minimisation de lerreur se fait par une approximation dune descente de gradient comme
dans la rgle de Widrow Hoff (rgle delta). Toute la difficult pour effectuer cette descente
dans un rseau multi couches tait de pouvoir calculer la drive de lerreur quadratique par
rapport un poids donn.
3.11.6. Adaptation des poids
Ladaptation (ajustement, mise en forme) des coefficients synaptique, se fait par la
mthode du gradient base sur la formule itrative suivante :
Wij (n + 1) = Wij (n) + Wij
PWij = .

( poque )

E P
Wij

(3.13)
(3.14)

n : Reprsente le numro ditration.

: Reprsente la pas dapprentissage. Ce facteur influe sur la vitesse de convergence du
rseau.
La drive partielle de E(W) par rapport chaque poids du rseau, pour cela et on utilisant la
rgle de delta gnralise. Nous devons charger notre poids lis :
PWij = . Pi .OPj

(3.15)

Avec :
Opj : Sortie du neurone j pour un exemple p.

pi :

Lerreur commise la sortie du neurone i pour lexemple p, posant maintenant :

Pi =
Lastuce est de calculer

pi

E P
= (t Pi O Pj )
S Pi

(3.16)

pour chaque neurone dans le rseau. Le rsultat intressant que

nous avons driv maintenant, est quil y a un simple calcule rcursif de ces qui peuvent
tre implments par la rtro propagation du signal derreur travers le rseau.
Pour calculer : Pi =

E P
S Pi

Nous appliquons la dcomposition en chane pour exprimer drivation partielle, nous

obtenons :

Pi =

O
E P
E
= P * Pi
S Pi
OPi S Pi

Calculons le deuxime facteur de lquation (3.15) nous voyons que :

72

Chapitre Trois

Les Rseaux des Neurones Artificiels

O Pi
= f ( S Pi )
S Pi
O : (Spi) : Est la drive de la fonction dactivation du neurone I value Spi.
Pour calculer le premier facteur nous considrons deux cas :
Supposant que le neurone Ui est un neurone de sortie du rseau, dans se cas, il parait de la
dfinition de Ep que :

E P
= (t Pi OPj )
O Pi
Substitutions les deux facteurs dans lquation (16) nous obtenons :

Pi = (t Pi OPj ) f ( S Pi )

(3.17)

Pour tout neurone de sortie Ui.

Si Ui nest pas un neurone de sortie, nous utilisons la dcomposition en chane pour crire :

E P

Pi

S Pk
E
E

= P *
Wki OPi = P Wki = Pk Wki

OPi
S Pk OPi
S Pk

Dans ce cas, substituions les deux facteurs dans lquation (16) nous obtenons :

Pi = f ( S Pi ) Pk * Wki

(3.18)

O : Ui est un neurone appartenant aux couches caches

Les quations (3.17) et (3.18) donnent une procdure rcursive pour calculer les pour tout
neurone dans le rseau lie lquation (3.14), cette procdure constitue la rgle delta
gnralise pour un rseau statique, aussi pour le neurone non linaire.
Pour minimiser lerreur total sur lensemble dentranement, les poids du rseau peuvent tre
ajusts par la prsentation de lensemble dapprentissage en entier.
La variation des poids p Wij (n) peut alors scrire ainsi :
PWij (n) = .

E P (W )
Wij (n)

(3.19)

3.11.7. Les tapes dalgorithme de rtro propagation

Lalgorithme de rtro propagation est reprsent comme suit :
Etape 01 : Initialiser les poids Wij et les seuils internes des neurones de petites valeurs alatoires.
Etape 02 : Prsenter lensemble des couches (entre, sortie dsire).
Etape 03 : Prsenter le premire couch (entre, sortie dsire) de lensemble.
Etape 04 : Calculer :
1- La somme des entres des neurones de la couche cache par lquation (3.10)
2- Les sorties des neurones de la couche cache par lquation (3.9)

73

Chapitre Trois

Les Rseaux des Neurones Artificiels

3- La somme des entres de la couche de sortie par lquation (3.10).

4- Les sorties de rseau par lquation (3.9).

Etape 05 : Calculer :
1- Les termes de lerreur pour les neurones de la couche de sortie par lquation (3.17).

2- Les termes de lerreur pou les neurones de la couche cache par lquation (3.18).
Etape 06 : Calculer la variation des poids par lquation (3.15).
Etape 07 : Calculer lerreur Ep par lquation (3.12).
Etape 08 : Prsenter un autre couple (entre, sortie dsire) et aller ltape quatre.
Etape 09 : Si tout lensemble des couple est prsent, calculer la variation total des poids par
poque, en utilisant lexpression :

Wij

= PWij

( poque )

P =1

Etape 10 : Ajuster les poids par lquation (3.13).

Etape 11 : Calculer lerreur totale par lquation (3.11).
Etape 12 : Comparer lerreur totale avec une erreur prdtermine (EPR).
[E EPR <

].

Si la condition est vrifie aller ltape 13.

Si non aller ltape 03.
Etape 13 : Fin

74

Chapitre Trois

Les Rseaux des Neurones Artificiels

3.11.8. Algorithme de rtro propagation

Dbut

Initialiser les poids Wij et les seuils internes des neurones de petites valeurs alatoires.
tpi : la sortie dsire (Target), Opi : la sortie (output) du rseau, Fi (Opi) :la drive de la
fonction dactivation du neurone i value Opi ,

Prsenter lensemble des couples (entre, sortie dsire)

Prsenter le premier couples (entre, sortie dsire) de lensemble.

(S) = 1/(1+e-s)

Opi = (Spi)
Spi = Wij. Opi

(Spi) pk * Wki
pi = (tpi Opi) (Spi)
pi =

p Wij = . pi. Opj

n

Ep (W) = (tpi Opi) 2

i=1

Prsenter un autre couple (entre, sortie dsire)

Tout lensemble
des couples est
prsent

1
75

Chapitre Trois

Les Rseaux des Neurones Artificiels

A
1
P

Wij

(poque)

= p Wij.
P=1

Wij (n+1) = Wij (n) + Wij (poque)

p

E (W) = Ep (W)
P=1

Non
| E E PR | <

Oui
FIN

3.12. Domaines dapplication des Rseaux de Neurones

Les proprits dapplication et dapproximation des rseaux de neurones ont permis
une importante application de ces derniers dans les diffrentes domaines pratiques,
notamment, les domaines suivants :
3.12.1. Classification des signaux :
Classer des signaux dans les catgories diffrentes en fonction des caractristiques de
forme (amplitude, frquence, phase, etc. ) peut tre ralis aisment par lutilisation dun
rseau de neurones.
Supposons quon a deux catgories de signaux A et B et quon souhaite classer de
diffrents formes dans ces deux catgories en fonction des caractristiques de ces formes.
On peut simplement dfinir la fonction non linaire F qui vaut +1 pour les formes de la
classe A et -1 pour celles de la classe B, le problme de classification revient
approximation de la fonction non linaire F qui peut tre rsolue par un rseau de neurones
qui possde des entres et une seule sortie pour fournir la dcision.

76

Chapitre Trois

Les Rseaux des Neurones Artificiels

3.12.2. Identification des processus

Identifier un processus ; cest dessayer de donner un modle plus proche au
processus rel qui permet de reproduire avec la prcision voulue, la sortie en fonction des
entres du processus, cest typiquement un problme dapproximation qui peut tre rsolu
par un rseau de neurones.
3.12.3. Contrle des systmes
Contrler un systme; cest donner un ensemble dentres adquates qui permettent
davoir la sortie dsire (position, vitesse, etc.), et comme tant la fonction liant la sortie
du systmes avec lensemble de commande est non linaire, cette fonction peut tre
approche avantageusement par un rseau de neurones.
3.12.4. Lapplication au diagnostic :
Les rseaux de

neurones sont bien adapts la rsolution des problmes de

diagnostic, utilisant la classification automatique des signaux et des formes. Dans ce

contexte, on distingue plusieurs applications des rseaux de neurones pour le diagnostic des
dfaillances et en particulier, pour le diagnostic des pannes des machines lectriques.

3.13. Les Caractristique dune Bonne Application

Nous pouvons dterminer quelques unes des caractristiques des problmes bien adapts
une rsolution par les rseaux de neurones :
1- Les rgles qui permettraient de rsoudre le problme sont inconnues ou trs difficiles
expliciter ou formaliser. Cependant, on dispose dun ensemble dexemples qui
correspondent des entres du problme et aux solutions qui leur sont donnes par
des experts.
2- Le problme fait intervenir des donnes bruites.
3- Le problme peut valuer, par exemple en faisant varier son champ de conditions
initiales.
4- Le problme ncessite une grande rapidit de traitement, il doit par exemple tre trait
en temps rel.
5- Il nexiste pas de solutions technologiques courantes. Cette approche amne dresser
la liste suivante des domaines dapplications privilgis :
Reconnaissance des formes.
Traitement de signal.
Vision, parole.
Prvision et modlisation.

77

Chapitre Trois

Les Rseaux des Neurones Artificiels

Aide la dcision.
Robotique.
Ces quelques domaines possdent pratiquement toutes les caractristiques exposes
prcdemment, cest pourquoi ils constituent le cur des applications des rseaux de
neurones.
Il ne faut cependant pas oublier le rle que peuvent jouer les rseaux de neurones formels
dans ltude du cerveau en tant quinstrument de simulation, et dans la recherche sur les
neuro-ordinateurs et les nouvelles architectures dordinateurs en tant quinstruments de
formalisation et de simulation [16].

78

Chapitre Trois

Les Rseaux des Neurones Artificiels

3.14. Conclusion
Dans ce chapitre, nous avons prsent les rseaux de neurones, en spcifiant leurs
dfinitions, les concepts de base de cette technique, lapprentissage des rseaux de neurones,
et ses diffrents domaines dutilisation.
Nous avons prsent une tude sur lalgorithme du rtro propagation qui a prouv son
efficacit dans la pratique avec ses capacits dapprentissage et didentification.
Pour ces raisons, cet algorithme sera la base du travail qui sera prsent dans les prochains
chapitres qui traite la commande d'un bras manipulateur par des technique neuro-floue
(ANFIS).

79