Unknown Les Réseaux de Neurones

ChapitreI
LesrseauxdeNeurones
Artificiels
Chapitre I Les Rseaux de Neurones Artificiels
Electrotechnique Msila 2006 2
I .1I ntroduction
Lvolution technologique durant les dernires annes a permis aux scientifiques
dlaborer et de perfectionner des mthodes pour diffrents domaines. Lvolution des
ordinateurs en particulier et la capacit dintgration de composants formidable atteintes nos
jours ont permis une grande vitesse de calcul et une grande capacit mmoire. Parmi ces
mthodes, il existe une mthode qui est utilise dans plusieurs domaines de recherches et de
diffrentes manires, ainsi elle peut tre utilise dune manire compltement Soft en utilisant
uniquement lordinateur ou dune manire Hard en utilisant les circuits intgrs. Cette
mthode est celle des rseaux de neurones artificiels (RNA).
Les rseaux de neurones artificiels sont des outils puissants capables dtre utiliss dans
prs que tous les domaines technologiques, et on peut citer : Le traitement du signal, vision,
parole, prvision, modlisation, aide la dcision, robotique, valuation des cosystmes,
identification des bactries, commande des processus, modlisation des systmes physiques,
reconnaissance des formes, mesure, instrumentation,... [1].
I .2Historique
Les dbuts des RNA ont t mouvements, leur conception et leur dveloppement na
pas t une chose facile car aprs leur mise au point, il y a plus de soixante ans, ils ont
rencontr une priode de sommeil cause de leur complexit dimplmentation et de
ralisation mais ils ont fini par rapparatre avec lapparition des puissants ordinateurs.
Les RNA ont commenc voir le jour ds 1890 avec W. James, un clbre psychologue
Amricain qui a introduit le concept de mmoire associative, et proposa une loi de
fonctionnement pour lapprentissage sur les rseaux de neurones. Cette rgle sera connue sous
le nom : la rgle de Hebb. En 1943, Mc Culloch et Pitts deux bio-physiciens de luniversit de
Chicago ont dmontr quun rseau de neurones discret peut reprsenter nimporte quelle
fonction boolenne, principe de base dun ordinateur. Quelques annes aprs, en 1949
D.Hebb, physiologiste amricain explique le conditionnement chez lanimal par les proprits
des neurones eux-mmes. La loi de modification des proprits des connexions entre neurones
quil propose dmontre en partie ses rsultats exprimentaux. Il introduit le terme
connexionisme pour parler de modles massivement parallles, connects et propos de
nombreuses rgles de mise jour des poids dont la clbre rgle de Hebb. Rosenblatt proposa
en 1958 le perceptron, un rseau de neurones inspir du systme visuel. Il possde deux
couches de neurones :
- une couche de perception,
- une couche lie la prise de dcision.
C'est le premier systme artificiel capable d'apprendre par exprience. Ce rseau, tait
capable dapprendre diffrencier des formes simples et calculer certaines fonctions
logiques. Dans la mme priode, Le modle de L'Adaline (adaptive linar element) a t
prsent par B. Widrow, chercheur Amricain Stanford. Ce modle sera par la suite le
modle de base des rseaux multicouches.
Lune des causes qui est lorigine du dsintressement des chercheurs aux RNA est
apparue en 1969, avec lapparition dun livre connu sous le nom Perceptrons de Minsky et
Papert et dans lequel ils publirent leur argumentation mathmatique visant dmontrer les
limitations du perceptron (Rseaux de neurones une seule couche) et en particulier,
lincapacit du rseau rsoudre les problmes non linairement sparables, dont la fonction
logique XOR est un clbre exemple. Ce nest quau dbut des annes 80 que lintrt des
chercheurs pour les rseaux de neurones renat et plus prcisment en 1982 grce Hopfield
qui proposa les rseaux de neurones associatifs. Paralllement, Werbos conoit un mcanisme
dapprentissage pour les rseaux multicouches de type perceptron.
Lanne 1986 a vu lapparition de lalgorithme de rtropropagation de lerreur publi par
Rumelhart, Hinton et Williamsrreur qui permet doptimiser les paramtres dun rseau de
neurones plusieurs couches, ainsi les recherches sur les rseaux de neurones ont dmarr
fortement, impliquant le succs de cette mthode et son application dans divers domaines [1]
[2].
I .3Leneuronebiologique
I .3.1SystmeNerveux
Le cerveau humain, est le meilleur modle de la machine, polyvalente incroyablement
rapide et surtout doue dune incomparable capacit dauto organisation. Son comportement
est beaucoup plus mystrieux que le comportement de ses cellules de base. Il est constitu
dun grand nombre dunits biologiques lmentaires (1000 10000 synapse par neurone).
Figure (I.1) Le neurone biologique
Les cellules nerveuses appeles " neurones ", sont les lments de base du systme nerveux
central. Elles sont constitues de trois parties essentielles : le corps cellulaire, les dendrites et
laxone figure (I.1) [1][2].
I .3.1.1Lecorpscellulaire
Il contient le noyau du neurone et effectue les transformations biochimiques ncessaires
la synthse des enzymes et des autres molcules qui assurent la vie de neurone. Sa forme est
pyramidale ou sphrique dans la plupart des cas, elle dpend souvent de sa position dans le
cerveau. Ce corps cellulaire fait quelques microns de diamtre [3].
I .3.1.2Lesdendrites
Chaque neurone possde une chevelure de dendrites. Celles-ci sont de fines extensions
tubulaires, de quelques diximes de microns de diamtre et dune longueur de quelques
dizaines de microns. Elles sont les rcepteurs principaux du neurone qui servent capter les
signaux qui lui parviennent [3].
I .3.1.3Laxone
Laxone, qui est proprement parler la fibre nerveuse, sert de moyen de transport pour
les signaux mis par le neurone. Il se distingue des dendrites par sa forme et par les proprits
de sa membrane externe. En effet, il est gnralement plus longue que les dendrites, et se
ramifie son extrmit, l o il communique avec les autres neurones, alors que les
ramifications des dendrites se produisent plutt prs du corps cellulaire.
Pour former le systme nerveux, les neurones sont connects les uns aux autres suivant des
rpartitions spatiales complexes. La transmission entre deux neurones nest pas directe. En fait,
il existe un espace intercellulaire de quelques dizaines dAngstrom (10-9 m) entre laxone du
neurone et les dendrites dun autre neurone. La jonction entre deux neurones est appele la
synapse [1][3].
I .4Leneuroneformel
I .4.1Dfinition
Le neurone formel est le modle mathmatique du neurone biologique. Il fait la somme
pondre de ses entres, suivie dune non linarit (lment de dcision pour les classifieurs)
appele fonction dactivation ou fonction de seuil.
Les entres dun neurone sont soit des entres externes, soit des sorties dautres neurones [4].
Le schma dun neurone formel est donn par la figure (I.2)
Le choix de la fonction d'activation dpend de l'application [1].
I .4.2Principedefonctionnement
Lquation de sortie
i
O du neurone i est donne par :
( )
i i
L f O = (I.1)
O
=
k
io ij
k
ij i
W E W L (I.2)
Les coefficients de pondration W
ij
sont appels coefficients synaptiques
Souvent, il y a un paramtre additionnel W
i0,
ce terme est considr comme la valeur du seuil
interne du neurone [4].
2 i
W
in
W
1 i
W
I
L
0 i
W
1 i
E
2 i
E
in
E
+1
( )
=
i i
L f O
Entre Poids
Sortie
Figure (I.2) Schma dun neurone formel
f
I .4.3 Fonction dactivation
Cest une fonction prsente gnralement par une non linarit appele aussi fonction
de seuil. Elle permet de dfinir ltat interne du neurone en fonction de son entre totale
Les fonctions les plus souvent utilises sont reprsentes par la figure (I.3) [11].
(f) Fonction de stochastique
f
s
(b) Fonction sigmode ( )
S
e
s f

+
=
1
1
f
s
s
f
s
(a) Fonction linaire avec seuil
f
s
(c) Fonction a seuils multiples (d) Fonction sigmode ( )
S
S
e
e
s f

=
1
1
f
s
+1
-1
Toutes les fonctions dactivation utilises doivent tre diffrentiables, car larchitecture du
rseau de neurones limpose pour que lapprentissage soit possible [11].
I .5Propritsdesrseauxdeneurones
Lintrt port aujourdhui aux rseaux de neurones tient sa justification dans quelques
proprits intressantes quils possdent et qui devraient permettre de dpasser les limitations
de linformatique traditionnelle, tant au niveau programmation quau niveau machine [6].
I .5.1Leparalllisme
Cette notion se situe la base de larchitecture des rseaux de neurones considrs
comme ensemble dentits lmentaires travaillant simultanment. Avec ltude du
fonctionnement des rseaux de neurones, on pourrait aboutir des nouvelles techniques de
formalisation de problme qui permettraient de les traiter en parallle [6].
I .5.2 La capacit dadaptation
Celle-ci se manifeste par la capacit dapprentissage qui permet de tenir compte des
nouvelles contraintes ou des nouvelles donnes du monde extrieur. Certains rseaux se
caractrisent aussi par leur capacit dauto organisation qui assure leur stabilit en tant que
systmes dynamiques capables de tenir compte des situations non encore connues [6].
I .5.3Lammoiredistribue
Dans les rseaux de neurones, la mmoire correspond une carte dactivation de
neurones. Cette carte est en quelque sorte un codage du fait mmoris ce qui attribue ces

+1
s
(e) Fonction de Heaviside

s
s
(g) Fonction linaire sans saturation
Figure (I.3) Les diffrentes formes de la fonction dactivation
rseaux lavantage de rsister aux bruits (pannes) car la perte dun lment ne correspond pas
la perte dun fait mmoris [6].
I .5.4Lacapacitdegnralisation
Cette capacit est important surtout dans le cas o la constitution de recueils dexpertise
pour un systme expert devient difficile (reconnaissance intuitive ou implicite). Les rseaux
neuronaux peuvent apprendre retrouver des rgles partir des exemples [6].
I .6Architecturesdesrseauxdeneurones
Il existe deux grands types darchitectures de rseaux de neurones :
Les rseaux statiques non rcurrents et les rseaux dynamiques rcurrents [4].
I .6.1Lesrseauxstatiques
Dans un rseaux statique ou non rcurrent , la sortie dun neurone ne peut pas tre
injecte ni directement son entre ni indirectement travers dautres neurones ; cest - dire
quune sortie courante na aucune influence sur les sorties futures . Dans ce cas, la sortie du
rseau est obtenue directement aprs lapplication du signal dentre linformation circule
dans une seule direction ; de lentre vers la sortie.
Les rseaux statiques ralisent des transformations non linaires de la forme :
] [x f Y =
Ou
m
R x e
et
n
R Y e
, m et n sont les dimensions du vecteur dentre x et du
vecteur de sortie Y respectivement.
Les neurones qui ne sont pas des sorties du systme sont appels neurones cachs
(neurones invisibles dans la sortie). dans larchitecture la plus gnrale , lentre de chaque
neurone est connecte toutes les sorties des neurones prcdents mais , la plupart des
rseaux de neurones statiques utiliss , sont organiss en plusieurs couches de neurones ,
appels rseaux multi couches aux perceptrons multi couches.
Un rseau multi couches comporte : une couche dentre, une ou plusieurs couches
caches et une couche de sortie.
Dans un tel rseaux, la sortie de chaque neurone dune couche l est connecte lentre de
chaque neurone de la couche suivant l+1.
Larchitecture dun tel rseau est donne par la figure (I.4) [4].
I .6.2Lesrseauxdynamiques
Ces rseaux, appels aussi rseaux rcurrents, sont organiss de telle sorte que chaque
neurone reoit sur ses entres une partie ou la totalit de ltat du rseau (sortie des autres
neurones) en plus des informations externes. Pour les rseaux rcurrents linfluence entre les
neurones sexerce dans les deux sens. Ltat global du rseau dpend aussi de ses tats
prcdents. Lquation du neurone, dans ce cas, est dcrite par des quations diffrentielles
ou aux diffrences. Un exemple de rseaux dynamiques est donn par la figure (I.5) [4].
I .7Quelquesmodlesdesrseauxdeneurones
Cette partie est consacre une prsentation des modles connexionnistes
incontournables. Ces modles refltent les diffrentes topologies des rseaux de neurones
dans le sens o la grande majorit des rseaux classiques [7].
Figure (I.5) Forme dun rseau boucl
Entre Sortie
Couche intermdiaire dite cache
Figure (I.4) Forme dun rseau non boucl
I .7.1ModledeKohonen
Le rseau de Kohonen est un rseau de neurones dont la particularit est dagir en tant
que compresseur de donnes, en conservant uniquement les informations caractrisant
Lobjet prsent au rseau sans perte importante dinformation. Une limination des
Paramtres corrls seffectue. En effet, sa capacit de conservation topologique permet une
rduction des donnes de lentre selon le nombre de neurone formant le rseau [5].
Ce modle a t prsent par Kohonen en 1982 en se basant sur des constatations biologiques
Il a pour objectif de prsenter des donnes complexes et appartenant gnralement une
espace discret de grandes dimensions dont la topologie est limite une ou deux dimensions.
Les cartes de Kohonen sont ralises partir dun rseau deux couches, une en entre et
une en sortie.
Notons que les neurones de la couche dentre sont entirement connects la couche de
sortie figure (I.6) [13].
Les neurones de la couche de sortie sont placs dans un espace dune ou de deux
dimensions en gnral, chaque neurone possde donc des voisins dans cet espace. Et enfin
chaque neurone de la couche de sortie possde des connexions latrales rcurrentes dans sa
couche. Le neurone inhibe les neurones loigns et laisse agir les neurones voisins.
I .7.2ModledeHopfield
Les modles de Hopfield reprsentent une architecture plus historique que pratique. Ils
sont importants car apparus un tournant de l'histoire du connexionnisme. Ils sont considrs
comme la base de son redmarrage. En revanche ils ne sont quasiment plus utiliss dans leur
Figure (I.6) Le modle de Kohonen

X
1
X
2
X
n
S
1
S
2
S
n
version de base en raison de leur cot en terme de temps de calculs et de leurs relativement
faibles performances [7].
I .7.2.1L'architecture
Les modles connexionnistes de Hopfield sont constitus de neurones formels de type
Mc Culloch et Pitts, totalement connects entre eux. Tous les neurones de cette architecture
sont la fois neurone d'entre et neurone de sortie du rseau. La spcificit de ce rseau
rside dans une recherche permanente, pour chacun des neurones du rseau, d'un tat stable
[7].
Formellement, comme la montre la figure (I.7), un rseau de Hopfield est un rseau
rcurrent, chacun des neurones du rseau tant connect tous les autres, mais pas lui-
mme. Les neurones disposent de sorties binaires (+1 ou -1), et les interconnexions entre les
neurones sont symtriques (Pour tous les neurones i et j, wij = wji) [7].
Un neurone est li tous les autres, les liaisons sont symtriques, un neurone n'est pas li
lui-mme et un seul neurone est actualis par itration. Chaque neurone est la fois neurone
d'entre et de sortie du rseau [7].
O
n-1
O
2
O
1
O
n
S
1
S
2
S
n-1

S
n
X
n
X
1
X
2
X
n-1
Figure (I.7) Rseau de Hopfield
I .7.3LePerceptron
Le Perceptron a t dvelopp par Roseblatt en 1950 pour rsoudre, laide des
neurones de Mc Culloch et Pitts, les problmes de la vision humaine.
I .7.3.1 StructureduPerceptron
Larchitecture gnrale dun Perceptron comme dcrit en figure (I.8) comprend trois
lments principaux :
I .7.3.1.1Rtine
La premire couche, compose de la rtine, comprend plusieurs cellules qui jouent le
rle de capteurs. Elle reoit les exemples ou formes classer. Chaque lment de la rtine
peut tre considr comme un pixel prenant des valeurs binaires 1 et 0
I .7.3.1.2Couchedassociation
La deuxime couche dassociation est compose de cellules associatives qui sont
connectes totalement ou de faon alatoire aux cellules de la rtine, Ces cellules
dassociations A
j
sont dotes de faons dassociation h qui peuvent par exemple raliser des
fonctions boolennes ou bien utiliser des fonctions linaires. Dans le perceptron, les
fonctions h
i
, i=1,2,.N sont dtermines lavance et elles restent fixes pendant la phase
dapprentissage. La sortie X
j
de la cellule dassociation A
j
est transmise la cellule de
dcision de P
i
aprs avoir t pondre par le coefficient ajustable W
ij
,
I .7.3.1.3Couchedecellulededcision
La cellule de dcision est un automate seuil de fonction de transfert fi qui dlivre la
sortie binaire S
i
. La combinatoire de toutes les configurations possibles est presque infinie si
lon influe sur les connexions et la nature des fonctions f et h [11][15].
Figure (I.8) Schma dun Perceptron
Rtine
Couche dassociation
Couche de dcision
I .7.4 ModleAdaline
Au dbut des annes 60 B. Widrow et M.E. Hoff ont propos un systme adaptatif
quils ont appel Adaline (de langlais ADAptive LINear Element)
La structure de lAdaline diffre du perceptron par lutilisation dune seule cellule
dassociation et lutilisation dune fonction de seuil diffrent de celle de Heaviside (-1 et t+1).
De plus, il utilise un algorithme adaptatif pour mesurer lcarte entre la sortie relle et la
sortie du processeur lmentaire. Le schma de lAdaline est reprsent en
figure (I.9). Le plus souvent, les entres sont binaires et la rponse souhaite est galement
binaire
LAdaline est le seul rseau de neurones artificiels utilis massivement dans lindustrie, Ce
circuit est en effet utilis dans la tlcommunication pour amliorer le signal sur bruit en
prenant en compte la variation de limpdance des diffrentes lignes tlphoniques [11].
I .8Apprentissagedesrseauxdeneurones
On peut considrer les rseaux de neurones comme une boite noire contenant
linformation quelle doit apprendre et mmoriser. Mais au dmarrage lorsquon choisit notre
rseau, la boite noire est vide et ne contient aucune information, ni aucune connaissance sur
son sujet, cest pourquoi un apprentissage est ncessaire. Lenseignement que doit subir le
Figure (I.9) Schma de principe de ladaline
=
=
=
N j
j
j j
X W S
0
Y
Y
d
Sortiedsire
Rgle
dapprentissag
e
X
0
X
1
X
n
0
W
1
W
n
W
+
Signal derreur
-
rseau de neurones est un apprentissage qui est une phase du dveloppement d'un rseau de
neurones durant laquelle le comportement du rseau est modifi jusqu' l'obtention du
comportement dsir. L'apprentissage neuronal fait appel des exemples de comportement
Lapprentissage des rseaux de neurones consiste adapter ses diffrents paramtres
(poids) daprs un algorithme itratif dajustement ou dadaptation lui permettant de prendre
en considration toutes les donnes (exemples) qui lui sont fournies son entre et ainsi
ajuster ses paramtres pour trouver le juste milieu permettant de prendre en charge nimporte
quel exemple ou donne apparaissant son entre provenant de son environnement [1][2].
Les algorithmes dapprentissages donnent des meilleurs rsultats lorsquon leur fournit des
exemples multiples et varis ; ainsi le rseau peut assimiler toutes les connaissances. Il existe
diffrente rgles dapprentissage parmi les quelles on peut distinguer [1]:
- la rgle de Widrow-Hoff, la rgle de Hebb, la rgle du perceptron et la rgle de
Grossberg, etc...
I .8.1 Apprentissagesupervis
Les rseaux multicouches avaient dj t dfinis par Rosenblatt, mais on ne savait pas
comment faire lapprentissage. Avec la dcouverte de lalgorithme de rtropropagation de
lerreur (RP) par Rumelhart, on a commenc faire de lapprentissage des rseaux de
neurones multicouches partir dexemples. Cette mthode de dtermination des poids est
appele apprentissage supervis [8].
L'apprentissage supervis, repose sur le fait que les exemples sont des couples (entre,
sortie dsirer). Cest dire que lon suppose lexistence dun expert qui prend en charge la
sortie de notre rseau en lui fournissant une sortie dsire et les associes aux sorties relles
fournies par le rseau daprs les donnes lentre. Le rseau adapte ses paramtres en
fonction de la diffrence qui existe entre la sortie relle et la sortie dsire en prenant compte
de tous les exemples de lenvironnement [1][2].
I .8.2 Apprentissagenonsupervis
La diffrence majeure entre lapprentissage supervis et non supervis peut tre rsume
dans le fait que le deuxime type dapprentissage est autodidacte qui na pas besoin dexpert
pour le guider adapter ses paramtres quil ne dispose que des valeurs entre. Remarquons
cependant que les modles dapprentissage non supervis ncessitent avant la phase
d'utilisation une tape de labellisation effectue par l'oprateur, qui n'est pas autre chose
qu'une part de supervision [1][2].
I .9 LePerceptronmulti couche
Comme nous lavons dj dit le cerveau humain est compos de millier et des milliers
de neurones, alors il est vident quun simple neurone et seul ne peut rien faire lui tous seul
il lui faut la coopration dautres neurones. En suivant ce rsonnement il est vident quil
vaut trouver une architecture qui relie les neurones entre eux, qui cre une liaison entre les
neurones pour crer un rseau de neurones.
Rseauxde
neurones
Superviseur
Erreur
Figure (I.10) Illustration de lapprentissage supervis
Sortie
Rseauxde
neurones
Figure (I.11) Illustration de lapprentissage non supervis
En sinspirant du perceptron monocouche, une architecture plus complexe englobant
plusieurs neurones a t mise au point.
Cette nouvelle architecture est le perceptron multicouches (ou MLP pour Multi Layer
Perceptron en anglais). Lapparition de cette architecture a permis de rsoudre les problmes
de classification non linaire du perceptron et de dpasser les limites principales de celui-ci.
L'ide principale est de grouper des neurones dans une couche. En plaant ensuite bout
bout plusieurs couches et en connectant compltement les neurones de deux couches
adjacentes. Les entres des neurones de la deuxime couche sont donc en fait les sorties des
neurones de la premire couche [1][13].
I .9.1Architecture
F(.)
w110
+1
w111
F(.)
+1
F(.)
+1
w1NN
F(.)
w210
+1
w211
F(.)
+1
F(.)
+1
.
.
.
.
.
.
F(.)
wL10
+1
wL11
F(.)
+1
F(.)
+1
.
.
.
xL1
xL2
xLN
x21
x22
x2N
x11
x12
x1N
x01
x02
x0N
Sorties
Couche 2 Couche 1 Couche L
w1N2
w11N
Entres
y
j
yL1
yL2
yLN
Figure (I.12) Architecture de rseaux multi couche
I .10Mthodedertropropagation
La rtropropagation est actuellement loutil le plus utilis dans le domaine des rseaux
de neurones. Cest une technique de calcul des drives qui peut tre applique nimporte
quelle structure des fonctions drivables [4].
Lanne 1986 a vu lapparition de lalgorithme de rtropropagation de lerreur publi par
Rumelhart, Hinton et Williamsrreur qui permet doptimiser les paramtres dun rseau de
neurones plusieurs couches [1].
I .10.1I ntroduction
Le dveloppement dalgorithmes dapprentissage supervis pour les rseaux
multicouches se heurte au problme de calcul des erreurs de sortie pour les neurones cachs.
En effet, les neurones cachs nont pas un rle prdfini, cest lapprentissage qui les
utilise sa convenance pour former des reprsentations internes, cause de labsence dune
rgle dapprentissage convenable, les perceptrons taient limits une seule couche pendant
plusieurs annes, mais ce type de perceptron ne peut rsoudre que les problmes dont les
donnes sont linairement sparables. Les limitations du perceptron ont t leves par la
dcouverte de lalgorithme de rtropropagation qui a permis de rsoudre le problme de
calcul des erreurs associes aux neurones cachs. Les applications de cet algorithme ont
connu un succs spectaculaire et ses performances taient quelques fois surprenantes.
Malgr sa complexit apparente, la mthode de rtropropagation nest quune technique
simples mais efficace de calcul des drives dune entit par rapport lensemble de ses
entres. Elle peut tre applique nimporte quel systme compos de plusieurs sous-
systmes lmentaires qui peuvent tre reprsents par des fonctions connues, continues et
drivables [4].
I .10.2Equationsdurseau
Avant de dfinir la rgle dapprentissage, on doit dfinir la relation entre les sorties du
rseau, dune part, et les entres et les poids dautre part. On considre dans ce qui suit les
rseaux non rcurrents multicouches.
Pour un rseau multicouches M entres et N sorties, compos de L couches (couches
caches et couche de sortie), les tats des neurones sont donns par les quations suivantes :
=
1
0
1
) (
k
n
j
k
j
k
ij
k
i
t O W S i = 1,2,
k
n ; k = 1,2,L (I.4)
Avec :
1 ) (
0
= t O
k
k=0, 1,2, L (I.5)
) ( ) (
0
t X t O
i i
= i = 1,2,, m (I.6)
) ( ) ( t O t y
L
i i
= i =1,2,, n (I.7)
| |
|
|
.
|
\
|
= =

1
0
1
) ( ) ( ) (
k
n
j
k
j
k
ij
k k
i
k k
i
t O W f t S f t O (I.8)
Avec pour la couche k : f
k
(.) est la fonction dactivation, n
k
est le nombre de neurones,
k
i
O (t)
est la sortie du neurone i,
k
ij
W est le coefficient synaptique de la connexion entre le neurone i
de la couche k et le neurone j de la couche prcdente (k-1).
k
i
W
0
est le seuil adaptable du
neurone i .
i
Y (t) et
i
X (t) sont les i
emes
composant es du vecteur dentre x (t)
Et du vecteur de sortie Y (t) respectivement.
La fonction dactivation gnralement choisie est la fonction sigmode :
F(x) =
x
x
e
e
1
1
(I.9)
I .10.3Principedurtropropagation
Lobjectif de la mthode de rtropropagation est dadapter les paramtres
k
ij
W de faon
minimiser la valeur moyenne de lerreur sur lensemble dentranement. La fonction cot la
plus utilise est donne par :

= =
= =
T
t
d
T
t
t Y t Y t E E
1
2
1
)] ( ) ( [
2
1
) (
2
1
(I.10)
O
d
Y est le vecteur de sortie dsire, Y le vecteur de sortie du rseau et T la longueur de
lensemble dapprentissage. Cependant, dans quelques situations dautres critres derreur
peuvent tre plus appropris. Lapproche la plus utilise pour la minimisation de la fonction
E est base sur les mthodes de gradient.
On commence lentranement par un choix alatoire des valeurs initiales des poids. On
prsente le premier vecteur dentre. Une fois la sortie du rseau, lerreur correspondante et
le gradient de lerreur par rapport tous les poids est calcule, les paramtres sont ajusts
dans la direction oppose celle du gradient de lerreur. On refait la mme procdure pour
tous les exemples dapprentissage. Ce processus est rpt jusqu ce que les sorties du
rseau soient suffisamment proches des sorties dsires.
I .10.4 Adaptationdespoids
Pour un ensemble de poids donn, il est facile de calculer la sortie ) (t Y et lerreur E (t)
correspondant une entre X (t), en utilisant les quations (I.4)-(I.10). Les paramtres du
rseau sont alors ajusts par la mthode de gradient en utilisant la formule itrative :
) ( ) 1 ( ) ( n W n W n W
k
ij
k
ij
k
ij
A + = (I.11)
) (
) (
n W
E
n W
k
ij
k
ij

= A (I.12)
Ou est un constant appel facteur ou pas dapprentissage. n Est le numro de litration.
La vitesse de convergence dpend de la constant .
Sa valeur est gnralement choisie exprimentalement. Si est trop petit la convergence est
lente mais la direction de descente est optimale. Si est trop grand la convergence est
rapide mais la prcision est mdiocre, un phnomne doscillation intervient ds quon
approche du minimum. La drive de lerreur E par rapport au poids ) (n W
k
ij
est donne par :
=
=
T
t
k
ij
k
ij
n W
t E
n W
E
1
) (
) (
) (

(I.13)
Avec
) ( ) (
) (
) (
1
t O t
n W
t E
k
i
k
i
k
ij
(I.14)
O ) (t
k
i
est lerreur quivalente la sortie du neurone i de la couche k, pour les neurones des
couches de sortie :
)] ( ) ( )][ ( [ ' ) (
1 1 1
t Y t Y t S f t
i
d
i i i
= (I.15)
Pour les neurones des couches caches :
+
=
+ +
=
1
1
1 1
) ( ) ( )] ( [ ' ) (
k
n
j
k
ij
k
j
k
i
k k
i
n W t t S f t (I.16)
Pour minimiser lerreur totale E sur lensemble dentranement, les poids du rseau doivent
tre ajusts aprs la reprsentation de tous les exemples. Cependant on peut ajuster les poids
aprs la reprsentation de chaque exemple, les corrections sont assez faibles et la
minimisation de E (t) est une bonne approximation de la minimisation de E, lquation (I.12)
est remplace par :
) (
) (
) (
n W
t E
n W
k
ij
k
ij
= A (I.17)
Alors on :
1
) ( ) 1 (

+ = +
k
i
k
i
k
ij
k
ij
O n W n W (I.18)
I .10.5Algorithme
Etape 1: Initialiser les poids
ij
W et les biais des neurones des petites valeurs alatoires.
Etape 2: Prsenter le vecteur d'entre et de sortie dsirs correspondants.
Etape 3: Calculer :
1- La somme des entres des neurones d'une couche cache : Eq.(I.4).
2- Les sorties des neurones de la couche cache : Eq.(I.8).
3- La somme des entres de la couche de sortie : Eq.(I.4).
4- Les sorties du rseau : Eq.(I.8).
Etape 4: calculer :
1- Les termes de lerreur pour les neurones de la couche de sortie : Eq.(I.15)
2- Les termes de lerreur pour les neurones de la couche cache : Eq.(I.16)
Etape 5 : Ajuster :
1- Les poids de la couche de sortie et la couche cache: Eq.(I.18)
Etape 6 : Si la condition sur l'erreur ou sur le nombre d'itration est atteinte, aller l'tape 7,
si non revenir l'tape 3 jusqu' la stabilisation du systme.
Etape 7 : Fin.
I .10.6 Techniques dacclrationdelartropropagation
Si bien que lalgorithme de rtropropagation soit lalgorithme le plus utilis pour
lapprentissage supervis des rseaux multicouche son implantation se heurte aux plusieurs
difficults techniques. Il nexiste pas de mthodes permettant de :
- Trouver une architecture approprie (nombre de couches caches, nombre de neurones
cachs et connexions).
- Choisir une taille et une qualit adquate des exemples dentranement, choisir des valeurs
initiales satisfaisantes pour les poids, et des valeurs convenables pour les paramtres
dapprentissage (facteur dapprentissage) permettant dacclrer la vitesse de convergence.
- viter les effets de lentranement (dgradation des performances due un entranement
prolong) et la convergence vers un minimum local.
Pour trouver une architecture approprie (nombre de neurones cachs), Ash a propos une
approche daddition interactive de neurones dans la quelle on ajoute des neurones aux couches
caches pendant lapprentissage. Un neurone est ajout chaque fois que lerreur se stabilise
un niveau inacceptable. Cette technique sappelle la technique de cration dynamique de
neurones (DNC : Dynamic Node Creation).
Pour viter le problme des oscillations, beaucoup dauteurs modifient lalgorithme en lui
ajoutant un moment
La loi dadaptation devient :
) ( ) ( ) ( ) 1 ( n W n W n W n W
k
ij
k
ij
k
ij
k
ij
A + A + = + (I.19)
)) 1 ( ) ( ( ) ( ) 1 (
1
+ + = +

n W n W O n W n W
k
ij
k
ij
k
i
k
i
k
ij
k
ij
(I.20)
Avec
1 0 < s
I .11Leminimumlocal
Le fait que l'apprentissage utilise un principe de descente de gradient sur la surface
d'erreur pour modifier les poids. Malheureusement il est possible de tomber dans des
minimums locaux. Le rseau de neurones est une mthode qui se base sur le calcul de la
surface derreur. La forme obtenue daprs lquation de lerreur est sous forme dune
convexe et en cherchant minimiser lerreur, la solution tend vers le minimum. Le problme
qui se pose dans ce cas, cest quil peut y avoir un ou plusieurs minimums locaux induisant
ainsi notre rseau en erreur [9][10][16] vue que si on a deux rseaux avec les mme
paramtres, il se peut que lapprentissage de lun soit meilleur que celui du second [9].
Des mthodes sont suivre afin dviter les minima locaux :
- Modifier le pas dapprentissage du rseau pour pousser le rseau hors des minima locaux.
- Rduire les poids du rseau par une petite quantit chaque pas dapprentissage.
Lactivation dun neurone sature quand ses liens possdent de trop grands poids synaptiques.
Ce problme est difficile rsoudre lors de lapprentissage, car les valeurs dactivation
extrmes se traduisent souvent au niveau de la rtro-propagation par de petites corrections. Le
rseau se trouve alors dans un minimum local. Rduire systmatiquement tous les poids par
une petite valeur chaque correction contribue garder les petits poids synaptiques, et peut
rsoudre ce problme.
- Relancer lapprentissage plusieurs fois en utilisant des poids initiaux diffrents, ce qui
entrane un temps de calcul plus lev [12].
- Ajouter une dose de bruit alatoire aux poids du rseaux, puis relancer lapprentissage,
dans le but de dloger le rseau hors de bassins peu profonds [8][12][13].
I .12Quelquesapplicationsdesrseauxdeneurones
Les proprits dapplication et dapproximation des rseaux de neurones ont permis une
importante application de ces derniers dans les diffrentes domaines pratiques, notamment, les
domaines suivants :
I .12.1Classificationdessignaux
Classer des signaux dans des catgories diffrentes en fonction des caractristiques de
forme (amplitude, frquence, phase, etc...), peut tre ralis aisment par lutilisation d'un
rseau de neurones.
Supposons qu'on a deux catgories de signaux A et B et qu'on souhaite classer des formes
dans ces deux catgories en fonction des caractristiques de ces formes.
On peut simplement dfinir la fonction non linaire F qui vaut +1 pour les formes de la
classe A et -1 pour celles de la classe B, le problme de classification revient lapproximation
Minimum
global
dpart alatoire des w
i
Minimum
local
Figure (I.13) Courbe explicative du phnomne du minimum local
Fonction derreur
de la fonction non linaire F qui peut tre rsolue par un rseau de neurones qui possde des
entres et une seule sortie pour fournir la dcision [15].
I .12.2 Applicationsindustrielles
Les dbouchs commerciaux des techniques neuronales (en chiffre daffaires ou en parts
de march) se trouvent surtout dans des produits logiciels et matriels dusage gnral, et plus
encore dans des prestations de service, alors que la part usage interne des entreprises (cest-
-dire les dveloppement destins amliorer des mthodes ou des produits) est beaucoup
plus difficile estimer. La part de march des applications militaires est importe, et on peut
lestimer approximativement (avec prudence, tant donn que les informations sont
incertaines) entre un tiers et la moiti de lensemble.
Il est difficile de dresser un panorama exhaustif des applications des rseaux de neurones,
pour plusieurs raisons. Dune part, les applications potentielle de certains types de rseaux
dcrits dans ce chapitre (en particulier les rseaux multicouches) sont si vastes et si diverses
quelles recouvrent des domaines trs varis, ayant par ailleurs peu de choses en commun.
Dautre part, la pntration des techniques utilisant les rseaux de neurones, seuls ou en
association avec dautres techniques, est trs ingale, et se trouve dans une phase dexpansion
et de diversification. Enfin, beaucoup des ralisations connues sont plus souvent dans un tat
de prototype quen exploitation vritable.
Plutt que de procder une numration dexemples prcis dont la viabilit et lutilisation
relle peuvent tre incertaines ou imprcises, il nous a sembl plus appropri de tenter une
prsentation sommaire en suivant grossirement deux axes diffrents : par classe
dapplication, en premier lieu, par domaine dactivit ensuite [16].
Dans le monde, et en particulier aux U.S.A., lintrt pour les rseaux de neurones a
dmarr plus tt. Ds 1986, de 600 2000 visiteurs participent aux quelques grands congrs
annuels. Au niveau commercial, la figure (I.14) montre que plus de 200 compagnies sont
aujourdhui impliques dans des dveloppements dapplications connexionnistes [1].
I .12.2.1Reconnaissancedeformesstatiques
Citons en premier lieu la reconnaissance de formes statiques (cest--dire indpendantes
du temps). De faon gnrique, une forme est tout ensemble de grandeurs qui peut se
reprsenter par un vecteur, ayant des composantes homognes ou non. Par exemple, une
image peut tre mise sous forme dune succession de pixels, rsultant dun balayage, ou bien
un cho sonar peut tre reprsent par une succession de pics frquentiels en fonction de
linstant de retour, etc. le traitement dimages proprement dit fait videment partie intgrante
de la reconnaissance de formes en gnral. Des applications civiles (par exemple
reconnaissance de visages) aussi bien que militaires (reconnaissance de cibles) ont t dcrites
avec plus ou moins de dtails. Une des applications les plus tudies consistes dans la
reconnaissance de signes manuscrits, en particulier les chiffres, en vue de la reconnaissance de
codes postaux. Les laboratoires AT & T de Holmdel ont mis au point un systme assez
complexe, mais efficace, dont le cur est un rseau cinq couches poids partags, prcd
dun systme de prtraitement et de normalisation. Une partie de ce rseau est constitue par
un circuit intgr spcialement conu, contenant quatre des cinq couches, et 130 000
connexions. Les performances atteignent 1000 caractres par seconde pour la puce seule, bien
suprieure celles du systme complet, et slvent seulement 20 caractres par seconde
pour une implantation sur un processeur plus gnraliste. Dautres ralisations (accompagnes
ou non de circuits intgrs spcifiques) ont t annonces dans le domaine de la lecture
automatique de caractres imprims, en alphabet romain comme en alphabet japonais [16].
1960 19851987 Anne
Figure (I.14) Evolution du nombre de compagnies proposant
des produits connexionnistes
I .12.2.2I dentificationet commandedeprocessus
Lidentification et la commande de systmes complexes (incluant la robotique) sont un
domaine o les rseaux de neurones prennent une place croissante : aide au pilotage de
racteurs chimiques ou de colonnes distiller, commande dune automobile sans pilote ayant
pour consigne de suivre une certaine trajectoire en terrain accident, commande de niveau de
lingotire dans une acire coule continue, les applications se multiplient. En gnral, elles
ne demandent que des ressources assez modestes, dans la mesure o les temps caractristiques
sont relativement longs : une simple simulation sur micro-ordinateur suffit trs souvent en
phase dexploitation, lutilit des rseaux de neurones se mesure galement dans ce domaine
par lassez grande rapidit de mise en uvre initiale, cest--dire lidentification par
apprentissage.
Mentionnons que les techniques de commande logique floue peuvent faire appel aux
rseaux de neurones pour lapprentissage des rgles [16].
I .12.2.3Applicationmilitaires
Bien que naturellement les publications soient relativement rares et que peu de dtails
soient donns, les applications militaires classiques se retrouvent en reconnaissance de
cibles, analyse dimage, traitement de signaux radar ou sonar, et dans une certaine mesure en
robotique. Le dernier circuit intgr dIntel (qui est un acclrateur de reconnaissance ,
selon ses propres termes) a t financ pour moiti sur crdits militaires, hauteur denviron
1,5 million de dollars $. Ce circuit implante une architecteur de type RBF (mesure des
distances entre stimulus prototypes), dveloppe par la socit Nestor [16].
I .13Conclusion
A partir du comportement du cerveau humain et dun modle neuronal biologique
simple, les chercheurs ont arriv construire des modles neuronaux artificiels plus
complexes. Les rseaux de neurones prsentent donc une trs grande diversit, dans ce
chapitre nous avons expos les rseaux de neurones, en spcifiant leurs dfinitions, les
concepts de base de cette technique, lapprentissage des rseaux de neurones et ses diffrents
domaines dutilisation.
Nous avons prsent une tude sur lalgorithme du rtropropagation qui a prouv son
efficacit dans la pratique avec ses capacits dapprentissage et didentification.
Pour ces raisons, cet algorithme sera la base du travail qui sera prsent dans le prochain
chapitre qui traite lidentification et la commande par les rseaux de neurones.

Unknown Les Réseaux de Neurones

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Unknown Les Réseaux de Neurones

Transféré par

Droits d'auteur :

Formats disponibles

ChapitreI

Figure (I.6) Le modle de Kohonen

Vous aimerez peut-être aussi