Introduction générale aux

réseaux de neurones artificiels

1

MODULE 2

RÉSEAUX NEURONES ET ALGORITHMES GÉNÉTIQUES

MASTER BIBDA
M1 – 2017/2018
M1 – 2018/2019
M1 – 2019/2020
M1 – 2020/2021
M1 – 2021-2022

PR. JAMAL EL KAFI

 2

INTRODUCTION
 3

LE NEURONE
BIOLOGIQUE
 Le neurone biologique
4

 Dendrites : Signaux d’entrée

 Axone : Signal de sortie
 Synapse
5

 Transmission entre un axone et une dendrite

 Synapses excitatrices / synapses inhibitrices
 Fondements Biologiques
Structure des neurones
6

Le système nerveux est composé de 1012 neurones

interconnectés. Bien qu’il existe une grande diversité
de neurones, ils fonctionnent tous sur le même
schéma.
Ils se décomposent en trois régions principales :

 Le corps cellulaire
 Les dendrites
 L ’axone
 Fondements Biologiques
Fonctionnement des neurones
7

L’influx nerveux est assimilable à un signal électrique

se propageant comme ceci :

 Les dendrites reçoivent l’influx nerveux d’autres neurones.

 Le neurone évalue l’ensemble de la stimulation reçue.
 Si elle est suffisante, il est excité : il transmet un signal (0/1)
le long de l’axone.
 L’excitation est propagée jusqu’aux autres neurones qui y
sont connectés via les synapses.
Fondements Biologiques
Fonctionnement des neurones
8
 Fondements biologiques
Le cerveau
9

Trois couches successives :

 Le cerveau reptilien (la couche la plus ancienne)
 L’hippocampe (cerveau archaïque)
 Le cortex (la couche la plus récente)
Découpage en régions :
au niveau morphologique et fonctionnel
Adaptation : renforcement de l’efficacité synaptique:
renforcement des corrélations (loi de Hebb)
 10

Le Neurone Artificiel
Pourquoi les réseaux de neurones ?
11

 Caractéristiques de l’architecture du cerveau humain:

 une architecture massivement parallèle

 un mode de calcul et une mémoire distribués
 une capacité d'apprentissage
 une capacité de généralisation
 une capacité d'adaptation
 une résistance aux pannes
 une faible consommation énergétique
 Historique
12

 1943 :
 Modèle de McCulloch et Pitts
 1960 :
 Rosenblatt : perceptron et théorème de convergence
 Minsky et Papert : limites du perceptron mono-couche

 1980 :
 Modèle de Hopefield

 Werbos : rétropropagation dans le cadre des perceptrons multi-

couches (popularisé en 1986 par Rumelhart)
Introduction générale aux réseaux de
neurones
13
 DEFINITION
14

 Les réseaux de neurones artificiels sont des réseaux

fortement connectés de processeurs élémentaires
fonctionnant en parallèle.
 Chaque processeur élémentaire calcule une sortie unique
sur la base des informations qu'il reçoit. Toute structure
hiérarchique de réseaux est évidemment un réseau.
 Contexte Scientifique
15

Neuromimétisme et sciences de la cognition :

 comprendre et simuler le fonctionnement du cerveau
 reproduire les phénomènes cognitifs (I.A.)
Connexionisme :
outils d’ingénierie performants
Intelligence computationnelle :
 une intelligence basée sur le calcul numérique
 opposée à l’intelligence artificielle (calcul symbolique)
 réseau de neurones; logique floue; algorithmes génétiques; ...
 Domaines d’application
16

 Classification :
 répartir en plusieurs classes des objets
 données quantitatives  informations qualitatives
 reconnaissance des formes
 Recherche Opérationnelle
 résoudre des problèmes dont on ne connaît pas la solution
 Mémoire Associative
 restituer une donnée à partir d’informations incomplètes
et/ou bruitées.
Analogie entre neurone biologique/Artificiel
17
 Le Neurone formel
18
Par définition un réseau neuromimétique est constitué de neurones
formels et ceux-ci sont reliés entre eux via des flèches ce qui donne
un graphe orienté.
En comparaison avec son homologue biologique, le neurone formel
est constitué de synapses qui sont représentées par des flèches
pondérées, d’un centre qui est l’équivalent du noyau cellulaire où se
déroule les activités mathématiques telles que la sommation des
entrées ainsi que la fonction d’activation (f(a)) qui s’applique à la
sommation des entrées pour être comparée au seuil d’activité ‘’Θ’’,
et d’une sortie qui est l’équivalent de l’axone.
Chaque neurone formel est un automate complètement indépendant,
dont l’état, une valeur scalaire, définie son activité ou activation a.
 Le Neurone formel
19

Les composantes d’un réseau neuromimétique peuvent donc être définies

de cette façon :

constituent les valeurs d’entrées (valeurs scalaires).

- X1, X2, X3, X4, … Xn
- w1, w2, w3, w4, … wn constituent la pondération de chaque flèches ou
synapses.
- f constitue une fonction d’activation.
- a constitue une valeur scalaire d’activation ( la Σ des entrées pondérées).
- Θ constitue le seuil.
- Y est la sortie
 Le Neurone Formel
20

Le neurone formel, l’unité élémentaire d’un RNA, se

compose de deux parties :

 évaluation de la stimulation reçue

 évaluation de son activation (fonction f)

Il est caractérisé par :

 son état (binaire, discret, continu)
 le niveau d’activation reçu en entrée (continu)
 le poids des connections en entrée Wi
 Le Neurone formel
21

Dans sa première version, le neurone formel était donc implémenté

avec une fonction à seuil (a), mais de nombreuses versions existent.
Ainsi le neurone de McCulloch et Pitts a été généralisé de différentes
manières, en choisissant d'autres fonctions d'activations, comme les
fonctions linéaires par morceaux (b), des sigmoïdes (c) ou des
gaussiennes (d) par exemples.
 Le Neurone Formel
22

Les fonctions d’activation :

 Le Neurone Formel
23

La fonction linéaire et la fonction à seuil :

Output (sortie) Output (sortie)

Activation de la cellule Activation de la cellule
fonction linéaire du type
y = x

maximum maximum

Input (entrées) Input (entrées)

0 Somme pondérée des entrées 0 seuil Somme pondérée des entrées

L'activation augmente en même temps

que la somme pondérée des entrées. Elle L'activation passe brutalement de son
minimum varie entre un minimum et un maximum minimum minimum à son maximum, une fois atteint
le seuil critique en entrée.
 Le Neurone Formel
24

La fonction sigmoïde :
 Architecture générale d’un RNA
25

Pattern Pattern
d'entrée de sortie

0 1
1 1
0 Réseau 0
Stimulus 1 0 Réponse
1 1 décodage
codage 1 0
0 1
0 0
 Structure d’Interconnexion
propagation avant (feedforward)
26

couche d’entrée

couche cachée

couche de sortie

réseau à connections
réseau multicouche
locales

propagation des activations : de l’entrée vers la sortie

 Structure d’Interconnexion
modèle récurrent (feedback network)
27

propagation des activations :

synchrone : toutes les unités sont mises à jour simultanément

asynchrone : les unités sont mises à jours séquentiellement
 Apprentissage
28

DÉFINITION
APPRENTISSAGE SUPERVISÉ
APPRENTISSAGE NON SUPERVISÉ
RÈGLES D’APPRENTISSAGE
 Définition
29

L ’apprentissage est une phase du développement d’un

réseau de neurones durant laquelle le comportement
du réseau est modifié jusqu’à l’obtention du
comportement désiré.
On distingue deux grandes classes d’algorithmes
d’apprentissage :

 L’apprentissage supervisé
 L’apprentissage non supervisé
Apprentissage supervisé
30

superviseur sortie désirée

erreur

réseau sortie obtenue

Apprentissage non supervisé
31

réseau sortie obtenue

 Règles d’apprentissage
32

L’apprentissage consiste à modifier le poids des

connections entre les neurones.

i j
Wij

Il existe plusieurs règles de modification :

 Loi de Hebb : wij=Raiaj

 Règle de Widrow-Hoff (delta rule) : wij=R(di - ai)aj
 Règle de Grossberg : wij=R(aj - wij)ai
 Règles d’apprentissage
33

Loi de Hebb :
Si deux unités connectées sont actives simultanément, le poids de
leur connexion est augmenté ou diminué. R est une constante
positive qui représente la force d'apprentissage (learning rate).

ai = -1 ai = 1 j i
w ij
aj = -1 Wij = R Wij = -R
aj = 1 Wij = -R Wij = R

Wij  Rai a j
 Règles d’apprentissage
34

Loi de Widrow-Hoff (delta rule) :

ai activation produite par le réseau
di réponse désirée par l'expert humain
Par exemple si la sortie est inférieure à la réponse désirée, il va
falloir augmenter le poids de la connexion à condition bien sûr que
l'unité j soit excitatrice (égale à 1). On est dans l'hypothèse d'unités
booléennes {0,1}.
ai = 0 ai = 1 j i
w ij
di = 0 Wij = 0 Wij = -R
Wij  R(d i  a i )a j
di = 1 Wij = R Wij = 0
 Règles d’apprentissage
35

Loi de Grossberg :
On augmente les poids qui entrent sur l'unité gagnante ai
s'ils sont trop faibles, pour les rapprocher du vecteur
d'entrée aj. C’est la règle d’apprentissage utilisée dans les
cartes auto-organisatrices de Kohonen

Wij  Rai a j  Wij  j

w ij
i
 Différents types de réseaux de neurones
36

 . Le perceptron
1

 1.1. Description
 1.2. Loi d’apprentissage du perceptron

 2. Les réseaux (filtres) linéaires

 2.1. Description
 2.2. Algorithme d’apprentissage (LMS ou Windrow-Hoff algorithme

 3. Le perceptron multicouche
 3.1. Description
 3.2. La rétropropagation ou algorithme d’apprentissage de « Backpropagation »

 4. Les réseaux de neurones à fonctions radiales de base (Radial Basis Network)

 4.1. Description
 4.2. Les réseaux de neurones à régression généralisée (Generalized Regression Networks)
 4.3. Les réseaux de neurones probabilistes (Probabilistic Neural Networks)

 5. Les réseaux récurrents

 6.1. Réseaux de Elman_
 6.2. Réseaux de Hopfield
Description & loi d’apprentissage du perceptron
37

Soient p et t les vecteurs d’entrée et sortie cible utilisés pour l’apprentissage du

perceptron et a est réponse du perceptron.
L’évolution de la valeur des poids W et des biais b du perceptron vont varier, à chaque fois
que les vecteurs d’entrée sont présentés au perceptron, selon la règle :
 Les réseaux linéaire: Algorithme d’apprentissage
(LMS ou Windrow-Hoff algorithme)
38

Soient p et t les vecteurs d’entrée et sortie cible utilisés pour l’apprentissage du

réseau et a est la réponse du réseau.
L’objectif est de minimiser la fonction coût F (erreur quadratique moyenne entre
entrées et réponses du réseau) définie comme

Q étant le nombre d’exemples.

 Perceptron multicouche
39

Un réseau multicouche n’est rien d’autre qu’un assemblage de

couches concaténées les unes aux autres de gauche vers la droite.

L’équation qui décrit les sorties d’une couche k dans un perceptron

multicouche est donnée par :
 Le perceptron multicouche
activation
40

ai

aj
x j   w jiai
j
a j  f (x j )
W ji Wbi as

bias = 1

fonction sigmoïde fonction tangente hyperbolique

1
a  f x   e x  e x
a  f x   x
1 e  x e  e x

f x   f x .1  f x  f x   1  f x .1  f x 

 Le perceptron multicouche
apprentissage : retropropagation de l’erreur
41
S j   aiWij S k   a jW jk
i

a j  f S j 
j

1 Calcul activations 2 Calcul activations ak  f S k 

unités cachées unités de sorti e

Unités a Unités a
d'entrée i Unités a de sortie k
cachées j
Calcul Erreur 3
entre
sorties désirée s
et ek  d k  ak
sorties obtenues

Calcul de l'erre ur 5 Calcul de l'erre ur 4

 j   W jk k . f S j  sur les unités cachées sur les unités de sortie  k  ek . f S k 
 k 
6 Ajustement des poids
Appren tissage Appren tissage
des unités cach ées des unités de sortie

Wij   j ai W jk   k a j
 Les réseaux de neurones à fonctions radiales de base
(Radial Basis Network)
42

Ici, la fonction de transfert est une exponentielle. L’opérateur sommation disparaît

au profit de l’opération multiplication (élément par élément des matrices).
Les réseaux à bases radiales nécessitent beaucoup plus de neurones qu’un réseau
feedforward.
 Réseau de Elman
43

Le réseau de Elman à des neurones tansig dans sa couche cachée récurrente et un neurone
linéaire dans sa couche de sortie. Ce type de réseau peut aussi approximer n’importe qu’elle
type de fonction pourvu que la couche cachée ait assez de neurones.
Puisque ce réseau peut enregistrer de l’information pour une référence future, il est capable
d’apprendre des associations aussi bien temporelles que spatiales.
Réseau de Hopfield
44
 Le modèle de Hopfield
la théorie des verres de spin : un modèle dynamique
45

La renaissance du connexionnisme

théorie des verres de spin

modèle dynamique et récurrent
réseau complètement connecté
apprentissage par loi de Hebb 

Wij  Rai a j
Le rappel associatif se fait en minimisant une fonction d’énergie pour
tomber dans l’un des attracteurs correspondant aux formes mémorisées
Si on a N unités dans le réseau, on peut mémoriser 0,14 pattern différents
 Réseau de Hopfield
46

Les réseaux de Hopfield sont des réseaux récurrents et entièrement

connectés. Dans ce type de réseau, chaque neurone est connecté à
chaque autre neurone et il n'y a aucune différenciation entre les
neurones d'entrée et de sortie. Ils fonctionnent comme une mémoire
associative non-linéaire et sont capables de trouver un objet stocké
en fonction de représentations partielles ou bruitées.

L'application principale des réseaux de Hopfield est l'entrepôt

de connaissances mais aussi la résolution de problèmes
d'optimisation. Le mode d'apprentissage utilisé ici est le mode
non-supervisé.
 Le modèle de Hopfield
l’architecture du réseau
47

Les neurones de Hopfield sont discrets et répondent à une fonction

seuil. Pour des commodités d’utilisation, on considère une fonction
seuil très simple :

1, si x > 0
F(x) =
-1, sinon

Le réseau est complètement connecté, et les connexions sont

symétriques.
Les valeurs d’entrée sont binaires (-1, 1) mais peuvent être aisément
remplacées par les valeurs binaires usuelles (0, 1) en utilisant une
simple transformation. A(-1,1) = 2.A(0,1) - 1
 Le modèle de Hopfield
principe de fonctionnement
48

Apprentissage (loi de Hebb):

1
Wij  W ji 
P
s
pP
i
p
s p
j

Wii  0

Utilisation :

un vecteur est présenté au réseau

les neurones calculent leurs sorties
les sorties sont propagées et on itère jusqu’à la convergence
 Le modèle de Hopfield
principe de fonctionnement
49

Modification de l’état d’un neurone


  ij j
t 1
si W .s  0 alors s i  1
t

 jN
 si Wij .s j  0 alors si  1
t 1 t

 jN t 1
si Wij .s j  0 alors si  si
t t 1

 jN

Energie du réseau
1
E 
2 i , jN
Wij .s j .si
 Le modèle de Hopfield
les mémoires associatives
50

 Dans une mémoire informatique classique, une information

est retrouvée à partir d'une clé arbitraire. Par opposition,
une donnée entreposée dans une mémoire associative est
accessible à partir d'informations qui lui sont associées.
 La fonction d'une mémoire associative est de restituer une
information en tenant compte de sa perturbation ou de son
bruit. L'information doit alors se rapprocher d'une
information apprise ou connue.
 Si les mémoires associatives restituent des informations
qu'elles ont apprises à partir d'entrées incomplètes ou
bruitées, il existe aussi des mémoires hétéro-associatives qui
en plus peuvent associer plusieurs informations entre elles.
 Les étapes de la conception d’un réseau de
neurone
51

1. Choix et préparation des échantillons

Comme dans les cas d'analyse de données, cette étape est

cruciale et va aider le concepteur à déterminer le type de
réseau le plus approprié pour résoudre son problème.
La façon dont se présente l'échantillon conditionne : le type de
réseau, le nombre de cellules d'entrée, le nombre de cellules de
sortie et la façon dont il faudra mener l'apprentissage, les tests
et la validation.
 Les étapes de la conception d’un réseau de
neurone
52

2. Elaboration de la structure du réseau

La structure du réseau dépend étroitement du type des

échantillons.
Il faut d'abord choisir le type de réseau : un perceptron
standard, un réseau de Hopfield, un réseau à décalage temporel
(TDNN), un réseau de Kohonen, etc...
Dans le cas du perceptron par exemple, il faudra aussi choisir le
nombre de neurones dans la couche cachée.
 Les étapes de la conception d’un réseau de
neurone
53
3. Apprentissage
L'apprentissage consiste tout d'abord à calculer les
pondérations optimales des différentes liaisons, en utilisant un
échantillon.
La méthode la plus utilisée est la rétropropagation : on entre
des valeurs dans les cellules d'entrée et en fonction de l'erreur
obtenue en sortie (le delta), on corrige les poids accordés aux
pondérations.
C'est un cycle qui est répété jusqu'à ce que la courbe d'erreurs
du réseau ne soit croissante (il faut bien prendre garde ne pas
sur-entrainer un réseau de neurones qui deviendrait alors moins
performant).
Il existe d'autres méthodes d'apprentissage telles que le
quickprop par exemple.
 Les étapes de la conception d’un réseau de
neurone
54

4. Validation et Tests

Alors que les tests concernent la vérification des

performances d'un réseau de neurones hors
échantillon et sa capacité de généralisation, la
validation est parfois utilisée lors de l'apprentissage
(ex: cas du early stopping).
Une fois le réseau calculé, il faut toujours procéder à
des tests afin de vérifier que notre réseau réagit
correctement.