Réseaux de

neurones

Bouamama Mustapha
 Plan :
1) Introduction
2) Modèle Biologique
3) Les modules mathématiques
4) Différents types d’architectures de réseaux
5) Apprentissage
6) Conclusion
 1)INTRODUCTION

Approche
algorithmique
L’inspiration de
Approche
traitement de
basée sur la
l’information
connaissance
par le cerveau

La
construction
de logiciels RNA
 Définition de RNA

Les réseaux de neurones artificiels sont des

réseaux fortement connectés de processeurs
élémentaires fonctionnant en parallèle. Chaque
processeur élémentaire calcule une sortie unique
sur la base des informations qu'il reçoit. Toute
structure hiérarchique de réseaux est
évidemment un réseau.
 Pourquoi les réseaux de neurones?

Les réseaux de neurones ont une remarquable faculté à donner un sens, extraire des règles
et des tendances à partir de données compliquées, bruitées et imprécises. Ils peuvent
s'utiliser pour extraire des modèles et détecter des tendances reposant sur des fonctions
mathématiques compliquées qui sont trop difficiles, voire impossible, à modéliser à l'aide de
techniques analytiques ou paramétriques traditionnelles. L'une des propriétés intéressantes
des réseaux de neurones est qu'ils savent prévoir avec précision des données qui ne
faisaient pas partie des données d'apprentissage, un processus connu sous le nom
de généralisation. Compte tenu de ces caractéristiques et de leur domaine d'application
étendu, les réseaux de neurones sont particulièrement bien adaptés à l'application de
problématiques concrètes dans les domaines de la recherche scientifique, commerciale et
industrielle.
 Quelques domaines d’application:

 Classification
 Robotique
 Reconnaissance de formes
 Approximation de fonctions
 Prédiction - prévision
 Optimisation
 Mémoire adressable par le contenu
 Diagnostiques et suivi médical
 2)Modèle Biologique

Les neurones reçoivent des signaux (impulsions électriques) par les

dendrites et envoient l ’information par les axones.
• Les contacts entre deux neurones (entre axone et dendrite) se font par
l ’intermédiaire des synapses.
• Les signaux n ’opèrent pas de manière linéaire : effet de seuil.
 3)Les modèles mathématiques
le neurone formel

processeur très simple qui calcule une somme

pondérée et qui applique à cette somme une
fonction de transfert non linéaire (échelon,
sigmoïde, gaussienne, ...)
 3)Les modèles mathématiques
Mise en correspondance neurone biologique/neurone artificiel
 3)Les modèles mathématiques
Fonctionnement interne d’un neurone
 Un neurone reçoit les signaux d'entrée x1, ..., xn .
 Ces signaux sont pondérés par des poids w1, ..., wn.
 L'activation du neurone a=Σ wi.xi est transmise à une
fonction de transition f (non linéaire) paramétrée par
un seuil w0.
 Le signal de sortie y = f (a-w0), est propagé aux cellules
suivantes:
3)Les modèles mathématiques
Les fonctions de transfert:
 3)Les modèles mathématiques
Réseaux de neurones naturels vs. artificiels
 4)Différents types d’architectures de réseaux
Réseaux de Neurones Non-Bouclés (Réseaux « Feedforward »)
Un réseau de neurones non bouclé est représenté graphiquement par un ensemble de neurones
connectés entre eux, l’information circulant des entrées vers les sorties sans retour en arrière. Le
graphe représentatif du réseau dont les nœuds sont les neurones et les arêtes sont les "connexions"
entre ceux-ci est acyclique.
 4)Différents types d’architectures de réseaux
Les réseaux Neurones Bouclés (Réseaux « Feed back »)
Il s'agit de réseaux de neurones avec retour en arrière (feedback network ou récurrent Network) .
 5)Apprentissage
Définition

L'apprentissage est une phase du développement d'un réseau de neurones

durant laquelle le comportement du réseau est modifié jusqu'à l'obtention du
comportement désiré. L'apprentissage neuronal fait appel à des exemples
de comportement.
Dans la majorité des algorithmes actuels, les variables modifiées pendant
l'apprentissage sont les poids des connexions.
 5)Apprentissage
Types d’apprentissage

Il existe plusieurs types d’apprentissage, les plus utilisées sont :

• Mode supervisé : les exemples sont des couples (entrée, sortie associée).
• Mode non supervisé: on dispose que des valeurs(entrée).
Il existe d’autre types d’apprentissage comme :
• Sur-apprentissage ("apprentissage par-coeur") .
• Le mode hybride .
• Apprentissage par renforcement.
• Apprentissage "local" .
• Apprentissage "global" .
• Validation croisée ("Cross Validation") .
 5)Apprentissage
Règle d’apprentissage

Par correction
d’erreur

Apprentissage
Règle de Hebb
de Bolztmann

5 règle La règle
Par
d’apprentissage d'apprentissage
compétition
du Perceptron
 5)Apprentissage
Règle de Hebb
La loi de Hebb (1949) : "Si 2 cellules sont activées en même temps, alors la
force de la connexion augmente." est à la base de l'apprentissage non
supervisé !
Prenons deux neurones :
i : le neurone amont (ou présynaptique)
j : le neurone aval (ou post-synaptique)
wij : le poids de la connexion.

La modification du poids wij dépend de l'activation des deux neurones.

 5)Apprentissage
Règle de Hebb

Par exemple, dans le tableau suivant :

- Xi : valeur d'activation du neurone i
- Xj : valeur d'activation du neurone j
-sWij : modification apportée au poids
Xi Xj sWij

0 0 0

0 1 0

1 0 0

1 1 +
 5)Apprentissage
Règle de Hebb

La loi de Hebb peut s'écrire sous forme d'équations :

(Wij(t+1) est le nouveau poids, Wij(t) est l'ancien poids)

Wij(t+1) = Wij(t) + sWij(t)

avec :sWij(t) = Xi * Xj
 5)Apprentissage
Algorithme de Hebb
L'algorithme modifie le poids, de manière itérative, seulement quand il y a erreur :
1) Initialisation des poids et du seuil S à des valeurs (petites) choisies au hasard.
2) Présentation d'une entrée El = (E1, E2, ..., En) de la base d'apprentissage. (l est l'indice de l'entrée dans la base
d'apprentissage.
3/ Calcul de la sortie (x) obtenue pour cette entrée :
a = Somme (Wi * Ei) - S (S est la valeur de seuil !)
x = Signe (a) ( si a > 0 alors x = +1, sinon a = 0, alors x = -1 )
4/ Si la sortie x est différente de la sortie désirée Sl pour l'exemple d'entrée El alors il y a modification des poids :
Wij(t+1) = Wij(t) + µ*(Xi * Xj) (µ est une constante positive, qui spécifie le pas de modification des poids. Permet un
apprentissage plus rapide !)
5/ Tant que tous les exemples de la base d'apprentissage ne sont pas traités correctement, on retourne à l'étape 2.
 5)Apprentissage
Exemple d'application de l'algorithme d'apprentissage de Hebb :
Choisissons pour les neurones un comportement binaire (le -1 représente la valeur 0).
(Les entrées e1 et e2 sont considérées comme des neurones.

Essayons à présent de faire apprendre cette table :

 5)Apprentissage
Exemple d'application de l'algorithme d'apprentissage de Hebb :
1/ Conditions initiales : µ = +1, les poids et le seuil sont nuls.
2/ Calculons la valeur de x pour l'exemple (1) :
3/ a = W1*E1 + W2*E2 - S = 0*1 + 0*1 - 0 = 0
a=0
d'où : x = -1
4/ La sortie est fausse, il faut donc modifier les poids en appliquant la loi d'Hebb :
--------------------------------Mise à jour-------------------------------------------
Ce n'est plus :
W1 = W1 + µ*E1 = 0 + 1*1 = 1
W2 = W2 + µ*E2 = 0 + 1*1 = 1
Mais, comme la loi d'Hebb le dit :
W1 = W1 + µ*(E1*X) = 0 + 1*(1*(-1)) = -1
W2 = W2 + µ*(E2*X) = 0 + 1*(1*(-1)) = -1
 5)Apprentissage
Exemple d'application de l'algorithme d'apprentissage de Hebb :
2/ On passe à l'exemple suivant (2) :
3/ a = (-1)*1 + (-1)*(-1) - 0 = 0
a=0
d'où : x = -1
4/ La sortie est fausse, il faut donc modifier les poids en appliquant la loi d'Hebb :
W1 = (-1) + 1*(1*(-1)) = -2
W2 = (-1) + 1*((-1)*(-1)) = 0
--------------------------- Fin de Mise à jour ---------------------------
…/ L'exemple suivant (3) est correctement traité : a = -2 et x = -1.

On passe directement, sans modification des poids à l'exemple (4). Celui-ci aussi est correctement traité.
On revient alors au début de la base d'apprentissage : l'exemple (1). Il est correctement traité, de même pour
le second (2). L'algorithme d'apprentissage est alors terminé
 6)Conclusion

les réseaux de neurones reposent à Présent sur

des bases mathématiques solides qui permettent
d’envisager des applications dans presque tout les
domaines y compris industriel et à grande échelle,
notamment dans le domaine de la
classification.