Chapitre 1

Généralité sur les Réseaux

de Neurones Artificiels

Ayachi ERRACHDI
errachdi.ayachi@issatkr.u-kairouan.tn
 Plan

• 1- Historique
• 2- Domaine d’application
• 3- Neurone biologique
• 4- Neurone artificiel
• 5- Propriétés des réseaux de neurones
• 6- Architecture des réseaux de neurones

2
 Plan

• 1- Historique
• 2- Domaine d’application
• 3- Neurone biologique
• 4- Neurone artificiel
• 5- Propriétés des réseaux de neurones
• 6- Architecture des réseaux de neurones

3
 1-Un peu d’historique

• W. James 1890 : Naissance des réseaux de neurones artificiels

• J. Mc Culloch et W. Pitts 1943 : Modélisation du neurone biologique
• D. Hebb 1949 : Apparition de la première loi d’apprentissage
• F. Rosenblatt 1959 : Développement du modèle Perceptron
• B. Widrow 1960 : Développement d’un premier Perceptron
• M. Minsky & S. Papert 1969 : Apparition des limites du perceptron
• J.J. Hopfield 1982-1983 : Renaissance de l’intérêt des réseaux
• Rumelhart, Parker, Le Cun1985 : Apparition de la rétro-propagation
du gradient
• Moody et Darken 1989 : Exploitation du réseau de neurones à
fonctions radiales de base
4
 Plan

• 1- Historique
• 2- Domaine d’application
• 3- Neurone biologique
• 4- Neurone artificiel
• 5- Propriétés des réseaux de neurones
• 6- Architecture des réseaux de neurones

5
2- Domaines d’application
Filtrage
Précision
Prédiction
Régression
Commande
Optimisation
Modélisation
Classification
Traitement d’images
Recherche opérationnelle
Reconnaissance de forme 6
…
 Plan

• 1- Historique
• 2- Domaine d’application
• 3- Neurone biologique
• 4- Neurone artificiel
• 5- Propriétés des réseaux de neurones
• 6- Architecture des réseaux de neurones

7
 3. Le neurone biologique (1/3)

Le système nerveux est composé:

-10 à 100 milliards neurones interconnectés 8
- 1000 à 10000 synapses (connexions) par neurone.
 3. Le neurone biologique (2/3)

L’information est acheminée de l’extérieur vers le corps

cellulaire a partir des dendrites.
L’information est traitée alors, par le corps cellulaire, si le
potentiel d’action dépasse un certain seuil, le corps cellulaire
répond par un stimuli.

Le signal transmis par le neurone chemine ensuite le long de

l’axone pour être transmis aux autres neurones.

La transmission entre deux neurones n’est pas directe. En effet,

il existe un espace intercellulaire de quelques d’Angströms
entre l’axone du neurone afférent et les dendrites du neurone
efférent. La jonction entre deux neurones est appelée synapse.
9
3. Le neurone biologique (3/3)

10
 Plan

• 1- Historique
• 2- Domaine d’application
• 3- Neurone biologique
• 4- Neurone artificiel
• 5- Propriétés des réseaux de neurones
• 6- Architecture des réseaux de neurones

11
4. Le neurone artificiel (1/3)

12
4. Le neurone artificiel (2/3)

13
 4. Le neurone artificiel (3/3)

Exemple de fonctions d’activations :

14
 Plan

• 1- Historique
• 2- Domaine d’application
• 3- Neurone biologique
• 4- Neurone artificiel
• 5- Propriétés des réseaux de neurones
• 6- Architecture des réseaux de neurones

15
 5. Propriétés de réseau de neurones
(1/5)
- Apprentissage :
L’apprentissage est une phase de développement d’un
réseau de neurones durant laquelle le comportement du
réseau est modifié jusqu’à l’obtention du comportement
désiré.
Les classes d’algorithmes d’apprentissage :
- L’apprentissage supervisé
- L’apprentissage non supervisé
- L’apprentissage par renforcement
16
 5. Propriétés de réseau de neurones
(2/5)
Dans l’apprentissage supervisé, un superviseur fournit une
valeur/vecteur d de sortie désirée que le réseau de neurones
doit associer au vecteur d’entrée x. L’apprentissage consiste à
modifier les paramètres du réseau de neurones afin de
minimiser l’erreur entre la sortie désirée et la sortie obtenue.

superviseur sortie désirée

erreur

réseau sortie obtenue

17
 5. Propriétés de réseau de neurones
(3/5)
Dans l’apprentissage non supervisé, les données ne
contiennent pas d’informations sur une sortie désirée. Il n’y a
pas de superviseur. Il s’agit de déterminer les paramètres du
réseau de neurones suivant un critère à définir.

réseau sortie obtenue

18
 5. Propriétés de réseau de neurones
(4/5)
Généralisation sur-apprentissage :
La capacité de généralisation est l’une des raisons qui motivent
l’étude et le développement des réseaux de neurones artificiels.
Elle peut être définie par la capacité d’élargir les connaissances
acquises après apprentissage à des données nouvellement
rencontrées par le réseau de neurones. D’où les RNA sont
capables d’approximer une fonction uniquement à partir d’une
partie de données.

On parle de sur-apprentissage quand le réseau a trop

parfaitement appris les exemples proposés. Il est donc incapable
de généraliser. 19
5. Propriétés de réseau de neurones
(5/5)

20
 Plan

• 1- Historique
• 2- Domaine d’application
• 3- Neurone biologique
• 4- Neurone artificiel
• 5- Propriétés des réseaux de neurones
• 6- Architecture des réseaux de neurones

21
 6. Les architectures de réseau de
neurones (1/11)

Architectures neuronales les plus utilisées

1. Le Perceptron monocouche
2. Le Perceptron Multi Couche
3. Le modèle de Hopfield
4. Le réseau bouclé
5. Le modèle de Kohonen
6. Le Réseau à Fonction Radiales de base

22
 6. Les architectures de réseau de
neurones (2/11)
1- Le Perceptron monocouche

x0 W10 ∑ f y1
x1
∑ f y2

W1n
W2n
xn Wmn
∑ f ym

La fonction d’activation est du type fonction à seuil.

23
6. Les architectures de réseau de
neurones (3/11)
2- Le perceptron Multicouche

y1
x1
x2 y2

entrée cachée sortie

24
6. Les architectures de réseau de
neurones (4/11)
2- Le perceptron Multicouche

25
 6. Les architectures de réseau de
neurones (5/11)
3-Le modèle de Hopfield
Le modèle de Hopfield : chaque neurone est connecté à tous les
autres sauf à lui. L’architecture du réseau est symétrique, c’est-
à-dire, wij de la connexion entre le neurone i et le neurone j est
identique à wji, poids de la connexion entre les neurones j et i.

26
6. Les architectures de réseau de
neurones (6/11)
4. Le réseau bouclé

27
6. Les architectures de réseau de
neurones (7/11)
4. Le réseau bouclé

28
6. Les architectures de réseau de
neurones (8/11)
4. Le réseau bouclé

29
6. Les architectures de réseau de
neurones (9/11)
4. Le réseau bouclé

30
6. Les architectures de réseau de
neurones (10/11)
5. Le modèle de Kohonen

31
 6. Les architectures de réseau de
neurones (11/11)
6. Le réseau à fonctions radiales de base

N − x −µ 2

y j = ∑ wi exp  
i j

φ (x ) = φ ( x − µ ,σ ) i =1  2σ 2 
  32