Vous êtes sur la page 1sur 34

LES RESEAUX DE NEURONES

Rachid Ladjadj

IR 3e anne

SOMMAIRE

Introduction Pourquoi les rseaux de neurones? Historique

Le neurone biologique
Le neurone formel Le modle Mc Culloch et Pitts Architecture des rseaux de neurones Rseaux boucls et rseaux non boucls Notion dapprentissage Apprentissage supervis et non supervis Quelques modles de rseaux de neurones Le perceptron multicouche Le modle de Hopefield Les cartes de Kohonen Exemples dapplications Conclusion

Introduction

Introduction

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Pourquoi les rseaux de neurones?

Caractristiques de larchitecture du cerveau humain:


une architecture massivement parallle un mode de calcul et une mmoire distribus une capacit d'apprentissage une capacit de gnralisation une capacit d'adaptation une rsistance aux pannes une faible consommation nergtique

Introduction

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Utilisation des rseaux de neurones:


Classification Catgorisation Approximation de fonctions Prdiction - prvision Optimisation Mmoire adressable par le contenu

Introduction

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Historique

1943 :

Modle de McCulloch et Pitts

1960 :

Rosenblatt : perceptron et thorme de convergence Minsky et Papert : limites du perceptron mono-couche


Modle de Hopefield Werbos : rtropropagation dans le cadre des perceptrons multi-couches (popularis en 1986 par Rumelhart)

1980 :

Le neurone biologique

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Le neurone biologique

Dendrites : Signaux dentre Axone : Signal de sortie

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Synapse

Transmission entre un axone et une dendrite Synapses excitatrices / synapses inhibitrices


9

Le neurone formel

10

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Neurone formel: le modle Mc Culloch et Pitts

11

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Interprtation mathmatique

12

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Fonctions de transfert (ou fonctions dactivation)

(a) : seuil (fonction de Heavyside) (b) : linaire par morceaux (c) : sigmode g(x) = (1 + e (d) : gaussienne
x) - 1

13

Architecture des rseaux de neurones

14

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Rseaux boucls

Les neurones ne peuvent pas tre ordonns de sorte quil ny ai pas de connexion vers larrire
Exemple -> rseau entirement connect :

15

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Rseaux non boucls ou rseaux couches

Les neurones peuvent tre ordonns de sorte quil ny ai pas de connexion vers larrire
Exemple -> rseau une couche intermdiaire :

16

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Si Y est le vecteur des sorties et X le vecteur des entres:


Y = FW(X) FW : fonction dactivation du rseau W : vecteur des poids des liaisons synaptiques

Apprentissage = dtermination des poids permettant dobtenir une sortie proche dune sortie Y0 voulue partir dune entre X

17

Notion dapprentissage

18

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Mise jour des poids de connexion, en gnral partir dun ensemble de donnes dentranement Modification itrative des poids Paradigme dapprentissage : modlisation de lenvironnement dans lequel le rseau oprera.

3 paradigmes dapprentissage: Supervis : on veut qu une entre corresponde une sortie pralablement dfinie Non supervis : on veut construire un rseau dont on ne connat pas a priori la sortie correspondant des entres donnes Hybride
Rgles dapprentissage : gouvernent la mise jour des poids du rseau Algorithme dapprentissage : procdure dans laquelle les rgles dapprentissage sont utilises en vue de lajustement des poids
19

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

4 types de rgles dapprentissage:


Correction derreur Apprentissage de Boltzmann Rgle de Hebb Apprentissage par comptition

20

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Correction derreur

Si d est la sortie dsire et y la sortie obtenue, la modification des poids se fait en fonction de (d-y) Algorithme de retro-propagation Algorithme dapprentissage du perceptron:

Initialisation des poids et du seuil de petites valeurs alatories Prsenter un vecteur dentres x() et calculer sa sortie Mettre jour les poids en utilisant :
wj(t+1) = wj(t) + (d- y) xj avec d la sortie dsire, w vecteur des poids

21

Quelques modles de rseaux de neurones

22

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Le Perceptron multicouches

Modle du perceptron simple: pas de seuil fonction dactivation = fonction signe Sparation de deux classes dentiers A et B -> apprentissage supervis Inconvnient : A et B doivent tre linairement sparables

23

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

24

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Le modle de Hopefield

Mmorisation de formes et de motifs Mmoire distribue Mmoire associative

25

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

N neurones binaires (1 ou -1) : 2N tats possibles pour le rseau Rseau entirement connect, connexion de poids Cij = Cji tat du neurone i linstant t:

Ltat du neurone i dpend de ltat du rseau en gnral -> mmoire distribue But : trouver les Cji qui vont permettre de mmoriser un tat particulier du rseau Soient S1, S2 Sp p configuration du rseau mmoriser : on veut, a partir dune configuration proche de Sm, converger vers Sm -> mmoire associative Principe de Hebb :

26

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Les cartes de Kohonen

On veut un rseau ayant deux caractristiques particulires : Apprentissage non supervis Les rponses associes des entres voisines sont voisines : auto organisation Notion de voisinage entre les classes dobservation
Algorithme :

Initialisation : chaque classe on associe un vecteur code dans lespace dobservation Etape : on tire un point au hasard dans lespace des observations (donnes). On dplace ensuite la classe la plus proche, ainsi que tous ses voisins les plus proches, vers ce point.
27

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

28

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

29

Exemples dapplications

30

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

OCR

31

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Applications industrielles:

Reconnaissance de codes postaux (AT&T, la Poste) Contrle de paramtres de processus de production industrielle de pte papier (Siemens) Prvision de consommation deau (Gnrale des eaux) Logiciels daide la dcision Prvisions mtorologiques

32

Conclusion

33

Introduction et historique

Le neurone biologique

Le neurone formel

Architecture des rseaux de neurones

Notion dapprentissage

Quelques modles de rseaux de neurones

Exemples dapplications

Conclusion

Essor important ces 30 dernires annes Approximateurs universels Aujourdhui utiliss dans la vie quotidienne (systmes de tarifications bass sur la classification des types de consommation)

34