Académique Documents
Professionnel Documents
Culture Documents
Grald PETITJEAN
gerald.petitjean@eurodecision.com
BIBLIOGRAPHIE
1. 2. 3. 4. 5. 6. F. Blayo et M. Verleysen, Les Rseaux de Neurones Artificiels ,Que Sais-Je ?, n3042 J.-P. Renard, Rseaux neuronaux (une introduction accompagne dun modle Java), Vuibert G. Dreyfus, M. Samuelides, J.-M. Martinez, M. B. Gordon, F. Badran, S. Thiria, L. Hrault, Rseaux de neurones (mthodologies et applications), Eyrolles C. M. Bishop, Neural networks for pattern recognition, Oxford University T. Mitchell, Machine learning, Mac Graw Hill A. Cornujols, L. Miclet, Y. Kodratoff, Apprentissage artificiel, Eyrolles
Sur le net : C. Touzet, Les Rseaux de Neurones Artificiels : Introduction au Connexionnisme, 1992
OUTILS / BIBLIOTHEQUES
Outils commerciaux : 1. Matlab : neural networks toolbox http://www.mathworks.com/products/neuralnet/ 2. Netral : Neuro One http://www.netral.com/index.html http://www.netral.com/logiciels/neuroone-fr.html Outils open-source / gratuits : 1. JOONE : bibilothque JAVA open source (licence LGPL) http://www.jooneworld.com/ 2. Scilab : ANN toolbox http://www.scilab.org/ http://www.scilab.org/contrib/displayContribution.php?fileID=165 3. Matlab : netlab toolbox http://www.ncrg.aston.ac.uk/netlab/index.php
RESEAUX DE NEURONES
Connexionisme. Modlisation mathmatique du cerveau humain. Rseaux de neurones formels = rseaux d units de calcul lmentaire interconnectes. 2 axes de recherche : - tude et modlisation des phnomnes naturels d apprentissage (biologie, physiologie du cerveau) - algorithmes pour rsoudre des problmes complexes
RESEAUX DE NEURONES
Applications : statistiques : analyse de donnes / prvision / classification robotique : contrle et guidage de robots ou de vhicules autonomes imagerie / reconnaissance de formes traitement du signal simulation de lapprentissage
MODELE BIOLOGIQUE
Les neurones reoivent des signaux (impulsions lectriques) par les dendrites et envoient l information par les axones. Les contacts entre deux neurones (entre axone et dendrite) se font par l intermdiaire des synapses. Les signaux n oprent pas de manire linaire : effet de seuil.
HISTORIQUE
Historique : Mac Culloch et Pitts (1943) : dfinition d un neurone formel Loi de Hebb (1949) Rosenblatt (1958), Widrow et Hoff : modle avec processus d apprentissage, perceptron Minsky et Papert (1969) : limites des perceptrons Kohonen (1972) : mmoires associatives Rumelhart Mc Clelland (1980), Werbos Le Cun : perceptron multi-couches, mcanismes d apprentissage performants (rtropropagation du gradient).
7
NEURONE FORMEL
Principes : pas de notion temporelle coefficient synaptique : coefficient rel sommation des signaux arrivant au neurone sortie obtenue aprs application d une fonction de transfert
NEURONE FORMEL
Modlisation : Le neurone reoit les entres x1, , xi, , xn. Le potentiel dactivation du neurone p est dfini comme la somme pondre (les poids sont les coefficients synaptiques wi) des entres. La sortie o est alors calcule en fonction du seuil .
w1 wi wn
Alors :
o = 1 si p > o = 0 si p
DEFINITIONS
Dfinitions : Dterminer un rseau de neurones = Trouver les coefficients synaptiques. On parle de phase dapprentissage : les caractristiques du rseau sont modifies jusqu ce que le comportement dsir soit obtenu. Base dapprentissage : exemples reprsentatifs du comportement ou de le fonction modliser. Ces exemples sont sous la forme de couples (entre ; sortie) connus. Base dessai : pour une entre quelconque (bruite ou incomplte), calculer la sortie. On peut alors valuer la performance du rseau.
10
DEFINITIONS
Dfinitions : apprentissage supervis : les coefficients synaptiques sont valus en minimisant l erreur (entre sortie souhaite et sortie obtenue) sur une base d apprentissage. apprentissage non-supervis : on ne dispose pas de base d apprentissage. Les coefficients synaptiques sont dtermins par rapport des critres de conformit : spcifications gnrales. sur-apprentissage : on minimise l erreur sur la base d apprentissage chaque itration mais on augmente l erreur sur la base d essai. Le modle perd sa capacit de gnralisation : c est l apprentissage par cur. Explication : trop de variables explicatives dans le modle ; on n explique plus le comportement global mais les rsidus.
11
LOI DE HEBB
Rseau de neurones : n entres e1, , en m neurones N1, , Nm. wij le coefficient synaptique de la liaison entre les neurones Ni et Nj une sortie o un seuil S Fonction de transfert : fonction Signe si x > 0 : Signe(x) = +1 si x 0 : Signe(x) = 1
Ni
wij
Nj
12
LOI DE HEBB
Principe : Si deux neurones sont activs en mme temps, alors la force de connexion augmente. Base d apprentissage : On note S la base d apprentissage. S est compose de couples (e, c) o : e est le vecteur associ l entre (e1, , en) c la sortie correspondante souhaite Dfinitions : ai est la valeur d activation du neurone Ni.
13
LOI DE HEBB
Algorithme : est une constante positive. Initialiser alatoirement les coefficients wi Rpter : Prendre un exemple (e, c) dans S Calculer la sortie o du rseau pour l entre e Si c o Modification des poids wij : wij = wij + (ai aj) Fin Pour Fin Si Fin Rpter
14
15
o=11=x w1 = w1 + e1 x = 1 w2 = w2 + e2 x = 1 Exemple (2) : o = Signe((w1 e1 + w2 e2) = Signe(0) = 1 o=11=x w1 = w1 + e1 x = 2 w2 = w2 + e2 x = 0 Exemples (3) et (4) OK Exemples (1) et (2) OK STOP
16
LOI DE HEBB
Remarque : Calcul des coefficients wij sans utiliser l algorithme itratif. Principe : les coefficients sont initialiss 0, vaut 1, et on prsente tous les exemples de la base d apprentissage. wij = [(e,c) dans S] (ai aj)
17
LOI DE HEBB
Application : mmoires auto-associatives Kohonen (1977) Reconstruction de donnes : en entre : une information partielle ou bruite en sortie : le systme complte ou corrige l information
image apprise image soumise au rseau Image restitue par le rseau
18
19
PERCEPTRON
Perceptron linaire seuil : n entres x1, , xn n coefficients synaptiques w1, , wn une sortie o un seuil
20
PERCEPTRON
On ajoute une entre supplmentaire x0 (le biais), avec le coefficient synaptique suivant : w0 = On associe comme fonction de transfert la fonction de Heavyside : f(x) = 1 si x > 0 f(x) = 0 sinon
21
PERCEPTRON
Apprentissage par l algorithme du perceptron On note S la base d apprentissage. S est compose de couples (x, c) o : x est le vecteur associ l entre (x0, x1, , xn) c la sortie correspondante souhaite On cherche dterminer les coefficients (w0, w1, , wn). Initialiser alatoirement les coefficients wi. Rpter : Prendre un exemple (x, c) dans S Calculer la sortie o du rseau pour l entre x Mettre jour les poids : Pour i de 0 n : wi = wi + (c o) xi Fin Pour Fin Rpter
22
PERCEPTRON : exemple
Apprentissage par l algorithme du perceptron : exemple Apprentissage du OU logique x0 = 1
w0 o = x1 OR x2 w2
x1
w1
x2
23
PERCEPTRON : exemple
Apprentissage par l algorithme du perceptron : exemple
=1 x0 vaut toujours 1 Initialisation : w0 = 0 ; w1 = 1 ; w2 = 1
tape init 1 2 3 4 5 6 7 8 9 10 w0 0 0 1 1 1 0 1 1 1 0 w1 1 1 1 1 1 1 1 1 1 1 w2 -1 -1 0 0 0 0 1 1 1 1 Entre 100 101 110 111 100 101 110 111 100 101
02 wi xi
0 -1 2 2 1 0 2 3 1 1
o 0 0 1 1 1 0 1 1 1 1
c 0 1 1 1 0 1 1 1 0 1
PERCEPTRON
Apprentissage par l algorithme du perceptron : remarques bien choisi, suffisamment petit Si trop grand : risque d oscillation autour du minimum Si trop petit : nombre lev d itrations En pratique : on diminue graduellement au fur et mesure des itrations
25
PERCEPTRON
Apprentissage par l algorithme du perceptron : remarques Si l chantillon n est pas linairement sparable, l algorithme ne converge
pas. L algorithme peut converger vers plusieurs solutions (selon les valeurs initiales des coefficients, la valeur de , l ordre de prsentation des exemples). La solution n est pas robuste : un nouvel exemple peut remettre en cause le perceptron appris.
26
28