www.tunisie-etudes.

info
Ce document a t tlcharg depuis
www.tunisie-etudes.info
Des documents gratuits, devoirs, examens, cours, exercices,
corrigs... Ainsi que toute une rubrique pour vous aider a
trouver un emploi sans oublier les avis de concours en
direct
Notre page Twitter
http//www.twitter.com/Tunisietudes
Notre page FaceBoo
http//www.faceboo.com/Tunisietudes
Merci d'avoir choisi www.tunisie-etudes.info
Bonne lecture et bon travail
www.tunisie-etudes.info www.algointro.info
Philippe.Leray@insa-rouen.fr
Quelques types
de rseaux de neurones
Ph. Leray
Histoire
1940 : La machine de Turing
1943 : Le neurone formel (McCulloch & Pitts)
1948 : Les rseaux d'automates (Von Neuman)
1949 : Premire rgle dapprentissage (Hebb)
1958-62 : Le perceptron (Rosenblatt)
1960 : L'adaline (Widrow & Hoff)
1969 : Perceptrons (Minsky & Papert)
les limites du Perceptron
besoin d'architectures + complexes,
Comment effectuer l'apprentissage ? On ne sait pas !
1974 : Rtropropagation (Werbos)
pas de succs !?!?
Ph. Leray
Histoire (suite)
1986 : Rtropropagation (Rumelhart & McClelland)
nouvelles architectures de Rseaux de Neurones
applications :
- reconnaissance de lcriture
- reconnaissance/synthse de la parole
- vision (traitement dimages)
1990 : Socit de lInformation
nouvelles applications
- recherche/filtrage dinformation dans le Web
- extraction dinformation, veille technologique
- multimedia (indexation, )
- data mining
besoin de combiner diffrents modles
Ph. Leray
Plan
Neurone et Rseau de neurones
Les types darchitecture
Les types dapprentissage
Quelques rseaux de neurones usuels :
Multilayer Perceptron (MLP) / Perceptron Multi-Couches
(PMC)
Radial Basis Function network (RBF) / Rseau fonctions
de base radiale (RBR)
Self-Organizing Maps (SOM) / Cartes de Kohonen
Ph. Leray
Un neurone
Modlisation simplifie du neurone biologique
(McCulloch & Pitts)
x
1
x
i
x
n
f
y = f(w
1
x
1
+ ... w
n
x
n
+ b)
w
1
w
n
Poids dune connexion
Connexion
Fonction dactivation / de transfert
Ph. Leray
Un rseau de neurones 1/3
Principe :
graphe orient : interconnexion d'lments simples (les
neurones)
change dinformations via les connexions
calcul distribu et coopratif
Entres
Sorties
Ph. Leray
Un rseau de neurones 2/3
Caractristiques :
architecture
type dinterconnexion
choix des fonctions de transfert
mode dapprentissage
comment estimer (apprendre) les poids
Utilisation :
systme de dcision
approximation
rsolution de problmes
mmorisation et compression
Ph. Leray
Un rseau de neurones 3/3
Outil de reprsentation des connaissances :
Reprsentation distribue : chaque neurone participe
Avantages :
Tolrance par rapport aux fautes (limination dun neurone...)
Apprentissage automatique des poids
Capacit de gnralisation
Inconvnients :
Reprsentation complexe
Paramtres difficiles interprter physiquement (bote noire)
Ph. Leray
Diffrentes architectures
Besoin de structurer les interconnexions entre neurones
matrice de connectivit
Les types darchitectures courantes :
rseaux feed-forward
rseaux rcurrents
cartes topologiques
Besoin dapprendre les poids des connexions
Ph. Leray
Rseaux feedforward
Organisation des neurones en couches successives
Le calcul de y se fait en propageant les calculs de la gauche
vers la droite
[ + connexions directes linaires : y=ax+F
W
(x) ]
x
1
x
i
x
n
y
Couche dentre Couches caches Couche de sortie
Ph. Leray
Rseaux rcurrents 1/2
Prsence dau moins une boucle de rtroaction
au niveau des neurones - entre les couches
Prise en compte d'aspects temporels et de mmoire
Modles plus difficile mettre en uvre (convergence ,)
Ph. Leray
Rseaux rcurrents 2/2
Ex : modles NARX, NARMAX (sries temporelles)
prvision ou identification de systmes
y(t+1)
^
y(t)
^
x(t-k)

x(t)
y(t-l)

y(t)
x(t-k)

x(t)
y(t-l)

y(t-1)
^
^
ex. de NARX
pour la prvision
(TDNN)
ex de NARMAX
pour lidentification
y(t-l)

y(t-1)
Ph. Leray
Diffrents types dapprentissage
Apprentissage supervis :
On fournit l algorithme une srie dexemples (x) et de
rsultats (y)
trouver W tel que y = F
W
(x) (+ bonne gnralisation)
Ex: mthodes de gradient stochastique en discrimination
linaire
Apprentissage semi-supervis (renforcement):
On fournit des exemples et des indications sur le rsultat
(vrai|faux)
Apprentissage non supervis :
On fournit seulement les exemples (x)
trouver W tel que les x soient correctement groups selon F
W
(+ bonne gnralisation)
Ph. Leray
Rseaux de neurones usuels
Rseaux feedforward + apprentissage supervis :
Multilayer Perceptron (MLP) / Perceptron Multi-Couches
(PMC)
Radial Basis Function network (RBF) / Rseau fonctions
de base radiale (RBR)
Support vector machines (SVM)
Rseaux rcurrents + apprentissage supervis :
Time Delay Neural Networks (TDNN)
Rseaux de Jordan, de Elman, NARMAX
Apprentissage non supervis
Adaptative Resonance Theory (ART)
Self-Organizing Maps (SOM) / Cartes auto-organisatrices
Cours
Sries Temporelles
Ph. Leray
Cours
Rseaux Bayesiens
Cours
RB Temporels
Dautres machines apprendre
Modles de Markov Cachs (HMM, Hidden Markov
Model)
squences temporelles
Rseaux Baysiens
relations de causalit
Modles graphiques
tentative dunification des HMM, RB, RN,
ex: Rseaux Bayesiens temporels
Ph. Leray
Perceptron Multi-Couches 1/7
Rseau feedforward
(1986)
Fonction de transfert tanh(.) (sauf couche de sortie linaire)
Mthode dapprentissage (supervis) usuelle :
rtropropagation du gradient (prochain cours)
x
1
x
i
x
n
y
Ph. Leray
Perceptron Multi-Couches 2/7
Approximation de fonctions
Cybenko 1989 :
Pour toute fonction saturante continue f,
alors lespace des fonctions de la forme
est dense dans C(I
n
)
i.e. quelque soit h C(I
n
) et >0, il existe g / |g(x)-h(x)|<
sur I
n
Classification
Hornik et al. 1989 :
Pour toute fonction saturante continue f,
pour toute mesure de probabilit m sur R
n
,
alors lespace des fonctions de la forme
est uniformment dense sur les compacts de C(R
n
)
( )

N
1 j
t
j j
x . w f v ) x ( g
( )

N
1 j
t
j j
x . w f v ) x ( g
Ph. Leray
Perceptron Multi-Couches 3/7
Exemple en approximation de fonctions : (Canu 1999)
prvision de pics dozone
donnes = concentration dozone sur 3 ans
(chantillonnage=1h)
but = prdire la valeur maximum de la concentration d O
3
du
lendemain en fonction des mesures de la journe
x(t)
x(t-1)

x(t-23)
y(t)=max[x(t+i)]
i=124
400 0 50 100 150 200 250 300 350
-2
0
2
4
6
y mesur
y calcul
Ph. Leray
Perceptron Multi-Couches 4/7
Exemple en classification : (Bennani & Gallinari 1991)
identification du locuteur parmi les 102 personnes
enregistres
Expert n1 Expert n2 Expert nN "Modrateur"
Signal de Parole
Module de dcision
...
Identit du locuteur
Ph. Leray
Perceptron Multi-Couches 5/7
Systme modulaire pour lOCR : LeNet (LeCun 1989)
utilisation des RN pour faire de la convolution et du r-
chantillonage
0
9
Image dentre
16x16 pixels
Masques de
convolution
Couche
cache n3
(30 neurones)
Couche
de sortie
(10 neurones)
Couche cache n2
(12*4x4=192 neurones)
Couche cache n1
(12*8x8=768 neurones)
2
...
1
Ph. Leray
Perceptron Multi-Couches 6/7
Systme modulaire pour lOCR : LeNet5 (LeCun 1995)
Ph. Leray
Perceptron Multi-Couches 7/7
Exemple en mmorisation/compression: rseau diabolo
= PMC qui reconstruise au mieux les images de dpart
sortie de la couche cache = reprsentation compacte de
limage
poids = algo de compression / dcompression
Pixels
dune
image
Projection de la matrice
image dans un sous-espace
Reconstruction
de limage
Reprsentation
compacte de limage
Ph. Leray
x
1
x
i
x
n
y
(
(
,
\
,
,
(
j


2
2
2
w x
exp ) w , x ( g
Rseau fonctions de base radiale 1/2
Rseau feedforward
une couche cache
(Broomhead & Lowe 1988)
(Moody & Darken 1989)
Fonction de transfert :
gaussienne :
toute autre fonction noyau
Version parcimonieuse de la rgression spline
Ph. Leray
Rseau fonctions de base radiale 2/2
Mthode dapprentissage usuelle :
Nb et paramtres des gaussiennes (apprentissage non
supervis) :
Clustering : regroupement des points en classes :
Nb gaussiennes = nb de clusters trouvs
Paramtres de chaque gaussienne = ( , ) de chaque
cluster
LVQ, K-means, E-M
Couche de sortie (apprentissage supervis) :
Paramtres de la combinaison linaire : moindres
carrs
Ph. Leray
Rseau fonctions de base radiale 3/3
Proprits d'approximation :
Park & Sandberg 1991 :
Pour toute fonction d'entre/sortie f(x),
il existe un RBR avec
- un ensemble de centres {w
i
}
- une largeur commune >0
tel que la fonction ralise par le RBR est proche de
f(x) pour la norme L
p
(p>0)
Ph. Leray
Apprentissage non supervis
Inspiration biologique :
auto-organisation de certaines parties du systme nerveux
il n'y a pas "d'enseignant"
Applications :
clustering :
aucune connaissance sur les classes des points (classes
inconnues ou trop compliques obtenir)
rduction d'information :
regroupement de points ressemblants en un vecteur
reprsentatif
Ph. Leray
Cartes auto-organisatrices 1/5
Inspiration biologique :
les neurones du cerveau (cortex) sont organiss en rgions
correspondant des fonctions sensorielles diffrentes
des stimuli proches vont activs des neurones du cortex qui
sont eux aussi proches
notion de topologie et de carte du cortex
Ph. Leray
(Kohonen 1990)
Principe :
trouver une projection entre
deux espaces :
l'espace des donnes
(grande dimension)
l'espace des
reprsentations
(dimension rduite)
la projection doit conserver
la topologie des donnes
Cartes auto-organisatrices 2/5
Couche
dentre
Couche de sortie
Connexions
totales
Dfinition d'une topologie
dans l'espace des reprsentations
(1D, 2D, 3D, voisinage carr, hexagonal)
Ph. Leray
Cartes auto-organisatrices 3/5
Apprentissage comptitif :
principe = encourager le neurone vainqueur
les poids du neurone gagnant sont rapprochs du vecteur
dentre
exemple pour les cartes topologiques :
prsentation de lexemple x
k
choix du neurone gagnant i(k)

/
choix de N
i(k)
voisinage de i(k)

(topologie)
modification des poids :
on fait dcrotre N
i(k)
et (k) au cours de l apprentissage
i
k
i ) k ( i
k
W x min W x
( )

+
) k ( i
) k ( i i
k
i
N i 0
N i ) k ( W x ) k (
) 1 k ( W
Ph. Leray
Cartes auto-organisatrices 4/5
Avantages :
l espace de sortie est un espace de reprsentations
on peut bien visualiser les sorties
reprsentation de donnes de grande dimension
ACP non linaire
Inconvnients :
temps de convergence
pas de preuve de convergence en multidimensionnel
pas dunicit de la reprsentation
Ph. Leray
Cartes auto-organisatrices 5/5
Exemple : Websom
reprsentation de
documents issus du Web
(http://websom.hut.fi)
projection du contenu de 7
millions de messages de 83
newsgroups sur une SOM
les textes ressemblants se
regroupent dans des
endroits proches de la carte
la couleur traduit le nb de
textes projets dans la zone
possibilit de recherche libre
(projection de votre
demande sur la carte)
Ph. Leray
Bibliographie
Neural Networks : a comprehensive
foundation - S. Haykin (Prenctice Hall)
Neural Networks : a systematic
introduction - R. Rojas (Springer)
The Handbook of Brain Theory and Neural
Networks - M.A. Arbib (MIT Press)
Self-Organizing Maps - T. Kohonen
(Springer)
Rseaux Neuronaux et Traitement du
Signal - J. Hrault & C. Jutten (Herms)
www.tunisie-etudes.info
Ce document a t tlcharg depuis
www.tunisie-etudes.info
Des documents gratuits, devoirs, examens, cours, exercices,
corrigs... Ainsi que toute une rubrique pour vous aider a
trouver un emploi sans oublier les avis de concours en
direct
Notre page Twitter
http//www.twitter.com/Tunisietudes
Notre page FaceBoo
http//www.faceboo.com/Tunisietudes
Merci d'avoir choisi www.tunisie-etudes.info
Bonne lecture et bon travail
www.tunisie-etudes.info www.algointro.info