Rseaux de neurones artificiels et apprentissage supervis III

Andrs Prez-Uribe

Mesures de similarit
La somme pondre calcule par un Perceptron peut tre vue comme une mesure de similarit entre le vecteur en entre et le vecteur de poids synaptiques.

wixi = wixi
produit scalaire Une autre faon de calculer une mesure de similarit consiste calculer une distance entre le vecteur en entre et le vecteur de poids W. e.g. d =

( x
i

wi )2
2

Andrs Perez-Uribe

Rseaux de neurones fonctions radiales de base

Radial basis function networks (RBF)
sorties y1 yk
M

y k ( x ) = w jk j ( x ),
j= 0

1 x1 xn

j ( x ) = exp( x j /2 2 j)

entres

Andrs Perez-Uribe

Approximation dune fonction laide dun rseaux RBF

Andrs Perez-Uribe

Rseaux RBF
Girosi et Poggio (1990) ont dmontr que les rseaux RBF ont la proprit de meilleure approximation Les poids de la couche de sortie, les centres des fonctions radiales et les paramtres j peuvent tre trouvs par apprentissage supervis. Contraire au rseaux MLP ou lactivation des neurones de la couche cache forment une reprsentation distribue du pattern en entre (c.a.d., beaucoup de neurones de la couche cache peuvent contribuer dterminer la valeur dune sortie), dans les rseaux RBF, la reprsentation des patterns en entre est plus locale (peu de neurones dans la couche cache ont une activation significative pour un pattern en entre donne).
Andrs Perez-Uribe

Rseaux RBF
Dans le cas de rseaux RBF il y a donc moins d'interfrence entre les neurones de la couche cache lors de lapprentissage. Les centres des fonctions radiales et les paramtres j peuvent tre initialiss par des mthodes de clustering (groupement), manuellement, ou par apprentissage non supervis.
Andrs Perez-Uribe

MLPs vs RBFs (discrimination)

MLP

RBF

Andrs Perez-Uribe

Classifieurs noyau
Les Support Vector Machines (SVM) ont t dvelopps par Vladimir Vapnik (AT&T research labs). Ide: beaucoup des problmes de classification ne sont pas linairement sparables, mais la projection de donnes sur un espace plus haute dimension peut les rendre linairement sparables. Les donnes en entre sont donc projets sur un espace plus haute dimension laides des fonctions noyau et ensuite on cherche faire une sparation linaire de lespace haute dimension.

Andrs Perez-Uribe

Exemple: projection 1D -> 3D

Duda et al.
Andrs Perez-Uribe

Exemple: projection 2D -> 3D

Duda et al.

Andrs Perez-Uribe

10

Sries temporelles
! ! ! Problme: prdire le future partir du pass donne la srie temporelle {x(t), x(t-1), x(t-n)} prdire x(t+s), s est lhorizon de prdiction Exemple: prdiction de la valeur dune action Autres applications: Classification des sries: le prix augmente , ! le prix diminue,, pas de changement Description dune srie en utilisant les paramtres dun modle Transformation dune srie en une autre srie: prix du ptrole -> valeur dune action
Andrs Perez-Uribe

11

Sries temporelles
Prdire le futur partir du pass (s=1):

fonction non linaire (Backpropagation)

Andrs Perez-Uribe

12

Time-delay Neural Networks

En traitement du signal on appelle cette structure un filtre FIR (Finite Impulse Response). En statistique on lappelle filtre moving average. Dans le domaine des rseaux de neurones, on lappelle rseau TDNN (Time-delay neural network).
Andrs Perez-Uribe

13

Rseaux de Jordan et rseaux de Elman

Rseaux de Jordan
x1 x2 y

Rseaux de Elman
x1 x2 y

mmorisation de y(t)

mmorisation des activations des neurones de la couche cache

Andrs Perez-Uribe

14

Discrete time recurrent neural networks

En traitement du signal on appelle cette structure un filtre IIR (Infinite Impulse Response). En statistique on lappelle filtre Auto-regressive moving average. Dans le domaine des rseaux de neurones, on lappelle rseau DTRNN (Discrete time recurrent neural network).
Andrs Perez-Uribe

15

Backpropagation through time

! Pour entraner un rseau DTRNN, on dplie le rseau et on applique un algorithme dapprentissage bas sur la rtropropagation de lerreur (Backpropagation through time ou BPTT)
out
W

hidden
U V hidden(t-1) U input(t-1) V hidden(t-2) U input(t-2)
Andrs Perez-Uribe

input

V hidden(t-3)
16

NETtalk

Sejnowski, Rosenberg (Complex Systems 1, 1987)

Andrs Perez-Uribe

17

Exemple: projet ASID @ HEIG-VD

Radar cologique: identification des rgions o lactivit humaine cause les plus grands changements cologiques en Amrique du Sud. Base de donnes (2.2TB)

NDVI (mars 2006)

NDVI = f(saison, pluie, humains)

Andrs Perez-Uribe

18

Exemple: projet ASID

Satellite MODIS (NDVI): 12 mois prcd. 3 valeurs/mois Satellite TRMM (pluie): 10 jours prcd. 3 valeurs/jour

Andrs Perez-Uribe

19

Exemple: projet COCH @ HEIG-VD

Prdiction de la productivit de la canne sucre
donnes environnementales RApid Soil and Terrain Assessment

phenotype/ productivit qualit sols

Andrs Perez-Uribe

20

Exemple: canne sucre

Prcip. Rad. solaire HR Temp

Moisson coupe
4 mois 4 mois

coupe

Andrs Perez-Uribe

21

Exemple: canne sucre

donnes numriques
(temp,RH, solar rad., precipitation, cuttings, harvesting age) Rseau de neurones artificiels entranement supervis par Backpropagation
(1999-2003)

donnes catgoriques
(type de sol)

Andrs Perez-Uribe

22

EXEMPLE: dtecteur de troubles du rythme

cardiaque @ HEIG-VD

L'analyse de llectrocardiogramme lors dun diagnostic comprend la mesure des amplitudes et dures ainsi que l'examen de la morphologie des ondes P, Q, R, S et T (voir ci-dessus). Pour caractriser un lectrocardiogramme nous avons utilis la dure du complexe QRS, de l'intervalle PR, de l'intervalle QT, de l'onde T et de londe S.
Andrs Perez-Uribe

23

EXEMPLE: dtecteur de troubles du rythme

cardiaque
1) Entranement dun rseau de neurones partir dune base de donnes QRS QT 425 cas PR T S 2) Rseau de neurones embarqu

Trouble du rythme cardiaque 1 : trouble 0 : pas de trouble

ANN inside Embedded System

Andrs Perez-Uribe

diagnostic

24

Bio-inspired models for hit song prediction

In collaboration with PlatinumBlueInc, New York

Andrs Perez-Uribe

25

Prdiction de tubes

Features par fentre (f1, f2, ...fn) Exemples pour lentranement: f11,f12,..., f1n, f21, f22, ... f2n, f31, f32 ... f71, f72,... f7n ; tube f11,f12,..., f1n, f21, f22, ... f2n, f31, f32 ... f71, f72,... f7n ; tube ... f11,f12,..., f1n, f21, f22, ... f2n, f31, f32 ... f71, f72,... f7n ; notube f11,f12,..., f1n, f21, f22, ... f2n, f31, f32 ... f71, f72,... f7n ; notube
Andrs Perez-Uribe

26

Rseau de Hopfield
En 1982, J.J Hopfield et D.W. Tank proposent un modle de rseau constitu de N neurones tats binaires (-1, 1 ou 0, 1 suivant les versions) tous interconnects. Ltat ai de chaque neurone est calcul en fonction de la somme pondr des tats de tous les neurones. Un rseau de Hopfield possde une valeur scalaire appele nergie:

Andrs Perez-Uribe

27

Rseau de Hopfield (2)

On dmontre que la dynamique du rseau tend minimiser la fonction d'nergie. La courbe d'nergie possde un certain nombre de bassins d'attraction qui correspondent aux points fixes vers lesquels le rseau va converger en fonction de l'initialisation. Un rseau de Hopfield est une mmoire adressable par contenu : une forme mmorise est retrouve par une stabilisation du rseau, s'il a t stimul par une partie adquate de cette forme.
tat stable du rseau
Andrs Perez-Uribe

input

28

K-Nearest Neighbors
Pour prdire la classe d'un nouveau cas, l'algorithme cherche les K plus proches voisins de ce nouveau cas et prdit (sil faut choisir) la rponse la plus frquente de ces K plus proches voisins. La mthode utilise donc deux paramtres: le nombre K et la fonction de similarit pour comparer le nouveau cas aux cas dj classs. Memory-based reasoning: cette mthode diffre des traditionnelles mthodes dapprentissage car aucun modle n'est induit partir des exemples. Les donnes restent telles quelles : elles sont simplement stockes en mmoire.
Andrs Perez-Uribe

29

Discrimination avec KNN

Andrs Perez-Uribe

30

Comment choisir la valeur de k ?

K=7 Choisir le modle qui donne le plus petit erreur de test ou faire de la validation croise et choisir le modle avec le plus petit erreur de gnralisation
Andrs Perez-Uribe

31

Rgression avec KNN

! Pour des problmes de rgression, KNN calcul la moyenne des valeurs de sortie des k plus proches voisins.

Andrs Perez-Uribe

32

KNN pondr (distance-weighted KNN)

! Lide de base est de pondrer la valeur donne par les k plus proches voisins par rapport leur distances au point en entre.
W ( x, i ) = exp(D( x, i ))
k

exp(D( x, )
i j =1

! W(x,i) est la pondration des valeurs donnes par les k plus proches voisins, et D(x,i) est la distance entre le point en entre x et les centres i, i=1,2,k.

Andrs Perez-Uribe

33

Application: beautification
T. Leyvand, D. Cohen-Or, G. Dror et D. Lischinski, Digital Face Beautification, ACM SIGGRAPH 2006 Ils dfinissent un espace de haute dimension appel face space o on reprsente un portrait par un point et ils associent un score de beaut chaque portrait. Pour rendre un portrait plus beau, on cherche les K voisins les plus proches dans lespace de caractristiques des portraits et on adapte les caractristiques du portrait original.

Andrs Perez-Uribe

34

Application: beautification

Weighted KNN
Andrs Perez-Uribe

35

Exemples de beautification

Andrs Perez-Uribe

36