Classification :

Apprentissages non supervisés

Laurent Bougrain
Université de Lorraine
Introduction

Les réseaux compétitifs permettent de faire :

•  de la classification ;
•  de la quantification vectorielle ;
•  de la compression de données ;
•  de visualiser des données de dimension élevée.

Il n’y a pas de variables à prédire.

On souhaite observer les similitudes entre les individus pour pouvoir dégager des
tendances, des comportements types.

Certaines méthodes neuronales présentent des particularités intéressantes :

•  conservation la relation topologique des entrées
–  cartes auto-organisatrice de Kohonen
–  neural gas
–  growing neural gas
•  Nombre de groupes non prédéfini
–  growing neural gas

70 Laurent.Bougrain@loria.fr
K-means

1
71 Laurent.Bougrain@loria.fr
Apprentissage non supervisé

•  Compétition prototype catégories

•  valeur désirée inconnue

w11 y1
x1 w21
y2
x2
y3
72 Laurent.Bougrain@loria.fr
Apprentissage compétitif : illustration

x2
Ej = Σi (xi-wij)2

yj = 1 si
Ej minimum

x1

ΔWj = α.(x-Wj )
73 Laurent.Bougrain@loria.fr
Apprentissage compétitif : illustration

x2

x1

ΔWj = α.(x-Wj )
74 Laurent.Bougrain@loria.fr
Apprentissage compétitif : principe

x2

x1

75 Laurent.Bougrain@loria.fr
Homonculus

77 Laurent.Bougrain@loria.fr
Apprentissage non supervisé : auto-organisation

catégories

x1 Relation de voisinage

x2

78 Laurent.Bougrain@loria.fr
Carte auto-organisatrice : principe

1.  Choisir un nombre N de classes

2.  Choisir la topologie des relations entre les classes
3.  Initialiser chaque prototype wj (pour tout j ∈[1,N]) à un vecteur d'entrée x choisi
aléatoirement.
4.  Initialiser le paramètre temporel t : t = 0
5.  Choisir aléatoirement un vecteur d'entrée x
6.  Déterminer le prototype wc le plus proche de x : ∀ j ∈ [1, N ] wc − x ≤ w − x
j
7.  Modifier les poids des prototypes wj en fonction de leur distance à wc sur le grille
d(j,c) :
d 2 ( j,c )
−
Δw j ( t ) = α ( t )e 2σ 2 (t )
( x(t) − w (t ))
j

où le coefficient d'apprentissage α(t) et la fonction de voisinage σ(t) sont des fonctions

f décroissantes et monotones du temps avec 0 < f(t) < 1.
8.  Incrémenter t : t = t +1
€ à l'étape 5, si le critère d'arrêt n'est pas validé
9.  Retourner

79 Laurent.Bougrain@loria.fr
Cartes auto-organisatrices [Kohonen]

80 Laurent.Bougrain@loria.fr
 Apprentissage non supervisé

Quantification vectorielle

Espace des variables Espace des variables

5
y1 5
4 x1 4
x2 3 y 2 x2 3

2 x2 2
1
y3 1

0 1 2 3 4 5 0 1 2 3 4 5
x1 x1

83 Laurent.Bougrain@loria.fr
Etude des couleurs contenues dans une image

Soit une image constituée de 600x800 pixels décrits dans le système RGB.
L’image est un échantillon de 480000 individus décrits par 3 variables (R,G,B).

Prototypes des groupes obtenus par :

K-means

carte de Kohonen unidimensionnelle

carte de Kohonen bidimensionnelle

84 Laurent.Bougrain@loria.fr
 Apprentissage non supervisé

Compression de données

Espace des variables Espace des variables

5
y1 5
4 x1 4
x2 3 y 2 x2 3

2 x2 2
1
y3 1

0 1 2 3 4 5 0 1 2 3 4 5
x1 x1

87 Laurent.Bougrain@loria.fr
Etude des couleurs contenues dans une image

Soit une image constituée de 600x800 pixels décrits dans le système RGB.
L’image est un échantillon de 480000 individus décrits par 3 variables (R,G,B).
On souhaite regrouper les individus dans 16 groupes dont les prototypes de
chaque groupe sont déterminés par une carte de Kohonen bidimensionnelle 4x4
Chaque individu est remplacé par le prototype qui lui est le plus proche.

88 Laurent.Bougrain@loria.fr
 Apprentissage non supervisé

Catégorisation

Espace des variables Espace des variables

5
y1 5
4 x1 4
x2 3 y 2 x2 3

2 x2 2
1
y3 1

0 1 2 3 4 5 0 1 2 3 4 5
x1 x1

90 Laurent.Bougrain@loria.fr
Regroupement d’individus proches

On souhaite regrouper les individus dans 16 groupes à l’aide d’une carte de

Kohonen bidimensionnelle 4x4.
Chaque groupe contient un ensemble d’individus proches dont le nombre peut
varier d’un groupe à l’autre.

91 Laurent.Bougrain@loria.fr
 Neural Gas de Fritzke

But : ne pas imposer la topologie

a priori mais l’apprendre

94 Laurent.Bougrain@loria.fr
Neural Gas

95 Laurent.Bougrain@loria.fr
Growing Neural Gas (Fritzke)

But : ne pas imposer le nombre

de classes a priori mais
l’apprendre

96 Laurent.Bougrain@loria.fr
Growing Neural Gas

97 Laurent.Bougrain@loria.fr
Conclusion

Les réseaux de neurones artificiels sont des systèmes de traitement de

l'information adaptatifs, parallèles et robuste inspirés du fonctionnement du
cerveau.

Ils permettent :
•  d'apprendre des associations entre les entrées et les sorties du système pour
faire de la prédiction (régression ou discrimination)
•  d'extraire de l'information (catégorisation, sélection de variables, …)
•  de mémoriser des formes et de les rappeler lorsqu'on n'en possède qu'une partie

Le perceptron multicouches est un approximateur universel de fonctions.

L'algorithme d'apprentissage supervisé qui lui est généralement associé est celui
de la rétropropagation du gradient.

Les réseaux compétitifs permettent de faire de la catégorisation, de l'extraction de

connaissances, de la compression de données, de la quantification vectorielle…
Parfois ils conservent la relation topologique des entrées (cartes auto-organisatrice
de Kohonen, neural gas) ou incrémente au fur et à mesure le nombre de catégories
(growing neural gas).

109 Laurent.Bougrain@loria.fr