Année Universitaire 2020-2021

1 Master Professionnel Rés. Info. Tél.

Cours : Machine Learning

κ-plus proches
voisins
Bassem Ben Hamed
Prof des universités à l’ENET’Com
Département Math. & BI

Cours Machine Learning. Bassem Ben Hamed. Page 1

 Le plus proche voisin (κ = 1)

L’un des algorithmes de classification les plus simples de Machine Learning.

Idée : Etiquetée une nouvelle observation comme l’étiquette de l’observation a plus

proche .

Cours Machine Learning. Bassem Ben Hamed. Page 2

 Le plus proche voisin (κ = 1) (suite)

C’est un type d’apprentissage basé sur des instances, connu aussi sous le nom
d’apprentissage basé sur la mémoire.

Idée : Donner une répartition de l’espace des instances.

Cours Machine Learning. Bassem Ben Hamed. Page 3

 Distances
Différentes métriques qui peuvent changer la surface de décision.

Distance Euclidienne :

(a1 − b1) + (a2 − b2) .

2 2
- Dimension 2 : Dist(a, b) =
n

∑(
ai − bi) .
2
Muti-dimension : Dist(a, b) =
-
i=1
Cours Machine Learning. Bassem Ben Hamed. Page 4
Aspects de l’apprentissage basé sur des instances

1. Une distance.

2. Combien de voisins à proximité à regarder ?

3. Une fonction de pondération (facultatif).

4. Comment s’adapter aux points locaux ?

Cours Machine Learning. Bassem Ben Hamed. Page 5

 Aspects pour le plus proche voisin (κ = 1)

1. Une distance.
Euclidienne.
2. Combien de voisins à proximité à regarder ?
Un voisin.
3. Une fonction de pondération (facultatif).
Inutilisée.
4. Comment s’adapter aux points locaux ?
Il suffit de prévoir la même sortie que le voisin le plus proche.

Cours Machine Learning. Bassem Ben Hamed. Page 6

 Les κ plus proches voisins

- Généralise 1-NN pour atténuer le bruit dans les étiquettes.

- Un nouveau point reçoit maintenant l'étiquette la plus fréquente de ses
κ voisins les plus proches.

Cours Machine Learning. Bassem Ben Hamed. Page 7

Les κ plus proches voisins (κ = 9)

Cours Machine Learning. Bassem Ben Hamed. Page 8