Ecole National Polytechnique ENP 2°Année du 2°Cycle

Spécialité : DSIA Module : Apprentissage Automatique(AA)

Enseignant : Oussama ARKI Année 2021-2022

TD 04: KNN

Exercice 01 :
On veut prédire si une boisson est un thé ou un café. On a recueilli les données suivantes :
Volume (mL) 250 100 125 250
Volume 1 0.4 0.5 1
(normalisé)
Caféine (g) 0,025 0,010 0,050 0,100
0.25 0.1 0.5 1
Boisson Thé Thé Café Café

1- En utilisant l’algorithme du plus proche voisin avec une distance euclidienne, quelle est
l’étiquette prédite pour une boisson de 125 mL contenant 0,015 g de caféine ?
2-Cette classification est-elle correcte. Que peut-on faire pour y remédier ?
Solution :
(0.5-0.4)^2+(0.15-0.10)^2=0.01+0.0025=0.0125
(0.5-0.5)^2+(0.15-0.5)^2=0.1225
Exercice 02 :
On dispose de l'échantillon d'apprentissage suivant :
D = {(0; 0); (3; 1); (4; 1); (6; 0); (9; 0)} où X = [0; 10] et Y = {0; 1}
1. Représenter graphiquement les observations.
2- On travaille désormais avec la distance : d(x1; x2) = |x1 - x2|. Le classifieur des k plus
proches voisins pour k ϵ {1; 3; 5}
-Pour chacune des valeurs de k précédentes, donner le label prédit par le classifieur des k plus
proches voisins pour X = 5.5.
- Pour chacune des valeurs de k précédentes, donner l'erreur apparente associée au classifieur
des k plus proches voisins.

Exercice 03 :
Soit un problème de catégorisation binaire dont l'ensemble d'apprentissage est composé
d'environ 59 individus représentés dans R2. Nous représentons ci-derrière les deux classes
respectivement par des disques rouges et des losanges noirs. Nous disposons de 29 individus
de la classe 1 et de 30 individus de la classe 2.
La figure 1 représente les régions de prédiction de la méthode des plus proches voisins avec
comme paramètre k1 tandis que la figure 2 utilise la même méthode d'apprentissage mais avec
un paramètre différent k2.
1-Déterminez les valeurs de k1 et de k2 en supposant que la distance utilisée est la distance
euclidienne ? (Indications : k1 et k2 sont impaires et compris entre 1 et 5.)
2-Déterminez dans chacun des deux cas, le taux d’erreur d’apprentissage (approximation du
taux d'erreur).

Les frontières de décision avec k1 :

Les frontières de décision avec k2 :