+Nouvel exercice Exercice : Exercice 1

Exercice 1 (8 pts) Soit le tableau suivant décrivant un ensemble d'exemples pour le concept
Exercice 4 FaireDeLaVoile

Exercice 3 T emps Groupe V oilier F aireDeLaV oile

Exercice 2 soleil grand petit +

Exercice 1 soleil moyen petit +

soleil moyen grand +

soleil petit petit +

soleil grand grand +

pluie petit petit −

pluie moyen petit +

pluie grand grand +

pluie petit grand −

pluie moyen grand −

1. (3 pts) Construisez l'arbre de décision en utilisant le critère de gain d'information et aucun élagage
pour le tableau de données précédent. Détaillez vos calculs.

Indications: L'entropie associée à un ensemble d'exemples E, notée H (E) pour un attribut de classe
à valeur dans {c , … , c } est égal à ∑ −P (c ) log P (c ) où P (c ) est la probabilité de la
1 n
n

i=1
i 2 i i

classe c dans E. Le gain d'information associé au test fondé sur l'attribut A de valeurs {a , … , a }
i 1 m

appliqué à l'ensemble E est égal à l'entropie de E moins la somme pondérée des entropies dans
chaque branche A = a . Par ailleurs,
i

log (7/10) = −0, 51; log (3/10) = −1, 74; log (2/5) = −1, 32; log (3/5) = −0, 74;
2 2 2 2

log (1/3) = −1, 6; log (2/3) = −0, 58; log (4/5) = −0, 32; log (1/5) = −2, 32.
2 2 2 2

2. (1 pt) Comment l'arbre de décision obtenu à la question précédente classe-t-il les exemples de test
suivants?

T emps Groupe V oilier F aireDeLaV oile

soleil petit grand \(?\)

pluie grand petit \(?\)

3. (1 pt) Proposez un mécanisme pour élaguer l'arbre obtenu lorsqu'une feuille ne couvre qu'un
exemple. Comment ce nouvel arbre classifie-t-il les exemples de la question précédente? Qu'en
concluez-vous?
4. (3 pts) On va étudier nouveau classifieur sous la forme d'un comité (ensemble) de Decision
Stumps, c'est-à-dire d'arbres de décision de profondeur 1 (1 seul attribut testé). Construisez ces
Decision Stumps. Pour classer un exemple de l'ensemble de test, chaque Decision Stump vote, et on
assigne à l'exemple de test la classe majoritaire dans les votes du comité. Observez les accords et
désaccords éventuels entre les classifieurs de la question 2 et 3 et le comité ainsi construit. S'il y a
désaccord, à quel classifieur êtes-vous enclin à faire confiance? Justifiez bien évidemment votre
réponse.

Language Solution :
Veuillez noter que notre IA peut fournir des réponses incorrectes. Nous vous encourageons
Plans à vérifier les résultats et à utiliser votre propre jugement. Nous vous encourageons
Déconnexion également à résoudre l'exercice plusieurs fois sur la plateforme pour comparer les
solutions. Nous apprécions les feedbacks pour améliorer la précision de l'IA.
1. L'arbre de décision est construit en appliquant le critère de gain d'information à chaque attribut.
On commence par l'attribut Temps, qui a deux valeurs possibles : soleil et pluie.

- Pour Temps = soleil, on a 5 exemples : 3 ont la classe FaireDeLaVoile = + et 2 ont la classe

FaireDeLaVoile = -. L'entropie associée à cet ensemble est donc :

H(soleil) = -(3/5)log2(3/5) - (2/5)log2(2/5) = 0.971

- Pour Temps = pluie, on a 5 exemples : 2 ont la classe FaireDeLaVoile = + et 3 ont la classe

FaireDeLaVoile = -. L'entropie associée à cet ensemble est donc :

H(pluie) = -(2/5)log2(2/5) - (3/5)log2(3/5) = 0.971

Le gain d'information associé au choix de l'attribut Temps est donc :

 Gain(Temps) = H(ensemble de départ) - [ (5/10)H(soleil) + (5/10)H(pluie) ] = 1 - [ (5/10)0.971 +
(5/10)0.971 ] = 0.057

On poursuit la construction de l'arbre en appliquant de nouveau le critère de gain d'information,

+Nouvel exercice mais cette fois-ci sur les sous-ensembles créés par le premier choix (Temps).

- Pour Temps = soleil, on utilise l'attribut Groupe qui a trois valeurs possibles : petit, moyen et
grand.

- Pour Groupe = petit, on a 2 exemples : les deux ont la classe FaireDeLaVoile = +. Donc l'entropie
associée à cet ensemble est 0.

- Pour Groupe = moyen, on a 2 exemples : les deux ont la classe FaireDeLaVoile = +. Donc
l'entropie associée à cet ensemble est 0.

- Pour Groupe = grand, on a 1 exemple : il a la classe FaireDeLaVoile = +. Donc l'entropie associée

à cet ensemble est 0.

Le gain d'information associé au choix de l'attribut Groupe est donc :

Gain(Groupe|soleil) = H(soleil) - [ (2/5)0 + (2/5)0 + (1/5)0 ] = 0.971

- Pour Temps = pluie, on utilise l'attribut Voilier qui a deux valeurs possibles : petit et grand.

- Pour Voilier = petit, on a 2 exemples : 1 a la classe FaireDeLaVoile = - et 1 a la classe

FaireDeLaVoile = +. Donc l'entropie associée à cet ensemble est :

H(Voilier=p\text{etit}) = -(1/2)log2(1/2) - (1/2)log2(1/2) = 1

- Pour Voilier = grand, on a 2 exemples : les deux ont la classe FaireDeLaVoile = +. Donc l'entropie
associée à cet ensemble est 0.

Le gain d'information associé au choix de l'attribut Voilier est donc :

Gain(Voilier|pluie) = H(pluie) - [ (2/5)H(Voilier=p\text{etit}) + (3/5)0 ] = 0.321

On choisit donc l'attribut Groupe pour le sous-ensemble Temps=soleil, et l'attribut Voilier pour le
sous-ensemble Temps=pluie. L'arbre de décision obtenu est le suivant :

T emps so ≤ il pluie | | Groupe V oilier ∣ petit gr and pet

2. Pour le premier exemple de test (soleil, petit, grand), on suit le chemin soleil -> Groupe = petit ->
FaireDeLaVoile = +.

Pour le deuxième exemple de test (pluie, grand, petit), on suit le chemin pluie -> Voilier = grand ->
FaireDeLaVoile = +.

Language 3. Pour élaguer l'arbre, on peut remplacer chaque feuille qui ne couvre qu'un exemple par la classe
Plans de cet exemple. Ainsi, on obtient un arbre plus simple :
Déconnexion
T emps so ≤ il pluie | | Groupe V oilier ∣ petit + petit

Pour le premier exemple de test (soleil, petit, grand), on suit le chemin soleil -> Groupe = petit ->
FaireDeLaVoile = +, donc la classe prédite est +.

Pour le deuxième exemple de test (pluie, grand, petit), on suit le chemin pluie -> Voilier = petit -> +
(car la feuille a été élaguée et avait comme classe l'exemple pluie, petit, petit qui est de classe -). La
classe prédite est donc -.

On remarque que le nouvel arbre prédit une classe différente pour le deuxième exemple de test.
On peut en conclure qu'il est moins fiable que l'arbre complet.

4. Pour chaque attribut (Temps, Groupe, Voilier), on construit un Decision Stump qui teste cet
attribut et choisit la classe majoritaire dans chaque sous-ensemble.
 Pour Temps :

so ≤ il pluie + + − +

+Nouvel exercice Pour Groupe :

petit moyen gr and | | ∣ + + +

Pour Voilier :

petit gr and | | − +

Le comité de Decision Stumps prédit la classe majoritaire dans les votes de chaque Decision Stump.
Pour le premier exemple de test, Temps = soleil -> +, Groupe = petit -> +, Voilier = grand -> +. La
classe prédite est +.

Pour le deuxième exemple de test, Temps = pluie -> +, Groupe = grand -> +, Voilier = petit -> -. La
classe prédite est +.

On remarque que le comité donne la même prédiction que l'arbre complet pour les deux exemples
de test. On peut donc lui accorder plus de confiance que l'arbre élagué.

Comment était la
solution ?

★★★★★

Language
Plans
Déconnexion