Chapitre 2

Arbres de décision

2016-2017
2017-2018 1
Plan
•Composants
•Construction
•Classification
•Élagage
•Attributs à valeurs continues
•Attributs à valeurs manquantes
•Bagging et boosting
2016-2017
2017-2018 2
Introduction
•Arbre de décision est une technique de classification en
apprentissage supervisé

Utilisation dans le domaine de l’intelligence artificielle

Diviser pour régner

☺ Traitement des problèmes complexes.

☺ Expression simple de la connaissance.
☺ Facilité dans la compréhension et l’interprétation des
résultats.
☺ Participation des experts dans l’élaboration des règles.
2016-2017
2017-2018 3
Applications
•Gestion de crédits
•Diagnostic médical
•Analyse du marché
•Contrôle de production .
.
.

2016-2017
2017-2018 4
Composants

2016-2017
2017-2018 5
Composants

2016-2017
2017-2018 6
Ensemble d’apprentissage
Attributs

Revenu Propriété Crédit non Classes

remboursé

Elevé Supérieur Non C1

Valeurs des attributs

Elevé Supérieur Oui C2

Elevé Supérieur Non C1
Elevé Inférieur Oui C2
Moyen Supérieur Non C1
Moyen Supérieur Oui C2
Moyen Inférieur Non C2
Moyen Inférieur Oui C2
Faible Inférieur Non C3
Faible Inférieur Oui C3
2016-2017
2017-2018 7
Arbre de décision

2016-2017
2017-2018 8
Construction

2016-2017
2017-2018 9
Construction d’un arbre de
décision
Problème
•Apprendre un arbre de décision à partir d’un ensemble
d’apprentissage.

Objectif
•Être efficace en généralisation
Être capable de classer correctement un nouvel
objet (exemple).

2016-2017
2017-2018 10
 Un algorithme horrible!!
•Générer tous les arbres de décision possibles.
•Tester combien chaque arbre décrit l’ensemble
d’apprentissage.

•Choisir le meilleur arbre de décision.

Trop coûteux voire impossible

2016-2017
2017-2018 11
 Un meilleur Algorithme
•Choisir le meilleur attribut.
•Partitionner l’ensemble d’apprentissage.
•Répéter jusqu’à ce que chaque élément de l’ensemble
d’apprentissage soit correctement classé.

Mais comment ?

2016-2017
2017-2018 12
 Algorithmes
Top Down Induction of Decision Trees (TDIDT)

Diviser pour régner (Induction descendante)

•ID3 (Quinlan, 1979)

•CART (Breiman et al., 1984)
•ASSISTANT (Bratko, 1984)
•C4.5 (Quinlan, 1993)
.
.
.

2016-2017
2017-2018 13
 Procédure de construction (1)

Processus récursif

•L'arbre commence à un nœud représentant toutes les

données.
•Si
les objets sont de la même classe, alors le nœud devient
une feuille libellée par le nom de la classe.
•Sinon, sélectionner les attributs qui séparent le mieux les
objets en classes homogènes.
•La récursion s'arrête quand au moins l’un des critères
d’arrêt est vérifié.

2016-2017
2017-2018 14
 Procédure de construction (2)
•Recherche à chaque niveau, l’attribut le plus discriminant.
•Partition (données T)
•Si tous les éléments de T sont dans la même classe alors
retour;
•Pour chaque attribut A, évaluer la qualité du partitionnement
sur A;
•Utiliser le meilleur partitionnement pour diviser T en T1, T2,
…Tk;
•Pour i = 1 à k faire Partition(Ti);

2016-2017
2017-2018 15
Paramètres

Mesure de sélection d’attributs

Stratégie de partitionnement

Critères d’arrêt

2016-2017
2017-2018 16
 Comment choisir l’attribut ?

•Plusieurs mesures ont été proposées.

oGain d’information
oIndice de Gini
oRatio de gain

2016-2017
2017-2018 17
Mesure de l’information

•L’entropie de Shannon exprime la quantité

d’information.
Le nombre de bits nécessaires pour coder
l’information.

2016-2017
2017-2018 18
Apport de l’information

2016-2017
2017-2018 19
Exemple

2016-2017
2017-2018 20
Mesure de l’information
Si on a n classes (C1, C2,.., Cn) de probabilités respectives p1,
p2,.., pn, la quantité d’information relative à la connaissance de
la classe est définie par l’entropie d’information:
I = Σ-pi log2 pi
•L'entropie (ou incertitude sur ce que la source émet) indique
alors la quantité d'information nécessaire pour que le
récepteur puisse déterminer sans ambiguïté ce que la source a
transmis.

2016-2017
2017-2018 21
Gain d’information (ID3)

2016-2017
2017-2018 22
Attributs multivalués

•Le Critère de gain d’information présente une limite.

Il favorise les attributs ayant plusieurs
valeurs

•Lorsqu’un attribut a plusieurs valeurs possibles, son gain

peut être très élevé, car il classifie parfaitement les objets.

•Par contre, ça peut générer un arbre de décision d'une

profondeur de 1 (ou faible) qui ne sera pas très bon pour
les instances futures.

2016-2017
2017-2018 23
Ratio de Gain (C4.5)

2016-2017
2017-2018 24
Stratégie de partitionnement

•Pour chaque valeur de l’attribut, on va associer une

branche dans l’arbre.

•Problème avec les attributs continus.

Découper en sous-ensembles ordonnés

2016-2017
2017-2018 25
Quand s’arrêter ?

2016-2017
2017-2018 26
Info
Revenu Propriété Crédit non Classes
remboursé
Elevé Supérieur Non C1
Elevé Supérieur Oui C2
Elevé Supérieur Non C1
Elevé Inférieur Oui C2
Moyen Supérieur Non C1
Moyen Supérieur Oui C2
Moyen Inférieur Non C2
Moyen Inférieur Oui C2
Faible Inférieur Non C3
Faible Inférieur Oui C3

3 freq(T , C j ) freq(T , C j )
Info(T )    log 2
j 1 T T
Info(T) = - 3/10 log2 3/10 - 5/10 log2 5/10 - 2/10 log2 2/10 = 1.485

2016-2017
2017-2018 27
InfoRevenu(T)

2016-2017
2017-2018 28
Gain ratio(Revenu)

2016-2017
2017-2018 29
InfoPropriété(T)

2016-2017
2017-2018 30
Gain ratio (Propriété)

2016-2017
2017-2018 31
InfoCrédit non remboursé(T)

2016-2017
2017-2018 32
Gain ratio(T, Crédit non remboursé)

2016-2017
2017-2018 33
Arbre de décision: Niveau 1

2016-2017
2017-2018 34