Vous êtes sur la page 1sur 22

Arbres de dcision flous

2
Plan
Introduction
Partitionnement flou de donnes
numriques
Construction darbres de dcision flous
Procdure dinfrence pour la
classification
3
Les arbres de dcision binaire
Technique de classification des donnes qui
utilise une hirarchie dattributs ordonns
selon leur pouvoir reprsentatif.
Le but est dobtenir des arbres compacts
avec un grand pouvoir de prdiction.
Un arbre de dcision binaire possde :
Un ensemble de noeuds organiss
hirarchiquement dont chacun teste la valeur dun
attribut et effectue un branchement consquent.
Un ensemble de feuilles qui sont relies
diffrentes classes.
4
Un arbre de dcision binaire typique
5
Limitations des arbres de dcision
binaire classiques
Le critre de slection pour diviser les
donnes lors de la construction de larbre
nest pas toujours appropri.
Larbre est sensible au bruit dans lensemble
dapprentissage.
Le processus de dcision dpend de valeurs
seuils
NOM <= 20 -> class 1
NOM > 20 -> class 0
Do vient 20 ? Pourquoi pas 19.9 ou 20.1 ?
6
Limitations des arbres classiques
Le processus de classification suit le premier
chemin valide
Exemple (classe avec DIT=3, CLD=0, NOM=4)
DIT >> 2
CLD >> 0 NOM >> 8
0 1 1 0
TDIDT
0.4
DIT >> 2
CLD >> 0 NOM >> 8
0 1 1 0
0.6 0.4
0.4 0.6 0.1 0.9
0.4 0.6 0.1 0.4
TDIFDT
DIT >> 2
CLD >> 0 NOM >> 8
0 1 1 0
0.6 0.4
0.4 0.6 0.1 0.9
0.4 0.6 0.1 0.4
0.35
7
Avantages potentiels dun arbre de
dcision flou
Lusage de valeurs linguistiques limine le
problme des valeurs seuils
Tous les chemins de larbre sont valus lors
du processus de classification
Meilleur pouvoir de gnralisation entre
lensemble dapprentissage et lensemble test
Meilleure robustesse face au bruit
Rgles plus facilement interprtables
8
Le processus dapprentissage
(A1, C1)
(A2, )
(A3, )
(A4, C1 )
(A5, )
(A6, C1)
(A1, )
(A2, C2 )
(A3, )
(A4, )
(A5, C2 )
(A6, )
(A1, )
(A2, )
(A3, C3)
(A4, )
(A5, )
(A6, )
(A1,C1) (A2,C2) (A3,C3) (A4,C1) (A5,C2) (A6,C1)
Arbre binaire
(C2, )
Arbre binaire
(C3, )
Arbre binaire
(C1, )
2 C
2 C
2 C
2 C
2 C
1 C
1 C
1 C
1 C
3 C
3 C
3 C
3 C
3 C
3 C
Revient crer un arbre pour chaque classe
9
Le processus de classification
(A1,: )
(A1,C1)
Arbre binaire
(C2, )
Arbre binaire
(C3, )
Arbre binaire
(C1, ) 2 C 1 C 3 C
Revient dterminer sans ambigut la classe dune donne
10
Partitionnement flou des donnes
C-moyennes (version floue des k-moyennes)
Morphologie mathmatique :
Oprations de base :
Ouverture:
Fermeture:
Filtre:
11
Partitionnement flou des donnes
FPMM algorithm :
.
12
Partitionnement flou des donnes
Example :
Mot dapprentissage
Mot filtr
13
Partitionnement flou des donnes
14
Induction dun arbre de dcision flou
Similaire lalgorithm TDIDT de Quinlan
Function induce_fuzzy_tree (Example set E, Properties P)
Begin
if all entries in E are in the same class
then return a leaf node labeled with that class
else if P is empty
then return leaf node labeled with disjunction of all classes in E
else begin
fuzzify E;
select a property pr of P, and make it the root of the current tree;
for each fuzzy partition f, of pr,
begin
create a branch of the tree labeled with f;
let partition pa be elements of E with f for pr;
call induce_fuzzy_tree (pa, P), attach result to branch f
end
end
end
15
Slection de la proprit ayant le meilleur
pouvoir de reprsentation
Dans TDIDT, on utilise lentropie classique. Pour A={a
i
}
i=1,,n
:
o p(a
i
) est la probabilit que A=a
i
.
On dfinit lentropie floue, ou entropie-toile de
manire similaire :
est la probabilit floue que A=v
i
:
: fonction dappartenance dune valeur a
i
v
i
: frquence de a
l
dans lensemble dapprentissage
) a ( P ) a ( ) v ( P
l l
n l 1
v i
*
A
i


=
) v ( P
i
*
) a (
l v
i

) a ( P
l
)

=
=
n
1 i
)
i
a ( P
2
log )
i
a ( P ) A ( H
)

=
=
p
* * *
n
1 i
)
i
( P
2
log )
i
( P ) A ( H v v
16
Slection de la proprit ayant le meilleur
pouvoir de reprsentation
Comme chaque attribut est commun toutes les
classes, ses diffrentes valeurs floues sont
distribues en consquence :

Choisir A
j
ayant min. comme critre de division
) a ( ) a ( ) v (
l l
n l 1
v i
*
i

e e
! Q
) | ( log ) | ( ) (
*
2
* * *
i j i j
j i
i A
v c P v c P v P E
j

=
) v ( P
) v , c ( P
) v | c ( P
i
*
i j
*
i j
*
=
) a , c ( P )) a ( ), c ( min( ) v , c ( P
k l
q l 1 n k 1
k v l c i j
*
i j


=
*
j
17
Une procdure possible dinfrence
pour la classification
1. Pour chaque arbre :
1. Les donnes entrent par la racine de chaque
arbre et sont propages vers les feuilles .
2. Utiliser lalgorithme max-min* pour :
1. Dterminer les valeurs dappartenance de chacune des
feuilles au label associ (min)
2. En dduire la valeur floue de chaque label (max).
2. Partant de tous les arbres, utiliser la
mthode du vote majoritaire pour identifier
la classe dappartenance des donnes
*Max-min : min(Q) le long de chaque chemin, max(Q) pour chaque label de sortie
18
Exemple
Donnes : (NOM=11, NOP=11, DAM=0.6)
1
1
DAM
NOM
9 15
0.55
0.78
DAM NOP
NOM
0.65 0.35
0 1 0 1
0.2
0.8
0.7 0.3
0.2 0.65 0.35
0.3
Lutilisation de max- min donne :
Q(1) = 0.65
Q(2) = 0.3
petit grand
1
NOP
5 12
19
Exemple - suite
Ex. Tree 1 Tree 2 Tree 3 Vote
C1 C2 C3 C1 C2 C3
E1 1 0 0 0.3 0 0.8 0.78 0.2 0.08
E2 0.55 0.6 0.3 0.7 0.32 0.48 0.57 0.42 0.48
E3 0.1 0 0.8 0.1 0 0.6 0.22 0.55 0.02
Mthode du vote :
On prend la classe qui obtient le plus grand Q.
Ex : pour E1,
1 C 2 C 3 C
1 n
}) c ({ m
1 n
1
}) c ({ m
) c (
i j
j
c c
j c i
i

+
=

) 775 . 0 2 / 8 . 0 3 . 0 ( 2 / 1 1 ) C (
1
= + + =
20
Et si on changeait de fonctions dappartenance ?
1
1
NOP
NOP
9 15
5 12
Cas 1
Cas 2
0
0.2
0.4
0.6
0.8
1
0
0.2
0.4
0.6
0.15
0.2
0.25
0.3
0.35
number_of_servers mean_delay
n
u
m
b
e
r
_
o
f
_
s
p
a
r
e
s
21
Application la base de donnes IRIS data
Iris data (training data 135, testing data 15)
22
Rfrences
[1]. Marsala C. , and Bouchon-Meunier B. , Fuzzy partitioning using mathematical
morphology in a learning scheme, actes de 5
th
IEEE Conference on Fuzzy
Systems, New Orleans, 1996.
[2]. Marsala C. , Apprentissage inductif en prsence de donnes imprcises :
construction et utilisation darbres de dcision flous, thse de doctorat,
Universite Pierre et Marie Curie, Paris (France), 1998. Rapport LIP6 No.
1998/014.
[3]. Boukadoum, M., Sahraoui, H. & Lounis, H. Machine Learning Approach to
Predict Software Evolvability with Fuzzy Binary Trees actes de ICAI 2001, Las
Vegas, juin 2001.
[4]. Sahraoui, H., Boukadoum, M., Chawiche, H. M., Mai, G. & Serhani, M. A. A
fuzzy logic framework to improve the performance and interpretation of rule-
based quality prediction models for object-oriented software, actes de
COMPSAC 2002, Oxford (Angleterre), aot 2002.
[5] Boukadoum, M., Sahraoui, H. and Chawiche H. M. Refactoring object-oriented
software using fuzzy rule-based prediction, actes de MCSEAI 2004, Sousse
(Tunisie), mai 2004.