Département d

d’’informatique
1ère Master R
Rééseau et Multim
Multiméédia
Module: Fouille de donn
donnéées

Chapitre 4:
Classification bay
bayéésienne

1 10-05-2009
Rappel : probabilit
probabilitéés

• Épreuve(exp
preuve(expéérience al alééatoire): tout processus
qui fait intervenir le hasard et qui susceptible
d’aboutir à un ou plusieurs résultats.
• Espace échantillonnal S: l’ensemble de tous les
résultats possibles ( on dit également « résultats
élémentaires ») qui peuvent se produire dans
l’expérience aléatoire.
• Événement:
nement:partie de l’ensemble des résultats (sous
ensemble de l’espace échantionnal).

2 10-05-2009
Rappel : probabilit
probabilitéés
Exemple:
une expérience consiste à prélever au hasard trois disquettes
d’une fabrication et à observer à chaque disquette est
conforme «A » ou non « D »
S = {AAA, AAD, ADA, …..}

L’événement B: les trois disquettes sont conformes B = { }

L’évènement C: au moins 2 disquettes sont conformes C = { }

3 10-05-2009
Rappel : probabilit
probabilitéés
La probabilité d’un évènement E est le rapport entre le
nombre de résultats favorables nE à cet événement et le
nombre total de résultats possibles(N)
P(E) = nE / N = n(E)/ n(S)

Exemple : L’évènement C: au moins 2 disquettes sont conformes

C = { AAA, AAD, ADA, DAA} P(C) = 4/8= ½

•La probabilité d’un événement impossible est nulle.

•La probabilité d’un événement certain est égale à 1.
•Entre ces deux extrêmes se situe toute une série d’évènement probables :
0<=4 P(E) <=1 10-05-2009
Rappel : probabilit
probabilitéés
Propriéétés de probabilit
Propri probabilitéés:
• La probabilité de l’événement A est un nombre positif ou nul P(A) >=0
• La probabilité associée à l’ensemble S est égale à 1: P(S) = 1.
• Si A et B sont deux événements incompatibles A ∩ B ={}
La probabilité de réalisation de l’un ou l’autre est égale à la somme des probabilités de
A et B: P(A U B) = P(A) + P(B)
P(A1 U A2 U … U An) = P(A1) + P(A2) + …… …….. + P(An)

• La probabilité des événement ne s’excluant pas :

P(A U B) = P(A) + P(B) –P(A ∩ B B))
P(A1 U A2 U … U An) = P(A1) + P(A2) + …… …….. + P(An)- P(A1 ∩ A2 ∩…. ∩ An)

5 10-05-2009
Rappel : probabilit
probabilitéés
Probabilitéé conditionnelles: soit A et B deux évènements de S tels que
Probabilit
A est un événement de probabilité non nulle (P(A) >0). On appelle
probabilité conditionnelle de B par apport à A, la probabilité de
réalisation de l’événement B, sachant que l’événement A s’est réalisé et
se note P(B⏐A):
P(B ⏐A) = P(A ∩ B)/ P(A). P(A)>0
Exemple:
Pi
Pièèce conforme(C) Pi
Pièèce non Total
conforme (NC)
Fournisseur X 360 40 400

Fournisseur Y 340 60 400

Total 700 100 800

6 10-05-2009
Rappel : probabilit
probabilitéés

• Quelle est la probabilité d’obtenir une pièce non conformes?

P(NC)
• Quelle est la probabilité que la pièce prélevée du fournisseur
Y? P(Y)
• Quelle est la probabilité de prélever une pièce du fournisseur
X qui est conforme? P(X ∩ C)
• Quelle est la probabilité de prélever une pièce conforme
P(C⎪⎪X)
sachant qu’elle provient du fournisseur X? P(C

7 10-05-2009
 Rappel : probabilit
probabilitéés
• Événement ind indéépendants
Deux événements compatibles sont dits indépendants, si la réalisation de l’un
n’est pas influencée par la réalisation de l’autre.
Indépendance d’événements: deux événements A et B sont indépendants si:
P(B ⎜A) = P(B) ou P(A ⎢B) = P(A).

Dans ce cas d’indépendance, la formule des probabilités composées devient:

P(A ∩ BB) = P(A)*P(B)

8 10-05-2009
 Rappel : probabilit
probabilitéés
Règles du calcul des probabilité

Règle d’addition P(A U B) Règle de multiplication P(A ∩ B)

Est-ce que A et B sont mutuellement Est-ce que A et B sont dépendants?

exclusifs ?

Oui Non
Oui Non
P(A ∩ B) = P(A)* P(B⏐A) P(A ∩ B) = P(A)* P(B)
P(A U B) = P(A) + P(B)
P(A U B) = P(A) + P(B) - P(A
9 ∩ B) 10-05-2009
 Formule de BAYES
• Un groupe d’événements incompatible E1, E2,…., En. À chaque de ces
événements correspond une information initiale permettant d’évaluer les
probabilités P(E1), P(E2),…, P(En).
• Un événement A issu du groupe précédent pour lequel on connaît les probabilité
conditionnelles P(A⎢E1), P(A⎢E2), … P(A⎢En)
On demande alors de calculer P(Ei ⎢A) c-à-d dévaluer les probabilités des divers
causes de A. sachant que A s’est produit:

P(Ei ⎢A) = P(Ei).P(A ⎢Ei) / Som1..n(P(Ei).P(A ⎢Ei))

………
E1
A
E2
E3
10 10-05-2009
 Classification bay
bayéésienne
Le problème de classification peut être formulé
probabilitéés a-posteriori :
en utilisant les probabilit
P( C|X ) = probabilité que le tuple (instance)
X=<x1,…,xk > est dans la classe C

Par exemple
P(
P(classe== N | outlook=sunny,windy=true,…))
Idéée : affecter à une instance X la classe C
Id
telle que P( C|X)) est maximale

11 10-05-2009
 Classification bay
bayéésienne
Théororèème de Bayes :
P( C|X)) = P( X|C))·P( C ) / P( X))
P( X)) est une constante pour toutes les classes
P( C)) = fréquence relative des instances de la classe C
tel que P( C|X) est maximal = C tel que P( X|C))·P( C))
est maximal
Probl
Problèème : calculer P( X|C)) est non faisable!

12 10-05-2009
Classification bay
bayéésienne

Classification bay
bayéésienne naive

Hypothèèse Na
Hypoth Naïïve : indépendance des attributs
P( x1 ,…,xk|C)) = P( x1|C))·…· P( xk|C))
·…·P(
P( xi|C)) est estimée comme la fréquence relative
des instances possédant la valeur xi(i-ème
attribut) dans la classe C

13 10-05-2009
Classification bayésienne

14 10-05-2009
Classification bay
bayéésienne

15 10-05-2009
Classification bay
bayéésienne
Classification bay
bayéésienne –Exemple
Classification de X: Une instance inconnue
X = <rain, hot, high, false>
P( X|p))·P( p)) = P( rain|p))·P( hot|p))·P( high|p))·P( false|p )·P( p))
=3/9·2/9·3/9·6/9·9/14 = 0.010582

P( X|n))·P( n)) = P( rain|n))·P( hot|n))·P( high|n))·P( false|n )·P( n))

=2/5·2/5·4/5·2/5·5/14 = 0.018286

Instance X est classifi

classifiéée dans la classe n (ne pas jouer)

16 10-05-2009