Vous êtes sur la page 1sur 12

` ` Apprentissage supervise : probleme a deux classes

` ` Apprentissage supervise : probleme a N classes

Apprentissage supervise ` Criteres devaluation


Jerome Aze

2007-2008

` ` Apprentissage supervise : probleme a deux classes

` ` Apprentissage supervise : probleme a N classes

Outline

` ` Apprentissage supervise : probleme a deux classes Rappels Classication ` Criteres devaluation Trier plutot que classier ` ` Apprentissage supervise : probleme a N classes ` Quels criteres devaluation ?

` ` Apprentissage supervise : probleme a deux classes Rappels

` ` Apprentissage supervise : probleme a N classes

Principe de base de lapprentissage supervise


Protocole dapprentissage
Cross Validation

2/3 2/3

learning set

Learning algorithm

Learn
1/3 validation set tuning of the model

Data

1/3

Model of the data

Test

Evaluation of the model on Test data

` ` Apprentissage supervise : probleme a deux classes Classication

` ` Apprentissage supervise : probleme a N classes

Evaluation de lapprentissage ` Entree : un modele en construction ` Objectifs : ameliorer le modele ` utiliser le validation set pour raner le modele (reglage n ` des parametres, post-elagage, . . .) Evaluation du test : Matrice de confusion Reel Pos Neg TP FP FN TN TP : True Positive FP : False Positive FN : False Negative TN : True Negative

Predit

Pos Neg

` ` Apprentissage supervise : probleme a deux classes ` Criteres devaluation

` ` Apprentissage supervise : probleme a N classes

` Quelques criteres devaluation

Evaluation du test : Matrice de confusion


Reel Pos Neg TP FP FN TN TP : True Positive FP : False Positive FN : False Negative TN : True Negative

Predit

Pos Neg

Precision, Rappel, Accuracy


TP TP+FP TP Rappel = TP+FN TP+TN Accuracy = TP+FN+FP+TN

Precision =

Sensibilite, Specicite sensibilite = specicite =


TP TP+FN TN FP+TN

` ` Apprentissage supervise : probleme a deux classes ` Criteres devaluation

` ` Apprentissage supervise : probleme a N classes

Courbes associees

Courbe PrecisionRappel

Ordonnee : rappel Int et : evaluer limpact dun param` er etre

rappel 0,0

Abscisse : precision

precision

` ` Apprentissage supervise : probleme a deux classes ` Criteres devaluation

` ` Apprentissage supervise : probleme a N classes

Front de Pareto
Denition
Le front de Pareto est deni par lensemble des approches qui sont tels quaucune autre approche ne presente de meilleurs resultats pour tous les crit` eres etudie (ici precision et rappel). Les approches qui ne sont pas sur le front de Pareto sont dites dominees.
1

rappel

vert : 1er front de Pareto bleu : 2nd front de Pareto rouge : 3eme front de Pareto

0,0

precision

` ` Apprentissage supervise : probleme a deux classes Trier plutot que classier

` ` Apprentissage supervise : probleme a N classes

Trier plutot que classier


Interet du tri Notion de risque : medecine, nucleaire, . . . ` Ressources limitees : trouver les patients les plus a risques et les traiter (cas des greffes par exemple) Cout eleve dun test : detecter le sous-groupe le plus prometteur ... Courbe ROC (sensibilite (1-specicite))
Abscisse : 1 - specicit = taux de faux positifs chez les NEG (erreur de e prediction, par ex : patient sain predit comme malade) Ordonnee : sensibilit = taux de vrais positifs e ` Int et : Permet de visualiser rapidement la puissance dun modele er

` ` Apprentissage supervise : probleme a deux classes Trier plutot que classier

` ` Apprentissage supervise : probleme a N classes

Courbe ROC : Receiver Operating Characteristics


Evaluation de laire sous la courbe ROC ` Critere plus able que la precision (Ling, Huang, Zhang,
AI03) ` Insensible a la distribution Independant des couts derreur

` ` Apprentissage supervise : probleme a deux classes Trier plutot que classier

` ` Apprentissage supervise : probleme a N classes

Courbe ROC : exemple


tire du livre de A.J. Valleron

http ://www.chups.jussieu.fr/polys/biostats/poly/POLY.Chp.5.2.html Courbe A : examen temperature et grippe. Courbe B : examen qui napporte rien au diagnostic (variables independantes). Courbe C : bon crit` diagnostic (sensibilit et specict simultanement ere e e elevees).

` ` Apprentissage supervise : probleme a deux classes

` ` Apprentissage supervise : probleme a N classes

Outline

` ` Apprentissage supervise : probleme a deux classes Rappels Classication ` Criteres devaluation Trier plutot que classier ` ` Apprentissage supervise : probleme a N classes ` Quels criteres devaluation ?

` ` Apprentissage supervise : probleme a deux classes ` Quels criteres devaluation ?

` ` Apprentissage supervise : probleme a N classes

Evaluation multi-classes
Matrice de confusion multi-classes
C1 C2 ... Ci ... Cn C1 1 c1 1 c2 ci1
1 cn

C2 2 c1

Reel ...

Ci i c1 cii

...

Cn n c1

Predit

Prediction correcte : cii Prediction incorrecte : cij avec i = j

... ...

Precision, Rappel, Accuracy Precision(Ci ) = Rappel(Ci ) =


ci Pn i cij Pn Pn
i i=1 ci

j=1

ci Pn i

Accuracy =

i,j=1

cij

i j=1 cj