` ` Apprentissage supervise : probleme a deux classes
` ` Apprentissage supervise : probleme a N classes
Apprentissage supervise ` Criteres devaluation
Jerome Aze
2007-2008
` ` Apprentissage supervise : probleme a deux classes
` ` Apprentissage supervise : probleme a N classes
Outline
` ` Apprentissage supervise : probleme a deux classes Rappels Classication ` Criteres devaluation Trier plutot que classier ` ` Apprentissage supervise : probleme a N classes ` Quels criteres devaluation ?
` ` Apprentissage supervise : probleme a deux classes Rappels
` ` Apprentissage supervise : probleme a N classes
Principe de base de lapprentissage supervise
Protocole dapprentissage Cross Validation
2/3 2/3
learning set
Learning algorithm
Learn 1/3 validation set tuning of the model
Data
1/3
Model of the data
Test
Evaluation of the model on Test data
` ` Apprentissage supervise : probleme a deux classes Classication
` ` Apprentissage supervise : probleme a N classes
Evaluation de lapprentissage ` Entree : un modele en construction ` Objectifs : ameliorer le modele ` utiliser le validation set pour raner le modele (reglage n ` des parametres, post-elagage, . . .) Evaluation du test : Matrice de confusion Reel Pos Neg TP FP FN TN TP : True Positive FP : False Positive FN : False Negative TN : True Negative
Predit
Pos Neg
` ` Apprentissage supervise : probleme a deux classes ` Criteres devaluation
` ` Apprentissage supervise : probleme a N classes
` ` Apprentissage supervise : probleme a deux classes ` Criteres devaluation
` ` Apprentissage supervise : probleme a N classes
Courbes associees
Courbe PrecisionRappel
Ordonnee : rappel Int et : evaluer limpact dun param` er etre
rappel 0,0
Abscisse : precision
precision
` ` Apprentissage supervise : probleme a deux classes ` Criteres devaluation
` ` Apprentissage supervise : probleme a N classes
Front de Pareto Denition Le front de Pareto est deni par lensemble des approches qui sont tels quaucune autre approche ne presente de meilleurs resultats pour tous les crit` eres etudie (ici precision et rappel). Les approches qui ne sont pas sur le front de Pareto sont dites dominees. 1
rappel
vert : 1er front de Pareto bleu : 2nd front de Pareto rouge : 3eme front de Pareto
0,0
precision
` ` Apprentissage supervise : probleme a deux classes Trier plutot que classier
` ` Apprentissage supervise : probleme a N classes
Trier plutot que classier
Interet du tri Notion de risque : medecine, nucleaire, . . . ` Ressources limitees : trouver les patients les plus a risques et les traiter (cas des greffes par exemple) Cout eleve dun test : detecter le sous-groupe le plus prometteur ... Courbe ROC (sensibilite (1-specicite)) Abscisse : 1 - specicit = taux de faux positifs chez les NEG (erreur de e prediction, par ex : patient sain predit comme malade) Ordonnee : sensibilit = taux de vrais positifs e ` Int et : Permet de visualiser rapidement la puissance dun modele er
` ` Apprentissage supervise : probleme a deux classes Trier plutot que classier
` ` Apprentissage supervise : probleme a N classes
Courbe ROC : Receiver Operating Characteristics
Evaluation de laire sous la courbe ROC ` Critere plus able que la precision (Ling, Huang, Zhang, AI03) ` Insensible a la distribution Independant des couts derreur
` ` Apprentissage supervise : probleme a deux classes Trier plutot que classier
` ` Apprentissage supervise : probleme a N classes
Courbe ROC : exemple
tire du livre de A.J. Valleron
http ://www.chups.jussieu.fr/polys/biostats/poly/POLY.Chp.5.2.html Courbe A : examen temperature et grippe. Courbe B : examen qui napporte rien au diagnostic (variables independantes). Courbe C : bon crit` diagnostic (sensibilit et specict simultanement ere e e elevees).
` ` Apprentissage supervise : probleme a deux classes
` ` Apprentissage supervise : probleme a N classes
Outline
` ` Apprentissage supervise : probleme a deux classes Rappels Classication ` Criteres devaluation Trier plutot que classier ` ` Apprentissage supervise : probleme a N classes ` Quels criteres devaluation ?
` ` Apprentissage supervise : probleme a deux classes ` Quels criteres devaluation ?
` ` Apprentissage supervise : probleme a N classes
Evaluation multi-classes Matrice de confusion multi-classes C1 C2 ... Ci ... Cn C1 1 c1 1 c2 ci1 1 cn
C2 2 c1
Reel ...
Ci i c1 cii
...
Cn n c1
Predit
Prediction correcte : cii Prediction incorrecte : cij avec i = j
