Vous êtes sur la page 1sur 22

APPRENTISSAGE SUPERVISE

Classification au hasard

Choix de la classe au hasard Si 2 classes ui!"ro#a#les $ 1 chance sur 2 de se tro%"er &

Classe %a(oritaire

Toutes les donnes sont ti uetes a)ec la classe %a(oritaire%ent "rsente dans les donnes d*a""rentissa+e

'

Na-)e .a/es
Co%%ent classer un nou)el exe%"le en fonction d0un ense%#le d0exe%"les "our les uels on conna1t la classe 2 Soit un exe%"le d 3 4d15 6665 dn7 et c classes 8 3 15 6665 c Classe4d7 3 ar+%ax P4di987 6 P487
k i
proportion dexemples di parmi ceux de la classe k proportion dexemples de la classe k

; "lus "roches )oisins $ "rinci"e

Raisonne%ent < "artir de cas Utilisation des cas si%ilaires "our "rendre une dcision Pas d0ta"e d0a""rentissa+e 4a)anta+es et incon)nients7

; "lus "roches )oisins $ al+orith%e


>cider du no%#re de )oisins < utiliser 8 4sou)ent 8 3 n#re d0attri#uts ? 17 Pour un enre+istre%ent sur le uel il faut dcider $ trou)er les 8 "lus "roches )oisins co%#iner les classes des 8 "lus "roches )oisins en une classe c

; "lus "roches )oisins $ choix de la distance


d4A5A7 3 A

Ra""el $ distance d

d4A5.7 3 d4.5A7 d4A5C7 B d4A5.7 ? d4.5C7

>istance sur chacun des attri#uts


d4x5/7 3 9x!/9 d4x5/7 3 9x!/9 C distanceD%ax

"uis co%#inaison6 distance euclidienne $


d4x5/7 3

Ed 4x 5/ 7
1 1 1

?666? dn4xn5/n72F @

; "lus "roches )oisins $ choix de la classe


on dis"ose des 8 classes des 8 "lus "roches )oisins choix de la classe du nou)el exe%"le $ classe %a(oritaire classe "ondre He rsultat chan+e en fonction de tous ces choix 4distance5 co%#inaison5 calcul de la classe7

Ar#res de dcision $ I>'


Re"rsentation +ra"hi ue d0une "rocdure de dcision Re"rsentation co%"rhensi)e rJ+les


tempra ture
normale forte

feuille nud
arc

Classes Attributs Tests sur les attributs I

gorge irrite
oui non

malade

malade

non malade

Ar#res de dcision $ "ro#l%ati ues associes

Choix des attributs tests 4di)isions successi)es de la #ase d0a""rentissa+e7 Critre darrt But : construire un ar#re le "lus "etit "ossi#le Heuristique6 Al+orith%e glouton6 Plusieurs al+orith%es 4I>'5 C,6:7

1A

Ar#res de dcision $ al+orith%e de construction

NKud Courant racine


Rpter Si le nKud courant est ter%inal Alors l0ti ueter NKud Courant Classe Sinon Slectionner un attri#ut test Crer le sous!ar#re Passer au nKud sui)ant non ex"lor Jusqu o#tention d0un ar#re

11

Ar#res de dcision $ slection de l*attri#ut test

Luel est l0attri#ut dont la connaissance nous aide le "lus sur la classe 2
Plusieurs critJres "ossi#les $ test de Gini5 +ain d0infor%ation5 entro"ie5 666 I>' $ entro"ie de Shannon

12

Ar#res de dcision $ entro"ie de Shannon


Entro"ie de l*attri#ut A A a i )aleurs "ossi#les M15 6665 Mi Il / a 8 classes C15 6665 C8 Hs(C|A) !

"(#i) "(Ck|#i)$ log(("(Ck|#i))) i k


1'

Ar#res de dcision $ attri#uts continus


I>' ne les "rend "as en char+e discrtisation "ar un ex"ert al+orith%e C,6: $

test et calcul de l0entro"ie a)ec toutes les cou"ures "ossi#les entre les )aleurs successi)es exe%"le sur les )aleurs '5,5G on testera
B '5: )s6 N '5: B = )s6 N =

1,

Ar#res de dcision $ a)anta+es et incon)nients


attention au sur!a""rentissa+e la+a+e "erfor%ances %oins #onnes si #eaucou" de classes al+orith%e non incr%ental on "eut ex"li uer une dcision "er%et la slection des attri#uts "ertinents 4feature selection7 classification ra"ide d0un nou)el exe%"le 4"arcours d*un che%in d0ar#re7
1:

Rseaux de neurones

Othode de t/"e bote noire No%#reuses a""lications 4nota%%ent reconnaissance d0criture %anuscrite7 Othode coPteuse en te%"s de calcul To"olo+ie < conna1tre

1=

Rseaux de neurones $ une %thode issue du %odJle #iolo+i ue


Chaque neurone disposer en moyenne de 10.000 points de contacts (synapses) avec les neurones qui l'entourent% et &us'u( )*$*** +

Nous disposons de quelques dizaines de milliards de ces neurones l'intrieur de notre cerveau e synapse en synapse! l'in"ormation transite dans la totalit de notre corps! au travers d'environ #00 000 milliards de synapses

1@

Rseaux de neurones $ neurone #iolo+i ue


un neurone (biologi'ue) est un noeud 'ui a plusieurs entres et une sortie ,es entres pro-iennent dautres neurones ou organes sensoriels ,es entres sont pondres ,es poids peu-ent .tre positifs ou ngatifs ,es entres sont sommes au ni-eau du noeud pour produire une -aleur dactivation /i lacti-ation est plus grande 'uun certain seuil% le neurone sactive

1G

Rseaux de neurones $ "ro#lJ%es linaire%ent et non linaire%ent s"ara#les


on distin+ue 2 t/"es de "ro#lJ%es "our 2 t/"es de solution
x0 x1 23 #24 * * * 0 0 * 0 0 * 0 0 0 * 0 0 *

OU

XOR

1 0

1 1
perceptron

1 0

0 1
1I

perceptron multi!couc5es

Rseaux de neurones $ a""roche infor%ati ue

67T466/

"289/

/24T86 /2;;AT827 :27CT827 /638,

PLUSIEURS CLASSES
2A

Rseaux de neurones $ "erce"tron %ulti!couches

C23CH6 967T466 C23CH6 CACH66

C23CH6 96 /24T86 21

Rseaux de neurones $ al+orith%e d*a""rentissa+e des "oids


Initialiser les "oids de %aniJre alatoire R"ter Pour cha ue exe%"le i Si la sortie s n0est "as +ale < la sortie attendue a Alors "oids Qi Qi ? 4a ! s7xi Rus u0< ce ue tous les exe%"les soient #ien classs

22