Analyse

discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires Analyse discriminante
continues

Analyse
discriminante
L. Macaire - M1 IVI - RDF - Cours 6

16 février 2014
 Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires
continues
1 Probabilités de variables aléatoires continues
Analyse
discriminante

2 Analyse discriminante
 Motivations et objectifs du cours

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires
continues

Analyse
discriminante

Données apprentissage Données test

Comprendre la loi normale de distribution des données

Mettre en oeuvre la classification probabiliste de données
multi-variées
Apprentissage supervisé des données - séparer les données
en un ensemble d’apprentissage et de test.
 Variables aléatoires continues mono-dimensionnelles

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de Soit une variable aléatoire Xi continue car appartenant à

variables
aléatoires R.
continues

Analyse
On peut donc estimer les paramètres de la loi normale
discriminante N (µi , σi ) pour chaque variable Xi :
 Exemples : un jeu de 1000 données générées selon
une loi normale
Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires
continues

Analyse
discriminante

µi = 30, σi = 10 µi = 30, σi = 20
 Espérance (continu)

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6
d’une variable aléatoire
Probabilités de
variables
aléatoires
continues

Analyse
discriminante

d’une fonction g (X ) d’une variable aléatoire

 Variance

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6
d’une variable aléatoire
Probabilités de
variables
VAR [Xi ] = E (Xi − E [Xi ])2
 
aléatoires
continues

Analyse
discriminante

VAR [Xi ] = E Xi2 − E [Xi ]2

 
 Variables aléatoires continues multi-dimensionnelles

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
Soit un vecteur de dimension D est définie comme
- Cours 6 χ = (X1 , .., Xi , ...XD )T .
Probabilités de Les variables Xi sont continues et aléatoires.
variables
aléatoires
continues
On doit donc estimer les paramètres de la loi normale
Analyse N (M, Σ) :
discriminante

avec M = (µ1 , ..., µD )T

avec Σi,l = E (Xi − µi )T (Xl − µl )
 
R +∞ R +∞
avec Σi,l = −∞ −∞ (Xi − µi ).(Xl − µl )f (Xi , Xl )dXi dXl
 Exemples : Loi normale bi-variée Σ = (1, 0, 0, 1)

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

4
Probabilités de
variables
aléatoires
continues 0.15

2
Analyse 0.10
discriminante f(X)

X2

0
0.05

−2
4
4
2
2
0
0
X2 −2
−2

−4
X1
−4 −4

−4 −2 0 2 4

X1

densité observations
 Exemples : Loi normale bi-variée Σ = (4, 0, 0, 1)

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

4
Probabilités de
variables
aléatoires
continues

2
0.06
Analyse
discriminante f(X) 0.04

X2

0
0.02

−2
4
4
2
2
0
0
X2 −2
−2

−4
X1
−4 −4

−4 −2 0 2 4

X1

densité observations
 Exemples : Loi normale bi-variée Σ = (1, 0, 0, 4)

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

4
Probabilités de
variables
aléatoires
continues

2
0.06
Analyse
discriminante f(X) 0.04

X2

0
0.02

−2
4
4
2
2
0
0
X2 −2
−2

−4
X1
−4 −4

−4 −2 0 2 4

X1

densité observations
 Exemples : Loi normale bi-variée Σ = (4, 0, 0, 4)

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

4
Probabilités de
variables
aléatoires
continues

2
0.03
Analyse
discriminante f(X) 0.02

X2

0
0.01

−2
4
4
2
2
0
0
X2 −2
−2

−4
X1
−4 −4

−4 −2 0 2 4

X1

densité observations
 Matrice des données discrètes X

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
Soient N observations (ou évènements) pour chacune des
- Cours 6 D variables aléatoires Xi , i = 1, ..., D.
Probabilités de On peut donc représenter les N observations de la variable
variables
aléatoires aléatoire Xi sous la forme d’un vecteur aléatoire
continues

Analyse
discriminante Xi = (Xi,1 , ..., Xi,j , ..., Xi,N )T
On peut alors rassembler les D vecteurs aléatoires Xi dans
une matrice X de dimension D × N.
Xi,j est donc la jeme observation de la ieme variable
aléatoire.
La jeme observation est donc décrite par un vecteur X∗,j
de dimension D.
 Estimation paramètres pour variables discrètes

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires
continues
1 PN
Analyse
discriminante
avec M = (µ1 , ..., µD )T avec µi = M j=1 Xi,j
avec Σi,l = E (Xi − µi )T (Xl − µl )
 
 Distance de Mahalanobis

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de On peut définir des lignes d’équi-densité de probabilité α.

variables
aléatoires Soit Γα = {X∗,j , f (X∗,j ) = α} avec α ∈ [0, 1]
continues

Analyse
discriminante
 Distance euclidienne

Analyse
discriminante On peut définir la distance d’une observation X∗,j au centre des
L. Macaire - points par une distance euclidienne :
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires
continues
Cette distance dépend de la distribution des données.
Analyse
discriminante

4
2
0.06

f(X) 0.04

X2

0
0.02

−2
4
4
2
2
0
0
X2 −2
−2
X1
−4

−4 −4

−4 −2 0 2 4

X1

densité observations
 Exemple Σ = (1, 0, 0, 4)

Analyse
discriminante Soit Γα (X 1) = {X∗,j , X2,j = 0etf (X∗,j ) = α}
L. Macaire - Soit Γα (X 2) = {X∗,j , X1,j = 0etf (X∗,j ) = α}
M1 IVI - RDF
- Cours 6 d(X∗,j ∈ Γ0.04 (X 1), 0) < d(X∗,j ∈ Γ0.04 (X 2), 0)
Probabilités de
variables
aléatoires
continues

Analyse
discriminante
0.10

0.10
0.08

0.08
0.06

0.06
f(X1)

f(X2)
0.04

0.04
0.02

0.02
0.00

0.00
−4 −2 0 2 4 −4 −2 0 2 4

X1 X2
 Distance Mahalanobis

Analyse
discriminante
Mahalanobis définit une distance d’une observation X∗,j au
L. Macaire - centre des points qui tient compte de la dispersion des points :
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires Cette distance s’adapte à la distribution des données.
continues
dm (X∗,j ∈ Γ0.04 (X 1), 0) = dm (X∗,j ∈ Γ0.04 (X 2), 0)
Analyse
discriminante

4
0.15

2
0.10

f(X)

X2

0
0.05

−2
4
4
2
2
0
0
X2 −2
−2
X1
−4

−4 −4

−4 −2 0 2 4

X1

densité observations
 Distance Mahalanobis

Analyse
discriminante

L. Macaire - Mahalanobis définit une distance d’une observation X∗,j au

M1 IVI - RDF
- Cours 6 centre des points qui tient compte de la dispersion des points :
Probabilités de
variables
aléatoires
continues

Analyse Cette distance s’adapte à la distribution des données considérée

discriminante
comme une hyper-sphère.
 Problème

Analyse
discriminante

L. Macaire - Soit une observation X∗,j à assigner parmi K classes ωk de

M1 IVI - RDF
- Cours 6 distributions gaussiennes.
Probabilités de Chaque classe caractérisée par la loi normale N (Mk , Σk )
variables
aléatoires
continues

Analyse
discriminante

P(X∗,j /ω1 ) P(X∗,j /ω2 ) P(X∗,j /ω3 )

 Problème

Analyse
discriminante L’objectif est d’assigner les points
L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires
continues

Analyse
discriminante

X∗,j X∗,j assignés

 Problème

Analyse
discriminante L’objectif est de trouver les lignes de décision
L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires
continues

Analyse
discriminante

Ligne de décision théorique à partir de Ligne de décision estimée par ALD

P(X∗,j /ωk )
 Règle de décision Bayesienne

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6 Règle de décision : assigner X∗,j à la classe ωk̂ qui
Probabilités de
maximise P(ωk /X∗,j )
variables
aléatoires ωk̂ = argmaxk=1,..,K {P(ωk /X∗,j )}
continues
P(X∗,j /ωk ).P(ωk )
Analyse = argmaxk=1,..,K { P(X∗,j ) }
discriminante
= argmaxk=1,..,K {P(X∗,j /ωk ).P(ωk )}
= argmaxk=1,..,K {Log (P(X∗,j /ωk )) + Log (P(ωk ))}

ωk̂ = argmaxk=1,..,K {gk (X∗,j )}

avec
 Règle de décision Bayesienne

Analyse
discriminante

L. Macaire -
M1 IVI - RDF Log (P(X∗,j /ωk )) =
- Cours 6
(X∗,j −Mk )T .Σk −1 .(X∗,j −Mk )
1
Probabilités de
Log ( √ exp −2 )
variables
(2.π)D det(Σk )
aléatoires
(X∗,j −Mk )T .Σk −1 .(X∗,j −Mk )
continues = −2 − D2 Log (2.π) − 12 Log (det(Σk ))
Analyse
discriminante Soit

gk (X∗,j ) =
(X∗,j − Mk )T .Σk −1 .(X∗,j − Mk ) D
− Log (2.π) −
−2 2
1
Log (det(Σk )) + Log (P(ωk ))
2
 Analyse Quadratique Linéaire

Analyse
discriminante Soit gk (X∗,j ) la fonction de discrimination optimale :
L. Macaire -
M1 IVI - RDF
- Cours 6
(X∗,j − Mk )T .Σk −1 .(X∗,j − Mk ) D
Probabilités de − Log (2.π)
variables −2 2
aléatoires
continues 1
− Log (det(Σk )) + Log (P(ωk ))
Analyse 2
discriminante
Surface de décision est une fonction quadratique en D
dimensions (oubli de D2 Log (2.π)) :

Σ−1
matrice Dk = −2
k

vecteur dk = Σ−1
k .Mk
scalaire T −1
ek = (Mk ) .Σ−2
k .(Mk )
− 12 Log (det(Σk )) + Log (P(ωk ))
 Analyse Quadratique Linéaire
Analyse discriminante
2014-02-16
Soit gk (X∗,j ) la fonction de discrimination optimale :

Analyse discriminante (X∗,j − Mk )T .Σk −1 .(X∗,j − Mk ) D

− Log (2.π)
−2 2
1
− Log (det(Σk )) + Log (P(ωk ))
2

Analyse Quadratique Linéaire Surface de décision est une fonction quadratique en D

dimensions (oubli de D2 Log (2.π)) :

Σ−1
matrice Dk = k
−2
vecteur dk = Σ−1k .Mk
scalaire T −1
ek = (Mk ) .Σ−2
k .(Mk )
− 12 Log (det(Σk )) + Log (P(ωk ))
 Résultats par Analyse Quadratique Discriminante

Analyse
discriminante g1 () − max(g2 (), g3 ()) = 0 et g3 () − max(g2 (), g1 ()) = 0
L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires
continues

Analyse
discriminante

Ligne de décision théorique à partir de Ligne de décision estimée par AQD

P(X∗,j /ωk )
 Assignation à 2 classes

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6
si g1 (X∗,j ) > g2 (X∗,j ) alors on assigne X∗,j à ω1 , sinon ω2
soit :
Probabilités de
variables
aléatoires (X∗,j − M1 )T .Σ1 −1 .(X∗,j − M1 )
continues −
Analyse 2
discriminante
(X∗,j − M2 )T .Σ2 −1 .(X∗,j − M2 )
+
2
1 det(Σ1 )
Log ( )
2 det(Σ2 )
P(ω1 )
< Log ( )
P(ω2 )
 Assignation à 2 classes équiprobables et les
déterminants des matrices de co-variance sont
égaux
Analyse
discriminante

L. Macaire -
M1 IVI - RDF
Hypothèses : ∀k, P(ωk ) = P ⇒ Log (P(ωk )) éliminé de gk .
- Cours 6
∀k, det(Σk ) = cste ⇒ 12 Log (det(Σk )) éliminé.
Probabilités de
variables Fonction de discrimination réduite à la distance au carré
aléatoires
continues de Mahalanobis :
Analyse
discriminante
Règle de décision :
 Analyse Linéaire Discriminante (matrices de
co-variance égales)
Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6
Hypothèse : ∀k, Σk = Σ ⇒ 21 Log (det(Σk )) éliminé de gk .
Probabilités de
variables
aléatoires
continues

Analyse Σ−1
discriminante
matrice D = −2 indépendante de k
vecteur dk = Σ−1 .Mk
(Mk )T .Σ−1 .(Mk )
scalaire ek = −2 + Log (P(ωk ))
Or (X∗,j )T .D.(X∗,j ) peut être éliminé
gk0 (X∗,j ) = dk .X∗,j + ek
 Analyse Linéaire Discriminante (matrices de
co-variance égales)
Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables Règle de décision :
aléatoires
continues avec
Analyse
discriminante
 Résultats par Analyse Linéaire Discriminante

Analyse
discriminante g1 () − max(g2 (), g3 ()) = 0 et g3 () − max(g2 (), g1 ()) = 0
L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires
continues

Analyse
discriminante

Ligne de décision estimée par ALD

 Assignation à 2 classes dont les populations et
matrices de co-variance sont égales
T −1 T −1
Analyse
discriminante Dans ce cas e1 − e2 = (M1 ) .Σ −2
.(M1 )
− (M2 ) .Σ
−2
.(M2 )

L. Macaire - Dans ce cas e1 − e2 ne dépend plus de la taille des classes

M1 IVI - RDF
- Cours 6 mais uniquement des centres.
Probabilités de
Règle de décision peut donc être réduite à :
variables
aléatoires
(d1 − d2 ).X∗,j = 0
continues avec d1 − d2 = Σ−1 .(M1 − M2 )
Analyse
discriminante
C’est la classification par moindre distance aux centres
4
2
X2

0
−2
4
 Apprentissage supervisé

Analyse
discriminante

L. Macaire -
M1 IVI - RDF
- Cours 6

Probabilités de
variables
aléatoires
continues

Analyse
discriminante
Données apprentissage Données test

Apprentissage supervisé des données - séparer les données

en un ensemble d’apprentissage et de test (hold-out).
Appliquer l’analyse discriminante sur les données
d’apprentissage pour déterminer les fonctions de
discrimination gk .
Les appliquer pour assigner les données test.