AFD Printable PDF

Analyse factorielle discriminante
Michaël Genin
Université de Lille 2
EA 2694 - Santé Publique : Epidémiologie et Qualité des soins
michael.genin@univ-lille2.fr
Master 1 Biologie Santé - Parcours C

Plan
1 Introduction
2 Principe général
3 Principe d’interprétation
Michaël Genin (Université de Lille 2) Analyse factorielle discriminante Version - 17 mars 2016 1 / 54
Introduction Positionnement de la méthode
Analyse factorielle discriminante (AFD)
Univariées
Méthodes
descriptives Multivariées
Méthodes (ACP, CAH. . . )
statistiques
Méthodes Tests usuels
Inférentielles
Multivariées
Introduction 2 familles de méthodes de classification
2 familles de méthodes de classification
Classification non-supervisée (clustering)

Partitionner les observations en groupes différents (classes, catégories) mais
les plus homogènes possible au regard de variables décrivant les observations.
Le nombre de classes n’est pas connu à l’avance
Méthodes : Classification hiérarchique, K-plus-proches voisins, Classification
bayésienne naïve. . .
Classification supervisée (discrimination)

Obtenir un critère de séparation afin de prédire l’appartenance à une classe
(Y = f (X ) + ϵ).
Le nombre de classes est connu à l’avance (Variable à expliquer)
Méthodes : Régression logistique, Analyse discriminante, Arbres de
décision, Réseaux de neurones, Réseaux bayésiens, Support Vector Machine...
Méthodes de discrimination
2 objectifs principaux :
Etude du lien entre Y (Variable à expliquer qualitative) et les Xj (Variables
explicatives quantitatives ou binaires) ⇒ Facteurs prédictifs
Prédiction (système d’aide à la décision (scores cliniques, crédit scoring, ...)
2 catégories de méthodes de discrimination :

1 Méthodes explicatives : règles de prédiction claires (AFD, Reg Log, Arbres de
décision)
2 Méthodes non explicatives : règles de prédiction floues (RN, RB, SVM. . . )
En pratique en médecine
2 classes ⇒ Régression logistique
> 2 classes : Analyse discriminante, Arbres de décision
En résumé
L’Analyse Factorielle Discriminante est une méthode de discrimination, explicative
qui a pour but :
Etude du lien entre Y (Variable à expliquer qualitative) et les Xj (Variables
explicatives quantitatives ou binaires) ⇒ Facteurs prédictifs
Prédiction de l’appartenance à une classe
Principe général Un modèle linéaire
Modèle linéaire
On considère des combinaisons linéaires entre les Xj
∑
p
Score = λ1 X1 + λ2 X2 + · · · + λp Xp = λj Xj
j=1
Ce (ou ces) score va permettre de prédire l’appartenance des individus à une

classe (Y ).
Exemple 1 : score en réanimation

Fréquence cardiaque
Patient entre Recueil Système Score de gravité
Pression artérielle
d'informations Tx de bilirubine de scoring PRISM
dans le service
Etat de choc (Oui/Non) PELOD
PRISM : Pediatric RISk of Mortality

PELOD : PEdiatric Logistic Organ Dysfunction
Principe général Un modèle linéaire
Exemple 2 : Score de Framingham

Prédiction d’un évènement cardio-vasculaire dans les 10 ans.
Construit à partir de la cohorte de Framingham (5 209 individus)
Age (classes quinquennales)
[55-59 ans] → + 4
Tx de cholesterol LDL
si ∈ [100 - 160] : 0
si < 100 : -3 (Protecteur)
si ≥ 160 : +2 (Risque)
PA diastolique (PAD) et PA systolique (PAS) en mm de mercure
SI PAD < 80 ET PAS < 120 : 0
SI PAD ≤ 89 ET PAS ∈ [130 - 139] : +1
Si S ≥ 14 → 56% de risque d’évenement CV dans les 10 ans.

Lien avec la notion de score linéaire :
λ + · · · + λp Xp
Score Framingham = λ1 X1 + · · · + Age[55-59] |{z}
| {z }
0/1 =4
Principe général Objectifs de l’AFD
k=2 et score déjà connu
Cas Représentation graphique Qualité de séparation

M̄ M
Cas 1 Bonne
Score
M̄ M
Cas 2 Moyenne
Score
M̄ M
Cas 3 Mauvaise
Score
Cas 3 : impossibilité de trouver un score discriminant les 2 groupes.

Condition nécessaire
Les groupes doivent être séparables (non-superposés)
Exemple : X1 , X2 et K = 2
X2
µ1
µ2
Les centres de gravité µ1 et µ2 sont

séparés (i.e. les groupes sont séparés)
X1
X2
µ1 µ2
Les centres de gravité µ1 et µ2 ne
sont pas séparés (i.e. les groupes ne
sont pas séparés)
X1
Point d’entrée de l’analyse : tester la séparabilité des groupes en utilisant les

coordonnées des centres de gravités :
X1 et X2
( ) ( )
X2 µ11 µ21
µ1 = µ2 =
µ12 µ22
µ12 µ1
µ2
µ22 X1 , . . . , Xp
   
µ11 µ21
   
µ1 =  ...  µ2 =  ... 
µ1p µ2p
µ11 µ21 X1
MANOVA : Multivariate ANalysis Of VAriance

{
H0 : µ1 = µ2 Groupes confondus
H1 : µ1 ̸= µ2 Groupes séparés
Si les groupes sont séparés (MANOVA) ⇒ Retour aux scores discriminants
M̄ M M̄ M
Score Score
Cas 1 : le score discrimine bien Cas 2 : le score n’est pas assez

les deux groupes discriminant pour réaliser des
prédictions
Nécessité
Pour les scores ⇒ utilisation d’un critère de qualité de discrimination
Idée : ANOVA sur le score

En utilisant le théorème de Huygens
ST2 = SB2 + SW2

|{z} |{z} |{z}
Variance totale Variance inter-classes Variance intra-classe
Indicateur de qualité de séparation entre les groupes

SB2
R2 = ∈ [0, 1]
ST2
Remarque : si R 2 ≈ 1 → variance intra quasi-inexistante :
Score
M̄ M
Cas de 2 groupes (k = 2)
Objectif de l’AFD
∑p
Déterminer parmi toutes les combinaisons linéaires des Xj ( j=1 λj Xj ), les
pondérations λj qui maximisent le R 2 .
Problème : il existe une infinité de combinaisons de λj . Comment déterminer les

λj optimaux ?
Théorème
Si les groupes sont séparés (MANOVA) alors il existe une combinaison linéaire
(score discriminant, composante discriminante) unique qui maximise le R 2 .
Lien avec l’ACP

1ere comp ACP
(sépare au mieux les individus)
µ1 µ2
Lien avec l’ACP

1ere comp ACP
(sépare au mieux les individus)
µ1 µ2
1ère comp discrim

(sépare au mieux les
centres de gravité)
Détermination des λj
AFD : ACP particulière sur les centres de gravité :
X1 X2 ... Xj ... Xp
G1 µ11 µ12 ... µ1j ... µ1p
G2 µ21 µ22 ... µ2j ... µ2p
Distance particulière : distance de Mahalanobis

Maximise l’inertie inter-classe projetée sur l’axe
Minimise l’inertie intra-classe projetée sur l’axe
Situation rare :
Groupe 1 Groupe 2 Groupe 3
Score 1
Situation plus fréquente :

Groupe 3
Groupe 1 Groupe 2
Score 1

Groupe 3
Le score 1 ne permet pas

de discriminer G2 et G3
Groupe 1 Groupe 2
Score 1

Groupe 3
Score 2
Groupe 1 Groupe 2
Score 1

Groupe 3
Score 2
β
Groupe 1 Groupe 2
Score 1
α
Cas de k groupes (k > 2)
Théorème
Soit Y qui définit k groupes. Si les groupes sont séparés, alors
Il existe k − 1 composantes discriminantes tels que

scores discriminants
1er score S1 rend maximal le R 2

2ème score S2 est orthogonal à S1 et maximise le R 2
..
.
(k − 1)ème score Sk−1 est orthogonal à Sk−2 et maximise le R 2
Résumé
AFD : méthode explicative de discrimination

Une variable à expliquer qualitative Y à k groupes (classes)
p variables explicatives Xj quantitatives ou binaires
Etudier les variables discriminantes des groupes

Prédire l’appartenance à un groupe
Méthode linéaire : scores linéaires qui vont prédire l’appartenance aux classes
Les classes doivent être séparées (MANOVA)
Les scores : issus d’une ACP particulière sur les centres de gravités
(composantes)
Toujours k − 1 scores discriminants
Principe d’interprétation
3 étapes clés :
1 Est-ce que, mathématiquement, la discrimination est bonne ?

Est-ce que les groupes sont bien séparés par les scores ?
2 Est-ce que les scores ont une interprétation clinique ?

Cohérence par rapport à l’expertise clinique. . .
3 Construction de règles de classement

Règle d’affectation d’un nouvel individu à une classe
Principe d’interprétation - Données exemple
Données "insectes" de Lubischew (n = 72) 1 .

Variable à expliquer : espèce d’insecte (species)
Concinna (con) (codée 1)
Heikertingeri (hei) (codée 2)
Heptapotamica (hep) (codée 3)
Y = {con,hei,hep}
Variables explicatives
Largeur de l’appareil reproducteur (aedeagus) (µm) (width)
Angle de l’appareil reproducteur (aedeagus) (degré) (angle)
Objectifs
Déterminer quelle sont les variables discriminant les groupes d’insectes
Etablir des règles de classement
1. Lubischew, A.A. (1962) On the use of discriminant functions in taxonomy. Biometrics, 18,
455-477
Principe d’interprétation Interprétation mathématique
Principe d’interprétation - Interprétation mathématique
A - Vérification de la condition nécessaire

MANOVA : Multivariate ANalysis Of VAriance
{
H0 : µ1 = µ2 = µ3 Groupes confondus
H1 : ∃ au moins (i, j)/µi ̸= µj Groupes séparés
Sous SPSS
B - Utilisation de plusieurs critères

R 2 → autant que de scores discriminants
Proche de 1 ?
Exemple
R2 ≈ 0:9 R2 ≈ 0:45
G1 G2
G1 G2
Score Score
Pourtant le score discrimine bien dans les 2 cas

→ Pas forcément de seuil sur le R 2

Représentations graphiques
Rep. des individus sur l’espace des scores discriminants

Classements automatiques
Méthode des médiatrices




Matrice de confusion
En pratique : ≥ 80% d’observations bien classées
Principe d’interprétation Interprétation clinique
Principe d’interprétation - Interprétation clinique
Valeurs élevées de S2 → Groupe 1
Idée : corrélation entre les Xj et chacun des scores

Règle
|ρ(Xj , Sk )| > 0.5
Rq : si Xj est binaire (0/1) : ANOVA ≡ ρ(Xj , Sk )
ρ+ S2
ρ− ρ+
S1
ρ−
ρ+ S2
angle width
(r = 0:651) (r = 0:571)
ρ− ρ+
angle width
(r = −0:759) (r = 0:821)
S1
ρ−
ρ+ S2
angle width
(r = 0:651) (r = 0:571)
ρ− ρ+
angle width
(r = −0:759) (r = 0:821)
S1
ρ−
Principe d’interprétation Construction de règles de classement
Construction de règles de classement
3 solutions :
1 Utiliser les classes prédites par le logiciel (Méthode des médiatrices)
Problème : "boîte noire"
Pas de règle explicite
2 Méthode graphique
3 solutions :
3 solutions :
3 solutions :
Règle :
SI S2 > α ALORS Groupe 1

SINON
SI S1 > β ALORS Groupe 3
SINON Groupe 2
α
FSI
FSI
Seuils optimaux ?
β
3 solutions :
3 Courbe Roc pour déterminer α et β
Pour S2 :
1 Créer une variable binaire
(G1 vs G2 , G3 )
2 Courbe ROC sur S2 avec
nouvelle variable
α → α optimal pour S2
Pour S1 :
1 Sous-échantillon :
β uniquement G2 et G3
2 Courbe ROC sur S1 avec
species
→ β optimal pour S1
Classement d’un nouvel individu : angle=14 ; width=144
Calcul de S1 et S2 pour l’individu :
| {z } −0.625 × angle
S1 = 0.147 × width −11.752 = 0.666
| {z }
=144 =14
S2 = 0.149 × width
| {z } +0.780 × angle −30.258 = 2.118
| {z }
=144 =14
Classement d’un nouvel individu : angle=14 ; width=144, S1 = 0.666, S2 = 2.118
Posons α = 1 et β = 0
Règle :
SI S2 > α ALORS Groupe 1

SINON
SI S1 > β ALORS Groupe 3
SINON Groupe 2
FSI
FSI
Ici S2 > α donc le nouvel individu est affecté au groupe 1

AFD Printable PDF

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

AFD Printable PDF

Transféré par

Droits d'auteur :

Formats disponibles

Analyse factorielle discriminante

Master 1 Biologie Santé - Parcours C

Analyse factorielle discriminante (AFD)

2 familles de méthodes de classification

Classification non-supervisée (clustering)

Classification supervisée (discrimination)

2 catégories de méthodes de discrimination :

On considère des combinaisons linéaires entre les Xj

Ce (ou ces) score va permettre de prédire l’appartenance des individus à une

Exemple 1 : score en réanimation

PRISM : Pediatric RISk of Mortality

Exemple 2 : Score de Framingham

Si S ≥ 14 → 56% de risque d’évenement CV dans les 10 ans.

k=2 et score déjà connu

Cas Représentation graphique Qualité de séparation

Cas 3 : impossibilité de trouver un score discriminant les 2 groupes.

Les centres de gravité µ1 et µ2 sont

k=2 et score déjà connu

Point d’entrée de l’analyse : tester la séparabilité des groupes en utilisant les

MANOVA : Multivariate ANalysis Of VAriance

k=2 et score déjà connu

Si les groupes sont séparés (MANOVA) ⇒ Retour aux scores discriminants

Cas 1 : le score discrimine bien Cas 2 : le score n’est pas assez

k=2 et score déjà connu

Idée : ANOVA sur le score

ST2 = SB2 + SW2

Indicateur de qualité de séparation entre les groupes

Remarque : si R 2 ≈ 1 → variance intra quasi-inexistante :

Problème : il existe une infinité de combinaisons de λj . Comment déterminer les

Lien avec l’ACP

Lien avec l’ACP

1ère comp discrim

Distance particulière : distance de Mahalanobis

Situation plus fréquente :

Situation plus fréquente :

Le score 1 ne permet pas

Situation plus fréquente :

Situation plus fréquente :

Cas de k groupes (k > 2)

Il existe k − 1 composantes discriminantes tels que

1er score S1 rend maximal le R 2

AFD : méthode explicative de discrimination

Etudier les variables discriminantes des groupes

1 Est-ce que, mathématiquement, la discrimination est bonne ?

2 Est-ce que les scores ont une interprétation clinique ?

3 Construction de règles de classement

Principe d’interprétation - Données exemple

Données "insectes" de Lubischew (n = 72) 1 .

Principe d’interprétation - Interprétation mathématique

A - Vérification de la condition nécessaire

Principe d’interprétation - Interprétation mathématique

B - Utilisation de plusieurs critères

Pourtant le score discrimine bien dans les 2 cas

Principe d’interprétation - Interprétation mathématique

B - Utilisation de plusieurs critères

Principe d’interprétation - Interprétation mathématique

B - Utilisation de plusieurs critères

Principe d’interprétation - Interprétation mathématique

B - Utilisation de plusieurs critères

Principe d’interprétation - Interprétation mathématique

B - Utilisation de plusieurs critères

Principe d’interprétation - Interprétation mathématique

B - Utilisation de plusieurs critères