Chapitre I

Analyse en composantes
principales ”ACP”

Cours 2
Lamia JAAFAR Belaid Analyse 2
ACP
Nuage des individus NI

On considère les données pluviométriques mensuelles

moyennes enregistrées sur 9 villes Tunisiennes #
Lien tableau de données!
Pour chaque ville i, on détermine la valeur moyenne x̄i et
l’écart type σi .
On donne le tableau des valeurs centrées et réduites #
Lien tableau de données centrées et réduites!

Discussion: premières constations!

Objectif!
Analyser ce tableau en fournissant une image simplifiée du
nuage de points résumant au mieux les données.

Lamia JAAFAR Belaid Analyse 2

ACP
Quelle image 2D représente au mieux une image multi-dimensionnelle?
Voir un Exemple!

Réponse!
C’est celle qui restitue le plus fidèlement possible l’image
originale!
C’est celle où les points ont été le plus séparés que
possible!
les distances initiales sont dans un espace à 12
dimensions! en les visualisant dans un espace 2D, on
cherche à les déformer le moins possible!

Conclusion!
Il s’agit de faire une approximation du tableau initial! or la
qualité de la restitution ⇔ notion de dispersion ⇒ on définit la
notion d’inertie par une variance multi-dimensionnelle.

Lamia JAAFAR Belaid Analyse 2

ACP
Nuage des individus NI : présentation de la méthode

Ajustement du nuage des individus par une droite

Illustration graphique du nuage inital Voir Figure1.
Besoin d’homogeneisation et recherche d’une image
approchée Voir Figure2.

Critère de maximisation ”global”

X
Trouver u tel que d(NI , Du ) est minimum ⇔ OHi2 est
i
maximum.

La direction donnée par u est appelée direction de variance ou

de variabilité maximale ⇒ axe d’inertie maximal: c’est l’axe
principal (1er axe factoriel, 1er facteur principal)

Est-ce raisonnable de se limiter à une représentation axiale

pour approcher au mieux le nuage des individus NI ???

Lamia JAAFAR Belaid Analyse 2

ACP
Généralisation de la meilleure représentation

Meilleure représentation plane: on cherche un plan (plan

d’ajustement) qui déforme le moins possible le nuage =⇒
ce plan contient forcément l’axe d’inertie maximum u1 . La
seconde direction u2 est l’axe d’inertie maximum tel que
u2 ⊥u1 .
On peut rechercher un 3ème axe d’inertie maximum
orthogonal aux 2 =⇒ on cherche une suite d’axes
orthogonaux d’inertie maximum! =⇒ axes principaux,
facteurs principaux
Généralisation: chercher us un vecteur unitaire de rang s,
où His est la projection de Mi sur la droite de direction us ,
X
tel que (OHis )2 est maximal, avec us ⊥ut , ∀t < s.
i

PI 2 (0, H s )?
Que représente i=1 d i

Lamia JAAFAR Belaid Analyse 2

ACP
Nuage des individus NI : étude théorique

Proposition 1
Sous les mêmes notations que précédemment,
XI
d 2 (0, Hi1 ) = u1t X t Xu1 où u1 est le vecteur unitaire de Du1 :
i=1
1er axe principal, et X est la matrice des données.

Proof.
Voir la démonstration

Il s’agit donc de trouver u1 solution du problème d’optimisation

max u t X t Xu sous la contrainte d’égalité ||u|| = 1.
Next slide!

Lamia JAAFAR Belaid Analyse 2

On a OHi =< OMi , u1 > u1 = xit u1 .u1 = u1t xi .u1 .
Donc d 2 (0, Hi1 ) =< OMi , u1 >2 = u1t xi xit u1 .
XI X
I
Par suite d 2 (0, Hi1 ) = u1t xi xit u1 = u1t X t Xu1 .
i=1 i=1
D’où le résultat.
Retour

Lamia JAAFAR Belaid Analyse 2

ACP
Nuage des individus NI : étude théorique
Proposition 2
Le vecteur u1 qui satisfait le problème d’optimisation sous
contrainte ||u|| = 1 est le vecteur propre unitaire associé à la
plus grande valeur propre λ1 de la matrice X t X .
Proof.
Voir démonstration

On déduit que u1t X t Xu1 = λ1 .

La droite Du1 de vecteur directeur u1 est le premier axe
principal (premier axe factoriel).
X
I
Comme λ1 = d 2 (O, Hi ) donc λ1 mesure la dispersion
i=1
de la projection du nuage des points-individus sur le
premier axe d’ajustement Du1 .
Next slide!

Lamia JAAFAR Belaid Analyse 2

On cherche à maximiser f (u) = u t X t Xu sous la contrainte
||u||2 =< u, u >= u t u = 1.
La méthode du Lagrangien assume l’existence de
λ1 : ∇(u t X t Xu) = λ1 ∇(u t u − 1).
Donc X t Xu = λ1 u et donc λ1 est la valeur propre de X t X
associée au vecteur propre u1 , et on a λ1 = u1t X t Xu1 .

Retour

Lamia JAAFAR Belaid Analyse 2

ACP
Nuage des individus NI : étude théorique

Nous cherchons maintenant à déterminer le sous-espace à

deux dimensions s’ajustant au mieux au nuage NI ! Soit s = 2.
Proposition 3
Le sous-espace de dimension 2 qui ajuste au mieux le nuage
NI contient u1 .
Proof.
Voir démonstration

Etape 2: Trouver le vecteur u2 solution du problème suivant

d’optimisation max u t X t Xu sous les contraintes: ||u|| = 1 et
< u1 , u >= 0.
Proposition 4
Sous les mêmes notations que précédemment, u2 est le
vecteur propre unitaire associé à la seconde plus grande valeur
propre de la matrice X t X . Next slide!

Lamia JAAFAR Belaid Analyse 2

Raisonnement par l’absurde: le plan d’ajustement est défini u 0
et u 00 avec u 0 6= u1 et u 00 6= u1 .
Donc l’inertie le long de Du 0 et Du 00 est inférieure à celle de
l’inertie le long de Du1 .
Il existe donc un sous-espace de dimension 2 meilleur que
celui défini par les deux vecteurs u 0 et u 00 .
Retour

Lamia JAAFAR Belaid Analyse 2

ACP
Nuage des individus NI : étude théorique

La droite d’ajustement Du2 de vecteur directeur u2 est le

second axe principal (2ème axe factoriel). La valeur propre λ2
mesure la dispersion de la projection du nuage des
points-individus sur Du2 ⇒ P est le plan d’ajustement du nuage
NI porté par (u1 , u2 ).
Proof.
Voir démonstration

En itérant: on construit une base orthonormée de vecteurs

propres (u1 , u2 , .., uK ) associés aux plus grandes valeurs
propres de la matrice X t X , et on a: ∀k = 1, .., K , λk = ukt X t Xuk ,
où la multiplicité de λk est considérée.
Next time!

Lamia JAAFAR Belaid Analyse 2

En utilisant la même technique du Lagrangien, on assume
l’existence de λ2 , µ2 tels que:
∇(u t X t Xu) = λ2 ∇(u t u − 1) + µ2 ∇(u1t u) ⇒
X t Xu = λ2 u + 21 µ2 ⇒ u1t X t Xu = u1t λ2 u + 12 u1t µ2 .
Par les contraintes d’égalité, on déduit que u1t X t Xu = 12 µ2 .
Mais X t Xu1 = λ1 u1 ⇒ u1t X t Xu1 = λ1 ⇒ u1t X t X = λ1 u1t ⇒
λ1 u1t u = 12 µ2 .
Or u1t u = 0, donc µ2 = 0.
Et donc λ2 correspond la valeur propre de X t X .
Le problème de maximisation revient à la seconde plus grande
valeur propre associée au vecteur propre u2 et on a
λ2 = u2t X t Xu2 .

Retour

Lamia JAAFAR Belaid Analyse 2