Académique Documents
Professionnel Documents
Culture Documents
Introduction
• L’analyse factorielle est une technique statistique
aujourd’hui surtout utilisée pour dépouiller des
enquêtes : elle permet, quand on dispose d’une
population d’individus pour lesquelles on possède
de nombreux renseignements concernant les
opinions, les pratiques et le statut (sexe, âge, etc.),
d’en donner une représentation géométrique ,
c'est-à-dire en utilisant un graphique qui permet
de voir les rapprochements et les oppositions
entre les caractéristiques des individus.
Introduction
• Cette technique est déjà centenaire : elle a été créée
en 1904 par le psychologue anglais Charles Spearman,
dans le but de mesurer l’intelligence . Sa technique porte
le nom aujourd’hui d’analyse factorielle des psychologues.
D’autres techniques d’analyse factorielle seront
développées ensuite : l’analyse en composantes
principales (ACP) et une variété de celle-ci l’analyse
factorielle des correspondances (AFC), créée dans les
années 1960 par Jean-Paul Benzécri .
Du fait de l’essor de l’informatique, cette dernière
technique est devenue une technique standard, intégrée
dans les grands logiciels statistiques internationaux.
(extrait de "Principe de l’analyse factorielle" par Philippe Cibois )
LE CONTENU DU COURS
Le cours traitera les chapitres suivants :
Analyse en composantes principales non Normée dans
R² (ACP non normée dans le cas de 2 variables)
• XLSTAT
• SPSS
• SPHINX
Analyse en composantes
principales non Normée
(cas de 2 var)
Chapitre 1
Introduction
• Notre objectif est d’analyser et décrire les données à
travers les Individus et/ou les Variables.
• L’étude de ces individus consistera à appréhender les
ressemblances entre ces derniers. Autrement, citer les
individus les plus proches, les plus éloignés et les
intermédiaires. D’où la nécessité de calculer les distances
entre individus. Un espace sur lequel on peut définir une
distance (donc un produit scalaire) s’appelle un Espace
Vectoriel Euclidien.
• Comme ici on a choisi de travailler avec deux variables,
les individus vont évoluer dans
l’ Espace Vectoriel Euclidien à deux dimensions: R2.
I- QUELQUES NOTIONS D‘ALGEBRE LINEAIRE
1- Espace Vectoriel Euclidien (préhilbertien) Rn.
i)- NOTATION :
• Soit x x1 xi xn un élément de Rn,
on note alors X la matrice colonne ( à n lignes et 1
colonne) constituées des composantes, dans la base
canonique B, du vecteur x .
x1
• X= x
i; la transposée X’= x1 xi xn
x
n
la matrice ligne ( à 1 ligne et n colonnes)
• Où B={ e1, e2, …, en } et
1 0 0
0
e1 ei 1 en
0 1
ii)- Forme Bilinéaire dans Rn
•Définition 1
2) Si A M n R , f X , Y X ' AY est une
forme bilinéaire symétrique si, et
seulement si, la matrice A est symétrique
•Définition 2
• On appelle produit scalaire sur Rn
toute forme bilinéaire symétrique sur Rn
possédant les propriétés suivantes :
x R n
f x, x 0
f x, x 0 x 0
y1
y
= x 1 xi xn i =
y
n
b)- Produit scalaire défini par une
matrice des poids
Soit P une matrice diagonale dont les éléments
diagonaux sont des nombres réels strictement
positifs : n
• < X | Y >P = X’ P Y = i xi yi
i 1
• i est dit le ieme poids
• Rem 1: Le produit scalaire canonique correspond au
cas où la matrice P est la matrice unité In
Rem 2 : si P= In, tous les poids sont égaux à
et la somme des poids vaut 1
𝟏 𝟏 𝒏
< X | Y >P = X’ In 𝒀 = 𝒊=𝟏 𝒙𝒊 𝒚𝒊
𝒏 𝒏
iv)- Norme d'un vecteur
• Si f est un produit scalaire sur Rn, le nombre
réel positif
x f
f x, x X/X f
s'appelle la f -norme de X, ou f -longueur de X.
x 2
x1 x2
2
• le vecteur
x est normé x
x
• La distance entre deux points A=(xi) et B=(yi)
est :
d A, B A B xi yi
2
vi)- Soit x et y deux vecteurs de Rn, et soit q
l’angle que forme les deux vecteurs entre eux.
Alors :
X / Y x y cosq
q
X
vii)- Orthogonalité.
• Deux vecteurs X et Y de Rn sont orthogonaux si, et
seulement si, leur produit scalaire est nul :
< X | Y >= 0
• Remarques :
• — 0 est orthogonal à tout vecteur de Rn.
• — L'angle de deux vecteurs non nuls orthogonaux est
• — La base canonique de Rn muni du produit scalaire 2
canonique est formée de vecteurs normés orthogonaux deux
à deux : on parle alors de
• base orthonormée.
ix)- Projeté orthogonal.
Soient X et Y deux vecteurs non nuls de Rn .Il existe un
unique vecteur Z de Rn, proportionnel à Y et tel que X – Z
soit orthogonal à Y.
• Démonstration
Pour tout vecteur Z on peut écrire :
< X – Z | Y >= < X | Y >– < Z | Y >
Z étant proportionnel à Y, donc il existe un a tel que Z = a Y,
d’où :
X X - Z0
q
Z0 Y
II- Méthodes Géométriques En Statistique
est orthogonale à .
𝑥1 𝑥 𝑥1 1
𝑋0 = ⋮ − ⋮ = ⋮ − 𝑥 ⋮ = 𝑋 − 𝑥 𝕝𝑛
𝑥𝑛 𝑥 𝑥𝑛 1
X
X0
𝕝𝑛
0
𝑥 𝕝𝑛
2)- La Variance
1 2
1 1 𝑡 2
𝑉𝑋 = 𝑥𝑖 − 𝑥 = 𝑋0 𝑋0 𝐼𝑛 = 𝑋0 𝑋0 = 𝑋0
𝑛 𝑛 𝑛
3)- Covariance
1 1 1
• Cov (X, Y) = 𝑥𝑖 − 𝑥 𝑦𝑖 − 𝑦 = 𝑥0 𝑦0 = 𝑋0 𝑌0 𝐼𝑛
𝑛 𝑛 𝑛
1 𝑡
= 𝑋0 𝑌0
𝑛
• La covariance est le produit scalaire des variables centrées.
X Y
xi yi
Y=aX+b X=a’Y+b’
• Par contre, si on ne veut expliquer
aucune des deux variables statistiques
par l’autre, nous serons alors conduits à
une autre technique, celle de
la réduction des données.
X
xi
i)- Présentation des données
On présente les 2n données sous forme d’un
tableau à double entrée (Observation / Variable),
soit par une matrice M(nx2) à n lignes et 2 colonnes ;
où la ligne i représente la valeur prise par le ième
individu(Mi) pour les 2 variables quantitatives X et Y
•
• X Y
• M1 𝑥1 𝑦1
𝑀= ⋮ ⋮
• Mn 𝑥𝑛 𝑦𝑛
i)- Présentation des données
Dans l’espace des Individus, chaque individu est
représenté par un point Mi de coordonnées (xi ,yi ).
Soit G le barycentre du nuage :𝐺 𝑥 , 𝑦 .
𝑥01 𝑦01
Et Z= ⋮ ⋮ la matrice des données centrées
𝑥0𝑛 𝑦0𝑛
ii)- POSITION DU PROBLEME
𝑮 mi
𝑦
x0i
𝒐 𝑥 xi X
𝛽
𝐺𝑚𝑖 =< 𝐺𝑀𝑖 | u > u = 𝑢′𝐺𝑀𝑖 𝑢 = (b𝑥0𝑖 – a𝑦0𝑖 )
−𝛼
𝑥𝑖0 𝛽
𝑚𝑖 𝑀𝑖 = 𝐺𝑀𝑖 − 𝐺𝑚𝑖 = 𝑦 - (b𝑥𝑖0 – a𝑦𝑖0 )
𝑖0 −𝛼
1 − 𝛽2 𝑥𝑖0 + 𝛼𝛽𝑦𝑖0 𝛼 2 𝑥𝑖0 + 𝛼𝛽𝑦𝑖0
= 2
= 2
1 − 𝛼 𝑦𝑖0 + 𝛼𝛽𝑥𝑖0 𝛽 𝑦𝑖0 + 𝛼𝛽𝑥𝑖0
𝛼
= α𝑥𝑖0 + β𝑦𝑖0 𝛽 = α𝑥𝑖0 + β𝑦𝑖0 u⊥
|| 𝑚𝑖 𝑀𝑖 || ² = (α𝑥𝑖0 + β𝑦𝑖0 )2 u⊥ 2
=(α𝑥0𝑖 + β𝑦0𝑖 ) ²
(car (a² + b²) = 1)
1 2 1
2 2
𝑆 = 𝑖 𝑚𝑖 𝑀𝑖 = 𝑖 α𝑥0𝑖 + β𝑦0𝑖
𝑛 𝑛
2
= α𝑋0 + β𝑌0 𝑃
• Donc chercher la droite ( D) de régression
orthogonale, revient à chercher, dans l'espace des
variables Rn , un vecteur a X0 + b Y0, combinaison
linéaire fictive des deux variables X0 et Y0, qui
minimise α𝑋0 + β𝑌0 2𝑃 , sous la contrainte
a2b 2= 1 et où P est la matrice des poids
uniformes.
𝑑 𝑀𝑖 , 𝐺 = 𝐺𝑀𝑖
i)- INERTIE TOTAL D’UN NUAGE
• La variance est une mesure
unidimensionnelle de la dispersion. Alors
que l’Inertie en est une mesure
multidimensionnelle.
• Définition :
Soit Du la droite de vecteur directeur u et
traversant le nuage et passant par son
centre de gravité G, alors L’inertie du
nuage par rapport à Du est :
1 2
1 2
𝑰 𝑫𝒖 = 𝑑 𝑀𝑖 , 𝐷𝑢 = 𝑀𝑖 𝑚𝑖 = 𝑺𝟐 ;
𝑛 𝑛
𝑖 𝑖
𝑜ù 𝑑 𝑀𝑖 , 𝐷𝑢 = 𝑑 𝑀𝑖 , 𝑚𝑖 𝑒𝑡 𝑜ù 𝑚𝑖 𝑒𝑠𝑡 𝑙𝑒
𝑝𝑟𝑜𝑗𝑒𝑐𝑡é 𝑜𝑟𝑡ℎ𝑜𝑔𝑜𝑛𝑎𝑙 𝑑𝑒 𝑀𝑖 𝑠𝑢𝑟 𝐷𝑢
• Le problème maintenant revient à minimiser
I(Du) (puisque égale à S2 ). Or comme on a la
relation : 2 2 2
𝐺𝑀𝑖 = 𝐺𝑚𝑖 + 𝑚𝑖 𝑀𝑖
Théorème de Pythagore
⟹ 𝐼𝑇 = 𝐼 𝐷𝑢 ⊥ + 𝐼 𝐷𝑢
⟹ 𝐼 𝐷𝑢 ⊥ = 𝐼𝑇 − 𝐼 𝐷𝑢 .
𝑜ù 𝐷𝑢 ⊥ 𝑒𝑠𝑡 𝑙𝑎 𝑑𝑟𝑜𝑖𝑡𝑒 𝑜𝑟𝑡ℎ𝑜𝑔𝑜𝑛𝑎𝑙𝑒 à 𝐷𝑢
𝒖⊥
On doit maximiser Mi
𝒖
1 2
𝐼 𝐷𝑢 ⊥ = 𝐺𝑚𝑖
𝑛
𝑖 𝑮 mi
• 𝐼 𝐷𝑢 est appelée l’inertie résiduelle.
1 2 1 2
𝐼 𝐷𝑢 ⊥ = 𝑖 𝐺𝑚𝑖 = 𝑖 𝛽𝑥0𝑖 − 𝛼𝑦0𝑖
𝑛 𝑛
= α2 𝑉 𝑌 + β2 𝑉 𝑋 − 2βαcov X, Y
𝑉 𝑋 cov X, Y 𝛽
= 𝛽 −𝛼
cov X, Y 𝑉 𝑌 −𝛼
𝐀
= 𝑢′𝐴𝑢
La matrice A s'appelle la matrice des variances-covariances.
En introduisant la matrice Z des variables centrées, la
matrice des variances-covariances s'écrit sous les
formes
𝑉 𝑋 cov X, Y
𝐴=
cov X, Y 𝑉 𝑌
𝑥10 𝑦10
1 𝑥10 ⋯ 𝑥𝑛0
= ⋮ ⋮
𝑛 𝑦10 ⋯ 𝑦𝑛0
𝑥𝑛0 𝑦𝑛0
1
= 𝑍′ 𝐼𝑛 𝑍
𝑛
• Remarque
2𝐴𝑢 − 2𝜆𝑢 = 0
⇒ 𝐴𝑢 = 𝜆𝑢
• D’où :
𝐼 𝐷𝑢 ⊥ ′ ′
= 𝑢 𝐴𝑢 = 𝑢 𝜆𝑢 = 𝜆𝑢 𝑢 = 𝜆 ′
• Donc doit être la plus grande des valeurs
propres de A et par conséquent le vecteur
cherché est le vecteur propre normé u de A
associé à la plus grande valeur propre .
′ ′ ′
𝐼 𝐷𝑢 2 ⊥ = 𝑢2 𝐴𝑢2 = 𝑢2 𝜆2 𝑢2 = 𝜆2 𝑢2 𝑢2 = 𝜆2
Rem :
• 𝜆1 (𝑟𝑒𝑠𝑝𝑒𝑐𝑡𝑖𝑣𝑒𝑚𝑒𝑛𝑡 𝜆2 ) n’est autre que
l’inertie expliquée par le premier
(respectivement deuxième) axe principal.
1 >2 > 0.
1
1 = 2
𝑉 𝑋 + 𝑉 𝑌 + (𝑉 (𝑋) − 𝑉 (𝑌))² + 4 (𝐶𝑜𝑣 (𝑋, 𝑌))²
1
2 = 2
𝑉 𝑋 + 𝑉 𝑌 − (𝑉 (𝑋) − 𝑉 (𝑌))² + 4 (𝐶𝑜𝑣 (𝑋, 𝑌))²
Base orthonormée de R² où :
1 𝑉 𝑌 −𝜆 1
𝑢1 =
𝑉 𝑌 − 𝜆1 2 + 𝑐𝑜𝑣 𝑋, 𝑌 2 −cov X,Y
1 𝑉 𝑌 −𝜆 2
𝑢2 =
𝑉 𝑌 − 𝜆2 2 + 𝑐𝑜𝑣 𝑋, 𝑌 2 −cov X,Y
• Désormais, on note V la matrice des
vecteurs propres :
𝑢1 𝑢2
↓ ↓
𝑉 𝑌 − 𝜆1 𝑉 𝑌 − 𝜆2
𝑉 𝑌 − 𝜆1 2 + 𝑐𝑜𝑣 𝑋, 𝑌 2 𝑉 𝑌 − 𝜆2 2 + 𝑐𝑜𝑣 𝑋, 𝑌 2
𝑽=
−cov X, Y −cov X, Y
𝑉 𝑌 − 𝜆1 2 + 𝑐𝑜𝑣 𝑋, 𝑌 2 𝑉 𝑌 − 𝜆2 2 + 𝑐𝑜𝑣 𝑋, 𝑌 2
Le taux d'inertie totale expliquée par le premier
axe factoriel est le rapport
𝐼 𝐷𝑢 2 𝜆1 𝜆1
= =
𝐼𝑇 𝑉 𝑋 +𝑉 𝑌 𝜆1 + 𝜆2
𝐼 𝐷𝑢 1 𝜆2 𝜆2
= =
𝐼𝑇 𝑉 𝑋 +𝑉 𝑌 𝜆1 + 𝜆2
3)-Coordonnées factorielles et composantes principales
• On dispose maintenant, dans R², de deux
bases : l’une est la blase orthonormée
Canonique { e1, e2 } et l’autre est la base
propre orthonormée { u1, u2 }.
• le vecteur 𝐺𝑀𝑖 a pour coordonnées, dans
{e1, e2}, (x0 , y0) et dans la base {u1,u2}:
𝐺𝑀𝑖 | 𝑢1 , 𝐺𝑀𝑖 | 𝑢2
𝐺𝑀1 𝑢1 𝐺𝑀1 𝑢2 𝑥 01 𝑦0
1
𝐹= ⋮ ⋮ = ⋮ ⋮ 𝑉
𝐺𝑀𝑛 𝑢1 𝐺𝑀𝑛 𝑢2 𝑥 0𝑛 𝑦0
𝑛
𝒐 xi X
La première colonne de la matrice F = Z V est
donc le vecteur
(1)
F = Z u1
Rem: F(1)(F(2)) peut s’écrire aussi sous la forme suivante
(1)
𝑢11
𝐹 = 𝑢11 𝑋0 + 𝑢12 𝑌0 ; 𝑜ù 𝑢1 =
𝑢12
(2)
𝑢21
𝐹 = 𝑢21 𝑋0 + 𝑢22 𝑌0 ; 𝑜ù 𝑢2 =
𝑢22
4)- Propriétés des composantes principales.
𝐹 (1) = 𝐹 (1) 𝕝𝑛 𝑃
=0
𝐹 (2) = 0
b) La variance d'une composante principale est la valeur
propre correspondante.
(1) (1)
V(𝐹 ) = || 𝐹 ||P = 𝐹 (1) 𝐹 (1)
2
𝑃
= 1
(2)
V(𝐹 ) = 2
c) Les composantes principales sont non corrélées.
(1) (2) (1) (2)
Cov (𝐹 ,𝐹 )= 𝐹 𝐹 𝑃
1
= u1’ Z’Z u2= u1’ A u2
𝑛
= 2 u1’u2 =
Exemple d’Application
• Considérons deux variables X1 et X2 mesurées sur
cinq individus de poids uniformes :
• Individus 1 2 3 4 5
X1 1 2 3 4 9
X2 5 10 8 8 12
3) Calcul de A (var-cov) :
1
𝑨 = 𝑍′𝑃𝑍 = 𝑍′𝑍
5
−2.8 −3.6
1 −2.8 −1.8 1.4
−1.8 −0.8 0.2 5.2
= −0.8 −0.6
5 −3.6 1.4 −0.6 −0.6 3.4
0.2 −0.6
5.2 3.4
7.76 5.12
=
5.12 5.44
4) Calcul des valeurs et vecteurs propres de A
1 2
b) 𝑉 𝐹 = λ1 𝑉 𝐹 = λ2
λ1
𝜏 𝐹1 = = 90%
λ 1 + λ2
2 1
𝜏 𝐹 = 100 − 𝜏 𝐹 = 10%
REM :
𝑉 𝑋1 𝑉 𝑋2
𝜏 𝑋1 = = 59% 𝜏 𝑋2 = = 41%
λ1 +λ2 λ1 +λ2
6)
Les coordonnées des individus dans le plan factoriel :
−2.8 −3.6
−1.8 1.4
0.78 −0.62
𝐹 = 𝑍𝑉 = −0.8 −0.6
0.62 0.78
0.2 −0.6
5.2 3.4
−4.42 −1.07
−0.54 2.21
= −1.00 0.03
−0.22 −0.59
6.16 −0.57 −4.42
𝐷𝑜𝑛𝑐 𝑀1 −1.07
…
14
13,5
13
12,5
12
11,5
5
11
10,5
10
9,5
2
9
8,5
8
7,5 3 4 X2
7
6,5
G
6 u1
5,5
5
4,5
1
4
3,5
3
2,5
2
1,5
1
0,5
0
0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 5,5 6 6,5 7 7,5 8 8,5 9 9,5 10
Observations (axes F1 et F2 : 100,00 %)
2
2,217
F2 (10,23 %)
0
0,030
-1 -0,594 -0,589
-1,065
-2
-3
-4
-5 -4 -3 -2 -1 0 1 2 3 4 5 6 7
F1 (89,77 %)