Analyse de Donnees-ACP

Notes
Introduction Mathématique de l’ACP Espace métrique des individus et inerties Espace métrique des variables Analyse en Composantes Principales Pratique de l’ACP Exemples Références
Data Mining
Analyse en Composantes Principales
W. Toussile
wilson.toussile@gmail.com
1 Département MSP
École Nationale Supérieure Polytechnique
20/07/2020
W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 1 / 80
Notes
1 Mathématique de l’ACP
2 Espace métrique des individus et inerties
3 Espace métrique des variables
4 Analyse en Composantes Principales
5 Pratique de l’ACP
6 Exemples
7 Références
Notes
Section 1
Introduction
Notes
Introduction
L’ACP fait partie des méthodes exploratoires multidimensionnelles

dites factorielles, qui sont géométriques et non probabilistes.
L’ACP permet de réduire la dimension des données numériques, en
déformant le moins possible les distances entre données.
De telles méthodes servent à comprendre la structure des données
et à formuler des hypothèses à étudier à l’aide d’outils de
statistique inférentielle.

Notes
Les données
Elles se présentent sous la forme d’une matrice X de dimensions n × p:

X = xij , (1)
1≤i≤n;1≤j≤p
où xij ∈ R est l’observation de la variable X j sur l’individu i, n la taille

de l’échantillon et p le nombre de variables.
Données de l’individu i :
 1
xi
xi =  ...  ∈ Rp
 
xip
Données de la variable j :
 j
x
j
 .1  n
 ..  ∈ R
x = 
xnj
Notes
Les objectifs
Visualiser, comprendre, classifier ou plus généralement modéliser les
données est en général relativement plus complexe sur des données de
grandes tailles. Lorsque le nombre de variables p ou le nombre
d’individus n sont “très” grands, une question est :
Sans réduire le nombre de variables ou d’individus, est-il possible
de réduire la complexité du problème en perdant le minimum
d’information?
Deux principaux objectifs :
I Condenser l’information contenu dans les données dans un nombre
q ≤ p de nouvelles variables qui sont des combinaisons linéaires des
premières en déformant au minimum le nuage des individus,
perdant ainsi le minimum d’information;
I Dégager les liaisons entre variables et les ressemblances entre
individus;
Notes
Exemple (Cornillon et al. 2008) I
Le fichier decathlon.csv contient les résultats d’athlètes aux 10

épreuves de décathlon. Ce jeu de données se trouve aussi dans le
package factoextra. On souhaite
I Analyser les liaisons entre les performances aux différentes épreuves
I Déterminer des profils d’athlètes
I Savoir si certaines épreuves mesurent les mêmes aptitudes
F On se doute par exemple que les performances au 100m,
110m-haies et saut en longueur soient corrélées. Est-il utile de
garder les données des trois épreuves, ou d’en fabriquer une
variable qui “résume” ces trois?
Notes
Exemple (Cornillon et al. 2008) II
Sous R
Le jeu de données est disponible dans la librairie factoextra de R
# Se trouve dans le package factoextra
require(factoextra)
require(dplyr)
# 1eres lignes
decathlon2 %>% head()
# Les dimensions du tableau

dim(decathlon2)

Notes
Exemple (Cornillon et al. 2008) III
Sous Python
Copier le fichier decathlon.csv dans votre repertoire de travail.
import pandas as pd
decathlon = pd.read_csv("decathlon.csv", sep=";",
index_col = 0)
print("Dimensions = ".format(decathlon.shape))
decathlon.head()
Notes
Section 2
Mathématique de l’ACP
Notes
Quelques définitions I
Soit (ei )i la base canonique de Rp . Alors x j = X · ej
Definition (Centre de gravité)

Le centre de gravité du nuage des individus affectés des poids
(ωi )ni=1 ∈ Sn est le point
X
x = (x j )j = ωi xi = t XD1n ∈ Rp
i
P 1
ωi > 0 et i ωi = 1 et en général, ωi =
n
Matrice des poids : D = diag(ω1 , · · · , ωn )
Notes
Quelques définitions II
Nuage des individus : I := {(xi , ωi )}i
Données centrées : Y := (xij − x j )i,j = X − 1n t x

Matrice des covariances empiriques :
V = t XDX − x t x = t YDY
0 0
ωi (xij − x j )(xij − x j )
P
avec [V]j,j 0 = i
Remarque :
I y = 0Rp
I kxi − xi 0 k2 = kyi − yi 0 k2

Notes
Quelques définitions III

Données centrées et réduites :
xij − x j
!
ωi (xij − x j )2
X
Z := , où sj2 :=
sj i,j i
Si on pose S−1 = diag( s1j )j , on a Z = YS−1 .

Matrice des corrélations empiriques :
R = S−1 VS−1 = S−1t YDYS−1 = t ZDZ
Note : R est la matrice des covariances des données centrées-réduites,

elle résume la structure des dépendances linéaires entre les p variables
Xj
Notes
Exemple I
Sous R
X = decathlon2[, 1:10]
Y = scale(X, scale = FALSE)
n = nrow(X)
D = diag(rep(1/n, n))
S_1 = diag(1/diag(V))
Z = Y%*%S_1
V = t(Y)%*%D%*%Y # Covariances
R = t(Z)%*%D%*%Z # Corrélations
M = diag(1/diag(V))
Notes
Exemple II
Sous Python
import sklearn
from sklearn.preprocessing import StandardScaler
X = decathlon.iloc[:, 0:10]
Y = StandardScaler(with_std = False).fit_transform(X)
Z = StandardScaler(with_std = True).fit_transform(X)
n = X.shape[0]
D = (1/n)*np.diag(np.ones(n))
M = np.diag(1/X.var())
V = Y.T.dot(D).dot(Y)
R = Z.T.dot(D).dot(Y)
Notes
Section 3
Espace métrique des individus et inerties

Notes
Espace métrique des individus I

Il est nécessaire de munir l’espace des individus d’une mesure de
“proximité.” Quelle distance choisir?
La distance euclidienne n’est pas forcément le plus adaptée,
surtout lorsque les variables n’ont pas le même ordre de grandeur
(xij − xij0 )2 = t (xi − xi 0 )(xi − xi 0 ) =: kxi − xi 0 k2I

X
d 2 (xi , xi 0 ) =
j
En général, on utilise une distance de la forme

2
dM (xi , xi 0 ) := t (xi − xi 0 )M(xi − xi 0 ) =: kxi − xi 0 k2M
où M est une matrice symétrique définie positive choisie de sorte à

donner la même importance aux variables
Remarque : d 2 = dI2
Notes
Espace métrique des individus II

1
On choisit très souvent M = S−2 = diag( )j
sj2
I Ce choix revient à réduire chaque variable
I La distance associée donne la même importance à toutes variables,
au regard de leur dispersion
Remarque :
dS2−2 (xi , xi 0 ) = dS2−2 (yi , yi 0 )

= d 2 (zi , zi 0 )
Ainsi, le choix de dS−2 consiste en celui de la distance euclidienne sur

les données centrées réduites Z = (X − 1n t x )S−1
Notes
Inertie totale du nuage des individus I
Pour le nuage des données pondérées I = {(xi , ωi )}i et une

métrique M,
Inertie totale :
X X
It = ωi kxi − x k2M = ωi kyi k2M
i i
I It mesure la dispersion du nuage des individus autour du centre de

gravité x .
Pour l’ACP, l’inertie totale est considérée comme mesure de

l’information du nuage des individus, contenue dans Rp .
Notes
Inertie totale du nuage des individus II
Proposition
1 XX
It = ωi ωi 0 kxi − xi 0 k2M .
2 i i0
1 XX 1 XX
ωi ωi 0 kxi − xi 0 k2M = ωi ωi 0 kxi − x + x − xi 0 k2M
2 i i0 2 i i0
= ...

Notes
Inertie totale du nuage des individus III

Expression matricielle de l’inertie
Proposition
It = tr (MV ) = tr (VM) .
Proof.
X X X
ωi kyi k2M = t
ωi tr yi t yi M

It = ωi yi Myi =
i i i
! !
X
= tr ωi yi t yi M = tr (VM) = tr (MV ) .
i
Notes
Inertie totale du nuage des individus IV
Rappels
tr (AB) = tr (BA)
tr (A + B) = tr (A) + tr (B)
tr (αA) = αtr (A) .
Notes
Inertie totale du nuage des individus V
Sous R
my.norm <- function(x, M){
#M sdp
return(t(x)%*%M%*%x)
}
# Inertie total
(1/n)*sum(apply(Y, 1, function(yi) my.norm(yi, M)))
(1/(2*n*n))*sum(sapply(1:n, function(i)
return(sum(sapply(1:n, function(j)
return(my.norm(as.numeric(X[i, ])-as.numeric(X[j, ]), M)))))))
sum(diag(V%*%M))
Notes
Inertie totale du nuage des individus VI
Sous Python
import numpy as np
def myNorm(x, Mat = M):
return(x.dot(Mat).dot(x))
print((1/n)*np.sum(np.apply_along_axis(myNorm, 1, Y)))
print(np.sum(np.diag(V.dot(M))))

Notes
Inertie expliquée par un sous-espace I
Considérons le nuage des données centrées I c = {(yi , ωi )}i et soit

F un sous-espace vectoriel de Rp
Inertie expliquée de I c expliquée par F : On appelle ainsi l’inertie
du nuage projeté M-orthogonalement sur F :
X
IF ((yi , ωi )i ) = ωi kybiF k2M
i
où
ybiF = PFM (yi ).
Notes
Inertie expliquée par un sous-espace II

Inertie expliquée par une droite : Soit ∆u une droite engendrée par
un vecteur M-normée u (t uMu = 1). On a
PuM (yi ) = hu, yi iM u = (t uMyi )u
Proposition
Iu := I∆u = t uMVMu.
En effet
X X
Iu := I∆u ((yi , ωi )i ) = ωi kPuM yi k2M = ωi t uMyi t yi Mu
i i
!
X
t
= uM ωi yi t yi Mu = t uMVMu
i
Notes
Décomposition de l’inertie I
Soit F un sev de Rp . Désignons par F ⊥ son supplément M-orthogonal

dans Rp .
Proposition (Preuve en exo)
1 Alors It = IF + IF ⊥ .
2 Plus généralement, si F = F1 ⊕ F2 et F1 ⊥M F2 , alors
IF = IF1 + IF2 .
IF ⊥ est donc une mesure de la déformation du nuage lors de la

projection sur F :
X
IF ⊥ = ωi kyi − PF yi k2M
i
Notes
Décomposition de l’inertie II
Preuve
1 Tout vecteur x ∈ Rp se décompose de façon unique comme
x = PF x + PF ⊥ x , avec hPF x , PF ⊥ x iM = 0. Il suffit alors
d’appliquer Pythagore à
X X
It = ωi kyi k2M = ωi kPF yi + PF ⊥ yi k2M .
i i
2 Remarquer que PF yi = PF1 PF yi + PF2 PF yi = PF1 yi + PF2 yi car

F1 et F2 sont des sev de F , puis appliquer Pythagore à
X X
IF = ωi kPF yi k2M = ωi kPF1 yi + PF2 yi k2M
i i

Notes
Section 4
Espace métrique des variables
Notes
Espace métrique des variables I
La colonne x j de la matrice X représente les données de la variable

X j que nous notons

x j = xij ∈ Rn .
i
Un choix naturel de la métrique est celle associée à la matrice des

poids D :
0 0 0

ωi yij yij = cov x j , x j
X
hy j , y j iD = .
i
Ainsi,
kyj k2D = sj2
Notes
Espace métrique des variables II

0
La corrélation entre X j et X j est :
0 0

cor X j , X j = cor Y j , Y j = [R]j,j 0
0

cov xj, xj hy j , y j iD
0
= =
sj sj 0 ky j kD ky j 0 kD

= cos θj,j 0 ;
0
où θj,j 0 est l’angle entre Y j et Y j .
La géométrie sur les variables permet de représenter les
corrélations linéaires entre elles.
Notes
Section 5
Analyse en Composantes Principales

Notes
Le problème
1 Obtenir une projection M-orthogonale du nuage des données dans

un sev Ek de dimension k < p de Rp , en maximisant l’inertie
expliquée :
Ek = arg max IE .
dimE =k
2 Obtenir une représentation graphique des variables dans un sev Fk

de dimension k permettant d’expliquer au “mieux” les corrélations
linéaires initiales entre ces variables.
Definition
Les Ek sont appelés sous-espaces principaux.
Notes
Espaces et axes principaux I
Theorem
Soit Ek un sous-espace principal de dimension k < p. Alors tout
sous-espace principal de dimension k + 1 est sous la forme
Ek+1 = Ek ⊕ ∆uk+1 ,
où uk+1 est un vecteur M-orthogonal à Ek dont la droite engendrée

∆uk+1 est d’inertie maximale parmi toutes les droites vectorielles
M-orthogonales à Ek .
Notes
Espaces et axes principaux II
Proof.
Il suffit de montrer que tout sev F de dimension k + 1 est d’inertie
IF ≤ IEk+1 . Soit donc F un sev de dimension k + 1. On a
dimEk⊥ + dimF = (p − k) + (k + 1) = p + 1, d’où Ek⊥ et F ont au
moins une direction commune 0Rp 6= u ∈ Ek⊥ ∩ F . Soit Fe un
supplémentaire M-orthogonal de ∆u dans F : F = Fe ⊕ ∆u . Alors
dimFe = k. On en déduit IFe ≤ IEk . Par ailleurs, Iu ≤ Iuk+1 . Ainsi
IF = IFe + Iu ≤ IEk + Iuk+1 = IEk+1 .
Notes
Espaces et axes principaux III

Remarques
D’après le théorème précédent, les sous-espaces principaux Ek sont
emboîtés et peuvent être calculés de façon itérative:
I Rechercher ∆u1 tel que Iu1 = max {Iu } et poser E1 = ∆u1 ;
I Rechercher ∆u2 tel que Iu2 = max {Iu | u ⊥M E1 } et poser
E2 = E1 ⊕ ∆u2
I ···
I Rechercher ∆uk tel que Iuk = max {Iu | u ⊥M Ek−1 } et poser
Ek = Ek−1 ⊕ ∆uk
Definition (Axes principaux)

Les axes ∆u1 , · · · , ∆up sont appelées axes principaux d’inertie de l’ACP.

Notes
Calcul de l’axe principal ∆u1

Supposons ku1 kM = 1. Alors
Iu1 = t u1 MVMu1 .
u1 = arg maxkukM =1 Iu = arg maxkukM =1 t uMVMu.
Proposition
u1 est un vecteur propre M-normé de VM associé à la plus grande
valeur propre λ1 de VM.
En effet, le Lagrangien associé au pb est :

L (u, λ) = t uMVMu − λt uMu. ∇u L (u, λ) = 0 équiv. à VMu = λu.
Donc u est un vecteur propre de VM de valeur propre λ. En
multipliant membres l’égalité précédente par t uM, on obtient λ = Iu .
Notes
Calcul de l’axe principal ∆u2
u2 est solution du pb :
t
u2 = arg t max Iu = arg t max MVMu.
uMu=1,u⊥u1 uMu=1,u⊥u1
Proposition
u2 est un vecteur propre M-normé de VM associé à la deuxième λ2
plus grande valeur propre de VM (λ1 > λ2 ).
Lagrangien : L (u, α1 , α2 ) = t uMVu − α1 (t uMu − 1) − α2 t uMu1 .

...
Notes
Calcul de l’axe principal ∆uk

Proposition
Pour k ≤ rg (X ), l’axe principal ∆uk est donné par un vecteur propre
M-normé de VM associé à la k-ième plus grande valeur propre de VM.
Remarque : Les espaces principaux Ek sont alors définis par

(
E1 = ∆ u1
Ek+1 = Ek ⊕ ∆uk+1 .
Inertie expliquée par Ek :

k
X
IEk = λj .
j=1
Notes
Existence des valeurs propres réelles

Proposition
Les valeurs propres de toute matrice A qui est M-symétrique (ie
t (MA) = MA) sont toutes réelles. De plus, ses vecteurs propres
peuvent être choisis pour constituer une base M-orthonormale de Rp .
C’est le cas de la matrice VM.

Proposition
Si A est en plus définie-positive, alors les valeurs propres de A sont
toutes strictement positives.
Dans le cas M = I, VM = V qui est définie positive, et donc

toutes les valeurs propres sont
λ1 > λ2 > · · · > λp .

Notes
Composantes principales I
Definition
Les composantes principales c j sont les collones de la matrice C du
nuage des individus projeté M-orthogonalement dans un espace
principal Ek .

Posons cij les coordonnées du nuage sur l’axe principal ∆uj :
i
X X X j
t
yi = hyi , uj iM · uj = yi Muj · uj = ci · uj
j j j
d’où
cij = t yi Muj .
Notes
Composantes principales II
Donc avec U = [u1 · · · up ],
C = YMU.
Proposition
1 Les CP sont des combinaisons linéaires des variables de départ y j .
2 Les CP c j sont centrées, de variances λj et non-corrélées
deux-à-deux.
3 Les CP c 1 , · · · , c p sont vecteurs propres de la matrice YMt YD,
de valeurs propres associées λ1 , · · · , λp .
Rappelons que pour r = rg (Y) ≤ min (n, p),

λr +1 = · · · = λp = 0. Ce qui implique c r +1 = · · · = c p = 0Rn .
Notes
Composantes principales III

Proof.
1. c j = YMu j = k Mu j k y k .
P
2.
c = t CD1 = t UMt YD1 = t UMy = 0.
0
h i
cov c j , c j = t
CDC = t UMt YDYMU = t UMVMU.
On a VMU = λ1 u 1 · · · λp u p = Udiag (λ1 , · · · , λp ). D’où

0
h i
cov c j , c j = t UMUdiag (λj ) = Id diag (λj ) .
3. Par définition de (uj , λj ), on a VMuj = λj uj . D’où en multipliant

membre à membre par YM et en utilisant c j = YMuj , on a
YMt YDc j = λj c j
Notes
Analyse des individus I

Représentation graphique : Il s’agit
en général de représenter le
nuage des individus de la matrice cij dans Ek muni
1≤i≤n;1≤j≤k
de la base M-orthonormale (uj )kj=1 .
Pk
j=1 λj
Part de l’inertie expliquée : Pp
j=1 λj
I Plus cette part est proche de 1, mieux ça vaut.
I Pour la représentation graphique, on choisit en général k = 2, la
part de l’inertie expliquée permet alors de juger d’importance à
accorder aux conlusions que suggère le graphe.
Pour d’autres analyses, on peut choisir k de sorte de la part

expliquée soit supérieure à un seuil choisi.

Notes
Analyse des individus II
Contribution d’un individu aux composantes

2
cik
Contribution à la composante uk :
nλk
I Cette mesure aide dans l’interprétation des axes : on regardera en
particulier les individus qui contribuent le plus pour différents axes.
Qualité
de représentation d’un individu sur l’axe uk :
cik
2
Pp j 2 =: cos (Puk yi , uk ).
j=1 ci
Notes
Analyse des variables I
Cercle des corrélation : Il s’agit du graphique représentant les

corrélations entre les variables dans Y et celles dans C ;
j
I La coordonnée d’une variable y sur l’axe des abscisses correspond
à cor y j , c 1 ;
j
I La coordonnée d’une variable y sur l’axe des ordonnées correspond
à cor y j , c 2 ;
Proposition
On montre que : q
cor y j , c k = λj [uk ]j ;
où [uk ]j est la j-ième coordonnée de uk dans la base canonique de Rp .
Notes
Résumé d’une ACP normée I
Calculer la variance : V = t YDY ;

Calculer VM;
Déterminer
I les valeurs propres λj de VM = t YDYM,
λ1 > λ2 > · · · > λr > λr +1 = · · · = λp = 0, où r = rg (Y).
I Et les vecteurs propres M-normés uk correspondant.
I Composantes principales : C = YMU;
Graphique des individus à partir de C;

Cercle des corrélations à partir de cor (Y, C) = t YDC.
Notes
Exemple I
Sous R
require(FactoMineR)
out_pca = PCA(X, scale.unit = TRUE, ncp = ncol(X))
out_pca$eig # Valeurs propres
summary(out_pca)

Notes
Exemple II
Sous Python
import numpy as np
from sklearn.decomposition import PCA
pca = PCA(n_components = 10)
pca.fit(X)
dir(pca)
Notes
Section 6
Pratique de l’ACP
Notes
Nombre d’axes à retenir
Pb : Combien d’axes principaux retenir?

De nombreux critères du nombre k ont été proposé dont les plus
courants sont :
nP o
k
La part d’inertie : kb = arg mink j=1 λj ≥ λseuil
I
n o
La règle de Kaiser : kb = arg mink λk ≥ p1 j λj = pI
P
I
I Éboulis des valeurs propres : Sélectionner la plus grande valeur kb

avant le “coude” dans le graphique des (j, λj ) présentant la
décroissance des valeurs propres.
Notes
Interprétation I
Carte des variables ou des individus

Donner le pourcentage d’inertie expliqué par le plan et chacun des
axes
Indiquer les variables et individus mal représentés dans ce plan,
pour les exclure de la description
Utiliser les contributions :
I Des variables pour interpréter les axes en termes de variables de
départ
I Des individus pour identifier les plus influents pour l’orientation
d’un axe et ceux qui ont une contribution excessive

Notes
Interprétation II
Pour une carte des variables : étudier les angles entre les
projections des variables en termes de covariance ou de corrélation
pour dégager éventuellement des groupes de variables.
Pour les cartes des individus : étudier les proximités ou oppositions
entre les points en termes de “comportement,” et dégager
éventuellement des groupes d’individus et les comportement
singuliers.
Faire une synthèse des informations et hypothèses principales
dégagées de la carte décrite.
Notes
Modélisation statistique I
On suppose que la matrices des données X représente les

réalisations de n vecteurs aléatoires aléatoires X1 , · · · , Xn à valeurs
dans Rp ;
Le modèle : on suppose qu’il existe des vecteurs zi appartenant à
un sous-espace affine Ek de dimension k de Rp , et des vecteurs
aléatoires i iid à valeurs dans Rp tels que :

 Xi
 = zi + i
E [ ]
i = 0Rp
σ2Γ

 Var ( ) =
i
où σ 2 est inconnue et Γ connue.
Notes
Modélisation statistique II
Pn
On a z := i=1 wi zi ∈ Ek .
Soit donc Ek le sous-espace vectoriel de Rp tel que
Ek = z + Ek .
Les paramètres à estimer sont alors :

I L’espace principale Ek ;
I Les effets fixes zi = E [Xi ];
I Éventuellement le niveau du bruit σ 2 .
Notes
Section 7
Exemples

Notes
“iris” I
require(dplyr)
?iris
iris %>% head()
Sepal.Length Sepal.Width Petal.Length Petal.Width Species

5.1 3.5 1.4 0.2 setosa
4.9 3.0 1.4 0.2 setosa
4.7 3.2 1.3 0.2 setosa
4.6 3.1 1.5 0.2 setosa
5.0 3.6 1.4 0.2 setosa
5.4 3.9 1.7 0.4 setosa
Notes
“iris” II
require(FactoMineR)
require(factoextra)
acp_iris = PCA(iris, scale.unit = TRUE,
ncp = 4, quali.sup = 5, graph = FALSE)
names(acp_iris) # Le contenu
## [1] "eig" "var" "ind" "svd" "quali.sup" "call"

as.data.frame(acp_iris$eig) # Les valeurs propres
eigenvalue percentage of variance cumulative percentage of variance

comp 1 2.9184978 72.9624454 72.96245
comp 2 0.9140305 22.8507618 95.81321
comp 3 0.1467569 3.6689219 99.48213
comp 4 0.0207148 0.5178709 100.00000
Notes
“iris” III
# Éboulis des valeurs propres
fviz_screeplot(acp_iris, ncp = 4) + theme_bw()
Percentage of explained variances
Scree plot
60
40
20
0
1 2 3 4
Dimensions
Notes
“iris” IV
# Représentation des individus

fviz_pca_ind(acp_iris, geom = "point", axes = c(1, 2),
habillage = iris$Species,
addEllipses = TRUE,
ellipse.level = 0.95) + theme_classic()

Notes
“iris” V
Individuals − PCA
2
Dim2 (22.9%)
Groups
1
setosa
0
versicolor
−1 virginica
−2
−2 0 2
Dim1 (73%)
Notes
“iris” VI
# Représentation des variables

plot.PCA(acp_iris, choix = "var")
Notes
“iris” VII
PCA graph of variables
Dim 2 (22.85%)
1.0
Sepal.Width
0.5 Sepal.Length
Petal.Width
0.0
Petal.Length
−0.5
−1.0
−1.0 −0.5 0.0 0.5 1.0
Dim 1 (72.96%)
Notes
“iris” VIII
Détection des "outliers"

boxplot.matrix(acp_iris$ind$coord)

Notes
“iris” IX
3
−3 0
Dim.1 Dim.3
Notes
“iris” X
b = boxplot(acp_iris$ind$coord[, 2])
1
−2
Notes
“iris” XI
i_outliers = as.numeric(names(b$out))
acp_iris2 = PCA(iris, scale.unit = TRUE, ind.sup = i_outliers,

ncp = 4, quali.sup = 5, graph = FALSE)
Notes
“iris” XII

fviz_pca_ind(acp_iris2, geom = "point", axes = c(1, 2),
habillage = iris$Species[-i_outliers],
addEllipses = TRUE,

Notes
“iris” XIII
Individuals − PCA
3
2
Groups
Dim2 (21%)
1
setosa
0
versicolor
−1 virginica
−2
−3
−2 0 2
Dim1 (74.6%)
Notes
“iris” XIV
# Représentation des variables

plot.PCA(acp_iris2, choix = "var") #ou
Notes
“iris” XV
PCA graph of variables
Dim 2 (20.98%)
1.0
Sepal.Width
0.5 Sepal.Length
Petal.Width
0.0
Petal.Length
−0.5
−1.0
−1.0 −0.5 0.0 0.5 1.0
Dim 1 (74.64%)
#fviz_pca_var(acp_iris, col.var="steelblue")+theme_minimal()
Notes
“iris” XVI
# Biplot
fviz_pca_biplot(acp_iris2, label = "var", axes = c(1, 2),
habillage = iris$Species[-i_outliers],
addEllipses = TRUE,

Notes
“iris” XVII
PCA − Biplot
Sepal.Width 132
3 16 118
2
Sepal.Length
Groups
Dim2 (21%)
1
Petal.Width
Petal.Length setosa
0 versicolor
−1 virginica
−2
61
−3
−2 0 2
Dim1 (74.6%)
Notes
“decathlon” I
Il s’agit d’un jeu de données décrivant les scores des 10 épreuves du

décathlon de n = 41 athlètes. En plus de ces p = 10 scores, on a aussi
le total des points, le rank et la compétition. Nous souhaitons
découvrir les relations entres les scores des différentes épreuves.
require(FactoMineR)
require(factoextra)
require(dplyr)
data("decathlon")
dim(decathlon)
names(decathlon)
Notes
“decathlon” II
L’ACP
fit_acp = PCA(decathelon, scale.unit = TRUE,
ncp = 5, quanti.sup = 11:12,
quali.sup = 13, graph = FALSE)
names(fit_acp) # Le contenu
fit_acp$eig # Les valeurs propres
# Éboulis des valeurs propres

fviz_screeplot(fit_acp, ncp = 10) + theme_bw()
Notes
“decathlon” III
Représentations graphiques

Notes
“decathlon” IV
fviz_pca_ind(fit_acp, geom = "text", axes = c(1, 2),
habillage = decathlon$Competition,
addEllipses = TRUE,

fviz_pca_var(fit_acp, col.var="steelblue")+
theme_minimal()
# Biplot
fviz_pca_biplot(fit_acp, label = "var",
habillage = decathlon$Competition,
addEllipses = TRUE,
Notes
Section 8
Références
Notes
Biblio
Practical Guide To Principal Component Methods in R

(Kassambara 2017)
Notes
Références
Cornillon, Pierre-André, Arnaud Guyader, François Husson, Nicolas

Jégou, Julie Josse, Maela Kloareg, Eric Matzner-Løber, and Laurent
Rouviere. 2008. Statistique avec R. Presses Universitaires de
Rennes. https://hal.archives-ouvertes.fr/hal-00382106.
Kassambara, Alboukadel. 2017. Practical Guide to Principal
Component Methods in r: PCA, m (CA), FAMD, MFA, HCPC,
Factoextra. Vol. 2. STHDA.

Langue

Analyse de Donnees-ACP

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Analyse de Donnees-ACP

Transféré par

Droits d'auteur :

Formats disponibles

Notes

École Nationale Supérieure Polytechnique

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 1 / 80

2 Espace métrique des individus et inerties

3 Espace métrique des variables

4 Analyse en Composantes Principales

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 2 / 80

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 3 / 80

L’ACP fait partie des méthodes exploratoires multidimensionnelles

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 4 / 80

où xij ∈ R est l’observation de la variable X j sur l’individu i, n la taille

Exemple (Cornillon et al. 2008) I

Le fichier decathlon.csv contient les résultats d’athlètes aux 10

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 7 / 80

Exemple (Cornillon et al. 2008) II

# Les dimensions du tableau

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 8 / 80

Exemple (Cornillon et al. 2008) III

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 9 / 80

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 10 / 80

Soit (ei )i la base canonique de Rp . Alors x j = X · ej

Definition (Centre de gravité)

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 11 / 80

Nuage des individus : I := {(xi , ωi )}i

Données centrées : Y := (xij − x j )i,j = X − 1n t x

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 12 / 80

Quelques définitions III

Si on pose S−1 = diag( s1j )j , on a Z = YS−1 .

R = S−1 VS−1 = S−1t YDYS−1 = t ZDZ

Note : R est la matrice des covariances des données centrées-réduites,

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 13 / 80

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 14 / 80

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 15 / 80

Espace métrique des individus et inerties

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 16 / 80

Espace métrique des individus I

(xij − xij0 )2 = t (xi − xi 0 )(xi − xi 0 ) =: kxi − xi 0 k2I

En général, on utilise une distance de la forme

où M est une matrice symétrique définie positive choisie de sorte à

Espace métrique des individus II

dS2−2 (xi , xi 0 ) = dS2−2 (yi , yi 0 )

Ainsi, le choix de dS−2 consiste en celui de la distance euclidienne sur

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 18 / 80

Inertie totale du nuage des individus I

Pour le nuage des données pondérées I = {(xi , ωi )}i et une

I It mesure la dispersion du nuage des individus autour du centre de

Pour l’ACP, l’inertie totale est considérée comme mesure de

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 19 / 80

Inertie totale du nuage des individus II

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 20 / 80

Inertie totale du nuage des individus III

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 21 / 80

Inertie totale du nuage des individus IV

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 22 / 80

Inertie totale du nuage des individus V

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 23 / 80

Inertie totale du nuage des individus VI

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 24 / 80

Inertie expliquée par un sous-espace I

Considérons le nuage des données centrées I c = {(yi , ωi )}i et soit

W. Toussile wilson.toussile@gmail.com (ENSP) Data Mining 20/07/2020 25 / 80

Inertie expliquée par un sous-espace II

PuM (yi ) = hu, yi iM u = (t uMyi )u