Académique Documents
Professionnel Documents
Culture Documents
"ADD"
Objectifs
- Chapitre I: Analyse en Composantes Principales (ACP) 4
1. Initiation et rappels analyse des données ........................................................................4
1.1. Qu'est-ce que l'Analyse de Données ? .........................................................................................................4
1.2. Rappel statistique descriptive et de la probabilité.....................................................................................5
1.3. Ajustement linéaire et Corrélation ..............................................................................................................8
1.4. Rappel Algèbre linéaire..............................................................................................................................14
2
Objectifs
Lʼobjet de ce cours est de présenter les principes de lʼanalyse des données. Le
programme rassemble un groupe de techniques aux fondements mathématiques qui
permet dʼappréhender la structure de lʼinformation contenue dans un espace à
plusieurs dimensions.
A l'issue de ce cours, lʼétudiant sera capable de :
Traiter et décrire l'information contenue dans des grands ensembles de données.
Comprendre les moyens théoriques et pratiques pour exploiter les informations issues de base de
données statistiques multidimensionnelles grâce aux méthodes dʼanalyse statistique multivariées.
Comprendre les mécanismes qui justifient l'emploi de telle ou telle méthode
Interpréter correctement les graphiques et résultats fournis par les logiciels.
3
I Chapitre I: Analyse en Composantes
Principales (ACP)
Ce chapitre introduit l'Analyse en Composantes Principales (ACP) en tant que technique essentielle pour
simplifier des données multivariées complexes. L'ACP cherche à révéler des motifs dans les données en
trouvant des combinaisons linéaires appelées composantes principales. Il couvre les principes fondamentaux,
l'interprétation et les aspects géométriques de l'ACP, offrant des outils pour réduire la dimensionnalité des
données et comprendre les données multivariées, améliorant ainsi les capacités d'analyse des données.
4
Chapitre I: Analyse en Composantes Principales (ACP)
Graphic 1
Vocabulaire statistique
Description Example
Une variable est une caractéristique qui La température corporelle est une
change ou varie avec le temps et/ou d'un variable qui change au fil du temps chez
variable
individu ou d'un objet à l'autre pris en un individu donné ; elle varie également
considération. d'une personne à une autre.
5
Chapitre I: Analyse en Composantes Principales (ACP)
Description Example
n
∑
n
i=1
xi ,
Example :
Considérons un échantillon contenant les notes annuelles de 5 étudiants dans le domaine de la statistique
inférentielle, notées x = 13, x = 16, x = 10, x = 4, etx = 6. Dans ce contexte, la moyenne
1 2 3 4 5
arithmétique est calculée en ajoutant toutes les notes et en divisant la somme par le nombre d'étudiants.
Mathématiquement, cela peut être exprimé par la formule :
¯x1 +x2 +x3 +x4 +x5 49
X = = = 9.8
5 5
Visuellement, si nous représentons ces notes sur un graphique, la note x = 13 peut être vue comme la
1
distance moyenne par rapport au point d'origine (0, 0). La moyenne arithmétique représente la
distance moyenne des notes de tous les étudiants par rapport à ce point central.
Definition : Variance
La variance peut être définie comme la moyenne des carrés des différences entre chaque point de données
de l'échantillon et la moyenne.
Visuellement, si nous représentons ces notes sur un graphique, la distance au carré entre la note x 1
= 13 et
la moyenne= 9, 8 est égale à (13 − 9, 8) = 3, 2 = 10, 24.
2 2
6
Chapitre I: Analyse en Composantes Principales (ACP)
La distance moyenne au carré par rapport à la moyenne peut être exprimée mathématiquement comme suit :
¯ 1 n=5 2
V (X) = ∑i=1 (xi − X)
n
Lorsque l'écart (distance) entre les points de données et la moyenne est plus grand, cela signifie que nos
données sont plus dispersées. Par conséquent, des valeurs plus élevées de la variance indiquent une
dispersion accrue des données, tandis que des valeurs plus faibles indiquent le contraire.
Definition : La Covariance
La Covariance (Cov(X, Y )) est une mesure de la manière dont deux variables évoluent ensemble, indiquant
si elles ont tendance à augmenter ou à diminuer simultanément. En termes plus simples, la covariance aide à
évaluer s'il existe une association linéaire entre deux variables (X, Y ) et, le cas échéant, si cette association
est positive ou négative. Elle est représentée mathématiquement comme suit :
¯
¯
1 n
Cov(X, Y ) = ∑ (xi − X)(yi − Y )
n i=1
La covariance peut être influencée par l'échelle des variables, rendant les comparaisons entre les ensembles
de données difficiles. Pour standardiser la mesure, les chercheurs utilisent souvent le coefficient de
corrélation (r), qui est la covariance divisée par le produit des écarts-types des variables.
c) Autres concepts
Variables aléatoire :
Une variable aléatoire X est une fonction mathématique qui attribue une valeur à chaque résultat possible
d'une expérience aléatoire.
Par exemple, si nous définissons X comme "le résultat d'un lancer de dé", alors X peut prendre les valeurs
, , , , , .
1 2 3 4 5 6
Où
σx est l'écart-type de l'ensemble de données.
La standardisation recentre les données autour de zéro et les rééchelonne, ce qui les rend adaptées aux
algorithmes qui supposent une distribution normale des données, tels que la régression linéaire et l'analyse
en composantes principales (PCA).
Variable centrée (Mean Centering):
Centering, ou centrer les données, est une technique de prétraitement des données utilisée pour décaler les valeurs
des données de manière à ce que leur moyenne devienne zéro. Ce processus consiste à soustraire la valeur moyenne
à chaque point de données. Le centrage est particulièrement utile lorsqu'il s'agit de caractéristiques
ayant des unités différentes ou lorsque les valeurs absolues des points de données ne sont pas aussi importantes
que leurs différences relatives par rapport à la moyenne.
La formule pour recentrer une variable X est la suivante :
¯
xic entre = xi − X
7
Chapitre I: Analyse en Composantes Principales (ACP)
Le centrage "reloge" efficacement les données autour d'un nouveau point de référence (zéro), ce qui facilite
leur interprétation et leur analyse. Cette technique est couramment utilisée dans diverses applications
statistiques et de modélisation pour simplifier l'analyse des données et améliorer l'interprétabilité des
résultats.
Nuage de points
Un graphique de dispersion, également connu sous le nom de nuage de points , est une représentation
graphique de points de données dans un espace bidimensionnel. Il est couramment utilisé pour afficher la
relation entre deux variables ou pour montrer la distribution des points de données.
Dans un nuage de points, chaque point de données est représenté par un point ou un marqueur sur le
graphique, avec une variable tracée sur l'axe horizontal (axe des x) et l'autre variable tracée sur l'axe vertical
(axe des y), formant ainsi un point (x , y ).
i i
Graphic 2 Scatterplot
8
Chapitre I: Analyse en Composantes Principales (ACP)
2 La Nature de la Relation
Relation linéaire
Example :
Considérez X et Y comme deux variables représentant l'âge et le prix d'une voiture d'occasion,
respectivement, comme indiqué dans le tableau ci-dessous :
X 2 3 5 7 9 10
Y 1 4 7 11 14 17
9
Chapitre I: Analyse en Composantes Principales (ACP)
Les données du tableau sont représentées visuellement à travers un nuage de points, comme illustré ci-
dessous :
Graphic 4
Comme le montre le graphique, le graphique de dispersion peut être approximé par une ligne droite, ce qui
suggère une relation linéaire entre X et Y .
Graphic 5
10
Chapitre I: Analyse en Composantes Principales (ACP)
Graphic 6
La minimisation des distances implique l'utilisation de la méthode des moindres carrés bien connue, qui
consiste à déterminer la ligne d'ajustement de manière à minimiser la somme des écarts carrés, notée d , d , 1 2
et ainsi de suite :
n
∑i=1 di = min
Les valeurs des constantes (paramètres) a et b de l'équation Y = aX + b sont obtenues par la résolution
simultanée des équations normales associées à la ligne des moindres carrés. Cela conduit au résultat suivant
:
Cov(X,Y )
a =
V (X)
¯
¯
b = Y − aX
Avec :
¯
¯
¯
¯
1 n 1 n
Cov(X, Y ) = ∑i=1 (xi − X)(yi − Y ) = ∑i=1 xi yi − X Y
n n
et:
2
¯
¯
1 n 2 1 n 2
V (X) = ∑ (xi − X) = ∑ x − X
n i=1 n i=1 i
Note :
La méthode des moindres carrés permet la création de la ligne de régression pour X par rapport à Y ou pour
Y par rapport à X .
Example : Exemple
Calcul des paramètres de régression (ligne d'ajustement Y=aX+b) en utilisant la méthode des moindres carrés
en se basant sur l'ensemble de données suivant.
données X & Y
11
Chapitre I: Analyse en Composantes Principales (ACP)
xi yi
2 7
4 10
6 13
8 15
9 20
13 28
Solution :
Dans cet exemple, nous voulons déterminer la relation linéaire entre la variable indépendante X et la variable
dépendante Y. Nous utiliserons la méthode des moindres carrés pour trouver la meilleure ligne d'ajustement
(ligne de régression linéaire).
Étape 1 : Calcul des moyennes
¯−
Moyenne de X : X = (2 + 4 + 6 + 8 + 9 + 13)/6 = 42/6 = 7
−
¯
Moyenne de Y : Y = (7 + 10 + 13 + 15 + 20 + 28)/6 = 93/6 = 15, 5
Calcules
¯
¯
¯
¯ −
− − −
xi yi xi yi 2 −
xi − X yi − Y (xi − X) (yi − Y )
(xi − X )
2 7 14 -5 -8.5 25 42.5
4 10 40 -3 -5.5 9 16.5
6 13 78 -1 -2.5 1 2.5
9 20 180 2 4.5 4 9
13 28 364 6 12.5 36 75
42 93 796 - - 76 145
¯
1 n 2 76
V (X) = ∑i=1 (xi − X) = = 12.67
n 6
¯
¯
b = Y − aX = 15.5 − (1.908). (7) = 2.145
12
Chapitre I: Analyse en Composantes Principales (ACP)
Graphic 7
1 Corrélation linéaire
Note :Remarque
Le coefficient de corrélation nous fournit des informations sur la présence d'une relation linéaire
(sous la forme d'une ligne droite) entre les deux variables en question.
Un coefficient de corrélation nul n'implique pas l'absence de toute relation entre les deux
variables. Il pourrait toujours y avoir une relation non linéaire entre elles.
La corrélation ne doit pas être confondue avec les relations de cause à effet. L'existence d'une
corrélation, quelle que soit sa force, n'est jamais une preuve d'une relation de cause à effet.
13
Chapitre I: Analyse en Composantes Principales (ACP)
Graphic 8
Graphic 9
Graphic 10
14
[cf.]
Exemple: Soit : [
Exemple: Si u
2
||u||
=
= [2, 3, 4] ⋅
⟨u, v⟩ = u
λ = 2 :
T
Nous avons :
⎢⎥
Formule du produit scalaire : Le produit scalaire de deux vecteurs
⟨u, v⟩ = ||u|| ⋅ ||v|| ⋅ cos(θ) = u v.
v = [1
⎣
and v
4
⎤
2 ⋅ 1
2 ⋅ 2
and
= [
= 2
− 1][
⎡
2
4
6
1
+ 3
. Alors, ⟨u, v⟩
, Alors, ⟨u, v⟩
= 3 ⋅ 1 + 4 ⋅ 2 = 11
Produit scalaire élément par élément : Le produit scalaire peut également s'exprimer comme la
somme des produits élément par élément: ⟨u, v⟩ = ∑ u v .
n
i=1
= 4 + 9 + 16 = 29
] = (1 ⋅ 2) + (−1 ⋅ 2) = 0
] = [3, 4] ⋅ [
2
4
= [
3
4
]
i i
= 1 ⋅ 4 + 2 ⋅ 5 + 3 ⋅ 6 = 32
i=1
u
= λ⟨u, v⟩,
and v
] = (3 ⋅ 2) + (4 ⋅ 4) = 22
=
= [
.
2
⎡
]
2
4
u
⎤
.
⎦
∀λ ∈ R
et v est donné par :
= ⟨v, u⟩ = v
T
15
Chapitre I: Analyse en Composantes Principales (ACP)
16
et :
2⟨u, v⟩ = 2 ⋅ [3, 4] ⋅ [
Exemple : Matrice: A
lignes et p colonnes.
A(n,p) =
Exemple:
Exemple :
Matrice: A
.
T
A = [
(A. B)
A =
T
3
−2
implique
1. Matrice: A
2. Transposée: A
T rA = 3 + 4 = 7
= B
=
√2
√2
4
1
⎡
T
]
(3,2)
√2
√2
−1
√2
√2
1
A
T
=
⎤ ⎡
⎦ ⎣
.A
T
1
T
(p, n)
−1
√2
√2
.
T
⎢⎥
] = 2 ⋅ (3 ⋅ 1 + 4 ⋅ 2) = 22
Comme vous pouvez le voir, les deux équations donnent le même résultat.
= A
1
√2
−1
√2
2
.
3
Supposons que nous ayons une matrice A d'ordre (3, 2), ce qui signifie qu'elle a 3 lignes et 2 colonnes.
(2,3)
⎡
= [
1
5
2
2
⎤
4
5
6
]
Remarque : si le nombre de lignes est égal au nombre de colonnes d'une matrice A, on dit que A est
Matrices orthogonales : Une matrice orthogonale A est une matrice pour laquelle le produit de la
matrice et de sa transposée est égal à la matrice identité A . A = I
$Aisorthogonalbecause$A
√2
√2
1
1
⎤
⎦
= [
1
(n,p)
Trace de la matrice : La trace d'une matrice, TrA, est la somme de ses éléments diagonaux.
Exemple : Supposons que nous ayons la matrice carrée suivante A :
]
T
T
A = I
∗ B(p,m) = C(n,m) .
T
Example :
Supposons que nous ayons deux matrices, la matrice A (2,3)
et la matrice B
(3,4)
1 2 3
A = [ ]
4 5 6
7 8 9 10
⎡ ⎤
B = 11 12 13 14
⎣ ⎦
15 16 17 18
74 80 86 92
La matrice C (2,4)
= A. B = [ ]
173 188 203 218
[cf.]
Déterminant d'une matrice : Il existe plusieurs méthodes pour calculer le déterminant d'une matrice, chacune adaptée à différentes situations. Voici deux
méthodes couramment utilisées :
1. Expansion par les mineurs (développement par les cofacteurs) : Cette méthode convient aux matrices de petite à moyenne taille.
a b
Pour une matrice 2x2 det(A) = = ad − bc
c d
Pour les matrices plus grandes : vous pouvez développer le long d'une ligne ou d'une colonne de votre choix :
n i+j
det(A) = ∑i=1 (−1) aij det(Aij )
Où a est l'élément de la i-ème ligne et de la j-ème colonne de la matrice A, et A est la matrice obtenue en supprimant la i-ème ligne et la j-
ij ij
ème colonne de A.
2. Shortcut method:
2 −1 2
9 0 −6
17
Chapitre I: Analyse en Composantes Principales (ACP)
Valeurs propres et vecteurs propres : les valeurs propres et les vecteurs propres sont essentiels pour
diverses applications en algèbre linéaire et en analyse de données.
Soit athbf A une matrice carrée d'ordre p. Une valeur propre λ de la matrice A existe s'il existe un
vecteur colonne non nul v satisfaisant à l'équation : A v (p,p) (p,1)
= λv(p,1) .
Cette relation peut s'exprimer comme suit (:A − λI)v = 0 , Où , I est la matrice identité.
La technique pour calculer les valeurs propres d'une matrice consiste à résoudre son polynôme
caractéristique :
det(A − λI) = 0
Autres rappels:
1. Trace des matrices :
trace(ABC) = trace(BCA) = trace(CAB)
λ0 0 ⋯ 0
⎡ ⎤
0 λ1 ⋯ 0
⋮ ⋮ ⋱ ⋮
⎣ ⎦
0 0 ⋯ λn
Vecteur unitaire: Un vecteur unitaire, noté u, est un vecteur ayant une norme de 1, représentée
comme ||u|| = 1 (normalized).
Pour normaliser un vecteur v, vous pouvez diviser ses composantes par sa norme, ce qui donne un
vecteur unitaire : u = v
∥v∥
La projection d'un vecteur v sur un axe D est calculée à l'aide du produit scalaire de v et d'un vecteur
unitaire u aligné avec l'axe D :
Projection(v, D) = v ⋅ u
Ces règles sont utilisées pour les transformations de coordonnées en analyse de données.
Pour calculer la distance euclidienne au carré entre deux vecteurs x et , vous pouvez utiliser la
y
formule suivante :
2 2 n 2
d (x, y) = ∥x − y∥ = ∑ (xi − yi )
i=1
Minimum avec contrainte : Dans ce contexte, nous cherchons à déterminer la valeur de u qui
maximise la fonction Q(u) tout en satisfaisant la contrainte G(u) = 0.
Pour ce faire, nous introduisons la fonction de Lagrange, notée L(u), définie comme suit :
L(u) = Q(u) − λG(u)
G(u) = 0
Dans le contexte de l'Analyse en Composantes Principales (PCA), u est souvent appelé l'axe factoriel,
0
18