Cours d‘Analyse de Données

objectifs généraux de l'analyse

des données

⚫ Synthétiser, structurer l'information contenue dans des données

multidimensionnelles
(n individus, p variables).
Les objectifs que se sont fixés les chercheurs en analyse de données sont donc de répondre
aux problèmes posés par des tableaux de grandes dimensions. Les objectifs sont souvent
présentés en fonction du type de méthodes, ainsi deux objectifs ressortent : la visualisation des
données dans le meilleur espace réduit et le regroupement dans tout l'espace. Les méthodes
de l'analyse de données doivent donc permettre de représenter synthétiquement de vastes
ensembles numériques pour faciliter l'opérateur dans ses décisions. En fait d'ensembles
numériques, les méthodes d'analyse de données se proposent également de traiter des
données qualitatives, ce qui en fait des méthodes capables de considérer un grand nombre de
problèmes. Les représentations recherchées sont bien souvent des représentations
graphiques, comme il est difficile de visualiser des points dans des espaces de dimensions
supérieures à deux, nous chercherons à représenter ces points dans des plans. Ces méthodes
ne se limitent pas à une représentation des données, ou du moins pour la rendre plus aisée,
elles cherchent les ressemblances entre les individus et les liaisons entre les variables. Ces
proximités entre individus et variables vont permettre à l'opérateur déterminer une typologie des
individus et des variables, et ainsi il pourra interpréter ses données et fournir une synthèse des
résultats des analyses. Nous voyons donc que les deux objectifs précédemment cités sont très
liés voir indissociables, ce qui entraîne souvent l'utilisation conjointe de plusieurs méthodes
d'analyse de données.
Méthodes

⚫ Algèbre linéaire:
les données sont vues de manière abstraites comme un nuage
de points dans un espace vectoriel. On utilise
– Des matrices qui permettent de manipuler un ensemble de
variables comme un objet mathématique unique ;
– Des valeurs et vecteurs propres qui permettent de décrire la
structure d'une matrice.
– Des métriques : permettent de définir la distance entre deux points
de l'espace vectoriel ; on utilise aussi des produits scalaires.
⚫ Théorie des probabilités
nécessaire en statistique inferentielle (estimation, tests,
modélisation et prévision,...).
Individus et variables
⚫ Population
groupe ou ensemble d'individus que l'on analyse.

⚫ Recensement
étude de tous les individus d'une population donnée.

⚫ Sondage
étude d'une partie seulement d'une population appelée échantillon.

⚫ Variables
ensemble de caractéristiques d'une population.
– quantitatives: nombres sur lesquels les opérations usuelles (somme,
moyenne,...) ont un sens ; elles peuvent ^être discrètes (ex : nombre
d'éléments dans un ensemble) ou continues (ex: prix, taille) ;
– qualitatives: appartenance a une catégorie donnée ; elles peuvent être
nominales (ex : sexe, CSP) ou ordinales quand les catégories sont
ordonnées (ex : très résistant, assez résistant, peu résistant).
Description de données quantitatives
⚫ Définition
On appelle variable un vecteur x de taille n.
Chaque coordonnée xi correspond a un individu.
On s'intéresse ici a des valeurs numériques.

⚫ Poids
Chaque individu a éventuellement un poids pi, tel que p1+ + pn=1.
On a souvent p = 1 / n.

⚫ Représentation
histogramme en découpant les valeurs de la variable en classes.

⚫ Résumes
on dispose d'une série d'indicateurs qui ne donne qu'une vue partielle des
données : effectif, moyenne, médiane, variance, écart type, minimum,
maximum, étendue, 1er quartile, 3eme quartile, ...
Ces indicateurs mesurent principalement la tendance centrale et la
dispersion. On utilisera principalement la moyenne, la variance et l'écart
type.
Moyenne arithmétique
⚫ Définition
On note 1 n
x =  xi
n i =1
ou pour des données pondérées
n
x =  pi xi
i =1

⚫ Propriétés
la moyenne arithmétique est une mesure de tendance centrale
qui dépend de toutes les observations et est sensible aux
valeurs extrêmes. Elle est très utilisée a cause de ses bonnes
propriétés mathématiques.
Exemple d’une moyenne
statistique

⚫ X: altitude de 10 avions en 1000 mètre

07,08,10,11,11,13;13,14,15,18

07+08+10+11+11+13+13+14+15+18
= = 12
10
Exemple d’une moyenne
statistique

⚫ Exemple ou la moyenne nous ne donne pas beaucoup d’information

sur la position des avions

07,08,10,11,11,13;13,14,15,18
12
03,04,04,07,07,17;19,19,20,20
12
11,11,12,12,12,12;12,12,13,13
12
⚫ La variance nous donne plus d’information sur la distribution des
avions par rapport a la moyenne d’altitude
Variance et ecart-type

⚫ Définition
la variance de x est définie par
n n
1
s x2 =  ( xi − x) 2 ou s x2 =  pi ( xi − x) 2
n i =1 i =1
L'écart type sx est la racine carrée de la variance.
⚫ Propriétés
La variance satisfait la formule suivante
1 n
s =  pi x i2 − ( x) 2
2
x
n i =1
La variance est « la moyenne des carres moins le carre de la
moyenne ». L'ecart-type, qui a la même unité que x, est une
mesure de dispersion.
Mesure de liaison entre deux variables

⚫ Définitions la covariance observée entre deux variables x et y est

n n
s xy =  pi ( xi − x)( yi − y ) =  pi xi yi − xy
i =1 i =1

et le cœfficient de r de Bravais-Pearson ou coefficient de

corrélation est donnée par
n

s xy  p ( x − x )( y
i i i − y)
rxy = = i =1
s xs y n 2 n

 pi ( xi − x)
i =1
 i i
p (
i =1
y − y ) 2
Propriétés du coefficient de corrélation

⚫ Borne
On a toujours (inégalité de Cauchy Schwarz)
− 1  rxy  1
⚫ Variables liées

rxy = 1  axi + byi ) = c 1  i  n

|rxy| = 1 si et seulement si x et y sont linéairement liées
En particulier, rxx = 1.

⚫ Variables décorrélées
si rxy = 0, on dit que les variables sont decorrelees.
Cela ne veut pas dire qu'elles sont indépendantes !
Corrélation et liaison significative
⚫ Problème
A partir de quelle valeur de rxy peut-on considérer que les variables x et y
sont liées?

⚫ Domaine d'application
on se place dans le cas ou le nombre d'individus est n > 30.

⚫ Méthode
si x et y sont deux variables gaussiennes indépendantes, alors on peut
montrer que
(n − 2)rxy2
1 − rxy2
suit une loi de Fischer-Snedecor F(1; n-2). Le résultat est valable dans le
cas non gaussien pour n > 30.
Le test
⚫ on se fixe un risque d'erreur (0,01 ou 0,05 en général) et on
calcule la probabilité

(n − 2)rxy2
P( F (1, n − 2)  ) =
1− r 2
xy

⚫ Si π < α on considère que l'événement est trop improbable et

que donc que l'hypothèse originale d'indépendance doit être
rejetée au seuil . On trouvera en général ces valeurs dans une
table pré-calculée de la loi F.
Interlude : notation matricielle
⚫ Matrice
tableau de données carre ou rectangulaire.

⚫ Vecteur
matrice a une seule colonne.

⚫ Cas particuliers

1 ... 0 1
I =      1 = 
0 ... 1 1

⚫ Transposition de matrice
échange des lignes et des colonnes d'une matrice ; on note M’ la
transposée de M.
Tableau de données
⚫ Pour n individus et p variables, on a le tableau
X est une matrice rectangulaire a n lignes et p colonnes

 x11 x12 x1p 

...
 1 
 x2 x22 
  
X = ( x ,..., x ) = 
1 p
j 
 xi 
  
 1 
 xn xn 
p
...
Vecteurs variable et individu

⚫ Variable
Une colonne du tableau
 x1j 
 j
 x2 
x =
j
 
 j
 xn 
⚫ Individu
Une ligne du tableau

ei ' = ( xi1 xi2 xip )

La matrice des poids

⚫ Pourquoi
utile quand les individus n'ont pas la même importance

⚫ Comment
on associe aux individus un poids pi tel que
p1 + p2 + ... + pn = 1
et on représente ces poids dans la matrice diagonale de taille n

 p1 ... 0
 p2 
D= 
  
 
0 ... pn 
⚫ Cas uniforme
tous les individus ont le même poids pi = 1 / n et D = I / n
Point moyen et tableau centré

⚫ Point moyen
c'est le vecteur g des moyennes arithmétiques de chaque variable :
1 p
g' = (x ... x )
n
x =  pi xij
j
ou
i =1

g = X ' D1
On peut aussi écrire

Tableau centré
il est obtenu en centrant
j
les variables autour de leur moyenne
yij = xij − x
ou, en notation matricielle,
Y = X − 1g ' = ( I − 11' D ) X
Matrice de variance covariance
⚫ Définition
c'est une matrice carrée de dimension p
 s11 s12 ... s1p 
 1 
 s2 s22 
V=
  
 1 p
 s p ... s p 
ou skl est la covariance des variables xk et xl et s2j est la
variance de la variable x j
⚫ Formule matricielle
V = X ' DX − gg ' = Y ' DY
Matrice de corrélation

⚫ Définition
Si l'on note 1 r12  r1p 
 1 
skl  r2 1 
rkl = R=
sk sl   
 1 
 s p  1 

1 
s 0
⚫ Formule matricielle  1 
 1
 
R = D 1 VD 1 D1 = s2 
s s s   
 
0 1
 s p 