Régression linéaire

1 Objectif de la régression linéaire:

La régression linéaire est une méthode en statistique utilisée dans l'analyse des données. Son but
est de chercher à établir une relation linéaire entre deux variables. Cela permet par la suite d'établir
une courbe prévisionnelle.

1.1 Exemple d'application:

Existe-t-il une relation linéaire entre le nombre d'heures passées à étudier les maths X et le résultat
au test Y ?

Heures X 1 3 3 5

Résultats (Notes) Y 3 4 6 5

1.2 Exemple de nuage de points:

La droite de régression doit passer au mieux par tous les points du nuage.
 2 MÉTHODE DES MOINDRES CARRÉS

La méthode pour tracer cette courbe s'appelle : la méthode des moindres carrés.

2 Méthode des moindres carrés

Soit Y = aX + b l'équation de la droite.

2.1 Étude des liaisons entre deux caractère:

2.1.1 La covariance:
Pour avoir une idée sur la varation simultanée de X et Y , on peut utiliser la covariance dénie
comme suit:
Cov(X, Y ) = XY − X̄ · Ȳ

Interprétation:
ˆ Si la covariance est de signe positif, les variables varient dans le même sens (ou covarient).

ˆ Si la valeur de la covariance est de signe négatif cela signie que les variables varient en sens
inverse.

2.1.2 Le coecient de corrélation linéaire:

Généralement noté r(X, Y ), le coecient de corrélation linéaire quantie la force du lien linéaire
entre les deux caractères d'une distribution.

Si V ar(X) ̸= 0 et V ar(Y ) ̸= 0, alors:

Cov(X, Y )
r(X, Y ) = .
σ(X) · σ(Y )
On a toujours :

−1 ≤ r(X, Y ) ≤ 1.

2.2 Droite des moindres carrés

Si la variance de X est non nulle, il existe une unique droite minimisant l'écart total telle que:

b = Ȳ − a · X̄

2
2.2 Droite des moindres carrés 2 MÉTHODE DES MOINDRES CARRÉS

et:
Cov(X, Y ) XY − X̄ · Ȳ
a= =
V (X) X 2 − X̄ 2
Application:

Le tableau ci-dessous contient tous les calculs nécessaires.

On a:
(14.5 − 3 × 4.5)
a= = 0, 5
(11 − 9)
et:
b = 4.5 − 0.5 × 3 = 3

L'équation de la droite est donnée par :

Y = 0.5X + 3.

Maintenant on trace la droite en choisissant deux points arbitraires par lesquels passe notre droite.

3
2.2 Droite des moindres carrés 2 MÉTHODE DES MOINDRES CARRÉS

On mesurer maintenant la qualité de l'ajustement par calculer le coecient de corrélation linéaire

r(X,Y) pour voir si la droite obtenue est adaptée au valeur de X et Y.

On a:

Cov(X, Y
r(X, Y ) =
σ(X) · σ(Y )
avec:

V (X) = σ(Y )2 = 11 − (3)2 = 2

où σ(X) est l'écart type de la variable X .

Et on a:
V (Y ) = σ(Y )2 = 21.5 − (4.5)2 = 1.25

où σ(Y ) est l'écart type de la variable Y .

Par conséquent:

Cov(X, Y ) 1
r(X, Y ) = =√ √ = 0.630
σ(X) · σ(Y ) 2 1.25

4
2.2 Droite des moindres carrés 2 MÉTHODE DES MOINDRES CARRÉS

Signication du coecient de corrélation linéaire r(X, Y ):

On peut considérer que si r ≥ 0, 87, alors la corrélation est bonne.