Régression linéaire

I- Le modèle de régression linéaire

Nous examinons l’exemple de prédiction de la dureté d’un type de bois (Janka) en fonction de
sa densité. Nous avons obtenu les mesures suivantes.

Table1: Density and hardness of Australian timber Janka.

Density Hardness Density Hardness Density Hardness
24.7 484 39.4 1210 53.4 1880
24.8 427 39.9 989 56.0 1980
27.3 413 40.3 1160 56.5 1820
28.4 517 40.6 1010 57.3 2020
28.4 549 40.7 1100 57.6 1980
29.0 648 40.7 1130 59.2 2310
30.3 587 42.9 1270 59.8 1940
32.7 704 45.8 1180 66.0 3260
35.6 979 46.9 1400 67.4 2700
38.5 914 48.2 1760 68.8 2890
38.8 1070 51.5 1710 69.1 2740
39.3 1020 51.5 2010 69.1 3140

L’idée est bien sûr que nous croyions que la dureté est fonction de la densité :

𝑑𝑢𝑟𝑒𝑡𝑒 = 𝑔(𝑑𝑒𝑛𝑠𝑖𝑡𝑒),

Avec 𝑔 est une certaine fonction.

Cette croyance est supportée en partie par le nuage de points de la figure 1 obtenu à partir de
la table 1.
Un regard plus attentif à cette table suggère qu’il y a un aspect aléatoire. Néanmoins, la valeur
de densité 51.5 lui correspond 2 valeurs de dureté). Le nouveau modèle est

𝒅𝒖𝒓𝒆𝒕𝒆 = 𝒈(𝒅𝒆𝒏𝒔𝒊𝒕𝒆) + 𝒇𝒍𝒖𝒄𝒕𝒖𝒂𝒕𝒊𝒐𝒏 𝒂𝒍𝒆𝒂𝒕𝒐𝒊𝒓𝒆

La question est quelle fonction colle t’elle au mieux à ce nuage de points ?

Dans notre cas nous suggérons une fonction 𝑔 lineaire 𝑔(𝑥) = 𝑎𝑥 + 𝑏. Nous parlons d’un
modèle simple de régression linéaire dont la définition est

Définition : Considérons une base de données bivariée (bivariate) :

(𝑥 , 𝑦 ), (𝑥 , 𝑦 ), … , (𝑥 , 𝑦 ).

Nous supposons que les 𝑥 , 𝑥 , … , 𝑥 sont non aléatoires mais 𝑦 , 𝑦 , … , 𝑦 sont des
réalisations de variables aléatoires 𝑌 , 𝑌 , … , 𝑌 tel que
𝑌 = 𝑎𝑥 + 𝑏 + 𝑈 Avec
𝑈 , 𝑈 , … , 𝑈 sont des v.a. indépendantes qui représentent les fluctuations avec
𝐸(𝑈 ) = 0 et 𝑉𝑎𝑟(𝑈 ) = 𝜎 .
Nomenclature :

La ligne 𝑦 = 𝑎𝑥 + 𝑏 = ligne de régression linéaire

𝑎 = 𝑝𝑒𝑛𝑡𝑒, 𝑏 = 𝑖𝑛𝑡𝑒𝑟𝑐𝑒𝑝𝑡,

𝑥 = 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑒𝑥𝑝𝑙𝑖𝑐𝑎𝑡𝑖𝑣𝑒 (𝑒𝑥𝑝𝑙𝑎𝑛𝑎𝑡𝑜𝑟𝑦 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒),

𝑦 = 𝑣𝑎𝑟𝑖𝑎𝑏𝑙𝑒 𝑑𝑒𝑝𝑒𝑛𝑑𝑒𝑛𝑡𝑒 𝑜𝑢 𝑟𝑒𝑝𝑜𝑛𝑠𝑒 (𝑟𝑒𝑠𝑝𝑜𝑛𝑠𝑒)

L’Independence des 𝑈 implique l’Independence des 𝑌 . Par contre, les 𝑌 ont des distributions
différentes quand les valeurs explicatives sont fixes. Nous supposons, les 𝑌 ont même variance.
Donc :

𝐸(𝑌 ) = 𝑎𝐸(𝑥 ) + 𝑏 + 𝐸(𝑈 ) = 𝑎𝑥 + 𝑏 𝑒𝑡 𝑉𝑎𝑟(𝑌 ) = 𝜎 .

La pente 𝑎 et l’intercept 𝑏 sont les paramètres à déterminer.

II- L’estimateur moindres carres (MC)

Le maximum de vraisemblance (MV) fournit un moyen pour estimer des paramètres quelconques
dans un modèle quand nous connaissons la distribution. Malheureusement, il n’est pas universel.
Nous montrons alors comment nous utilisons l’estimateur des moindres carres (MC) pour
estimer les paramètres 𝑎 et 𝑏 dans un modèle linéaire. La relation entre (MV) et (MC) sera aussi
investiguée la distribution des 𝑌 est connue.

1- Moindres carres et régression

Rappelons le modèle de régression linéaire pour une base de données bivariée

(𝑥 , 𝑦 ), 𝑖 = 1. . 𝑛,
avec les 𝑥 fixes et les 𝑦 réalisations de v.a 𝑌 . On a
𝑌 = 𝑎𝑥 + 𝑏 + 𝑈
Avec les 𝑈 sont les fluctuations (bruits) aléatoires et indépendantes de même moyenne et
variance
𝐸(𝑈 ) = 0 et 𝑉𝑎𝑟(𝑈 ) = 𝜎 .

Nous choisissons 𝑎 et 𝑏 de telle manière que la droite colle au mieux aux données (Fig2).
La méthode des moindres carres (MC) classique est minimiser la somme des erreurs au carré
entre la valeur observée 𝑦 et la valeur estimée (prédite) par la droite (𝑎𝑥 + 𝑏) (Fig4).
On obtient

min 𝑅(𝑎, 𝑏) = min (𝑦 − (𝑎𝑥 + 𝑏)) = min 𝑟

, , ,

La fonction 𝐸(𝑎, 𝑏) est quadratique donc elle a une solution unique.

= 0 𝑒𝑡 = 0 donc

⎧ 2(𝑦 − 𝑎𝑥 − 𝑏) (−𝑥 ) = 0 ⎧𝑎
⎪ 𝑥 +𝑏 𝑥 = 𝑥 𝑦
⎪ ⎪
donc
⎨ ⎨
⎪ ⎪ 𝑎 𝑥 + 𝑛𝑏 = 𝑦
⎪ 2(𝑦 − 𝑎𝑥 − 𝑏) (−1) = 0 ⎩
⎩

𝑛∑𝑥 𝑦 − ∑𝑥 ∑𝑦
⎧𝑎 =
On obtient 𝑛 ∑ 𝑥 − (∑ 𝑥 )
⎨
⎩ 𝑏 = 𝑦 − 𝑎𝑥

Remarque:
L’équation 2 donne 𝑎𝑥 + 𝑏 = 𝑦 ce qui signifie que toujours (𝑥̅ , 𝑦 ) ∈ droite de régression.

Dans l’exemple du bois de Janka, on obtient le système suivant

81 750.2 𝒂 + 1646.4 𝒃 = 2 790 525

1646.4 𝒂 + 36 𝒃 = 52 901

Apres résolution, nous avons les estimations 𝒂 = 𝟓𝟕. 𝟓𝟏 𝒆𝒕 𝒃 = −𝟏𝟏𝟔𝟎. 𝟓.

Dans notre cas la droite de régression estimée est 𝑦 = 57.51 𝑥 − 1160.5 .
En passant aux variables aléatoires
𝑛 ∑ 𝑥 𝒀𝒊 − ∑ 𝑥 ∑ 𝒀𝒊
⎧𝑨𝒏 =
𝑛 ∑ 𝑥 − (∑ 𝑥 )
⎨
⎩ 𝑩𝒏 = 𝒀𝒏 − 𝑨𝒏 𝑥

2- Estimateurs MC sont non biaisés.

Nous montrons suite à des calculs que 𝐸(𝐴 ) = 𝑎 ce qui montre qu’il n’est pas biaisé. Nous
avons aussi

1 1
𝐸(𝐵 ) = 𝐸(𝑌 − 𝑎 𝑥 ) = 𝐸(𝑌 ) − 𝑥 𝐸(𝐴) = (𝑎𝑥 + 𝑏) − 𝑥 𝑎
𝑛 𝑛
= 𝑎𝑥 + 𝑏 − 𝑥 𝑎 = 𝒃

Remarque : En regardant de plus près le nuage de points, nous pourrions se demander si

𝑦 = 𝑎𝑥 + 𝑏𝑥 + 𝑐 est plus approprie. Il s’agit de la régression linéaire multiple.
Exercice :

Nous avons relevé pour un groupe d’élèves les notes de contrôle continu en mathématiques 𝑥 (note
sur 100) et les notes correspondantes 𝑦 dans l’examen final

𝑥 40 55 60 65 70 75 80 86 90 94
𝑦 30 45 65 70 60 85 75 92 88 98

1) Dessiner ce nuage de points.

2) Nous voulons déterminer la meilleure régression linéaire (une droite approchant les
points) 𝑦 = 𝑓(𝑥) avec 𝑓(𝑥) = 𝑎𝑥 + 𝑏 ou 𝑎 et 𝑏 sont les coefficients inconnus. Cette
technique s’appelle la méthode des moindres carres.
a) Ecrire la somme au carré des erreurs de 𝑓(𝑥 ) par rapport a 𝑦 .
b) Trouver 𝑎 et 𝑏.
c) Prédire le résultat d’un étudiant qui a obtenu 73 au contrôle continu.