Vous êtes sur la page 1sur 24

Dr.

Samia AYARI

Chapitre 1 : Le modèle de régression


linéaire simple

Introduction
La relation de causalité entre deux ou plusieurs variables quantitatives peut être
modélisée par une régression linéaire. La régression permet d’analyser la
manière dont une variable (dite expliquée ou endogène) est affectée par les
valeurs d’une ou plusieurs autres variables (dites explicatives ou exogènes). La
désignation linéaire correspond au faite que la variable endogène s’exprime
linéairement en fonction de la (ou des) variable(s) exogène(s).
On distingue deux types de modèles de régression linéaire : le modèle de
régression linéaire simple et le modèle de régression linéaire multiple. Dans le
modèle de régression linéaire simple, la variable endogène est expliquée par une
seule variable exogène. Alors que dans le modèle de régression linéaire
multiple, la variable endogène est expliquée par plusieurs variables exogènes.

I. Présentation du modèle de régression linéaire simple


Considérons le modèle linéaire suivant :
𝑦𝑡 = 𝑎 + 𝑏𝑥𝑡 + 𝜀𝑡 , avec t=1,2,…,T (série chronologique ou temporelle),
Ou bien
𝑦𝑖 = 𝑎 + 𝑏𝑥𝑖 + 𝜀𝑖 , avec i=1,2,…,N (série spatiale)
Avec
 𝑦𝑡 : variable endogène (variable à expliquer)
 𝑥𝑡 : variable exogène (variable explicative)
 𝜀𝑡 : terme d’erreur (variable aléatoire)
 𝑎 et b : paramètres du modèle à estimer.

1
Dr. Samia AYARI

II. Les hypothèses du modèle de régression linéaire


simple
𝐻1 : Le modèle est linéaire en x ou en n’importe quelle transformation de x.
𝐻2 : La variable x est observée sans erreur (𝑥 est une variable non aléatoire et
observable).
𝐻3 : E(𝜀𝑡 )=0, ∀ 𝑡 = 1, … , 𝑇.
𝐻4 : var(𝜀𝑡 )=𝜎 2 , ∀ 𝑡 = 1, … , 𝑇 ; on parle dans ce cas d’un modèle
homoscédastique.
𝐑𝐞𝐦𝐚𝐫𝐪𝐮𝐞 : On parle d’homoscédasticité lorsque la variance des erreurs
stochastiques de la régression est la même pour chaque observation à
l’instant t (t=1,…,T).
𝐻5 : cov(𝜀𝑡 , 𝜀𝑠 )=0, pout t≠s, absence de toute corrélation des erreurs.
𝐻6 : La variable exogène x et le terme d’erreur 𝜀 sont indépendants
(cov(𝑥, 𝜀)=0).
On suppose que 𝜀𝑡 →N(0, 𝜎 2 )

III. Détermination des estimateurs 𝒂 ̂ de a et b par la


̂ et 𝒃
méthode des moindres carrés ordinaires MCO
La méthode des moindres carrés ordinaires consiste à minimiser la somme
des carrés des résidus.
Minimiser S(a,b)= Min ∑𝑇𝑡=1 𝜀𝑡2 ,
On a 𝑦𝑡 = 𝑎 + 𝑏𝑥𝑡 + 𝜀𝑡
→ ∑𝑇𝑡=1 𝜀𝑡2 =∑𝑇𝑡=1(𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )2 =S(a,b)
 Conditions de 1er ordre

𝜕𝑆
=0
𝜕𝑎
𝜕𝑆
=0
𝜕𝑏
∑𝑡 2 × (𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )′ × (𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )2−1 =0
∑𝑡 2 × (𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )′ × (𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )2−1 =0
2
Dr. Samia AYARI

∑𝑡 2 × (−1) × (𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )=0


∑𝑡 2 × (−𝑥𝑡 ) × (𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )=0

(−2) ∑𝑡(𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )=0


(−2) ∑𝑡 𝑥𝑡 × (𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )=0

∑𝑡(𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )=0 (1)


∑𝑡 𝑥𝑡 × (𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )=0 (2)

(1) ∑𝑡 𝑦𝑡 − ∑𝑡 𝑎 − 𝑏 ∑𝑡 𝑥𝑡 =0
T𝑦̅-Ta-bT𝑥̅ =0
T(𝑦̅-a-b𝑥̅ ) = 0
𝑦̅-a-b𝑥̅ = 0
Ainsi,
a=𝑦̅-b𝑥̅

𝑎̂ = 𝑦̅ − 𝑏𝑥̅ : L’estimateur des MCO du paramètre a.


(2) ∑𝑡 𝑥𝑡 × (𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )=0
∑𝑡 𝑥𝑡 𝑦𝑡 − 𝑎 ∑𝑡 𝑥𝑡 − 𝑏 ∑𝑡 𝑥𝑡2 =0
∑𝑡 𝑥𝑡 𝑦𝑡 − 𝑎 T𝑥̅ − 𝑏 ∑𝑡 𝑥𝑡2 = 0
∑𝑡 𝑥𝑡 𝑦𝑡 −(𝑦̅-b𝑥̅ ) T𝑥̅ − 𝑏 ∑𝑡 𝑥𝑡2 = 0
∑𝑡 𝑥𝑡 𝑦𝑡 − 𝑦̅ T𝑥̅ +bT𝑥̅ 2 − 𝑏 ∑𝑡 𝑥𝑡2 = 0
∑𝑡 𝑥𝑡 𝑦𝑡 − T𝑥̅ 𝑦̅=b(∑𝑡 𝑥𝑡2 −T𝑥̅ 2 )
∑𝑡 𝑥𝑡 𝑦𝑡 − T𝑥̅ 𝑦̅
b= ∑𝑡 𝑥𝑡2 −T𝑥̅ 2

Ainsi, les estimateurs des MCO de a et b sont:

̂=𝒚
𝒂 ̂𝒙
̅-𝒃 ̅
3
Dr. Samia AYARI

et
̂ = ∑𝒕 𝒙𝒕 𝒚𝟐𝒕 −𝑻𝒙̅ 𝒚̅.
𝒃 ∑ 𝒙 −𝑻𝒙 ̅𝟐
𝒕 𝒕

 Conditions de second ordre

𝜕2𝑆
>0
𝜕𝑎2
𝜕2𝑆
>0
𝜕𝑏 2

(−2) ∑(𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )′


𝑡

(−2) ∑ 𝑥𝑡 × (𝑦𝑡 − 𝑎 − 𝑏𝑥𝑡 )′


𝑡

(−2) ∑𝑡(−1)=2T>0

(−2) ∑ 𝑥𝑡 × (−𝑥𝑡 ) = 2 ∑ 𝑥𝑡2 > 0


𝑡 𝑡

Les conditions de second degré sont toujours vérifiées.


Exercice
Montrer que :
∑𝑡 𝑥𝑡 𝑦𝑡 − 𝑇𝑥̅ 𝑦̅ = ∑𝑡(𝑥𝑡 − 𝑥̅ )(𝑦𝑡 − 𝑦̅ ),
∑𝑡 𝑥𝑡2 − 𝑇𝑥̅ 2 =∑𝑡(𝑥𝑡 − 𝑥̅ )2 .
Correction
 ∑𝑡(𝑥𝑡 − 𝑥̅ )(𝑦𝑡 − 𝑦̅ ) = ∑𝑡(𝑥𝑡 𝑦𝑡 − 𝑥𝑡 𝑦̅ − 𝑦𝑡 𝑥̅ + 𝑥̅ 𝑦̅)
= ∑𝑡 𝑥𝑡 𝑦𝑡 − 𝑦̅ ∑𝑡 𝑥𝑡 − 𝑥̅ ∑𝑡 𝑦𝑡 +∑𝑡 𝑥̅ 𝑦̅
=∑𝑡 𝑥𝑡 𝑦𝑡 −T𝑥̅ 𝑦̅ − T𝑥̅ 𝑦̅+ T𝑥̅ 𝑦̅

4
Dr. Samia AYARI

= ∑𝑡 𝑥𝑡 𝑦𝑡 −T𝑥̅ 𝑦̅
 ∑𝑡(𝑥𝑡 − 𝑥̅ )2 =∑𝑡(𝑥𝑡2 − 2𝑥𝑡 𝑥̅ + 𝑥̅ 2 )
=∑𝑡 𝑥𝑡2 − 2𝑥̅ ∑𝑡 𝑥𝑡 +∑𝑡 𝑥̅ 2
=∑𝑡 𝑥𝑡2 − 2𝑥̅ T𝑥̅+T𝑥̅ 2
=∑𝑡 𝑥𝑡2 −2 T𝑥̅ 2 +T𝑥̅ 2
=∑𝑡 𝑥𝑡2 − 𝑇𝑥̅ 2

Ainsi, l’estimateur des MCO 𝑏̂ peut être exprimé comme suit :


∑𝒕 𝒙𝒕 𝒚𝒕 − 𝑻𝒙̅ 𝒚
̅
̂=
𝒃
∑𝒕 𝒙𝟐𝒕 − 𝑻𝒙̅𝟐

̂ = ∑𝒕(𝒙𝒕 −𝒙̅ )(𝒚𝒕 −𝒚̅ ) .


𝒃 ∑ (𝒙 −𝒙̅ )𝟐
𝒕 𝒕

Or,
∑𝒕(𝒙𝒕 − 𝒙̅ )(𝒚𝒕 − 𝒚̅ )
̂=
𝒃
∑𝒕(𝒙𝒕 − 𝒙̅ )𝟐
̂ =∑𝑡(𝑥𝑡 −𝑥̅ )(𝑦𝑡−𝑦̅ )/𝑻 .
𝒃 ∑ ̅ 2
𝑡(𝑥𝑡 −𝑥 ) /𝑻

Ainsi ̂ = 𝒄𝒐𝒗(𝒙,𝒚).
𝒃 𝒗𝒂𝒓(𝒙)

Exercice
Montrer que :

∑(𝑥𝑡 − 𝑥̅ )𝑦̅ = 0
𝑡

Correction
∑𝑡(𝑥𝑡 − 𝑥̅ )𝑦̅ = ∑𝑡 𝑥𝑡 𝑦̅ − ∑𝑡 𝑥̅ 𝑦̅ =𝑦̅ ∑𝑡 𝑥𝑡 − 𝑇𝑥̅ 𝑦̅ =𝑦̅ 𝑇𝑥̅ − 𝑇𝑥̅ 𝑦̅ = 0

5
Dr. Samia AYARI

̂ = ∑𝒕(𝒙𝒕 −𝒙̅ )(𝒚𝒕−𝒚̅ )=∑𝒕(𝒙𝒕 −𝒙̅ )𝒚𝒕−∑𝑡(𝑥𝑡−𝑥̅ )𝑦̅


On a 𝒃 ∑ ̅ 𝟐
𝒕(𝒙𝒕 −𝒙 ) ∑ ̅ 𝟐
𝒕(𝒙𝒕 −𝒙 )

Ainsi, une autre expression de 𝑏̂ peut être déduite :

̂ = ∑𝒕(𝒙𝒕 −𝒙̅ )𝒚𝒕.


𝒃 ∑ (𝒙 −𝒙̅ )𝟐
𝒕 𝒕

Exercice
Le tableau ci-dessous présente, pour une société, la quantité vendue (en milliers
d’unités) et le budget de publicité (en milliers de dinars) correspondant pour les
6 dernières années notées i de 1 à 6.
i 1 2 3 4 5 6
Xi 26 27 29 31 32 35
Yi 4.5 4.8 4.95 5.1 5.25 5.4

Pour l'année i le budget de publicité est X i, la quantité vendue est Yi.


1. Calculer 𝑥̅ , 𝑦̅,V(X), V(Y) et cov(X,Y).
2. Existe-t-il une corrélation entre la quantité vendue et le budget de
publicité ?
3. Représenter graphiquement la quantité vendue en fonction du budget de
publicité.
4. Écrire la droite de régression linéaire simple qui permet d’expliquer la
quantité vendue en fonction du budget de publicité.
5. Représenter cette droite sur le même graphique de la question 1.
Interpréter.
6. Donner une prévision ponctuelle de la quantité vendue pour un budget de
publicité de 37000 dinars ?

6
Dr. Samia AYARI

Correction
1.
𝟐 𝟐
𝒙𝒊 𝒚𝒊 ̅)
(𝒙𝒊 -𝒙 ̅)
(𝒚𝒊 -𝒚 ̅) (𝒚𝒊 -𝒚
(𝒙𝒊 -𝒙 ̅) ̅)
(𝒙𝒊 -𝒙 ̅)
(𝒚𝒊 -𝒚 𝒙𝒊 𝒚𝒊 𝒙𝟐𝒊

26 4,5 -4 -0,5 2 16 0,25 117 676

27 4,8 -3 -0,2 0,5 9 0,04 129,6 729

29 4,95 -1 -0,05 0,05 1 0,0025 143,55 841

31 5,1 1 0,1 0,1 1 0,01 158,1 961

32 5,25 2 0,25 0,5 4 0,0625 168 1024

35 5,4 5 0,4 2 25 0,16 189 1225

180 30 0 0 5,25 56 0,525 905,25 5456

Les moyennes arithmétiques de X et Y


1 180
𝑥̅ = ∑6𝑖=1 𝑥𝑖 = = 30
6 6
1 30
𝑦̅= ∑6𝑖=1 𝑦𝑖 = =5
6 6

La covariance entre X et Y
1ère méthode
1 5,25
𝑐𝑜𝑣(𝑋, 𝑌) = ∑6𝑖=1(𝑥𝑖 -𝑥̅ )(𝑦𝑖 -𝑦̅)= =0,875
6 6

7
Dr. Samia AYARI

2ème méthode
1 905,25
𝑐𝑜𝑣(𝑋, 𝑌)=)=( ∑6𝑖=1 𝑥𝑖 𝑦𝑖 )-𝑥̅ 𝑦̅= −(30×5)=0,875
6 6

La variance de X
1ère méthode
1 2 56
𝑉(𝑋) = ∑6𝑖=1(𝑥𝑖 -𝑥̅ ) = =9,33
6 6

2ème méthode
1 5456
𝑉(𝑋) = ∑𝑖 𝑥𝑖2 − 𝑥̅ 2 = − (302 )=9,33
6 6

La variance de Y
1 2 0,525
𝑉(𝑌) = ∑𝑛𝑖=1(𝑦𝑖 -𝑦̅) = =0,0875.
6 6

2. Le coefficient de corrélation linéaire entre la quantité vendue et le budget


publicitaire se calcule comme suit :
𝑐𝑜𝑣(𝑋,𝑌) 0,875
𝜌𝑋,𝑌 = = =0,9676
𝜎𝑋 𝜎𝑌 √9,33√0,0875

Il existe une forte corrélation positive entre la quantité vendue et le budget


publicitaire.
3. Nuage de points de la quantité vendue en fonction des frais publicitaires

8
Dr. Samia AYARI

4. L’équation de la droite de régression linéaire simple s’exprime comme


suit :
𝑦̂i = 𝑎̂ + 𝑏̂xi, avec
𝑐𝑜𝑣(𝑥, 𝑦)
𝑏̂ =
𝑣(𝑥)
et
𝑎̂ = 𝑦̅-𝑏̂𝑥̅
Ainsi
𝑐𝑜𝑣(𝑥,𝑦) 0,875
𝑏̂ = = =0,0937 et
𝑣(𝑥) 9,33
𝑎̂ = 𝑦̅-𝑏̂𝑥̅ =5-(0,09×30)=2,189
Ainsi, l’équation de la droite de régression linéaire simple qui permet
d’expliquer la quantité vendue en fonction du budget de publicité s’écrit comme
suit :
𝑦̂i =2,189+0,0937 xi
5.

xi yi 𝑦̂i
26 4,5 4,6252
32 5,25 5,1874

A (26 ; 4,6252) et B (32 ; 5,1874)

9
Dr. Samia AYARI

La droite des moindres carrés est proche du nuage de points réels, l’ajustement
est bon.
6. Une prévision ponctuelle de la quantité vendue pour un budget de
publicité de 37000 dinars (x=37) est :
𝑦̂=2,189+ (0,0937×37)=5,6559.
Exercice
Soit le modèle suivant :
𝑦𝑡 = 𝑏𝑥𝑡 + 𝜀𝑡 ,
Déterminer l’estimateur 𝑏̂ du paramètre b par la méthode des moindres carrés
ordinaires.

IV. Propriétés des estimateurs 𝒂 ̂


̂ et 𝒃
Exercice
(𝑥𝑡 −𝑥̅ )
Supposons que 𝑤𝑡 =∑ ̅) 2
, démontrer que :
𝑡(𝑥𝑡 −𝑥

 ∑𝑡 𝑤𝑡 =0.
 ∑𝑡 𝑤𝑡 𝑥𝑡 = 1.
1
 ∑𝑡 𝑤𝑡 2 =∑ ̅ )2
.
𝑡(𝑥𝑡 −𝑥

Correction
(𝑥𝑡 −𝑥̅ ) ∑ (𝑥𝑡 −𝑥̅ )
 ∑𝑡 𝑤𝑡 =∑𝑡 ∑ =∑ 𝑡 =0
𝑡(𝑥𝑡 −𝑥̅ )2 ̅)
𝑡(𝑥𝑡 −𝑥
2

(𝑥 −𝑥̅ ) ∑𝑡(𝑥𝑡 −𝑥̅ )𝑥𝑡


 ∑𝑡 𝑤𝑡 𝑥𝑡 = ∑𝑡 ∑ (𝑥𝑡 𝑥 =
̅ )2 𝑡 ∑𝑡(𝑥𝑡 −𝑥̅ )2
𝑡 𝑡 −𝑥

∑𝑡 𝑥𝑡2 −∑𝑡 𝑥𝑡 𝑥̅ ∑𝑡 𝑥𝑡2 −𝑥̅ ∑𝑡 𝑥𝑡 ∑𝑡 𝑥𝑡2 −𝑇𝑥̅ 2


= ∑𝑡 𝑥𝑡2 −𝑇𝑥̅ 2
= ∑ 2 2 =∑ 2 2=1
𝑡 𝑥𝑡 −𝑇𝑥̅ 𝑡 𝑥𝑡 −𝑇𝑥̅

(𝑥𝑡 −𝑥̅ ) 2 (𝑥 −𝑥̅ )2 ∑ (𝑥 −𝑥̅ )2 1


2
 ∑𝑡 𝑤𝑡 =∑𝑡 (∑
−𝑥̅ )2
) =∑𝑡 (∑ (𝑥𝑡 −𝑥̅ )2)2 =(∑ 𝑡(𝑥 𝑡−𝑥̅ )2)2=∑ (𝑥 −𝑥̅ )2
𝑡(𝑥𝑡 𝑡 𝑡 𝑡 𝑡 𝑡 𝑡

10
Dr. Samia AYARI

Ces démonstrations seront utilisées, dans ce qui suit, dans la détermination


des propriétés de 𝑎̂ et 𝑏̂.

a. 𝐄𝐬𝐭𝐢𝐦𝐚𝐭𝐞𝐮𝐫𝐬 sans biais

 L’estimateur 𝑏̂ du paramètre b
Il a été démontré que :
∑𝒕(𝒙𝒕 − 𝒙̅ )𝒚𝒕
̂=
𝒃
∑𝒕(𝒙𝒕 − 𝒙̅ )𝟐
̂ = ∑𝑡 𝑤𝑡 𝑦𝑡 =∑𝑡 𝑤𝑡 (𝑎 + 𝑏𝑥𝑡 + 𝜀𝑡 ) = 𝑎 ∑𝑡 𝑤𝑡 + 𝑏 ∑𝑡 𝑤𝑡 𝑥𝑡 + ∑𝑡 𝑤𝑡 𝜀𝑡
𝒃
=b+∑𝑡 𝑤𝑡 𝜀𝑡 .
E(𝑏̂) =E(b)+ ∑𝑡 𝑤𝑡 𝐸(𝜀𝑡 )=b.
E(𝑏̂) = b 𝑏̂ est un estimateur sans biais.

 L’estimateur 𝑎̂ du paramètre a
On a 𝑎̂=𝑦̅-𝑏̂𝑥̅ 𝑦̅ = 𝑎̂+𝑏̂𝑥̅ (a)
Et 𝑦𝑡 = 𝑎 + 𝑏𝑥𝑡 + 𝜀𝑡 𝑦̅ = 𝑎+b𝑥̅ +𝜀̅ (b)
(a)-(b) 𝑎̂ = 𝑎 − 𝑥̅ (𝑏̂ − 𝑏) + 𝜀̅

E(𝑎̂) =E(a)- 𝑥̅ E(𝑏̂ − 𝑏)+E(𝜀̅)


1
= a− [E(𝑏̂) − 𝐸(𝑏)] + 𝐸( ∑𝑡 𝜀𝑡 )
𝑇
1
=a−[b−𝑏]+ ∑𝑡 𝐸( 𝜀𝑡 )
𝑇

=a
E(𝑎̂) = a 𝑎̂ est un estimateur sans biais.

11
Dr. Samia AYARI

b. Estimateurs convergents

 L’estimateur 𝑏̂ du paramètre b

𝑏̂ = ∑ 𝑤𝑡 𝑦𝑡
𝑡

=∑𝑡[𝑤𝑡 (𝑎 + 𝑏𝑥𝑡 + 𝜀𝑡 )]
=b+∑𝑡 𝑤𝑡 𝜀𝑡 .
var(𝑏̂)=var(b+∑𝑡 𝑤𝑡 𝜀𝑡 )
=var(∑𝑡 𝑤𝑡 𝜀𝑡 )
=∑𝑡 𝑉𝑎𝑟(𝑤𝑡 𝜀𝑡 )
=∑𝑡 𝑤𝑡 2 var(𝜀𝑡 )
=∑𝑡 𝑤𝑡 2 𝜎 2
𝜎2
=∑ ̅) 2
𝑡(𝑥𝑡 −𝑥

𝜎2
lim →0
𝑇→+∞ ∑𝑡(𝑥𝑡 −𝑥̅ )2

𝑏̂ est un estimateur convergent.

 L’estimateur 𝑎̂ du paramètre a
1 1
𝑎̂=𝑦̅-𝑏̂𝑥̅ = ∑𝑡 𝑦𝑡 − 𝒙̅ ∑𝑡 𝑤𝑡 𝑦𝑡 =∑𝑡[( − 𝒙̅ 𝑤𝑡 )𝑦𝑡 ]
𝑇 𝑇
1
var(𝑎̂) =var(∑𝑡[( − 𝒙̅ 𝑤𝑡 )𝑦𝑡 ])
𝑇
1
=∑𝑡 𝑉𝑎𝑟[( − 𝒙̅ 𝑤𝑡 )𝑦𝑡 ]
𝑇
1
=∑𝑡( − 𝒙̅ 𝑤𝑡 )2 𝑣𝑎𝑟(𝑦𝑡 )
𝑇
1
=𝜎 2 ∑𝑡( − 𝒙̅ 𝑤𝑡 )2
𝑇
1 𝒙̅ 2
=𝜎 2 ( +∑ ̅) 2
)
𝑇 𝑡(𝑥𝑡 −𝑥

1 𝒙̅ 2
lim 𝜎 2 ( + ∑ ̅ )2
) →0
𝑇→+∞ 𝑇 𝑡(𝑥𝑡 −𝑥

12
Dr. Samia AYARI

𝑎̂ est un estimateur convergent.


̂
̂ et 𝒃
c. La covariance entre 𝒂
Remarque
var(𝑎̂)=E(𝑎̂ −E(𝑎̂))2= E(𝑎̂ −a)2
var(𝑏̂)=E(𝑏̂ −E(𝑏̂))2= E(𝑏̂ −b)2
Cov(𝑎̂, 𝑏̂)= E[(𝑎̂ −E(𝑎̂)) (𝑏̂ −E(𝑏̂))]
Cov(𝑎̂, 𝑏̂)= E[(𝑎̂ − 𝑎) (𝑏̂ − 𝑏)]

Ainsi, la covariance entre 𝑎̂ et 𝑏̂ peut être calculée comme suit :


Cov(𝑎̂, 𝑏̂)= E[(𝑎̂ − 𝑎) (𝑏̂ − 𝑏)]
=E[(𝑦̅-𝑏̂𝑥̅ -a) (𝑏̂ − 𝑏)]
=E[(𝑎+b𝑥̅ +𝜀̅-𝑏̂𝑥̅ -a) (𝑏̂ − 𝑏)]
=E[(−𝑥̅ (𝑏̂ − 𝑏)+ 𝜀̅) (𝑏̂ − 𝑏)]
=E[−𝑥̅ (𝑏̂ − 𝑏) 2 +𝜀̅(𝑏̂ − 𝑏)]
2
=−𝑥̅E[(𝑏̂ − 𝑏) ]
=−𝑥̅ var(𝑏̂).
𝜎2
Ainsi Cov(𝑎̂, 𝑏̂)=− 𝑥̅ ∑ ̅) 2
𝑡(𝑥𝑡 −𝑥

V. ̂𝟐
Détermination d’un estimateur sans biais de 𝝈𝟐 noté 𝝈
Théorème

̂2 = 𝑠𝑜𝑚𝑚𝑒 𝑑𝑒𝑠 𝑐𝑎𝑟𝑟é𝑠 𝑑𝑒𝑠 𝑟é𝑠𝑖𝑑𝑢𝑠


𝜎 ,
𝑛𝑜𝑚𝑏𝑟𝑒 𝑑 ′ 𝑜𝑏𝑠𝑒𝑟𝑣𝑎𝑡𝑖𝑜𝑛𝑠−𝑛𝑜𝑚𝑏𝑟𝑒𝑠 𝑑𝑒𝑠 𝑝𝑎𝑟𝑎𝑚è𝑡𝑟𝑒𝑠 𝑑𝑢 𝑚𝑜𝑑è𝑙𝑒

𝑆𝐶𝑅 ∑𝑡 𝜀̂𝑡2
̂2
𝜎 = =
𝑇−2 𝑇−2

13
Dr. Samia AYARI

Ainsi, on peut estimer les variances respectives de 𝑎̂ et 𝑏̂ ainsi que la covariance


̂𝟐 .
entre 𝑎̂ et 𝑏̂ en remplaçant 𝝈𝟐 par 𝝈
Exercice
Le tableau ci-dessous présente, pour une société, la quantité vendue (en milliers
d’unités) et le budget de publicité (en milliers de dinars) correspondant pour les
6 dernières années notées i de 1 à 6.
i 1 2 3 4 5 6
Xi 26 27 29 31 32 35
Yi 4,5 4,8 4,95 5,1 5,25 5,4

Pour l'année i le budget de publicité est X i, la quantité vendue est Yi.


On suppose que les variables xi et yi sont liées par :
𝑦𝑖 = 𝑎 + 𝑏𝑥𝑖 + 𝜀𝑖 , avec 𝜀𝑖 sont i.i.d de loi N(0,𝜎 2 ).
1. Calculer les estimateurs des MCO 𝑎̂ et 𝑏̂ de a et b. En déduire
l’équation de la droite de régression linéaire simple. Représenter
graphiquement.
2. Donner l’expression de l’estimateur sans biais 𝜎̂ 2 de 𝜎 2 . Calculer sa
valeur sur les observations.
3. Calculer les écarts-types estimés de 𝑎̂ et 𝑏̂ ainsi que la covariance
estimée entre 𝑎̂ et 𝑏̂.

14
Dr. Samia AYARI

Correction
1.
𝟐 𝟐
𝒙𝒊 𝒚𝒊 ̅)
(𝒙𝒊 -𝒙 ̅)
(𝒚𝒊 -𝒚 ̅) (𝒚𝒊 -𝒚
(𝒙𝒊 -𝒙 ̅) ̅)
(𝒙𝒊 -𝒙 ̅)
(𝒚𝒊 -𝒚 𝒙𝒊 𝒚𝒊 𝒙𝟐𝒊

26 4,5 -4 -0,5 2 16 0,25 117 676

27 4,8 -3 -0,2 0,5 9 0,04 129,6 729

29 4,95 -1 -0,05 0,05 1 0,0025 143,55 841

31 5,1 1 0,1 0,1 1 0,01 158,1 961

32 5,25 2 0,25 0,5 4 0,0625 168 1024

35 5,4 5 0,4 2 25 0,16 189 1225

180 30 0 0 5,25 56 0,525 905,25 5456

Les moyennes arithmétiques de X et Y


1 180
𝑥̅ = ∑6𝑖=1 𝑥𝑖 = = 30
6 6
1 30
𝑦̅= ∑6𝑖=1 𝑦𝑖 = =5
6 6

La covariance entre X et Y
1ère méthode
1 5,25
𝑐𝑜𝑣(𝑋, 𝑌) = ∑6𝑖=1(𝑥𝑖 -𝑥̅ )(𝑦𝑖 -𝑦̅)= =0,875
6 6

2ème méthode
1 905,25
𝑐𝑜𝑣(𝑋, 𝑌)=)=( ∑6𝑖=1 𝑥𝑖 𝑦𝑖 )-𝑥̅ 𝑦̅= −(30×5)=0,875
6 6

15
Dr. Samia AYARI

La variance de X
1ère méthode
1 2 56
𝑉(𝑋) = ∑6𝑖=1(𝑥𝑖 -𝑥̅ ) = =9,33
6 6

2ème méthode
1 5456
𝑉(𝑋) = ∑𝑖 𝑥𝑖2 − 𝑥̅ 2 = − (302 )=9,33
6 6

La variance de Y
1 2 0,525
𝑉(𝑌) = ∑𝑛𝑖=1(𝑦𝑖 -𝑦̅) = =0,0875.
6 6

L’équation de la droite de régression linéaire simple s’exprime comme suit :


𝑦̂i = 𝑎̂ + 𝑏̂xi, avec
𝑐𝑜𝑣(𝑥, 𝑦)
𝑏̂ =
𝑣(𝑥)
et
𝑎̂ = 𝑦̅-𝑏̂𝑥̅
Ainsi
𝑐𝑜𝑣(𝑥,𝑦) 0,875
𝑏̂ = = =0,0937 et
𝑣(𝑥) 9,33
𝑎̂ = 𝑦̅-𝑏̂𝑥̅ =5-(0,09×30)=2,189
Ainsi, l’équation de la droite de régression linéaire simple qui permet
d’expliquer la quantité vendue en fonction du budget de publicité s’écrit comme
suit :
𝑦̂i =2,189+0,0937 xi

16
Dr. Samia AYARI

xi yi 𝑦̂i
26 4,5 4,6252
32 5,25 5,1874

A (26 ; 4,6252) et B (32 ; 5,1874)

17
Dr. Samia AYARI

2.
𝑆𝐶𝑅 ∑𝑡 𝜀̂𝑖2
̂2
𝜎 = =
𝑇−2 𝑇−2

𝒙𝒊 𝒚𝒊 ̂i =2,189+0,0937 xi
𝒚 𝜺̂ i =𝒚𝒊 − 𝒚
̂i 𝜺̂𝟐𝒊

26 4,5 4,6252 -0,1252 0,0157

27 4,8 4,7189 0,0811 0,0066

29 4,95 4,9063 0,0437 0,0019

31 5,1 5,0937 0,0063 0,00004

32 5,25 5,1874 0,0626 0,0039

35 5,4 5,4685 -0,0685 0,0047

180 30 - 0,0328=SCR

̂2 = 𝑆𝐶𝑅 ∑𝑡 𝜀̂𝑖2 0,0328


𝜎 = = =0,0082
𝑇−2 𝑇−2 4

̂2 (1+ 𝒙̅ 2 1 302
3. 𝜎̂𝑎2̂ =𝜎 ∑ ̅) 2
)= 0,0082× ( + )=0,1332
𝑇 𝑡(𝑥𝑡 −𝑥 6 56

̂2
𝜎 0,0082
𝜎̂𝑏̂2 =∑ = =1,4643(10-4 )
𝑡(𝑥𝑡 −𝑥̅ )2 56

L’écart-type estimé de 𝑎̂ :
𝜎̂𝑎̂ =√0,1332=0,365

18
Dr. Samia AYARI

L’écart-type estimé de 𝑏̂ :

𝜎̂𝑏̂ =√1,4643 (10−4 )=0.0121


La covariance estimée entre 𝑎̂ et 𝑏̂ est :
̂2
𝜎 0,0082
̂ (𝑎̂, 𝑏̂)=− 𝑥̅ ∑
𝑐𝑜𝑣 =−30 =−0,0044
𝑡(𝑥𝑡 −𝑥̅ )2 56

VI. Le coefficient de détermination R2 et l’équation d’analyse de la


variance

 L’équation fondamentale de l’analyse de la variance

∑𝑡(𝑦𝑡 − 𝑦̅)2 =∑𝑡 ( 𝑦̂𝑡 − 𝑦̅)2 + ∑𝑡(𝑦𝑡 − 𝑦̂𝑡 )2 ,

SCT = SCE + SCR, avec


 SCT : somme des carrés totale,
 SCE : somme des carrés expliquée,
 SCR: somme des carrés résiduelle.

1 1 1
∑𝑡(𝑦𝑡 − 𝑦̅)2 = ∑𝑡 ( 𝑦̂𝑡 − 𝑦̅)2 + ∑𝑡(𝑦𝑡 − 𝑦̂𝑡 )2 ,
𝑇 𝑇 𝑇

VT = VE + VR, avec
 VT : variance totale,
 VE : variance expliquée par le modèle,
 VR : variance résiduelle (la variance qui n’est pas expliquée par le
modèle).

Somme des carrés Degré de liberté


SCE 1
SCR T-2
SCT T-1
Table d’analyse de la variance

19
Dr. Samia AYARI

 Le coefficient de détermination R2
Définition
Le coefficient de détermination est un instrument de mesure de la qualité
d’ajustement linéaire du modèle. Il donne la proportion de y qui est expliquée
par le modèle. Il est toujours compris entre 0 et 1. On dit que l’ajustement est
bon si R2 tend vers 1.

𝑆𝐶𝐸 𝑆𝐶𝑅
R2= =1−
𝑆𝐶𝑇 𝑆𝐶𝑇

Exercice
Montrer que :
 SCE=𝑏̂ 2 ∑𝑡(𝑥𝑡 − 𝑥̅ )2
2
 R2=𝜌𝑥,𝑦
Correction
 SCE=∑𝑡( 𝑦̂𝑡 − 𝑦̅)2
= ∑𝑡[𝑎̂ + 𝑏̂𝑥𝑡 − (𝑎̂ + 𝑏̂𝑥̅ )]2
= ∑𝑡[𝑎̂ + 𝑏̂𝑥𝑡 − 𝑎̂ − 𝑏̂𝑥̅ )]2
=∑𝑡[ 𝑏̂𝑥𝑡 − 𝑏̂𝑥̅ )]2
=∑𝑡[ 𝑏̂(𝑥𝑡 − 𝑥̅ )]2
=∑𝑡[𝑏̂ 2 (𝑥𝑡 − 𝑥̅ )]2
=𝑏̂ 2 ∑𝑡(𝑥𝑡 − 𝑥̅ )2

SCE=𝑏̂ 2 ∑𝑡(𝑥𝑡 − 𝑥̅ )2

20
Dr. Samia AYARI

𝑆𝐶𝐸
 R2=
𝑆𝐶𝑇

𝑏̂2 ∑𝑡(𝑥𝑡 −𝑥̅ )2


=
𝑆𝐶𝑇

𝑐𝑜𝑣(𝑥,𝑦) 2
( ) ∑𝑡(𝑥𝑡 −𝑥̅ )2
𝑣(𝑥)
= ∑𝑡(𝑦𝑡 −𝑦̅)2

𝑐𝑜𝑣 2 (𝑥,𝑦) ∑𝑡(𝑥𝑡 −𝑥̅ )2


= 1
[∑ (𝑥 −𝑥̅ )2 ]2 𝑇𝑣(𝑦)
𝑇2 𝑡 𝑡

𝑐𝑜𝑣 2 (𝑥,𝑦)
=1
∑𝑡(𝑥𝑡 −𝑥̅ )2 𝑣(𝑦)
𝑇

𝑐𝑜𝑣 2 (𝑥,𝑦)
=
𝑣(𝑥)𝑣(𝑦)
2
𝑐𝑜𝑣 (𝑥, 𝑦)
=
𝜎𝑥2 𝜎𝑦2

𝑐𝑜𝑣(𝑋,𝑌) 2
=[ ]
𝜎𝑋 𝜎𝑌

2
R2=𝜌𝑥,𝑦

Remarque
Pour le modèle linéaire simple suivant :
𝑦𝑡 = 𝑎 + 𝑏𝑥𝑡 + 𝜀𝑡 ,t=1,…,T

𝑐𝑜𝑣 2 (𝑥,𝑦) 2
R2= = 𝜌𝑥,𝑦
𝜎𝑥2 𝜎𝑦2

21
Dr. Samia AYARI

Exercice 1 (TD1)
Le tableau ci-dessous présente, pour une société, la quantité vendue (en milliers
d’unités) et le budget de publicité (en milliers de dinars) correspondant pour les
6 dernières années notées i de 1 à 6.
i 1 2 3 4 5 6
Xi 26 27 29 31 32 35
Yi 4,5 4,8 4,95 5,1 5,25 5,4

Pour l'année i le budget de publicité est X i, la quantité vendue est Yi.


On suppose que les variables xi et yi sont liées par :
𝑦𝑖 = 𝑎 + 𝑏𝑥𝑖 + 𝜀𝑖 , avec 𝜀𝑖 sont i.i.d de loi N(0,𝜎 2 ).
1. Calculer les estimateurs des MCO 𝑎̂ et 𝑏̂ de a et b. En déduire l’équation
de la droite de régression linéaire simple. Représenter graphiquement.
2. Rappeler l’équation d’analyse de la variance et calculer ses trois
composantes.
3. Calculer le coefficient de détermination 𝑅2 .
4. Donner l’expression de l’estimateur sans biais 𝜎̂ 2 de 𝜎 2 . Calculer sa
valeur sur les observations.
5. Calculer les écarts-types estimés de 𝑎̂ et 𝑏̂.
Correction
1. L’équation de la droite de régression linéaire simple s’exprime comme
suit :
𝑦̂i = 𝑎̂ + 𝑏̂xi, avec
𝑐𝑜𝑣(𝑥, 𝑦)
𝑏̂ =
𝑣(𝑥)
et
𝑎̂ = 𝑦̅-𝑏̂𝑥̅
Ainsi
𝑐𝑜𝑣(𝑥,𝑦) 0,875
𝑏̂ = = =0,0937 et
𝑣(𝑥) 9,33
𝑎̂ = 𝑦̅-𝑏̂𝑥̅ =5-(0,09×30)=2,189
Ainsi, l’équation de la droite de régression linéaire simple qui permet
d’expliquer la quantité vendue en fonction du budget de publicité s’écrit comme
suit :
22
Dr. Samia AYARI

𝑦̂i =2,189+0,0937 xi

2. L’équation fondamentale de l’analyse de la variance

∑𝑡(𝑦𝑡 − 𝑦̅)2 =∑𝑡 ( 𝑦̂𝑡 − 𝑦̅)2 + ∑𝑡(𝑦𝑡 − 𝑦̂𝑡 )2 ,

SCT = SCE + SCR


SCT=∑𝑡(𝑦𝑡 − 𝑦̅)2 =0,525
SCE=𝑏̂ 2 ∑𝑡(𝑥𝑡 − 𝑥̅ )2 = (0,0937)2 ×56=0,4917
SCR=SCT-SCE=0,0333
𝑆𝐶𝐸 0,4917
3. R2= = =0.94
𝑆𝐶𝑇 0,525

94% de la variabilité de la quantité vendue est expliquée est le budget


publicitaire. R2 est proche de 1 ainsi le modèle est pertinent.
̂2 = 𝑆𝐶𝑅 0,0333
4. 𝜎 = =0,0083
𝑇−2 4
1 ̅
𝒙 2 1 302
5. ̂2 ( +
𝜎̂𝑎2̂ =𝜎 )= 0,0083× ( + )=0,1348
𝑇 ∑𝑡(𝑥𝑡 −𝑥̅ )2 6 56
̂2
𝜎 0,0083
𝜎̂𝑏̂2 =∑ 2
= =1,48(10-4)
𝑡 (𝑥 −𝑥̅ )
𝑡 56

23
Dr. Samia AYARI

L’écart-type estimé de 𝑎̂ :
𝜎̂𝑎̂ =√0,1348=0,3672
L’écart-type estimé de 𝑏̂ :

𝜎̂𝑏̂ =√1,48(10−4 )=0,0122

24