Fiche de révision

Soit le modèle linéaire suivant : yi=βo+β1xi+ei ; i=1 ;2 ;……n

Avec : y =variable dépendante ; xi variable indépendante ; βo et β1 des paramètres à

estimer ; ei : variable aléatoire ; appelé aussi erreur ou résidu.

∑ ei²=∑ (yi-βo-βixi) ² ; Somme des carrées des résidus (SCRes).

Méthode des MCO : l’expression de bo et b1 qui minimise SCR ; Le modèle

estimé :Ŷi=b0+b1xi

Q1 : Estimer bo et b1
n
Q2 : Montrer que e
i 1
i  0 et que la droite de régression passe toujours par le point ( X, Y) .

Q3 : Montrer que b1 peut s’écrire comme combinaison linéaire des Yi ; que Eb1   1
2
et que 2 b1  .
 (Xi  X ) 2
Q4 : Montrer que : σ*² = SCRes/(n-2)

Q5 :

1. Montrer que ∑(𝑦𝑖 -𝑦̅)² peut se décomposer en ∑(𝑦𝑖 − 𝑦̂)² + ∑(𝑦̂𝑖 − 𝑦̅)².
∑(𝑦𝑖 −𝑦̂)²
2. Montrer que 𝑟 2 = ∑(𝑦𝑖 −𝑦̅)²

3. Présenter le tableau de l’analyse de la variance

4. Ecrire r² ajusté en fonction de r².

Q6 : Intervalle de confiance et intervalle de prévision

Solutions
 n
Q1 : En dérivant successivement Q   (Yi   0  1 X i ) 2 par 0 puis par 1 , on obtient :
i 1

 Q
   2 (Yi  0  1X i )
 0
 , pour rechercher les extrema, on égalise à 0 :
 Q  2 X (Y     X )
 1 i i 0 1 i

n
 (Yi  b0  b1X i )  0
 2 (Yi  b0  b1Xi )  0
  i 1
  n
 2 Xi (Yi  b0  b1Xi )  0
  X (Y  b  b X )  0

i 1
i i 0 1 i

 Yi  nb0  b1  Xi  0
 
 Xi Yi  b0  Xi  b1  Xi  0
2

b1   (X  X)(Y  Y)
i i
; b0 
1
( Yi  b1  Xi )  Y  b1X
 (X  X ) i
2
n

---------------------------------------------------------------------------------------

Q2 :  e   (Y  b
i i 0
 b1Xi )   Yi  nb0  b1  Xi  0

En effet, soit : Yi  *0  1 (Xi  X)  i

L’estimateur des moindres carrés b1 de 1 reste le même, par contre celui de *0  0  1X devient :
b*0  b0  b1X  (Y  b1X)  b1X  Y ;La fonction de régression devient : Ŷ  Y  b1 (X  X) ;

Le point ( X, Y) appartient clairement à cette droite.

-----------------------------------------------------------------------------------------
Q3 : Montrons que b1 est une combinaison linéaire des Yi avec le coefficient ki :

 (X i  X)(Yi  Y)   (Xi  X)Yi   (Xi  X)Y ; Or,  (X i  X) 0   (Xi  X)Y 0

D’où,  (X i  X)(Yi  Y)   (Xi  X)Yi .

On en déduit, b1 
 (X  X)(Y  Y)   (X  X)Y   k Y .
i i i i

 (X  X )  (X  X )
2 2 i i
i i

1. Les propriétés des ki se montrent directement.

 Xi  X
b1   k i Yi où, k i 
 (X i  X ) 2
Observons que les ki sont des fonctions des Xi et de ce fait, sont des quantités fixées car les
Xi sont aussi fixés.

Les coefficients ki ont de nombreuses propriétés intéressantes :

  ki  0
 k X  1
i i

1
  k  (X  X )
2


i 2
i

La normalité de b1 découle du fait qu’il est combinaison linéaire des Yi. Le théorème de
Gauss-Markov dit que b1 est sans biais. Ceci se démontre facilement :

 
Eb1   E  k i Yi   k i EYi    k i (0  1Xi )
 0  k i  1  k i Xi
 1

 2 b1   2  k i Yi    k i2 2 Yi 

En ce qui concerne la variance de b1 :   k i2 2   2  k i2
2

 (X i  X ) 2
--------------------------------------------------------------------------------------------------------

Q4 : Montrons que :

σ*² = SCRes/(n-2) = ∑i=1n ei²/(n-2) = [(1-r²) (∑i=1n (yi-ȳ)²] / (n-2))

Est une estimation sans biais de σ². Utilisant conjointement :

(yi-ȳ) = a(xi-x-) + ei
(yi-ȳ) = α(xi-x-) + (εi-ε-)

on peut écrire que:

∑i=1n (εi-ε-)² = (a - α)² ∑i=1n (xi-x-)² + ∑i=1n ei² +2(a-α) ∑i=1n (xi-x-) ei

̂ = ∑i=1n ei²
On en déduit que : E(∑i=1n ei²) = (n-1)σ² - σ² - 0 = (n-2)σ² ; 𝜎² 𝑛−2

et finalement : E(σ*²) = σ²

------------------------------------------------------------------------------------------------------
Q5 :

1. ∑(𝑦𝑖 − 𝑦̅)² = ∑(𝑦𝑖 − 𝑦̅ + 𝑦̂ − 𝑦̂)² = ∑[(𝑦𝑖 − 𝑦̂) + (𝑦̂ − 𝑦̅)]²

∑(𝑦𝑖 − 𝑦̅)² = ∑(𝑦𝑖 − 𝑦̂)² + ∑(𝑦̂ − 𝑦̅)2 + (∑ ∑(𝑦𝑖 − 𝑦̂) (𝑦̂ − 𝑦̅) = 0)

∑(𝑦̂−𝑦̅)2 𝑆𝐶𝑅𝑒𝑔
2. = 𝑅2; 𝑅2 = ; ∑(𝑦̂ − 𝑦̅)2 = ∑(𝑎
̂ 𝑥𝑖 + 𝑦
̅−𝑎
̂̅𝑥−𝑦 ̂2 ∑(𝑥𝑖 − ̅
̅)² = 𝑎 𝑥)² ;
∑(𝑦𝑖 −𝑦̅)² 𝑆𝐶𝑇

𝑎̂2 ∑(𝑥𝑖 −𝑥̅ )²

Donc 𝑅 2 = ∑(𝑦𝑖 −𝑦̅ )²

3.

4.
SCRES
SCTSCRES SC  1 nk1  1  CMRES
R2  SCR   1  RES R2a
SCT CMT
SCT SCT SCT ; n1

------------------------------------------------------------------------------------
Q6 : INTERVALLE DE CONFIANCE POUR ESTIMER LA MOYENNE ET INTERVALLE DE
PRÉVISION :

La droite de régression estimée sert principalement à :

1. Estimer la moyenne de Y pour une valeur de x fixée.

2. Prévoir la valeur de Y pour une nouvelle observation de x.

Pour le même x fixé, la valeur ŷ(x)  â 0  â1x fournit à la fois une estimation

ponctuelle de la moyenne de Y et une prévision ponctuelle de la valeur de Y.

Cependant, la marge d’erreur associée à la prévision sera nécessairement plus grande
que la marge d’erreur associée à l’estimation de la moyenne.

INTERVALLE DE CONFIANCE POUR ESTIMER LA MOYENNE DE Y :

1 ( x  x )2
ŷ( x)  t n  2; / 2ˆ ( ŷ( x)) où ˆ ( ŷ( x ))  ˆ (e) 
n  ( x i  x )2

INTERVALLE DE PRÉVISION POUR UNE VALEUR INDIVIDUELLE DE Y :

ŷ( x)  t n2; / 2 ˆ 2 (e)  ˆ 2 ( ŷ( x) )