TD2: Régression Linéaire Simple & Multiple

2022-2023

Exercise I
Soit β̂1 et β̂2 les estimateurs de moindre carré dans le cadre de la regression linéaire ”simple”.

1. Calculer le biais de β̂1 et β̂2 .

2. Calculer la covariance cov(ȳ, β̂2 ).

3. Calculer la variance de β̂2 .

4. Calculer la variance de β̂1 .

5. Calculer cov(β̂1 , β̂2 ).

Exercise II
Démontrer le théorème de Gauss-Markov en posant β˜2 = λi yi , un estimateur linéaire quelconque.
P

Indice. Trouver deux conditions sur la somme des λi pour que β˜2 ne soit pas biaisé, puis calculer la
variance en introduisant β˜2 .

Exercise III
Dans le cadre de la régression lineaire multiple, calculer la covariance entre ε̂ et Ŷ .