Vous êtes sur la page 1sur 108

Le modèle de régression linéaire

1 / 43
Rappels

Echantillon/Population

2 / 43
Rappels

Echantillon/Population

Estimateur/Estimation

2 / 43
Rappels

Echantillon/Population

Estimateur/Estimation

Tests (lire une table statistique)

2 / 43
Modèle linéaire

Le modèle de régression linéaire étudie la relation entre une variable


dépendante et une ou plusieurs variables indépendantes. Sa forme
générique

y = f (x0 , ..., xK ) + ε

3 / 43
Modèle linéaire

Le modèle de régression linéaire étudie la relation entre une variable


dépendante et une ou plusieurs variables indépendantes. Sa forme
générique

y = f (x0 , ..., xK ) + ε

La théorie économique permet de déterminer les variables


dépendantes et indépendantes du modèle.

3 / 43
Modèle linéaire

Le modèle de régression linéaire étudie la relation entre une variable


dépendante et une ou plusieurs variables indépendantes. Sa forme
générique

y = f (x0 , ..., xK ) + ε

La théorie économique permet de déterminer les variables


dépendantes et indépendantes du modèle.
Cela n’est pas toujours facile.

3 / 43
Modèle linéaire

Le modèle de régression linéaire étudie la relation entre une variable


dépendante et une ou plusieurs variables indépendantes. Sa forme
générique

y = f (x0 , ..., xK ) + ε

La théorie économique permet de déterminer les variables


dépendantes et indépendantes du modèle.
Cela n’est pas toujours facile.
quantit é = β 1 + β 2 × prix + β 3 × revenu + ε et
prix = α1 + α2 × quantit é + α3 × revenu + u sont des représentations
identiques d’un système de marché

3 / 43
Modèle linéaire

Le modèle de régression linéaire étudie la relation entre une variable


dépendante et une ou plusieurs variables indépendantes. Sa forme
générique

y = f (x0 , ..., xK ) + ε

La théorie économique permet de déterminer les variables


dépendantes et indépendantes du modèle.
Cela n’est pas toujours facile.
quantit é = β 1 + β 2 × prix + β 3 × revenu + ε et
prix = α1 + α2 × quantit é + α3 × revenu + u sont des représentations
identiques d’un système de marché
Attention y est une variable continue!!! Une autre modélisation (pas
dans mon cours) si ce n’est pas le cas.

3 / 43
Modèle linéaire

Le terme ε est une perturbation aléatoire.

4 / 43
Modèle linéaire

Le terme ε est une perturbation aléatoire.

facteurs omis et pris en compte par la perturbation

4 / 43
Modèle linéaire

Le terme ε est une perturbation aléatoire.

facteurs omis et pris en compte par la perturbation

erreurs de mesure (e.g., difficile d’obtenir des mesures correctes de


profits, de taux d’intérêt, de stock de capitaux...)

4 / 43
Modèle linéaire

Le terme ε est une perturbation aléatoire.

facteurs omis et pris en compte par la perturbation

erreurs de mesure (e.g., difficile d’obtenir des mesures correctes de


profits, de taux d’intérêt, de stock de capitaux...)

variables non observables pour le statisticien

4 / 43
Modèle linéaire

Il existe une relation linéaire entre la variable à expliquer et les


variables explicatives

5 / 43
Modèle linéaire

Il existe une relation linéaire entre la variable à expliquer et les


variables explicatives
Un modèle linéaire avec K + 1 variables explicatives (il y a une
constante) et n observations est de la forme suivante

5 / 43
Modèle linéaire

Il existe une relation linéaire entre la variable à expliquer et les


variables explicatives
Un modèle linéaire avec K + 1 variables explicatives (il y a une
constante) et n observations est de la forme suivante
y = X β + ε avec X est une matrice n × (K + 1) et β un vecteur
(K + 1) × 1.

5 / 43
Modèle linéaire

Il existe une relation linéaire entre la variable à expliquer et les


variables explicatives
Un modèle linéaire avec K + 1 variables explicatives (il y a une
constante) et n observations est de la forme suivante
y = X β + ε avec X est une matrice n × (K + 1) et β un vecteur
(K + 1) × 1.
y = x0 β 0 + ... + xK β K + ε avec xk est un vecteur n × 1 et β k est un
réel.

5 / 43
Modèle linéaire

Il existe une relation linéaire entre la variable à expliquer et les


variables explicatives
Un modèle linéaire avec K + 1 variables explicatives (il y a une
constante) et n observations est de la forme suivante
y = X β + ε avec X est une matrice n × (K + 1) et β un vecteur
(K + 1) × 1.
y = x0 β 0 + ... + xK β K + ε avec xk est un vecteur n × 1 et β k est un
réel.
Pour qu’une régression soit linéaire, elle doit être de la forme
y = X β + ε, soit par rapport aux variables telles quelles, soit après
transformation appropriée. Par exemple, le modèle y = Ax β e ε est
linéaire après transformation logarithmique.

5 / 43
Plan

1. Estimateur des Moindres Carrés Ordinaires (MCO)

2. Propriétés statistiques de l’estimateur des MCO

3. Estimateur des MCO sous l’hypothèse de normalité des perturbations

4. Estimation sous contraintes linéaires

5. Propriétés asymptotiques de l’estimateur des MCO

6. Interprétation des paramètres

6 / 43
Plan

1. Estimateur des Moindres Carrés Ordinaires (MCO)

2. Propriétés statistiques de l’estimateur des MCO

3. Estimateur des MCO sous l’hypothèse de normalité des perturbations

4. Estimation sous contraintes linéaires

5. Propriétés asymptotiques de l’estimateur des MCO

6. Interprétation des paramètres

7 / 43
Estimateur des MCO
Définition

On cherche à estimer les paramètres inconnus de la relation


stochastique y = X β + ε

8 / 43
Estimateur des MCO
Définition

On cherche à estimer les paramètres inconnus de la relation


stochastique y = X β + ε
β et ε i

8 / 43
Estimateur des MCO
Définition

On cherche à estimer les paramètres inconnus de la relation


stochastique y = X β + ε
β et ε i
Estimateurs fondés sur un échantillon de données seront notés β̂ et ε̂

8 / 43
Estimateur des MCO
Définition

On cherche à estimer les paramètres inconnus de la relation


stochastique y = X β + ε
β et ε i
Estimateurs fondés sur un échantillon de données seront notés β̂ et ε̂
L’estimateur MCO, β̂, est défini comme le vecteur minimisant la
somme des carrés des résidus:
0
min (y − X β) (y − X β)

8 / 43
Estimateur des MCO
Définition

9 / 43
Estimateur des MCO
Condition d’existence

H1: les vecteurs x0 , ..., xK ne sont pas linéairement dépendants

10 / 43
Estimateur des MCO
Condition d’existence

H1: les vecteurs x0 , ..., xK ne sont pas linéairement dépendants


∀i 6= j ∈ {0, ..., K }, on ne peut pas écrire xj = b × xi

10 / 43
Estimateur des MCO
Condition d’existence

H1: les vecteurs x0 , ..., xK ne sont pas linéairement dépendants


∀i 6= j ∈ {0, ..., K }, on ne peut pas écrire xj = b × xi
Si H1 est vérifiée alors l’estimateur des MCO existe, est unique et a
pour expression  −1 0
β̂ = X 0 X X y

10 / 43
Estimateur des MCO
Condition d’existence

H1: les vecteurs x0 , ..., xK ne sont pas linéairement dépendants


∀i 6= j ∈ {0, ..., K }, on ne peut pas écrire xj = b × xi
Si H1 est vérifiée alors l’estimateur des MCO existe, est unique et a
pour expression  −1 0
β̂ = X 0 X X y
Condition d’identification

10 / 43
Estimateur des MCO
Condition d’existence

H1: les vecteurs x0 , ..., xK ne sont pas linéairement dépendants


∀i 6= j ∈ {0, ..., K }, on ne peut pas écrire xj = b × xi
Si H1 est vérifiée alors l’estimateur des MCO existe, est unique et a
pour expression  −1 0
β̂ = X 0 X X y
Condition d’identification
Condition nécessaire : n ≥ K + 1

10 / 43
Plan

1. Estimateur des Moindres Carrés Ordinaires (MCO)

2. Propriétés statistiques de l’estimateur des MCO

3. Estimateur des MCO sous l’hypothèse de normalité des perturbations

4. Estimation sous contraintes linéaire

5. Propriétés asymptotiques de l’estimateur des MCO

6. Interprétation des paramètres

11 / 43
Propriétés statistiques de l’estimateur des MCO
Quand l’estimateur des MCO est-il sans biais?

Definition: on dit qu’un estimateur â est sans biais lorsque E [â] = a.

12 / 43
Propriétés statistiques de l’estimateur des MCO
Quand l’estimateur des MCO est-il sans biais?

Definition: on dit qu’un estimateur â est sans biais lorsque E [â] = a.


H2: la structure du terme d’erreur est telle que

E [ε i /X ] = 0. (1)

12 / 43
Propriétés statistiques de l’estimateur des MCO
Quand l’estimateur des MCO est-il sans biais?

Definition: on dit qu’un estimateur â est sans biais lorsque E [â] = a.


H2: la structure du terme d’erreur est telle que

E [ε i /X ] = 0. (1)

Les observations sur Xi ne fournissent aucune information sur la


valeur de la perturbation ε i

12 / 43
Propriétés statistiques de l’estimateur des MCO
Biais dû à l’omission de variables

Supposons que le ”bon” modèle soit

y = X1 β 1 + X2 β 2 + ε

où les composantes de X1 et X2 sont respectivement de K1 et K2


colonnes.

13 / 43
Propriétés statistiques de l’estimateur des MCO
Biais dû à l’omission de variables

Supposons que le ”bon” modèle soit

y = X1 β 1 + X2 β 2 + ε

où les composantes de X1 et X2 sont respectivement de K1 et K2


colonnes.
Si on analyse le modèle suivant y = X1 β 1 + ε

13 / 43
Propriétés statistiques de l’estimateur des MCO
Biais dû à l’omission de variables

Supposons que le ”bon” modèle soit

y = X1 β 1 + X2 β 2 + ε

où les composantes de X1 et X2 sont respectivement de K1 et K2


colonnes.
Si on analyse le modèle suivant y = X1 β 1 + ε
L’estimateur des MCO sera
−1 −1
β̂ 1 = (X10 X1 ) X10 y = (X10 X1 ) X10 (X1 β 1 + X2 β 2 + ε)

13 / 43
Propriétés statistiques de l’estimateur des MCO
Biais dû à l’omission de variables

Supposons que le ”bon” modèle soit

y = X1 β 1 + X2 β 2 + ε

où les composantes de X1 et X2 sont respectivement de K1 et K2


colonnes.
Si on analyse le modèle suivant y = X1 β 1 + ε
L’estimateur des MCO sera
−1 −1
β̂ 1 = (X10 X1 ) X10 y = (X10 X1 ) X10 (X1 β 1 + X2 β 2 + ε)
On a
 −1 0  −1 0
= β 1 + X10 X1 X1 X2 β 2 + X10 X1
 
E β̂ 1 /X X1 E [ε/X ]
| {z }
=0 sous H2
 −1 0
= β1 + X10 X1 X1 X2 β 2

13 / 43
Propriétés statistiques de l’estimateur des MCO
Biais dû à l’omission de variables

β̂ 1 est biaisé à moins que X10 X2 = 0 ou β 2 = 0.

14 / 43
Propriétés statistiques de l’estimateur des MCO
Biais dû à l’omission de variables

β̂ 1 est biaisé à moins que X10 X2 = 0 ou β 2 = 0.

si X1 et X2 sont correlés positivement alors le terme d’erreur des


individus avec une grande valeur de X1 sera en moyenne positif. Les
observations sur X1i fournissent des informations sur la valeur de la
perturbation ε i

14 / 43
Propriétés statistiques de l’estimateur des MCO
Biais dû à l’omission de variables

β̂ 1 est biaisé à moins que X10 X2 = 0 ou β 2 = 0.

si X1 et X2 sont correlés positivement alors le terme d’erreur des


individus avec une grande valeur de X1 sera en moyenne positif. Les
observations sur X1i fournissent des informations sur la valeur de la
perturbation ε i

toutes choses égales par ailleurs = conditionnellement aux valeurs


prises par l’ensemble des variables que j’observe en tant que
statisticien!

14 / 43
Propriétés statistiques de l’estimateur des MCO
Quand l’estimateur des MCO est-il sans biais?

On peut montrer que


h  −1 0 i
= E β + X 0X
 
E β̂/X X ε/X
h  −1 0 i
= β + E X 0X X ε/X
 −1 0
= β + X 0X X E [ε/X ]
| {z }
=0 sous H2
= β

15 / 43
Propriétés statistiques de l’estimateur des MCO
Quand l’estimateur des MCO est-il sans biais?

On peut montrer que


h  −1 0 i
= E β + X 0X
 
E β̂/X X ε/X
h  −1 0 i
= β + E X 0X X ε/X
 −1 0
= β + X 0X X E [ε/X ]
| {z }
=0 sous H2
= β

Si H2 est vérifiée l’estimateur MCO est sans biais.

15 / 43
Propriétés statistiques de l’estimateur des MCO
Quand l’estimateur des MCO est-il sans biais?

On peut montrer que


h  −1 0 i
= E β + X 0X
 
E β̂/X X ε/X
h  −1 0 i
= β + E X 0X X ε/X
 −1 0
= β + X 0X X E [ε/X ]
| {z }
=0 sous H2
= β

Si H2 est vérifiée l’estimateur MCO est sans biais.


Que faire si H2 n’est pas vérifiée? Cf prochain chapitre!

15 / 43
Propriétés statistiques de l’estimateur des MCO
Quelle est la précision de l’estimateur des MCO?

On souhaite savoir si la vraie valeur peut se trouver loin de


l’estimateur. Cette information est donnée par la précision de
l’estimateur et on l’étudie en considérant la variance.

16 / 43
Propriétés statistiques de l’estimateur des MCO
Quelle est la précision de l’estimateur des MCO?

On souhaite savoir si la vraie valeur peut se trouver loin de


l’estimateur. Cette information est donnée par la précision de
l’estimateur et on l’étudie en considérant la variance.
H3: homocédasticité des résidus

V (ε i /X ) = σ2 pour tout i = 1, ..., n (2)

16 / 43
Propriétés statistiques de l’estimateur des MCO
Quelle est la précision de l’estimateur des MCO?

On souhaite savoir si la vraie valeur peut se trouver loin de


l’estimateur. Cette information est donnée par la précision de
l’estimateur et on l’étudie en considérant la variance.
H3: homocédasticité des résidus

V (ε i /X ) = σ2 pour tout i = 1, ..., n (2)

H4: non corrélation des résidus

Cov [ε i , ε j /X ] = 0 pour tout i 6= j (3)

16 / 43
Propriétés statistiques de l’estimateur des MCO
Quelle est la précision de l’estimateur des MCO?

Sous forme matricielle, expressions (2) et (3)


 
E [ε 1 ε 1 /X ] E [ε 1 ε 2 /X ] ... E [ε 1 ε n /X ]
 E [ε 2 ε 1 /X ] E [ε 2 ε 2 /X ] ... E [ε 2 ε n /X ]
 
E εε0 /X
 
= 

.. .. .. 
 . . ... . 
E [ε n ε 1 /X ] E [ε n ε 2 /X ] ... E [ε n ε n /X ]
 2 
σ 0 ... 0
 0 σ2 ... 0 
2
=  .. ..  = σ I .
 
..
 . . ... . 
0 0 0 σ2

17 / 43
Propriétés statistiques de l’estimateur des MCO
Quelle est la précision de l’estimateur des MCO?

Souvent l’hypothèse d’homocédasticité n’est pas vérifiée.


E.g., modèle expliquant les profits d’une entreprise en fonction de sa
taille
Même en tenant compte de la taille, les profits des grandes entreprises
seront sujets à des variations plus importantes que ceux des petites
Séries temporelles - souvent H4 n’est pas vérifiée

18 / 43
Propriétés statistiques de l’estimateur des MCO
Quelle est la précision de l’estimateur des MCO?

Sous les hypothèses H2 à H4, la variance de l’estimateur des MCO est


donnée par

 h     0 i
Var β̂/X = E β̂ − E β̂/X β̂ − E β̂/X /X
 
0
 −1 0   0  −1 0  0
= E X X X ε X X X ε /X
 −1  −1
X 0X X 0 E εε0 /X X X 0 X
 
=
 −1 0 2   −1  −1
= X 0X X σ I X X 0X = σ2 X 0 X

19 / 43
Propriétés statistiques de l’estimateur des MCO
L’estimateur des MCO est-il le plus précis ? - Le théorème de Gauss-Markov

Définition: un estimateur b̂1 est optimal (au sens de la précision)


dans une classe d’estimateur b̂ si toute estimation d’une combinaison
linéaire du paramètre est estimée plus précisément avec b̂1 qu’avec
n’importe quel estimateur de la classe considérée

∀λ, V λ0 b̂1 ≤ V λ0 b̂
 

20 / 43
Propriétés statistiques de l’estimateur des MCO
L’estimateur des MCO est-il le plus précis ? - Le théorème de Gauss-Markov

Définition: un estimateur b̂1 est optimal (au sens de la précision)


dans une classe d’estimateur b̂ si toute estimation d’une combinaison
linéaire du paramètre est estimée plus précisément avec b̂1 qu’avec
n’importe quel estimateur de la classe considérée

∀λ, V λ0 b̂1 ≤ V λ0 b̂
 

Thoérème de Gauss-Markov. Sous les hypothèse H1 à H4 l’estimateur


des MCO est optimal dans la classe des estimateurs linéaires sans
biais.

20 / 43
Propriétés statistiques de l’estimateur des MCO
Estimation des paramètres du second ordre

La variance des résidus, σ2 , intervenant dans l’hypothèse H3, est un


paramètre dit du second ordre. Il correspond aux moments d’ordre 2
de la variable y conditionnellement aux variables explicatives.

21 / 43
Propriétés statistiques de l’estimateur des MCO
Estimation des paramètres du second ordre

La variance des résidus, σ2 , intervenant dans l’hypothèse H3, est un


paramètre dit du second ordre. Il correspond aux moments d’ordre 2
de la variable y conditionnellement aux variables explicatives.
Un paramètre important

21 / 43
Propriétés statistiques de l’estimateur des MCO
Estimation des paramètres du second ordre

La variance des résidus, σ2 , intervenant dans l’hypothèse H3, est un


paramètre dit du second ordre. Il correspond aux moments d’ordre 2
de la variable y conditionnellement aux variables explicatives.
Un paramètre important
intervient dans la matricee de variance-covariance des estimateurs et
est à l’origine de nombreux tests d’hypothèses.

21 / 43
Propriétés statistiques de l’estimateur des MCO
Estimation des paramètres du second ordre

La variance des résidus, σ2 , intervenant dans l’hypothèse H3, est un


paramètre dit du second ordre. Il correspond aux moments d’ordre 2
de la variable y conditionnellement aux variables explicatives.
Un paramètre important
intervient dans la matricee de variance-covariance des estimateurs et
est à l’origine de nombreux tests d’hypothèses.
Sous les hypothèses H1-H4, l’estimateur

ε̂0 ε̂ ∑ni=1 ε̂2i


σ̂2 = =
n − (K + 1) n − (K + 1)

est un estimateur sans biais du paramètre du second ordre σ2 .

21 / 43
Plan

1. Estimateur des Moindres Carrés Ordinaires (MCO)

2. Propriétés statistiques de l’estimateur des MCO

3. Estimateur des MCO sous l’hypothèse de normalité des


perturbations

4. Estimation sous contraintes linéaires

5. Propriétés asymptotiques de l’estimateur des MCO

6. Interprétation des paramètres

22 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations

Dans cette partie on examine les propriétés de l’estimateur des MCO


lorsque l’on fait l’hypothèse de normalité des perturbations

23 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations

Dans cette partie on examine les propriétés de l’estimateur des MCO


lorsque l’on fait l’hypothèse de normalité des perturbations
Hn : la loi ε conditionnellement aux variables explicatives X est une
loi normale de moyenne nulle et de matrice de variance σ2 I

N 0, σ2 I .
 
ε/X

23 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations

Dans cette partie on examine les propriétés de l’estimateur des MCO


lorsque l’on fait l’hypothèse de normalité des perturbations
Hn : la loi ε conditionnellement aux variables explicatives X est une
loi normale de moyenne nulle et de matrice de variance σ2 I

N 0, σ2 I .
 
ε/X

Cette hypothèse permet d’obtenir des résultats statistiques exacts et


de construire des intervalles de confiance et des statistiques de test

23 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations*

On s’intéresse à l’obtention d’intervalles de confiance et à des tests


d’hypothèse simple

24 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations*

On s’intéresse à l’obtention d’intervalles de confiance et à des tests


d’hypothèse simple
e.g., β k ∈ [a, ā] avec une probabilité de 95%
¯

24 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations*

On s’intéresse à l’obtention d’intervalles de confiance et à des tests


d’hypothèse simple
e.g., β k ∈ [a, ā] avec une probabilité de 95%
e.g., β k = 0¯

24 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations*

On s’intéresse à l’obtention d’intervalles de confiance et à des tests


d’hypothèse simple
e.g., β k ∈ [a, ā] avec une probabilité de 95%
e.g., β k = 0¯
Pour cela on a besoin d’obtenir une fonction des estimateurs
indépendante des paramètres.

24 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations*

On s’intéresse à l’obtention d’intervalles de confiance et à des tests


d’hypothèse simple
e.g., β k ∈ [a, ā] avec une probabilité de 95%
e.g., β k = 0¯
Pour cela on a besoin d’obtenir une fonction des estimateurs
indépendante des paramètres.
Sous l’hypothèse Hn, pour une composante donnée k du paramètre
on a
β̂ k − β k
Student (N − (K + 1)) (4)
σ̂β̂k

24 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations*

On s’intéresse à l’obtention d’intervalles de confiance et à des tests


d’hypothèse simple
e.g., β k ∈ [a, ā] avec une probabilité de 95%
e.g., β k = 0¯
Pour cela on a besoin d’obtenir une fonction des estimateurs
indépendante des paramètres.
Sous l’hypothèse Hn, pour une composante donnée k du paramètre
on a
β̂ k − β k
Student (N − (K + 1)) (4)
σ̂β̂k
Le résultat (4) permet d’établir des intervalles de confiance et des
tests d’hypothèse.

24 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations
Test d’une contrainte simple

On considère le test

H0 : β k = c contre H1 : β k 6= c

25 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations
Test d’une contrainte simple

On considère le test

H0 : β k = c contre H1 : β k 6= c
β̂ k −c H0
Considérant la statistique Ŝ = σ̂ β̂ avec Ŝ St (N − (K + 1))
k
La zone de rejet de H0 est donnée par
n o n o
W = Ŝ /Ŝ < −tN1−−(α/2
K +1)
∪ Ŝ / Ŝ > t 1−α/2
N −(K +1)

25 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations
Test d’une contrainte simple

On considère le test

H0 : β k = c contre H1 : β k 6= c
β̂ k −c H0
Considérant la statistique Ŝ = σ̂ β̂ avec Ŝ St (N − (K + 1))
k
La zone de rejet de H0 est donnée par
n o n o
W = Ŝ /Ŝ < −tN1−−(α/2
K +1)
∪ Ŝ / Ŝ > t 1−α/2
N −(K +1)

Mise en oeuvre du test :

25 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations
Test d’une contrainte simple

On considère le test

H0 : β k = c contre H1 : β k 6= c
β̂ k −c H0
Considérant la statistique Ŝ = σ̂ β̂ avec Ŝ St (N − (K + 1))
k
La zone de rejet de H0 est donnée par
n o n o
W = Ŝ /Ŝ < −tN1−−(α/2
K +1)
∪ Ŝ / Ŝ > t 1−α/2
N −(K +1)

Mise en oeuvre du test :


on calcule la statistique de Student Ŝ

25 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations
Test d’une contrainte simple

On considère le test

H0 : β k = c contre H1 : β k 6= c
β̂ k −c H0
Considérant la statistique Ŝ = σ̂ β̂ avec Ŝ St (N − (K + 1))
k
La zone de rejet de H0 est donnée par
n o n o
W = Ŝ /Ŝ < −tN1−−(α/2
K +1)
∪ Ŝ / Ŝ > t 1−α/2
N −(K +1)

Mise en oeuvre du test :


on calcule la statistique de Student Ŝ
on rejette l’hyopthèse H0 si Ŝ ∈ W

25 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations
Test d’une contrainte simple

On considère le test

H0 : β k = c contre H1 : β k 6= c
β̂ k −c H0
Considérant la statistique Ŝ = σ̂ β̂ avec Ŝ St (N − (K + 1))
k
La zone de rejet de H0 est donnée par
n o n o
W = Ŝ /Ŝ < −tN1−−(α/2
K +1)
∪ Ŝ / Ŝ > t 1−α/2
N −(K +1)

Mise en oeuvre du test :


on calcule la statistique de Student Ŝ
on rejette l’hyopthèse H0 si Ŝ ∈ W
Un test systématiquement mis en oeuvre est le test dit de
significativité des paramètres - H0 : β k = 0 contre H1 : β k 6= 0
25 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations
Intervalle de confiance

Un intervalle de confiance pour le paramètre β k au niveau α est un


intervalle [a, ā] tq P ( β k ∈ [a, ā]) = 1 − α.
¯ ¯

26 / 43
Estimateur des MCO sous l’hypothèse de normalité des
perturbations
Intervalle de confiance

Un intervalle de confiance pour le paramètre β k au niveau α est un


intervalle [a, ā] tq P ( β k ∈ [a, ā]) = 1 − α.
¯ ¯
Un intervalle de confiance du paramètre β k est
h i
β̂ k − tN1−−(α/2 σ̂
K +1) β̂ k
, β̂ k + t 1−α/2
σ̂
N −(K +1) β̂ k

où tN1−−(α/2
K +1)
est le quantile d’ordre 1 − α/2 d’une loi de student à
N − (K + 1) degrés de liberté.

26 / 43
Plan

1. Estimateur des Moindres Carrés Ordinaires (MCO)

2. Propriétés statistiques de l’estimateur des MCO

3. Estimateur des MCO sous l’hypothèse de normalité des perturbations

4. Estimation sous contraintes linéaires

5. Propriétés asymptotiques de l’estimateur des MCO

6. Interprétation des paramètres

27 / 43
Estimation sous contraintes linéaires

On peut souhaiter estimer un modèle économétrique linéaire en


incorporant une information a priori sur les paramètres prenant la
forme de contraintes linéaires.

28 / 43
Estimation sous contraintes linéaires

On peut souhaiter estimer un modèle économétrique linéaire en


incorporant une information a priori sur les paramètres prenant la
forme de contraintes linéaires.
On peut aussi vouloir tester si certaines relations entre les paramètres
sont bien acceptées par les données.

28 / 43
Estimation sous contraintes linéaires

On peut souhaiter estimer un modèle économétrique linéaire en


incorporant une information a priori sur les paramètres prenant la
forme de contraintes linéaires.
On peut aussi vouloir tester si certaines relations entre les paramètres
sont bien acceptées par les données.
contraintes que l’on veut imposer font intervenir une ou plusieurs
combinaisons linéaires des paramètres.

28 / 43
Estimation sous contraintes linéaires

On peut souhaiter estimer un modèle économétrique linéaire en


incorporant une information a priori sur les paramètres prenant la
forme de contraintes linéaires.
On peut aussi vouloir tester si certaines relations entre les paramètres
sont bien acceptées par les données.
contraintes que l’on veut imposer font intervenir une ou plusieurs
combinaisons linéaires des paramètres.
Pour cela on introduit un nouvel estimateur - l’estimateur moindres
carrés contraints (MCC)

28 / 43
Estimation sous contraintes linéaires
Estimateur moindres carrés contraints

L’estimateur MCO, β̂ mcc , est défini comme le vecteur minimisant la


somme des carrés des résidus et satisfaisant les contraintes R β = r .
0
min (y − X β) (y − X β)
Sc : Rβ = r

29 / 43
Estimation sous contraintes linéaires
Estimateur moindres carrés contraints

L’estimateur MCO, β̂ mcc , est défini comme le vecteur minimisant la


somme des carrés des résidus et satisfaisant les contraintes R β = r .
0
min (y − X β) (y − X β)
Sc : Rβ = r

avec R une matrice donnée p × (K + 1) et r un vecteur p × 1

29 / 43
Estimation sous contraintes linéaires
Estimateur moindres carrés contraints

L’estimateur MCO, β̂ mcc , est défini comme le vecteur minimisant la


somme des carrés des résidus et satisfaisant les contraintes R β = r .
0
min (y − X β) (y − X β)
Sc : Rβ = r

avec R une matrice donnée p × (K + 1) et r un vecteur p × 1


il ne doit pas y avoir de contraintes redondantes

29 / 43
Estimation sous contraintes linéaires
Estimateur moindres carrés contraints

L’estimateur MCO, β̂ mcc , est défini comme le vecteur minimisant la


somme des carrés des résidus et satisfaisant les contraintes R β = r .
0
min (y − X β) (y − X β)
Sc : Rβ = r

avec R une matrice donnée p × (K + 1) et r un vecteur p × 1


il ne doit pas y avoir de contraintes redondantes
On a
 −1 h  −1 0 i −1 
β̂ mcc = β̂ mco − X 0 X R 0 R X 0X

R R β̂ mco − r

29 / 43
Estimation sous contraintes linéaires
Estimateur moindres carrés contraints

L’estimateur MCO, β̂ mcc , est défini comme le vecteur minimisant la


somme des carrés des résidus et satisfaisant les contraintes R β = r .
0
min (y − X β) (y − X β)
Sc : Rβ = r

avec R une matrice donnée p × (K + 1) et r un vecteur p × 1


il ne doit pas y avoir de contraintes redondantes
On a
 −1 h  −1 0 i −1 
β̂ mcc = β̂ mco − X 0 X R 0 R X 0X

R R β̂ mco − r

On voit que l’estimateur des MCC apporte une correction à


l’estimateur des MCO et que cette correction est d’autant plus
importante que R β̂ mco − r 6= 0.
29 / 43
Estimation sous contraintes linéaires
MCC vs MCO

β̂ mcc est sans biais si et seulement si R β = r (i.e., si la contrainte est


valide)

30 / 43
Estimation sous contraintes linéaires
MCC vs MCO

β̂ mcc est sans biais si et seulement si R β = r (i.e., si la contrainte est


valide)
   
On a V β̂ mcc /X  V β̂ mco /X

30 / 43
Estimation sous contraintes linéaires
MCC vs MCO

β̂ mcc est sans biais si et seulement si R β = r (i.e., si la contrainte est


valide)
   
On a V β̂ mcc /X  V β̂ mco /X

Il y a donc un arbitrage entre robustesse et efficacité. Introduire plus


de contraintes améliore la précision des estimations mais risque de
conduire à des estimateurs biaisés. A l’inverse, diminuer le nombre de
contraintes produit des estimateurs plus robustes mais moins précis.

30 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

On considère le test

H0 : R β − r = 0 contre H1 : R β − r 6= 0

31 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

On considère le test

H0 : R β − r = 0 contre H1 : R β − r 6= 0

Une façon simple de tester l’hypothèse consiste à comparer les SCR


obtenus dans le modèle avec et sans les contraintes. On peut utiliser
C −SCR
la statistique de test F̂ = SCRSCR × N −(pK +1) avec

31 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

On considère le test

H0 : R β − r = 0 contre H1 : R β − r 6= 0

Une façon simple de tester l’hypothèse consiste à comparer les SCR


obtenus dans le modèle avec et sans les contraintes. On peut utiliser
C −SCR
la statistique de test F̂ = SCRSCR × N −(pK +1) avec
SCR = ε̂0 ε̂ = ∑ni=1 ε̂2i

31 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

On considère le test

H0 : R β − r = 0 contre H1 : R β − r 6= 0

Une façon simple de tester l’hypothèse consiste à comparer les SCR


obtenus dans le modèle avec et sans les contraintes. On peut utiliser
C −SCR
la statistique de test F̂ = SCRSCR × N −(pK +1) avec
SCR = ε̂0 ε̂ = ∑ni=1 ε̂2i
SCRC = ε̂0C ε̂ C = ∑ni=1 ε̂2Ci

31 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

Lorsque les hypothèses H1-H4 ainsi que Hn sont vérifiées, on a


H0
F̂ F (p, N − (K + 1))

32 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

Lorsque les hypothèses H1-H4 ainsi que Hn sont vérifiées, on a


H0
F̂ F (p, N − (K + 1))

La zone de rejet de H0 est donnée par



W = F̂ /F̂ > q1−α (F (p, N − (K + 1)))

où q1−α (F (p, N − (K + 1))) est le quantile d’ordre 1 − α de la loi


de Fisher à p et N − (K + 1) degrés de liberté.

32 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

La mise en oeuvre du test de Fisher se fait en deux étapes

33 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

La mise en oeuvre du test de Fisher se fait en deux étapes


on estime le modèle avec et sans les contraintes. Dans chacun des cas
on récupère les résidus estimés ou directement la somme des carrés des
résidus

33 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

La mise en oeuvre du test de Fisher se fait en deux étapes


on estime le modèle avec et sans les contraintes. Dans chacun des cas
on récupère les résidus estimés ou directement la somme des carrés des
résidus
On calcule la statistique F̂ et on la compare au fractile d’ordre (1 − α)
de la loi F (p, N − (K + 1)), noté F (1 − α)

33 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

La mise en oeuvre du test de Fisher se fait en deux étapes


on estime le modèle avec et sans les contraintes. Dans chacun des cas
on récupère les résidus estimés ou directement la somme des carrés des
résidus
On calcule la statistique F̂ et on la compare au fractile d’ordre (1 − α)
de la loi F (p, N − (K + 1)), noté F (1 − α)
Si F̂ > F (1 − α) alors on rejette H0 : la somme des carrés des résidus
sous contraintes diffère trop de celle des carrès des résidus estimés sans
contrainte pour accepter que H0 est vraie.

33 / 43
Estimation sous contraintes linéaires
Tester les contraintes : le test de Fisher

La mise en oeuvre du test de Fisher se fait en deux étapes


on estime le modèle avec et sans les contraintes. Dans chacun des cas
on récupère les résidus estimés ou directement la somme des carrés des
résidus
On calcule la statistique F̂ et on la compare au fractile d’ordre (1 − α)
de la loi F (p, N − (K + 1)), noté F (1 − α)
Si F̂ > F (1 − α) alors on rejette H0 : la somme des carrés des résidus
sous contraintes diffère trop de celle des carrès des résidus estimés sans
contrainte pour accepter que H0 est vraie.
Si F̂ ≤ F (1 − α), on ne rejette pas H0

33 / 43
Plan

1. Estimateur des Moindres Carrés Ordinaires (MCO)

2. Propriétés statistiques de l’estimateur des MCO

3. Estimateur des MCO sous l’hypothèse de normalité des perturbations

4. Estimation sous contraintes linéaires

5. Propriétés asymptotiques de l’estimateur des MCO

6. Interprétation des paramètres

34 / 43
Propriétés asymptotiques de l’estimateur des MCO

Précédemment on a établi les propriétés de l’estimateur des MCO.


Nous avons vu que l’hypothèse de normalité des résidus est centrale
pour obtenir la loi des estimateurs et, par conséquent, pour dériver un
certain nombre de statistiques de test.
Offrir des tests exacts au modèle de regression linéaire est le principal
avantage de cette hypothèse de normalité. Le prix a payer est
cependant que ces résultats ne sont valides qu’à condition que
l’hypothèse soit vérifiée par les données.
L’objectif de cette partie est d’évaluer la mesure dans laquelle les
propriétés obtenues sous hypothèse de normalité des résidus peuvent
être généralisées à un modèle qui ne la respecte

35 / 43
Propriétés asymptotiques de l’estimateur des MCO
Le théorème central limite

Soit X1 , X2 ,... une suite de variables aléatoires réelles définies sur le


même espace suivant la même loi et indépendantes, d’espérance
m et d’écart type σ

On pose Sn = X1 + X2 + ... + Xn et X̄n = Sn /n. On a E [X̄n ] = m et


σ (X̄n ) = √σn

Le
 TCLétablit que la loi asymptotique de la variable aléatoire
X̄n −m
√σ est une loi normale centrée réduite
n

36 / 43
Propriétés asymptotiques de l’estimateur des MCO
Le théorème central limite : exemple

Population
Imaginons que l’on dispose d’une population (que l’on crée) d’un
million de valeurs qui suivent une loi uniforme entre 0 et 3.
moyenne = 1.5 , écart type=√3
12
cf distribution dans la population

Observations
On extrait de cette population 500 échantillons de 50 valeurs (ici
n = 50).

Pour chaque chantillon, on calcule X̄n . On a donc X̄n,1 , X̄n,2 ... ,


X̄n,500

cf distribution empirique de X̄n (ressemble à une distribution normale)


Moyenne de la distribution empirique de X̄n = 1.5090 : proche de 1.5
Écart type de la distribution empirique de X̄n =0.12227 : proche de
√3
√12 .
50

37 / 43
Propriétés asymptotiques de l’estimateur des MCO
Le théorème central limite : exemple

38 / 43
Propriétés asymptotiques de l’estimateur des MCO
Le théorème central limite : exemple

39 / 43
Propriétés asymptotiques de l’estimateur des MCO

L’hypothèse de normalité de la distribution conditionnelle peut être


remplacée par des hypothèses sur l’existence de moments des
variables du modèle lorsque le nombre d’observations devient grand.
Pour abandonner l’hypothèse de normalité
conditions sur les moments (existence)
les observations (yi , Xi ) doivent être IID
Si l’échantillon est suffisamment grand on peut utiliser les résultats
asymptotiques.

40 / 43
Propriétés asymptotiques de l’estimateur des MCO

p
L’estimateur des MCO est convergent : β̂ → β

Que se passe-t-il pour les tests?


Test d’une contrainte simple : loi de student remplacée par la loi
normale centrée réduite.
L
On utilise le fait que t (k ) → N (0, 1)
k →∞
Test d’un système de contraintes linéaires (Test de Wald) : la loi de
Fisher remplacée par la loi du Khi 2 avec un degré de liberté p
(correspond au nombre de contraintes).
L
On utilise le fait que pF (p, N ) → χ2 (p )
N →∞

41 / 43
Propriétés asymptotiques de l’estimateur des MCO
Test d’hypothèse multi-dimensionnelle

On souhaite tester H0 : R β = r contre H1 : R β 6= r


Rappel: lorsque les résidus sont spécifiés comme normaux, on peut
utiliser le test de Fisher.
C −SCR
La statistique de test est F̂ = SCRSCR × N −(pK +1) et suit sous H0
la loi de Fisher F (p, N − (K + 1))

Lorsque les résidus ne sont pas spécifiés comme normaux et que


l’échantillon est grand, on utilise la statistique Ŝ = p F̂ .
Ŝ converge en loi vers un χ2 (p ) sous H0
On rejette H0 si  
Ŝobs > q (1 − α) , χ2 (p )
Pour tester la nullité de l’ensemble des paramètres (sauf constante,
p = K ), on peut utiliser la statistique de test NR 2

42 / 43
Plan

1. Estimateur des Moindres Carrés Ordinaires (MCO)

2. Propriétés statistiques de l’estimateur des MCO

3. Estimateur des MCO sous l’hypothèse de normalité des perturbations

4. Estimation sous contraintes linéaires

5. Propriétés asymptotiques de l’estimateur des MCO

6. Interprétation des paramètres

43 / 43