ECONOMETRIE I

LE MODELE LINEAIRE SIMPLE

CHAPITRE I : SPECIFICATION DU MODELE ET

ESTIMATION DES PARAMETRES
SPECIFICATION DU MODELE
SPECIFICATION DU MODELE LINEAIRE
SIMPLE : Le modèle
 MODELE :
Etant donné n couples d’observations (X1,Y1) ,(X2,Y2)… (Xn,Yn) et en supposant
que la relation plausible entre Y et X est linéaire d’ordre1 alors la modèle de
régression linéaire simple s’écrit :
Yi = b0 + b1Xi + ei i=1,….,n
Y est la variable dépendante ou expliquée ayant un caractère aléatoire, Yi
représentant la ième observation
b0 et b1 sont les paramètres du modèle de régression
X est la variable explicative, mesurée sans erreur ou dont les valeurs sont fixées
avant l’expérience à des valeurs arbitraires : c’est une grandeur certaine
e Dénote la fluctuation aléatoire non observable attribuable à un ensemble
de facteurs ou de variables non prises en compte dans le modèle
Remarques
 QUELLES TYPES DE SERIES UTILISER?
On s’intéressera essentiellement aux séries en coupe instantanée ou
transversale. Pour les séries temporelles, il convient de vérifier leur stationnarité
au cours du temps. On vérifiera notamment leur stationnarité en moyenne
(graphiquement puis par l’application de tests de racine unitaire) et en
variance. Pour stationnariser une série, on utilise généralement la différence
logarithmique.
 DE QUELLE LINEARITE PARLE-T-ON ? On distingue la linéarité dans les
variables (A vérifier graphiquement et le cas échéant à obtenir par
changement de variables ou linéarisation) et la linéarité dans les
paramètres, ce qui signifie que ceux-ci sont affectés d’une puissance
égale à 1 et ne sont pas multipliés ou divisés par un ou plusieurs autres
paramètres.
La linéarité qui nous intéresse ici est celle dans les paramètres, puisque en ce
qui concerne les variables, il suffit que le modèle puisse être linéarisé. En
d’autres termes, le modèle peut être linéaire en X ou en n’importe quelle
transformation de X.
 Tout ceci montre également l’importance d’une ANALYSE GRAPHIQUE
PREALABLE.
SPECIFICATION DU MODELE LINEAIRE
SIMPLE : Les composantes
Les valeurs Yi de la variable dépendante s’exprime comme une somme de
deux composantes :
 Une composante non aléatoire (b0 + b1Xi) attribuable aux valeurs certaines
prises par X. Pour chaque Xi , b0 + b1Xi est une valeur fixe
 Une composante aléatoire ei qui tient compte du caractère aléatoire de Y.
Cette composante ei = Yi – (b0 + b1Xi ) représente la fluctuation aléatoire des
valeurs individuelles Yi pour chaque Xi autour de la valeur b0 + b1Xi
 CONSEQUENCE :
Pour chaque valeur particulière prise par la variable indépendante X, la
variable dépendante Y est une variable aléatoire caractérisée par une
distribution de probabilité possédant une espérance et une variance
SPECIFICATION DU MODELE LINEAIRE
SIMPLE : e
Le terme e mesure la différence entre les valeurs réellement observées de Yi et
les valeurs qui auraient été observées si la relation spécifiée avait été exacte. Il
regroupe 3 types d’erreurs :
 Une erreur de spécification, le fait que la seule variable explicative n’est
pas suffisante pour rendre compte de la totalité du phénomène expliqué
 Une erreur de mesure, les données utilisées ne représentant pas
parfaitement le phénomène
 Une erreur de fluctuation d’échantillonnage: d’un échantillon à l’autre les
observations et donc les estimations sont différentes
SPECIFICATION DU MODELE LINEAIRE
SIMPLE : les hypothèses fondamentales
 Hypothèse de linéarité entre X et Y : La courbe joignant les moyennes des
distributions de Yi pour les diverses valeurs de Xi est appelée équation de
régression. On suppose que les moyennes sont alignées et que cette équation est
une droite, dite droite de régression de la forme E(Yi )= b0 + b1Xi Ce qui équivaut à
E(ei ) = 0
 La variance s² de chaque distribution des Yi est la même, peu importe les valeurs
particulières Xi : V(Yi)=s². Ceci revient à spécifier que la variance ei est constante
pour toutes les valeurs de X. C’est l’hypothèse d’homoscédasticité des erreurs :
V(ei )= s²
 Les Yi ne sont pas corrélés entre eux ce qui équivaut à spécifier que :
1) E(ei ej )=0 si i≠j ; hypothèse d’absence d’autocorrélation
2) E(ei xi )=0 hypothèse qui implique que X est une variable certaine, observée sans
erreur
 Hypothèse de normalité des Yi ou des ei
SPECIFICATION DU MODELE LINEAIRE
SIMPLE : Récapitulatif
La spécification complète du modèle de régression simple est donc :
Yi = b0 + b1Xi + ei i=1,….,n
Avec
E(ei ) = 0
E(ei ej )= 0 si i≠j ou E(ei ej )= s² si i=j
Et ei  N(0, s²)
OU ENCORE
Yi = b0 + b1Xi + ei i=1,….,n
Avec : ei  Nid(0, s²)
(les erreurs sont normalement et indépendamment distribuées)
 E(Y)= aX+b

E(Y/X’)
E(Y/X)
La droite de régression (en rouge) E(Y)=aX+b passe par les points E(Y/Xi), pour tout
i=1,…n et donc en particulier en E(Y/X) et E(Y/X’) représentés sur ce graphique.
ESTIMATION DES PARAMETRES
ESTIMATION DES PARAMETRES :
Introduction
On veut obtenir de bonnes estimations des paramètres b0 et b1 de la droite de
régression E(Y)= b0 + b1X . On voudra également évaluer l’ampleur de la variabilité
des observations Yi autour de la droite de régression cad obtenir une estimation de
la variance des erreurs.
Comme tout travail statistique, nous nous servons des données de l’expérience
pour calculer les statistiques qui servent d’estimateurs des paramètres. En
régression linéaire simple l’objectif est d’obtenir une droite qui s’ajuste le mieux
possible aux points du diagramme de dispersion. On verra comment.
Pour chaque échantillon de taille n issu de la population, on obtiendra une
estimation différente de la droite de régression E(Y)= b0 + b1X . Soit une estimation
de cette droite notée 𝑌= b0+b1X où b0 (estimateur de b0) représente l’ordonnée à
l’origine et b1 (estimateur de b1) la pente de la droite. On montrera que la
méthode des moindres carrés ordinaires assurent que b0 et b1 ont des propriétés
importantes.
ESTIMATION DES PARAMETRES :
Principe des MCO
On cherche donc la droite 𝑌𝑖 = b0+b1Xi qui ajuste le mieux le nuage de points
(X1,Y1), (X2,Y2),…,(Xn,Yn). La valeur estimée 𝑌𝑖 de Yi est l’ordonnée d’un point de
la droite dont l’abscisse est Xi. Comme le montre la figure ci-dessous certains
points du couple(Xi,Yi) sont au-dessus de la droite d’autres en-dessous. Ces
écarts notés ei par rapport à la droite et définis par : ei = Yi - 𝑌𝑖 = Yi - b0+b1Xi
sont appelés résidus.
Le meilleur ajustement suppose que ces écarts mesurés verticalement entre
les points du nuage et la droite de régression soient aussi faibles que possible.
La méthode des MCO consiste à minimiser la somme des carrés des écarts
donc la somme des carrés des résidus :
MCO  min 𝑛 2
𝑖=1 𝑒𝑖 = 𝑛
𝑖=1 Yi − 𝑌𝑖 ² = 𝑛
𝑖=1 Yi − b0+b1Xi ²
 empirique

Valeur estimée

Ecart ei = Yi - 𝑌𝑖

Valeur observée
 ESTIMATION DES PARAMETRES :
Application des MCO
 Etape 1 : Annulation des dérivées partielles :  Etape 2 : Positivité des dérivées
𝜕 𝑛 2 secondes
𝑖=1 𝑒𝑖
=0  −2 𝑛
𝑖=1 𝑌𝑖 − 𝑏0 − 𝑏1 𝑋𝑖 = 0 (1)
𝜕𝑏0
𝑛 2
𝜕² 𝑖=1 𝑒𝑖
(1)  𝑛
𝑖=1 Yi − 𝑌𝑖 = 0 = 2n ≥ 0
𝜕²𝑏0
(1)  𝑛
𝑖=1 𝑌𝑖 − 𝑛𝑏0 − 𝑏1 𝑛
𝑖=1 𝑋𝑖 =0
𝑛 2
𝜕² 𝑖=1 𝑒𝑖
𝜕 𝑛 2
𝑖=1 𝑒𝑖 = 2 𝑋𝑖2 ≥ 0
=0  −2 𝑛
𝑖=1 𝑌𝑖 − 𝑏0 − 𝑏1 𝑋𝑖 𝑋𝑖 = 0 (2) 𝜕²𝑏1
𝜕𝑏1

(2)  𝑛
𝑖=1 Yi − 𝑌𝑖 𝑋𝑖 = 0 b0 et b1 sont donc des minimums
(2)  𝑛
𝑖=1 𝑌𝑖 𝑋𝑖 − 𝑏0 𝑛
𝑖=1 𝑋𝑖 − 𝑏1 𝑛 2
𝑖=1 𝑋𝑖 =0

(1) et (2) sont appelées équations normales. La résolution

de ce système donne :
𝑪𝑶𝑽(𝑿,𝒀)
𝒃𝟏 = et 𝒃𝟎 = 𝒀 − 𝒃𝟏 𝑿
𝑽(𝑿)
Remarques
𝑋𝑖 𝑌𝑖 (𝑋𝑖 −𝑋)(𝑌𝑖 −𝑌)
−𝑋𝑌 𝑛
𝑪𝑶𝑽(𝑿,𝒀) 𝑖=1(𝑋𝑖 −𝑋)(𝑌𝑖 −𝑌)
 𝒃𝟏 = = 𝑛
𝑋2
= 𝑛
(𝑋𝑖 −𝑋)²
= 𝑛
𝑽(𝑿) 𝑖 𝑖=1(𝑋𝑖 −𝑋)²
𝑛
−𝑋² 𝑛

CSQ :
Lorsque que les variables sont centrées, cad lorsque les observations sont
centrées sur leur moyenne telles que 𝑥𝑖 = 𝑋𝑖 − 𝑋 et 𝑦𝑖 = 𝑌𝑖 − 𝑌 ,
𝒏
𝒊=𝟏 𝒙𝒊 𝒚𝒊
Alors 𝒃𝟎 = 𝒀 − 𝒃𝟏 𝑿 et 𝒃𝟏 = 𝒏 𝒙𝟐
𝒊=𝟏 𝒊

 la droite de régression empirique passe toujours par le point (𝑋, 𝑌):

On a : 𝑌𝑖 = b0+b1Xi , en remplaçant b0 par sa valeur on obtient :
𝑌𝑖 = 𝑌+b1(Xi -𝑋)
 Les équations normales peuvent s’écrire : 𝑋𝑖 𝑒𝑖 = 0
et 𝑒𝑖 = 0
 ESTIMATION DES PARAMETRES :
Résidus et mesure de dispersion
On cherche à obtenir une estimation de la dispersion des Yi donc de s².
 Résidu :
ei = Yi - 𝑌𝑖 = Yi - b0- b1Xi = = b0 + b1Xi + ei - b0 - b1Xi et donc ei = ei – ( b0 -b0 )- (b1-b1)Xi
 Estimation de s²
𝑛 2
𝑖=1 𝑒𝑖
On montre que la statistique 2
𝑆𝑛−2
= est un estimateur sans biais de s². Une estimation s² de s² est
𝑛−2
calculée sur l’échantillon. Il s’agit de la variance corrigée des résidus :
𝑛 ²
𝑖=1 𝑒𝑖 1
s² = 𝑜𝑢 𝑠2 = 𝑌𝑖 ² − 𝑏0 𝑌𝑖 − 𝑏1 𝑋𝑖 𝑌𝑖
𝑛−2 𝑛−2
 Propriétés des résidus
1) 𝑒𝑖 = 0 : la somme des résidus est nulle, et le modèle en moyenne est correctement estimé
2) 𝑒𝑖2 est minimale
3) 𝑋𝑖 𝑒𝑖 = 0  𝑐𝑜𝑣 𝑋𝑖 , 𝑒𝑖 = 0
4) 𝑌𝑖 𝑒𝑖 = 0  𝑐𝑜𝑣 𝑌𝑖 , 𝑒𝑖 = 0