Aléatoire
Déterminis te
On dit le modèle de Y
i 0 1 i ui est stochastique ou
bien Y est stochastique
Aléatoire
Déterminis te
Dans ce modèle : i 0 1 i ui
0 et 1 sont appellés coeifficients du modèle
i est la variable économique observée pour " i" individus
i est la variable économique observée pour les mêmes individus
Exemple :
On considère une population totale définie sur un univers qui
contient 5 employés.
On suppose que la variable endogène (Y) est la productivité des
employés, et la variable Exogène (X) est l’ancienneté des mêmes
employés
• D’après une enquête, on a constaté les données suivantes sur
la productivité et l’ancienneté des 5 employés :
Numéros des Employés Productivité (Y) Ancienneté (X)
1 3, 5 Kg 0 ans
2 2 Kg 1 ans
3 5 Kg 3ans
4 5,5 Kg 6 ans
5 4 Kg 3 ans
150
E (Y / X i ) 0 1 X i
100
50
80 100 120 140 160 180 200 220 240 260
Justification du terme aléatoire
Yi/X=240
200
Yi/X=180
Yi/X=120
150
E (Y / X i ) 0 1 X i
100
50
80 100 120 140 160 180 200 220 240 260
Yi 0 1i ui
0 1
Signification de linéarité
E (Y / X i )
Linéarité dans les variables et0
1X
dans les paramètres i
E (Y / X i ) 0 1 X i2
E (Y / X i ) 0 1 X i
• Solution : Estimation sur l’échantillon
• La question qui se pose alors est celle-ci : à partir de
l’échantillon peut-on prévoir la consommation
moyenne mensuelle de la population totale
correspondant aux Xi choisis ? En d’autre sens, peut-
on estimer la fonction de régression de la population à
partir des données de l’échantillon ?
• Réponse : oui, voir procédé p. suivante
Prélèvement de 2 Échantillons aléatoires E1 et E2
Échantillon E1 Échantillon E2
Y : consommation X : revenu Y : consommation X : revenu
70 80 55 80
65 100 88 100
90 120 90 120
95 140 80 140
110 160 118 160
115 180 120 180
120 200 145 200
140 220 135 220
155 240 145 240
150 260 175 260
Droites de régression de chaque échantillon
180 10
160
7 9
140 8 ˆ ˆ ˆ
i 0 1 I
5 6
120
100
2 3 E1
4
80
60 1
DE2
40
0 100 200 300
REVENU
Concordance entre population et échantillon
Population i ( / i ) ui
Echantillon ˆ û
i i i
û i Estimateur de ui
u
û
Comment alors peut-on
construire la droite de
régression de l’échantillon de
telle sorte que ˆ1 soit très
proche que possible du vrai 1
et que ˆ0 soit proche que
possible du vrai 0
Au niveau de la population, le modèle s’écrit :
i 0 1 X i ui
Tout le problème consiste à estimer les
paramètres et 0 1
̂i i ûi
ˆ0 est un estimateur de 0
ˆ1 est un estimateur de 1
ûi est un estimateur de u i
ˆ
i est un estimateur de E (Y / X i )
Quelle sont alors les méthodes d’estimation ??
• 1- La Méthode des moindres carrés ordinaires
(M.C.0 ou O.L.S =Ordinary Least Square)
• 2- La méthode du maximum du vraisemblance
II- Estimation du modèle de régression linéaire simple par
la méthode des moindres carrés ordinaires (M.C.O)
* Principe de la méthode :
ˆ ˆ ˆ X
i 0 1 i
Y1
û2
û1 û3
û2
Figure 6
X1 X2 X3 X4
n
n
ˆ )2
C’est-à-dire M ini (Yi Y
i 1 i
n
Or i 0 1 i d’où le Mini û i = Min
ˆ ˆ ˆ 2
i 1
que
n
ˆ
0
0 2 i 1
(Yi ˆ ˆ X ) 0
0 1 i [Eq 2]
n
0 2 (Yi ˆ0 ˆ1 X i ) X i 0 [Eq 3]
ˆ1 i 1
Y i X i
n i 1
nˆ 0 nˆ1 i 1
n n
nY nˆ 0 n ˆ1 X
Y ˆ 0 ˆ1 X
ˆ0 Y ˆ1 X
En utilisant l’expression de ˆ0 dans l’équation [Eq 3] on obtient ˆ1 après simplification:
n
2 (Yi ˆ0 ˆ1 X i ) X i 0
i 1
n
(Y
i 1
i ˆ 0 ˆ1 X i ) X i 0
n
(Yi X i ˆ0 X i ˆ1 X i2 ) 0
i 1
n n n
X iYi ˆ0 X i ˆ1 X i2
i i 1 i 1
n, n
X i Yi nˆ0 X ˆ1 X i2
i 1 i 1
n, n
X i Yi nX (Y ˆ1 X ) ˆ1 X i2
i 1 i 1
n, n
X i Yi nXY nˆ1 X 2 ˆ1 X i2
i 1 i 1
n, n
X i Yi nXY 1 ( X i nX )
ˆ 2 2
i 1 i 1
n n,
ˆ1 ( X nX ) XY nXY1
i
2 2
i 1 i 1
1 n,
n i 1
X i Yi X * Y Cov( X ; Y )
ˆ
1 =
1 n 2 Var ( X )
i
n i 1
X X 2
Autres écritures de 1
n
n i i
1- ̂1 i 1
n
i n
2
i 1
2-
i
n
i
n, i n
1
n i 1
X i Yi X * Y i 1
n
i
̂1 i 1
n n n
1
2 2 2 2
X i X i i
n i 1 1 1
n
égerDésormais, note i par xi et i par y i
ononnote
les expressions,
x i yi
D’où ̂ 1 n
x
2
i
1
La droite des moindres carrés s’écrit : Yˆi ˆ 0 ˆ1 X i
Avec ̂ 0 et ˆ1 sont des estimateurs respectifs de 0 et 1
Interprétation économique des coefficients du modèle
On a
i 0 1 X i ui
di
1 di 1d i
d i
Lorsque X varie d’une unité , Y varie en moyenne de
1 unités : il s’agit bien de la sensibilité de Y à la
variation de X
Propriétés de la droite de régression
droite des moindres carrés s’écrit : Yˆi ˆ 0 ˆ1 X i
P3 : ̂ la moyenne de la variable Y observée au niveau
n
D’ après la contrainte imposée par la première
équation normale [Eq 2] Vue ci-dessus
n
ˆ
0
0 2 (Yi ˆ ˆ X ) 0
0 1 i [Eq 2]
n i 1
ˆ 0
0 2 (Yi i 0 ˆ1 X
[Eq
n
ˆ
i )X i 0
0 3]
ˆ1 i 1i 1 2
uˆi 0 uˆ 0
P5 : Les résidus sont non corrélés avec les Xi c-
à-d leurs covariance est nulle.
Démonstration
2 0(
ˆ1 i 1 i
Y
2ˆ 0
i 1
(Y
i
ˆ X
1 i
ˆ
0 )X ˆ
i 1X 0
i ) X i 0 [Eq 3]
n
(Yi ˆ0 ˆ1 X i ) X i 0
i 1
n
i 1
ˆ
i i
0
n
uˆi i 0
i 1
III- Hypothèses classiques du modèle de régression linéaire
simple
Hypothèse 1 : Le modèle est linéaire dans les paramètres (voir ci-dessus)
Hypothèse 2 : Les valeurs de X sont fixées dans un échantillon répété. Les valeurs de X
sont fixes dans l’échantillon c’est-à-dire elles sont non stochastiques (voir l’exemple
hypothétique).
200 Figure 7
150
+ui E (Y / X i ) 0 1 X i
100
-ui
50
80 100 120 140 160 180 200 220 240 260
Hypothèse 3 : La moyenne du terme aléatoire est nulle. La valeur de X étant fixe, la
moyenne conditionnelle E(ui/Xi)=0. Cette hypothèse signifie que les facteurs non pris en
compte par le modèle et donc incorporés à ui, n’affectent pas systématiquement les valeurs
moyennes de 200
Y. Figure 7
150
+ui E (Y / X i ) 0 1 X i
100
-ui
50
80 100 120 140 160 180 200 220 240 260
L’hypothèse E(ui/Xi)=0 implique que E (Yi / X i ) ˆ0 ˆ1 X i c'est-à-dire les valeurs
moyennes conditionnelles de la population sont estimées par la droite de régression de
l’échantillon.
Hypothèse 4 : La constance de la variance du terme aléatoire ui ou l’homoscédasticité.
La variance du terme aléatoire reste constante pour chaque niveau de X= Xi
i E(u i / X i ) E[u i E (u i / X i )] 2
E(u i ) 2
u2
200 Figure 7
150
+ui E (Y / X i ) 0 1 X i
100
-ui
50
80 100 120 140 160 180 200 220 240 260
Hypothèse 5 : Le terme aléatoire est distribué
suivant la loi normale de moyenne zéro et de
variance u2 constante :
ui N (0; ) 2
u
Hypothèse 6 : Absence d’autocorrélation des
termes aléatoires : Étant donné deux valeurs
Xi et Xj (i j) la corrélation entre ui et uj est
nulle, soit :
Cov(ui ; u j ) E ([ui E (ui ) / X i ])([u j E (u j ) / X j ])
E (ui / X i )(u j / X j )
0
+uj +uj +uj
+ui -u +u
-ui i +ui
-ui i
Cov(u i ; X i ) E[(u i E (u i )( X i E ( X i )]
E[u i ( X i E ( X i )
E (u i X i ) E ( X i ) E (u i )
E (u i X i ) 0
V- Propriétés statistiques des estimateurs des
moindres carrés ordinaires
• A- Théorème de Gauss-Markov
Les estimateurs des moindres carrés ordinaires ˆ0 et ˆ1
Démonstration
ˆ1 BLUE de
Linéarité
1
On remplace yi par son expression ; ˆ1 devient :
x x xi
n n
i i i i
̂1 i 1
n
i 1
n
xi
1
2
i
x 2
i 1
n n
x xi i i x i i
car x i i 0
n n
i 1
n
i &
n
i
x 2
i 1
i
x 2
i 1
i 1 i 1
x i i n
xi
D’où ˆ1 i 1
n
k i i en posant k i n
qui exprime le poids d' OLS
x i 1
2
i
i 1
x
i 1
2
i
n
Finalement ̂ 1 k i i est linéaire en Y
i 1
Unbiaisure de ˆ 1
n
d' où ˆ1 1 k i u i Eq4
i 1
Par introducti on de l' espérance mathématiq ue, on obtient :
n
E 1 E 1 k i u i
ˆ
i 1
n
E 1 E k i u i
i 1
n
E 1 k i E u i OR E(ui)=0
i 1
d' où E ˆ1 1 puisque 1 est une constante
Var ˆ1 E ˆ1 E (ˆ1 2
Var ˆ1 E ˆ1 1 2
n
D’après l’équation Eq4 ci-dessus, ˆ1 1 k i u i ,
i 1
2
n
Var ˆ1 E k i u i
i 1
ˆ
Var 1 E k1u1 k2u2 ............. knun 2
Var ˆ1 E k12 u12 k 22 u 22 ..... k n2 u n2 2k1u1 2k 2 u 2 ......... 2k n1u n
Var ˆ1 E k12u12 E k22u22 ................E kn2un2 0
Var ˆ k E u k E u ................ k E u
1
2
1
2
1
2
2
2
2
2
n
2
n
Var ˆ1 k12 u2 k 22 u2 .......................... k n2 u2
n
Var ˆ1 u2 ki2
i 1
2
On remplace k i par son expression, on obtient :
Var ˆ1 n
u2
2
ˆ
Var ( ˆ )
1
xi 1
i 1
A Apprendre par cœur
Démonstration du minimum de variance
~
Soit un estimateur linaire et sans biais dont l’expression est
n
~
wi i
i 1
2
~ n
n
n
Var Var wi i E wi i E ( wi Yi
i 1 i 1 i 1
Après développement et simplification du calcul, on trouve
2
~
nxi
Var ( ) u wi n 2 Var ˆ1
2
i 1 xi
i 1
0
~ n xi 2
Par comparaison la Var ( ˆ1 ) Var ( ) puisque u ( wi n
2 ) 0
i 1 x
2
i 1 i
Conclusion :
estimateur BLUE
ˆ
Var ( 0 ) u n
n u n
i 1
x 2
i
n i 1
x 2
i
ˆ Var ( ˆ0 )
0
Cette variance est minimale en comparaison avec la
variance d’un autre estimateur alternatif, linéaire et
sans biais.
B- Estimation de la variance du terme aléatoire
On remarque que ces deux variances dépendent de la
variance du terme aléatoire qui est inconnue
n
Xi2
u 2 2
ˆ ˆ )Var 2ˆ 1 X 2 i 1
Var 1 n Var (
(
u 1 n
)
2 ˆ
0
n u n
2
i x
u
1 2 2
x n x
i 1 i 1
i
i 1
i
yi i
y
i1 x iy
i 1
x 1
u i
u ii 1uxii u i u
u i i
yi 1yxii ˆui1 xiu u i u ˆ
Dans
DansDans l’échantillon
l’échantillon ˆ
yi ˆ1i xi yi 1uˆ
l’échantillon y x
ˆ ˆ ˆ
1 xuˆiii uyˆii
ˆi i u u ˆ
y uiˆ
x
xyi ˆ x
DansDans
l’échantillon yi 1yxi ui 1
l’échantillon ˆ xi ui uˆi
ˆ ˆ
yi uˆi 1xi yi 1 xi
1 i
1
ˆ i 1 i
Calcul de û et de sa variance
uˆ i 1 xi u i u ˆ1 xi
ˆ
uˆ i 1 xi u i u ˆ1 xi
ˆi uˆ
u ˆ ˆ
( 1 ) x 1u x
1 ui 1
i
i
ui u
i
2 2 ˆ
ˆ
uˆ û ( 11) x x
1 1 i i
2 2
(u i u )22
2(
2
ˆ ) x (u u )
1 1 i i
0
1) ix
ui ) u
n n
n 2 n n n
i i 1 1 1 i 1 i i i
ˆ 2 ˆ
ˆ
1 2( ˆ11
2 ˆ
i (u i u
2 2 2 2 2
u û ( x ) x u (uu u 2
)
i 1 i 1 i 1 i 1 i 1 i 1
i 1 i 1 i 1
u2 2
E ui u
n n
x * n 2
i 1
i
i 1
ix 2
i 1
2 1 2
E ui u E ui ( ui )
n
2
i 1 n
2 1
E ui E ui u2 ....un
2
n
D’où :
n u2 u2
2
E uˆi u n u u n 2 u
n
2 2 2 2
i 1
Qui est un estimateur biaisé,
Soit, u l’estimateur de la variance des résidus telle
ˆ 2
que:
n
uˆ 2
i A retenir par cœur
ˆ
2 i 1
n2
u
Var ( ˆ0 ) i 1
n
i 1
n
n xi2 n xi2
i 1 i 1
Var ˆ n
1 2
n
u2 ˆ u2
xi
2
xi
i 1 i1
n
Avec : ui
ˆ 2
ˆ u2 i 1
et xi i
n2
Exercice:
• On envisage d’étudier l’effet des dépenses
publicitaires sur le chiffre d’affaires. A cet effet, on
prélève un échantillon aléatoire de 4 entreprises à
partir d’une population (d’entreprises) de taille
inconnue.
• On suppose que la relation est linéaire entre ces
deux variables.
• L’observation du chiffre d’affaires et des dépenses
publicitaires en milliers de dirhams est la suivante
Échantillon Chiffre d’affaires (X) Dépenses pub. (Y)
Entreprise 1 2 5
Entreprise 2 4 6
Entreprise 3 6 9
Entreprise 4 8 5
Solution :
1)Question 1 : d’après l’énoncé, on suppose que le
modèle est linaire, d’où :
i 0 1 X i u i
• avec i=1,2,3,4
ˆ•0 ˆapplication
2)YPar 1X
de la méthode OLS :
1 n
( X i X )(Yi Y ) X i Yi X * Y
ˆ Cov( X ; Y ) n i 1
1 Var ( X ) n
1 n
2
(Xi X ) 2
Xi X
2
i 1 n i 1
Échantillon X Y Xi *Yi X²i ̂i ûi ûi²
̂i
Entrep .1 2 5 10 4 5,8 -0,8 0,64
Entrep .2 4 6 24 16 6,1 -0,1 0,01
Entrep .3 6 9 48 36 6,4 2,6 6,76
Entrep .4 8 5 40 64 6,7 -1,7 2,89
Total 20 25 128 120 ---- 0 10,3
-
Moyennes 5 6,25 --- ---
ˆ 0,75
1 0,15
5
ˆ ˆ 5,5
0 1
ui
ˆ 2
ˆ u2 i 1 =10,3/2= 5,15
n2
6- variances des estimateurs
Var(ˆ0) =
Var(ˆ1)=