CHAPITRE 1

MODELES DE REGRESSION SIMPLES

1.1 Prsentation

Le modle de rgression simple ou modle linaire simple, est la forme lmentaire des modles
conomtriques. Cette forme simple et simpliste est la base de lconomtrie. Un modle linaire
simple suggre que lvolution dune variable Y est fonction linaire dune variable X et dune
composante alatoire :
yi = 1 + 2 xi + ei (1.1)

La variable Y est dite variable dpendante, expliquer ou endogne. La variable X est dite
variable indpendante, explicative ou exogne. La composante alatoire dont les valeurs sont
notes e1 , e2 , ...en est dit terme derreur, ou perturbation ou composante alatoire.

Les coecients 1 et 2 sont les paramtres du modle. De point de vue mathmatique ces
paramtres reprsentent respectivement la valeur lorigine et la pente de la droite de rgression.
La signication conomique des paramtres est lie aux variables X et Y. Par exemple :

Si Y est la consommation des mnages et X est le revenu 1 est la consommation incompres-

sible et 2 cest la proportion marginale consommer
Dans le cadre de la fonction de production : Si Y est le log de la production et X le capital,
2 est llasticit de la production au capital
Si Y est la demande dun bien de consommation et X est le prix de ce bien, 1 reprsente la

1
2 CHAPITRE 1. MODELES DE REGRESSION SIMPLES

capacit maximale dabsorption du march et 2 est leet du prix sur la demande.

Pour un couple de variable (X, Y ) les valeurs des paramtres 1 et 2 varient dans le temps et
dans lespace. Ainsi le volume de la consommation incompressible varie dun pays un autre et
pour le mme pays il varie au cours du temps.

Un modle de rgression dcompose le comportement de la variable Y en deux parties

1. Une partie dterministe : 1 + 2 xi

2. Une partie alatoire non observable : Lintroduction de cette composante alatoire (ei ) dans
les modles conomtriques se justie par plusieurs facteurs tel que : les comportements
humains, les vnements imprvus, variables omises, les erreurs des donnes.

1.2 Hypothses des Modles de Rgression

Linfrence statistique partir des modles de rgression se repose sur les hypothses suivantes :

Hypothse-1 (H1) : Il existe une relation linaire entre les variables X et Y . La linarit
implique que les observations relatives au couple (X, Y ) seront parpills autour dune droite
dans lespace gomtrique (X, Y ).

Cette hypothse de linarit nest pas restrictive. On peut utiliser la rgression linaire mme
pour des relations non linaires et ce travers une transformation des variables. Par exemple si on
considre la fonction de production de Cobb-Douglas pour le cas dun seul facteur de production :
P = aK b o P est la production et K le volume de capital, on peut estimer les paramtres de ce
modle par la rgression linaire aprs une transformation logarithmique des variables. Ainsi la
rgression linaire est valable pour les relations conomiques linaires ou linarisable.

Hypothse-2 (H2)

Le terme derreur est un bruit blanc E( ei ) = 0, i = 1, 2...n : Lintroduction du terme derreur

dans les modles conomtriques est justie par le fait que lvolution de la variable endogne
Y peut tre aecte par plusieurs facteurs autres que les variables du modle. Lhypothse H2
implique que leet de ces facteurs omis est neutre, nul au moyenne.

Hypothse-3 (H3) : var( ei ) = 2 , i = 1, 2...n

Cest lhypothse de la constance de la variance ou dhomoscdasticit. Tous les ei ont la

1.3. ESTIMATION : MTHODE DES MOINDRES CARRS ORDINAIRES (MCO) 3

mme variance. Dans le cas contraire on parle dhtroscdasticit. Lhypothse dhomoscdas-

ticit est satisfaite si lchantillon est homogne. Par exemple les dpenses de consommation des
mnages fort niveau de revenu peuvent avoir une variabilit plus grande que celle des mnages
faible revenu. Le risque dhtroscdasticit est plus li aux donnes en coupe instantanes quaux
donnes temporelles.

Hypothse-4 (H4) : cov( ei , ej ) = 0 i = j

Labsence dautocorrlation des erreurs concerne particulirement les donnes temporelles. Lab-
sence dautocorrlation des erreurs implique quune perturbation linstant t naecte pas les
valeurs des perturbations t+1, t+2 . . . Une autocorrlation positive implique par exemple quun
et ngatif tendance tre suivi dun et+1 ngatif, et inversement.

Hypothse-5 (H5) la variable X est non alatoire

Cette hypothse trs puissante implique que les valeurs de la variable exogne sont connues avec
certitude. Elle permet essentiellement dtablir des dmonstrations statistiques et mathmatiques.
Limportance de cette hypothse est quelle permet en particulier de dduire que cov( ei , xi ) = 0
et que var(yi ) = var(ei ).

Hypothse-6 (H6) : les ei sont IIDN (0, 2 )

Cette hypothse englobe les hypothses 2,3 et 4 ci-dessus en plus des hypothses de norma-
lit et dindpendance des erreurs. La normalit des erreurs permet en particulier dtablir les
distributions de probabilit des tests statistiques.

1.3 Estimation : Mthode des Moindres Carrs Ordinaires

(MCO)

1.3.1 Equations des Estimateurs

Si la thorie conomique suggre que la relation entre deux ou plusieurs variables conomiques
peut tre rsume par une quation mathmatique, la premire tache de lconomtre est destimer
les paramtres de cette quation ou modle. On dmontre que pour les modles linaires et sous les
hypothses ci-dessous (section 1.2), la mthode des moindres carrs (MCO) fournis les meilleurs
estimateurs (dmonstration la section 1.3.2).
4 CHAPITRE 1. MODELES DE REGRESSION SIMPLES

Pour un modle de rgression simple (yi = 1 + 2 xi + ei ) la mthode des moindres carrs

consiste dterminer la droite yi = 1 + 2 xi la plus proche du nuage des points (xi , yi ). Ainsi les
estimateurs MCO sobtiennent par la minimisation de e2i (g 1.1) :

i
Y

F . 1.1

n n

e 2
(yi yi )2

i


i=1
=0
i=1
=0

min ei 2 1 1
n n
1 , 2
ei2
(yi yi )2




i=1
i=1
=0 =0
2 2
n

xi yi nY X



2 = n i=1
2
La solution de ce systme dquation est x2i nX



i=1

=Y X
1 2

Remarques :

n n
xi yi nY X (xi X)(yi Y )
i=1 i=1 cov(X, Y )
1. 2 = n = n =
2 var(X)
x2i nX (xi X)2
i=1 i=1

2. Les quations normales de minimisation permettent de dduire les proprits suivantes :

n n
(yi ( 1 2 xi )) = 0 ei = 0 = 0 Y = Y
i=1 i=1
ei
n n
xi (yi ( 1 2 xi ))) = 0 xi ei = 0
i=1 i=1

Application : Le tableau suivant fournit des donnes sur le revenu disponible et lpargne par
habitant pour la priode : 1990 1999. Estimer par la mthode MCO les paramtres du modle
yt = 1 + 2 xt + et t = 1990, 1991...1999 et interprter les rsultats.
1.3. ESTIMATION : MTHODE DES MOINDRES CARRS ORDINAIRES (MCO) 5

Anne Revenu Epargne Rv2 Ep2 RvEp

1990 2430 350 5904900 122500 850500
1991 2650 350 7022500 122500 927500
1992 2950 400 8702500 160000 1180000
1993 3160 425 9985600 180625 1343000
1994 3300 320 10890000 102400 1056000
1995 3750 480 14062500 230400 1800000
1996 4090 510 16728100 260100 2085900
1997 4450 530 19802500 280900 2358500
1998 4900 560 24010000 313600 2744000
1999 5320 630 28302400 396900 3351600
Total 37000 4555T 145411000
. 1.1 2169925 17697000

1.3.2 Proprits des Estimateurs MCO

Thorme de Gauss-Markov : Sous les hypothses H1 H4, les estimateurs des moindres
carrs sont les meilleurs estimateurs dans la classe des estimateurs linaires sans biais des para-
mtres dun modle de rgression (Best Linear Unbiased Estimators : BLUE ).

Ce thorme tablit trois proprits des estimateurs MCO : Ils sont linaires, sans biais et les
plus ecaces dans la classe des estimateurs linaires sans biais.

Linarit Les estimateurs MCO des paramtres des modles de rgression sont des fonctions
linaires des observations de Y, on demontre :
n (xi X)
2 est un estimateur linaire : 2 = wi yi avec wi = n
i=1
(xi X)2
i=1
n 1
1 est un estimateur linaire : 1 = vi yi avec vi = Xwi
i=1 n

Non biais Les estimateurs MCO des paramtres des modles de rgression sont des estimateurs
sans biais :

E 2 = 2

E 1 = 1

Ecacit Relative

1. Matrice variance-covariance des estimateurs MCO

Pour tudier lecacit on doit dabord dterminer les variances des estimateurs MCO, on
dmontre :
6 CHAPITRE 1. MODELES DE REGRESSION SIMPLES

2
var( 2 ) = 2 = n
2
(xi X)2
i=1

2
1 X
var( 1 ) = 2 = 2
n + n


1
(xi X)2
i=1

X 2
cov( 1 , 2 ) = n
(xi X)2
i=1

2. Ecacit des estimateurs MCO

Les estimateurs MCO sont relativement ecaces, ils sont convergeant et variance minimal dans
la classe des estimateurs linaires sans biais.

A- Variance minimale :Il nexiste pas un estimateur linaire sans biais de 2 qui une variance
plus faible que celle de 2 .En eet si on considre On considre 2 un estimateur linaire ( 2 =
n
ai yi ) et sans biais de 2 (E( 2 ) = 2 ,on dmontre que :
i=1

n
2
var 2 = (ai wi )2 + var 2 (1.2)
i=1

Do var 2 var 2

ainsi 2 a la variance la plus faible dans la classe des estimateurs linaires sans biais. 1 .
2
1 2 X 2
B-Convergence : lim var( 1 ) = lim ( n )=0 lim var( 2 ) = lim
n+ n+ n n+ n+ n
(xi X)2 (xi X)2
i=1 i=1

1.4 Validation Economique Statistique du Modle

Un modle conomtrique est une relation mathmatique qui dcrit une thorie conomique.
Lestimation de cette relation mathmatique exige un certain nombre dhypothses statistiques.
Ainsi un modle conomtrique se repose sur des suggestions conomiques et statistiques. La
valeur empirique dun modle dpend de la validit de ces suggestions. La validation statistique
dun modle consiste tester si ces suggestions ou hypothses sont conrmes par les donnes.
1
Une procdure identique peut tre utilise pour dmontrer que lecacit de 1
1.4. VALIDATION ECONOMIQUE STATISTIQUE DU MODLE 7

Les hypothses statistiques associes un modle de rgression linaire concernent essentielle-

ment les termes derreur (ei ). Il sagit des hypothses de normalit, dabsence dautocorrlation
et lhomoscdasticit. Quant la thorie conomique, un modle de rgression linaire simple se
fonde sur les hypothses que lvolution de la variable expliquer Y est fonction linaire de la
variable X, et que cette dernire explique lessentiel de la variation de Y.

Ltude des hypothses statistiques fera lobjet du chapitre ??. Dans cette section on sintresse
aux hypothses conomiques, on test si Y est fonction X (tests de signicativit des paramtres)
et on dtermine la part de la variance de Y explique par X.

1.4.1 Tests de Signicativit Individuelle des Paramtres

Selon un modle de rgression linaire les valeurs Y sont dtermines par les valeurs de X par
une relation linaire de la forme :

yi = 1 + 2 xi + ei i = 1, 2...n (1.3)

Les tests de signicativit individuelle des paramtres consistent tester si les paramtres sont
statistiquement dirents de zro, cest dire tester :

H0 : = 0
j
j = 1; 2 (1.4)
H : =0
1 j

Un test statistique paramtrique se fait en trois tapes qui consistent dterminer :

1.un estimateur sans biais du param`

etre;

2. une f onction pivotale

3 Une r`
egle de d
ecision.

Dans le cadre des modles de rgression linaire, linfrence statistique est base essentiellement
n n
sur lhypothse de normalit des erreurs. Les estimateurs MCO not 1 = vi yi et 2 = wi y i
i=1 i=1
sont des estimateurs sans biais respectivement de 1 et 2 (voir section 1.3.2).

Fonction pivotale
8 CHAPITRE 1. MODELES DE REGRESSION SIMPLES

A partir de lhypothse de normalit on dmontre que :

1 1
1 N( 1 , 2 ) Z1 = N (0, 1) (1.5)
1 1

2 2
2 N ( 2 , 2 ) Z2 = N (0, 1) (1.6)
2 2

Z1 et Z2 ne sont pas des fonctions pivotales car les variances 2 et 2 sont inconnues. On doit
1 2

estimer ces variances, pour cela il sut de dterminer un estimateur de 2 .

Si on note = (e1 , e2 , e3 ...en ) le vecteur des rsidus dun modle de rgression o ei = yi yi ,

sous lhypothse de normalit des erreurs
n n n
2 2 2
ei e i=1 ei
i=1 i
= i=1
(n 2) E 2 = n 2 E
2
n 2 =
2
2 2

n
e2i
2 i=1
= est un estimateur sans biais de 2
n2
2
1 X 2
On dduit alors que 2 2
= ( + n ) et 2 = n sont des estimateurs
1 n 2
(xi X)2 (xi X)2
i=1 i=1
sans biais respectivement de var( 1 ) et var( 2 ). Ces rsultats permettent dtablir comme fonction
pivotales pour les tests 1.4 page 7 :

j j
T (n 2) (1.7)
j

Rgle de dcision

En appliquant les dmarches classiques on dmontre que pour les tests la rgle de dcision est
j
rejeter H0 si > t1/2 pour j = 1, 2 o t1/2 est le quantile dordre 1 /2 dune loi de
j
Student T (n 2) et est le risque de premier espce.

Autres problmes dinfrence statistique

Sur la base des fonctions pivotales tablies par les quations ?? et 1.7 on peut eectuer plusieurs
tests et construire des intervalles des paramtres. Pour j = 1, 2 on a les rsultats suivants :
1.4. VALIDATION ECONOMIQUE STATISTIQUE DU MODLE 9

H0 : = a j a
j
1. Test bilatrale : la rgle de dcision consiste rejeter H0 si > t1/2
H : =a j
1 j

H0 : = a
j
2. Test unilatrale gauche : la rgle de dcision consiste rejeter H0 si
H : <a
1 j

j a
< t/2
i

H0 : = a j a
j
3. Test unilatrale droit la rgle de dcision consiste rejeter H0 si >
H : >a i
1 j
t1/2

4. Intervalle de Conance : Sur la base des quations ?? et 1.7 un intervalle de conance de j

au niveau 1 est donn par

IC1 ( j ) = j t1/2 j (1.8)

1.4.2 Analyse de la Variance

Lobjectif de lanalyse de la variance est de dterminer les sources de uctuation dune variable
Y . Un modle de rgression simple voque deux sources de uctuation : la variable X et lalea
reprsent par le terme derreur.

La variation totale de Y est mesure par la somme des carrs des carts sa moyenne :
n 2
SCT = yi Y . La variation explique par X correspond la variation de Y , cest la
i=1
n
SCE = (yi Y )2
somme des carrs des carts des valeurs estimes la moyenne estime : i=1 . La
variance explique par lalea correspond la variance du vecteur des rsidus. On dmontre que :
2
SCT = SCE + SCE
n 2 2 n
SCE = yi Y = 2 (xi X)2
i=1 i=1
n 2 n
SCR = ei e = e2i car e = 0
i=1 i=1

Ainsi un modle de rgression permet de dcomposer la variance dune variable Y en une partie
explique par des variables X et une partie non explique, rsiduelle qui est due des facteurs
2
Cette galit nest valable que pour les modles avec constante
10 CHAPITRE 1. MODELES DE REGRESSION SIMPLES

alatoires. Cette dcomposition est illustre par le gure 1.2

yi

y i -y^i ^e i

y i -Y
^
yi
^
(x i -X)
Y

x i -X

xi
X

F . 1.2

SCE
Le rapport R2 = , quon appelle coecient de dtermination, est compris linter-
SCT
valle ]0, 1[ , il reprsente la part de la variance de Y explique par la variable X. Il rete le
pouvoir explicatif du modle et la qualit dajustement du modle. Pour les modle de rgres-
sion simple R2 = (cor(X, Y ))2

Les calculs prcdents sont souvent rsums dans le tableau danalyse de la variance dont la
forme gnrale est :

Source de variation V ariation

Degres de libert
e Carr
e moyen
SCE
R
egression SCE 1
1
SCR
R
esidus SCR n2
n2
SCT
T otal SCT n1
n1
2 SCE
R =
T SCT de la Variance
. 1.2: Tableau dAnalyse

1.5 Prvision

1.5.1 Prvision Ponctuelle

La prvision est un objectif fondamental de la modlisation conomtrique. On suppose que les

relations conomiques tablies sur la base des donnes historiques restent valables dans le future :

yt = 1 + 2 xt + et t = 1, 2...T ytp = 1 + 2 xpt + ept t = T + 1, T + 2...

1.5. PRVISION 11

o ytp , xpt et ept sont les valeurs de la variable expliquer, la variable explicative et le terme
derreur respectivement linstant t.

Or les paramtres du modle sont inconnus on ne dispose que des valeurs estimes de ces para-
mtres, donc on ne peut fournir quune valeur prvisionnelle de Y donne par :

ytp = 1 + 2 xpt (1.9)

lcart entre la valeur prvisionnelle et la valeur rels de Y est lerreur de prvision :

ept = ytp ytp (1.10)

Sous les hypothses classiques et si le modle est estim par la mthode des MCO :

ept N(E(ept ), var(ept )) (1.11)

2
1 xpt X
Avec E(ept ) = 0 et 2ep = var(ept ) = 2
1+ +
t n (xt X)2
On remarque que les prvisions par la mthode MCO sont sans biais, cest dire que lerreur de
prvision est au moyen nul (E(ept ) = 0).

1.5.2 Prvision par Intervalle de Conance

Pour tablir la fonction pivotale on utilise le fait que ept = ytp ytp N(0, 2ep ), ceci nous permet
t

y p y p
de dduire, que t 2 t T (n 2) alors
ep
t

IC1 (ytp ) = ytp t1/2 2ep (1.12)

t
12 CHAPITRE 1. MODELES DE REGRESSION SIMPLES

Srie1: Modles de Rgression Simples

Exercice 1

Pour un chantillon de 10 entreprises on dispose du tableau suivant qui donne les rendements
de la dtention dune action en 2006 (en DT) et les prots distribus en 2005 (en Mille DT).

Entreprise 1 2 3 4 5 6 7 8 9 10
Rendements 9,700 25,200 9,900 6,900 10,800 9,700 9,300 6,600 6,800 6,900
Prots distribus 8,700 61,800 10,200 1,600 18,000 16,200 13,600 3,500 1,400 5,100

1. Estimer par la mthode du MCO les paramtres de la rgression des rendements de 2006
aux prots distribues en 2005.

2. Tester au risque 5% la signicativit des paramtres du modle

3. Dterminer un intervalle de conance au niveau 90% pour la pente de la rgression

4. Calculer la proportion de la variance des rendements explique par les prots distribus et
dresser le tableau danalyse de la variance.

Exercice 2

Le tableau suivant fournis des donnes trimestrielles relatives la rentabilit de lindice boursier
amricain Dow Jones (RDJ=X) et la rentabilit de lindice boursier europen Euro Stoxx 50
(RES=Y) :

Relation entre RDJ et RES

xt yt x2t xt yt yt2
1990.2 0,0493 0,0252 0,0024 0,0012 0,0006
1990.3 -0,0276 -0,0969 0,0008 0,0027 0,0094
:
.

2005.3 0,0150 0,0767 0,0002 0,0012 0,0059

Somme 1,3753 1,1155 0,1865 0,2162 0,3278
Source :Eurostat
1.5. PRVISION 13

1. Estimer par la mthode du MCO les paramtres de la rgression de RES par rapport RDJ

2. Tester au risque 5% la signicativit des paramtres du modle

3. Calculer R2

4. Interprter ces resultats

5. Pour le quatrime trimestre 2005, la valeur prvisionnelle de RDJ est 0,0252 ; dterminer
la valeur prvisionnelle de RES cette priode et dterminer un intervalle de conance pour
cette prvision.

Exercice 3

Sur la base dun chantillon de 22 rmes dun secteur A, on obtient les donnes suivantes relatives
la production et le nombre dheurs de travail :

X A = 10; Y A = 20 x2Ai = 2260 yA2 i = 8900 xAi yAi = 4430

En utilisant des donnes relatives un secteur B, on a estim le modle suivant :

yBi = 25 + 0, 4xBi i = 1, 2...12

2
Avec R2 = 0, 8 Y B = 35 xBi X B = 100

YA (YB ) et XA (XB ) sont respectivement le log de la production du secteur A (B) et le log du

nombre dheurs de travail dans le secteur.

1. Estimer par le MCO la relation : yAi = 1 + 2 xAi + i i = 1, 2...22

2. Tester lhypothse des rendements dchelle constants dans le secteur A

3. Tester lgalit des rendements dchelle dans les deux secteurs, on suppose lindpendance
entre les deux secteurs et lgalit des variances des erreurs pour les deux modles.

Exercice 4

On considre un modle simple yi = 1 + 2xi + i. A partir dune tude conomtrique portant

sur 85 entreprises, un conomtre a fourni les rsultats suivants :

yi =132, 8 1, 1 xi
(4,3) (10,2)
14 CHAPITRE 1. MODELES DE REGRESSION SIMPLES

les valeurs entre parenthses reprsentent les t de Student. SCR = 6234, 32

1. Tester au risque de 5% si leet de X sur Y est signicativement dirent de zro

2. (a) calculer la variance estime des rsidus

(b) calculer la variance estime de 2

(c) Dduire SCE

3. Construire le tableau danalyse de la variance et montrer lquivalence des rsultats de la

premire question au test de signicativit globale bas sur la loi de Fisher.

4. Le coecient 2 est-il signicativement dirent de -1 ?