Imen HENTATI ÉCONOMÉTRIE

Chapitre II : Le Modèle de Régression Linéaire

Multiple

I- Introduction
Le modèle de régression linéaire simple prend en considération une seule variable
explicative, cependant plusieurs situations en pratique nécessitent la prise en
compte de plusieurs facteurs explicatifs. Le modèle de régression linéaire multiple
est une généralisation du modèle linéaire simple au cas où le nombre de variable
explicative est strictement supérieur à un.
II- Le modèle et ses hypothèses

1- Le modèle :

Le modèle de régression linéaire multiple à k variables explicatives s’écrit sous la

forme :
y t   0  1 x1t   2 x 2t  .....   k x kt   t pour t=1,2,…,T
Avec ;
yt est la variable dépendante.
x1,t , x 2,t ,..., x k ,t sont les variables explicatives.
 t est le terme d’erreur.
 0 , 1 ,...,  k sont les paramètres à estimer :  0 est la constante du modèle et
 j (j=1,2,…,k) sont les coefficients de réaction.

y
j 
Tel que x j s’interprète comme étant la variation moyenne de y suite à une
augmentation d’une unité de xj.
2- Forme matricielle :

Si on écrit le modèle pour chaque instant « t » on obtient ;

y1   0  1 x11   2 x 21  .....   k x k1   1
y 2   0  1 x12   2 x 22  .....   k x k 2   2
.
.
.
yT   0  1 x1T   2 x 2T  .....   k x kT   T
qui peut s’écrire sous la forme matricielle suivante :

1
Imen HENTATI ÉCONOMÉTRIE

 y1
     
  1 x11 .. x k1   0   1 
 
 y2   1    2 
.   1 x12 .. x k 2  *  .    . 
  : : : :     
.    .  . 

  1 x1T : x kT     
 yT
   k   T 
Avec
Y est un vecteur de dimension (T,1) qui représente la variable à expliquer.
X est une matrice de dimension (T, k+1) qui représente les variables
explicatives.
 est un vecteur de dimension (T,1) qui représente les paramètres à estimer.
 est un vecteur de dimension (T,1) qui représente les termes d’erreur.
Ainsi la forme matricielle compacte du modèle est :

Y(T ,1)  X (T ,k 1) *  ( k 1,1)   (T ,1)

3- Hypothèses

3.1 Hypothèses sur la matrice X

X est une matrice non aléatoire : E ( X )  X
Pas de relations linéaires entres les variables explicatives et donc pas de
multicolinéarité.

3.2 Hypothèses sur les erreurs

Les erreurs sont d’espérance nulle E ( t )  0t  1,2,..., T

1
  E ( 1 )   0 
     
 . .  . 
E ( )  E 
  .   .   0
.
     
  E ( )   0 

   T
T   
Les erreurs sont de variance constante : V ( t )   t (les erreurs sont
2

homosédastiques)
Les erreurs sont non auto-corrélées : cov( t ,  t ' )  0t  t '

Sous la forme matricielle ces deux derniers résultats s’écrivent sous la forme :

V ( )  E[(  E ( )).(  E ( )) ' ]  E ( . ' ) 

  1    2 0 .. 0 
    
.    0  2
0 0 
E   * ( 1 ............ T )   :   I
2
 . .. . 
 
  
  T    0 0  2 

2
Imen HENTATI ÉCONOMÉTRIE

Les termes d’erreurs suivent la loi normale multi variée.

 t  N (0,  2 )
  N (0,  2 I )

3.3 Hypothèse sur la relation entre les variables explicatives et les erreurs
Les variables explicatives sont indépendants des erreurs : cov( t , x jt )  0 pour
j=1,2,…,k

Sous la forme matricielle on écrit ; E ( X '. )  0

III- Estimation du modèle

1- La méthode des MCO :

Soit le modèle
y t   0  1 x1t   2 x 2t  .....   k x kt   t

 0 
 
 
  1 
.
 
 
Le problème est donc d’estimer par MCO le vecteur des paramètres :  k
2
^ ^ ^' ^

Principe du MCO : MinQ   ( y t  y t )   et    t   . 

2 2

La résolution n’est pas simple, c’est pourquoi il est préférable de passer aux
écritures matricielles :
^
La forme matricielle de  :
^ ^
  Y Y
Avec ;
^ ^
Y (T ,1)  X (T ,k 1) .  ( k 1,1)
^' ^
Ainsi la forme matricielle de   :
^' ^ ^ ^ ' ^
   Y Y  2Y X    X ' X  ***
' '

^ ^ ' ^
D’où le principe du MCO devient : MinQ  Y Y  2Y X    X X 
' ' '

Pour trouver le vecteur des paramètres estimés, ceci revient à vérifier la

condition du premier ordre :
Q ^

^
 0  2 X '
Y  2 X '
X  0
 ***
D’où :

3
Imen HENTATI ÉCONOMÉTRIE

^
 MCO  ( X ' X ) 1 ( X ' .Y )
Remarque : Pour s’assurer qu’il s’agit bien d’un minimum il faut vérifier que la
matrice X’X est une matrice positive.

2- Propriétés de l’estimateur MCO :

^

2-1-  MCO est un estimateur sans biais:

On a ;
^
 MCO  ( X ' X ) 1 ( X ' Y )
 ( X ' X ) 1 X ' ( X   )
   ( X ' X ) 1 X ' 
Ainsi ;
^
E (  MCO )  
^ 
D’où  MCO est un estimateur sans biais de .

2-2-  MCO est un estimateur BLUE :

Formule de la variance :
^ ^ ^ ^ ^
V (  )  E[(   E (  ))(   E (  ))' ]
^ ^
 E[(    )(    )' ]
 E[(( X ' X ) 1 X '  )(( X ' X ) 1 X '  )' ]
 E[( X ' X ) 1 X '  ' X ( X ' X ) 1 ]
  2 ( X ' X ) 1
Remarque : si la variance du terme d’erreur est inconnue, on la remplace par son
estimateur :
^ 2 SCR
 
T  K 1

Forme de la variance :
La matrice variance-covariance des paramètres est une matrice carrée de
dimension (k+1, k+1) qui a la forme de :

4
Imen HENTATI ÉCONOMÉTRIE

 ^ ^ ^ ^ ^ ^ ^

V (  0 ) cov( 0 ,  1 ) cov( 0 ,  2 ) ... cov( 0 ,  k 
 ^ 
 V (  1) 
 ^

 V ( 2 ) 
 .. 
 ^ 
 V (  ) 
 k 

Théorème de gauss Markov :

^
 MCO est le meilleur estimateur dans la classe des estimateurs linéaire et sans
biais, on dit qu’il est BLUE.

3-Mesure de la qualité d’ajustement linéaire:

Le coefficient de détermination linéaire R², exprime la proportion de la variabilité
totale exprimée par le modèle linéaire :
SCE SCR
R2   1
SCT SCT
Avec,

Régression Simple Régression multiple

SCT   2   2
(y t  Y ) 2   y t2  T Y (Y  Y )' (Y  Y )  Y ' Y  T Y

SCE ^  ^ 2  2 ^  ^  ^ ^  2
 ( yt  Y )2   yt  T Y (Y  Y )' (Y  Y )  Y ' Y  T Y
^ '  2
  X 'Y  T Y

SCR ^ ^ ^ ^ ^

 ( yt  y t ) 2    t
2
 '   Y ' Y   ' X 'Y ***

***
^ ^ ^ ^
 '   (Y  X  )' (Y  X  )
^ ^
 (Y '  ' X ' )(Y  X  )
^ ^ ^ ^
 Y 'Y  Y ' X    ' X 'Y   ' X ' X 
^ '
 Y ' Y   X 'Y

IV- Test de significativité des paramètres :

5
Imen HENTATI ÉCONOMÉTRIE

1- Test de Significativité individuel des paramètres :

j  0,1,..., k
On veut tester l’hypothèse selon laquelle un des coefficients  j avec
est égale à 0.
Hypothèses :
 H 0 :  j  0

 H 1 :  j  0
Valeur calculée (variance du terme d’erreur est supposée inconnue)
^ ^ ^ ^
 j  E ( j )  jj  j0
T jc   
^ ^ ^ ^ ^ ^
V ( j ) V ( j ) V ( j )
Valeur théorique
La valeur théorique est une valeur lue sur la table de Student et elle est égale à :
t  (T  K  1)
1
2

Décision
Si valeurcalculée soush 0  valeurthéorique : On rejette H 0 et donc le paramètre est
significatif au seuil de  .

2- Test de Significativité global des paramètres

Le test de significativité globale sert à tester la pertinence du modèle. Il répond à

la question de savoir si l’ensemble des variables exogènes apporte de
l’information utile à la connaissance de la variable endogène. Ceci dit, seuls les
paramètres associés aux variables explicatives interviennent dans le test, la
constante n’est donc prise en compte ici, car c’est bien l’influence des exogènes
sur la variable expliquée que l’on cherche à établir.

Hypothèses

 H 0 :  j  0j  1,2,..., k

 H 1 :  j  0
Valeur calculée
SCE / K R2 / K
F  c

SCR / T  K  1 (1  R 2 ) /(T  K  1)
Valeur théorique
La valeur théorique est une valeur lue sur la table de Fisher et elle est égale à :
F ( K , T  K  1)
Décision
Si valeurcalculée soush 0  valeurthéorique : On rejette H 0 et donc le modèle est
globalement significatif au seuil  .

V- Prévision :

6
Imen HENTATI ÉCONOMÉTRIE

1- Prévision Ponctuelle :

Pour obtenir une prévision ponctuelle de y étant donnée x1, p , x 2, p ,....., x k , p des
valeurs particulières de x1 , x 2 ,....., x k , il suffit de les remplacer dans le modèle
estimé :
^ ^ ^ ^
y p   0   1 x1 p  ...   k x kp
^
 xp '
Ainsi l’erreur de prévision e p peut être définie comme :
^ ^ ^
e p  y p  y p  x p '    p  x p '   x p ' (   )   p
Avec ;
E (e p )  0
V (e p )  E (e p  E (e p )) 2
 E (e p ) 2  E (e p e 'p )
^ ^
 E[( x p ' (    )   p )( x p ' (    )   p )' ]
^
 x p 'V (  ) x p   2
  2 ( x p ' ( X ' X ) 1 x p  1)

2- Intervalle de prédiction :

Sous l’hypothèse de normalité des erreurs, et pour un niveau de confiance (1-  ) et

étant donnée x1, p , x 2, p ,....., x k , p des valeurs particulières de x1 , x 2 ,....., x k , l’intervalle de
prédiction de y s’écrit sous la forme :
^
y p [ y p  Z a . V (e p ) ]
1
2

Avec ; V (e p )   ( x p ' ( X ' X ) x p  1)

2 1

Si la variance du terme d’erreur est inconnue, alors l’intervalle de prédiction de y

s’écrit sous la forme:
^ ^
y p [ y p  t a (T  K  1). V (e p ) ]
1
2
^ ^ 2

Avec ; V (e p )   ( x p ' ( X ' X ) x p  1)

1

Application 2
7
Imen HENTATI ÉCONOMÉTRIE

On étudie l’influence des heures de travail et du capital utilisé sur la production

industrielle. Pour cela, on dispose des observations de 9 entreprises résumés dans
le tableau suivant :

Observatio Travail (heures) Capital Production (100 tonnes)

n - x1i i- (machines/heures) yi
-i - - -
- x 2i -
1 1100 300 60
2 1200 400 120
3 1430 420 190
4 1500 400 250
5 1520 510 300
6 1620 590 360
7 1800 600 380
8 1820 630 430
9 1800 610 440

On suppose que la production (yi) est expliquée par un modèle de régression linéaire
multiple avec deux variables explicatives, le capital (x1i) et le travail (x2i) ;

y i  a 0  a1 .x1i  a 2 .x 2i   i

pour i=1,2,…,9. avec i est un terme d’erreur.

1- Écrire le modèle sous la forme matricielle.

2- Déterminer la forme littérale puis numérique de X’X.
3- Déterminer la forme littérale puis numérique de X’Y.
4- Donner l’expression de l’estimateur de par la méthode des moindres
carrées ordinaires. En déduire le vecteur des paramètres estimés, sachant
que la matrice inverse de X’X est égale à :

6.3047771
-0.00780042 0.0000151
0 .0116199 -0.00003096 0.00007228

5- Sachant que SCR=3193,76668 déterminer la matrice des variances

covariances des estimateurs. On donne F5%(2, 6)=5.14

6- On donne SCT=147888,889. Au seuil de 5%, tester la significativité globale

du modèle.

8
Imen HENTATI ÉCONOMÉTRIE