Avant propre

Ce document ne constitue qu’un support pédagogique destiné à assister les cours des
étudiants dans l’élaboration de leurs synthèses des cours. Il ne remplace
aucunement les cours magistraux.

Chapitre 1 : Régression linéaire simple

Réalisé par : Dr. Salah Eddine SALHI

*********************************

1. Spécification du modèle de régression simple

L’analyse de la régression simple s’intéresse à l’étude de la dépendance d’une variable, la

variable dépendante, par rapport à une seule variable, la variable indépendante (explicative).
Soit la spécification d’un modèle linéaire simple :

Avec :

: La variable à expliquer, variable endogène ou encore variable dépendante.

: La variable explicative, variable exogène ou encore variable indépendante.
: La constante du modèle (c’est l’ordonnée à l’origine), paramètre à estimer par MCO
: La pente du modèle (coefficient de la régression), paramètre à estimer par MCO.
: La variable aléatoire non observable. En effet, c’est la variable erreur de nature
stochastique et inconnue qui représente l’ensemble des variables non prises en compte par le
modèle.

2. Les hypothèses du modèle de régression simple

Les hypothèses suivantes permettent de déterminer les estimateurs des coefficients du modèle ayant de
bonnes propriétés et de construire des tests statistiques et des intervalles de confiance sur les
estimateurs.

H1 : Le modèle est linéaire en ou bien le modèle est susceptible d’être transformé en (par
exemple transformation logarithmique).
H2 : Les valeurs sont observées sans erreurs. Autrement dit, les données collectées sont
supposées correctes et justes ( est non stochastique, alors que est stochastique par
l’intermédiation de ).

H3 : L’espérance mathématique des erreurs est nulle : ( )

En moyenne les erreurs s’annulent, il s’agit des erreurs qui se compensent entre elles, les
positives avec les négatives. Par conséquent, ∑ .

H4 : La variance des erreurs est constante : ( ) : Homoscédasticité

Les erreurs ne varient pas en fonction des valeurs prises par les variables explicatives. Le
risque de l’amplitude de l’erreur est constant quelle que soit la période.

Par contre, si le risque de l’amplitude est explosif, on parle de l’hétéroscédasticité

H5 : Absence d’aucorrélation des erreurs : ( ) ou ( )

Cette hypothèse signifie que les erreurs sont non corrélées (ou encore indépendantes) ; une
erreur à l’instant t n’a pas d’influence sur les erreurs suivantes.

H6 : ( ) : L’erreur est indépendante de la variable explicative.

H7 : ( ) : Hypothèse de l’inférence statistique.

3. Distribution de Y

Soit le modèle de régression linéaire simple suivant :

 L’espérance de

( ) ( )
( ) ( ) ( )

Comme ( )
( )

 La variance de

( ) ( )

Comme est indépendante de

( ) ( ) ( )

Ainsi, ( )

( )

 La loi de
Comme :

( )
( )
( )

Donc, ( )

4. Estimation des paramètres du modèle

Soit le modèle de régression linéaire simple suivant :

Pour estimer les paramètres du modèle ( ), nous estimons par la méthode des moindres
carrées ordinaires (MCO) ̂ ̂ (les estimateurs du modèle de régression simple) qui
consiste à minimiser l’erreur du modèle. Les formules à retenir sont les suivantes :
  L’estimation de ̂ :

∑
̂ si on note ( ̅) ( ̅)
∑

∑ ( ̅ )( ̅) ∑ ̅̅
̂ ̂
∑ ( ̅) ∑ ̅

∑ ( ̅ )( ̅)
∑ ̅̅ ( )
̂
̅ ∑ ( ̅) ( )
∑

∑ ( ̅)
̂
∑ ( ̅)

 L’estimation de ̂ :

̂ ̅ ̂ ̅

5. Présentation de la droite linéaire MCO

̂ ̂ ̂

6. Propriétés de la MCO
 La droite de régression passe toujours par le point ( ̅ ̅ )
 La moyenne des estimées est égale à la moyenne des observées ̅ ̂ ̅
 La moyenne des résidus est nulle : comme∑ ̂ , implique que ̅
7. Critères d’un meilleur estimateur
 Les estimateurs sont linéaires
 Les estimateurs sont sans biais
(̂ ) et (̂ )
 Les estimateurs sont convergents
(̂ )
(̂ )

Par conséquent les estimateurs des MCO sont BLUE

8. Le coefficient de corrélation
Le coefficient de corrélation mesure l’intensité de liaison (le degré de liaison) entre deux
variables X et Y : -1<r<1

∑ ( ̅ )( ̅)

√∑ ( ̅) ∑ ( ̅)

∑ ̅̅

√(∑ ̅ )(∑ ̅ )

( )
√ ( ) ( )

9. L’équation d’analyse de la variance

SCT = SCE+ SCR

∑( ̅) ∑( ̂ ̅) ∑( ̂)

∑( ̅) ̂ ∑( ̅) ∑

Avec :

SCT : La variabilité totale des

SCE : La variabilité expliquée par le modèle
SCR : La variabilité résiduelle
 10. L’estimation sans biais de la variance des erreurs

11. Les variances des estimateurs

̂
(̂ )
∑ ( ̅) ∑ ( ̅) ∑ ̅

̅
(̂ ) ̂
∑ ( ̅)

̂ ∑ ∑ ∑
(̂ )
∑ ∑ ( ̅) ∑ ̅

12. Le coefficient de détermination

Le coefficient de détermination est un indicateur qui permet de déterminer le pouvoir

explicatif d’un modèle économétrique. Autrement dit, il est un indicateur de la qualité
d’ajustement de la droite aux données, c’est-à-dite, que le coefficient de détermination mesure
l’adéquation entre le modèle et les données observées en pourcentages.

13. Les intervalles de confiance des estimateurs

 Intervalle de confiance de
̂
On a ̂ ( )
∑ ( ̅)

Un intervalle de confiance au risque de 5% et ddl (n-2) avec Tlue sur la table de Student est :
⁄
̂ ̂ ̂̂

 Intervalle de confiance de

̂ ∑
On a ̂ ( )
∑

Un intervalle de confiance au risque de 5% et ddl (n-2) avec Tlue sur la table de Student est :
⁄
̂ ̂ ̂̂
  Interprétation statistique

Il y a 95% de chances que la valeur de ( ̂ ou ̂ ) soit comprise dans l’intervalle de confiance

14. Le test de Student (Test de paramètre individuel)

L’objectif est de tester la significativité des paramètres du modèle. Soit l’hypothèse suivante :

Avec

Le coefficient est nul

Le coefficient est non nul

Sous l’hypothèse H0, la statistique théorique de Student est :

|̂ | ⁄
̂̂
⁄
: tlue (critique ou tabulé)

Décision :
⁄
 Si | | : On rejette H0, Le paramètre ̂ est significativement non nul et par
conséquent la variable explicative (X) est bien explicative de la variable Y au seuil
.
⁄
 Si | | : On accepte H0, Le paramètre ̂ est significativement nul et par
conséquent la variable explicative (X) n’est pas bien explicative de la variable Y au seuil
.

NB :

 Même démarche et décision pour la constante ( ̂ ) du modèle ;

 Si on accepte H0 pour la constante, alors l’ordonnée à l’origine est nulle. Par conséquent,
le modèle est significativement sans constante, dans ce cas on doit estimer de nouveau le
modèle sans constante.
 Dans le cas de la régression simple et effectivement pour la pente du modèle, le t-Student
théorique est égal à la racine de Fisher : ̂ √
 Décision avec IC :
⁄
̂ ̂ ̂̂ : On rejette H0
⁄
̂ ̂ ̂̂ : On accepte H0
 15. Analyse de la variance et le test de Fisher (Test global ou conjoint)

L’analyse de la variance n’est rien que la décomposition de la variabilité totale de Y autour de

sa moyenne en somme des carrés issue expliquée par la régression (SCE) et en somme des
carrés résiduelle. Les résultats de la décomposition sont reportés dans le tableau suivant, et à
partir desquels on détermine le test de F-Fisher qui sert à tester la significativité globale du
modèle. Autrement dit, il cherche à tester si le coefficient de détermination est
statistiquement nul ou non nul à un seuil fixé apriori.
Tableau : Analyse de la variance (ANOVA)

Source de Somme des carrés DDL Carré moyen

variabilité
Régression SCE= ̂ ∑ ( ̅) 1 ̂ ∑ ( ̅)

∑
Résidu SCR=∑ n-2

Totale SCT=∑ ( ̅) n-1

Test de Fisher :
Soit l’hypothèse :

Sous l’hypothèse H0, la statistique de Fisher est :

̂ ∑ ( ̅)

∑ ( )

Comme le test de Fisher permet de tester si le coefficient de détermination est

statistiquement nul ou non nul, on peut poser l’hypothèse suivante :

H0 :
H0 :
Décision :

 Si ( ) : On rejette H0, le modèle est globalement significatif. Par conséquent,

le pouvoir explicatif est important
 Si ( ) : On accepte H0, le pouvoir explicatif du modèle est faible

16. Prévision par le modèle linéaire simple

 Estimation ponctuelle : ̂ ̂ ̂ ; avec h : l’horizon de prévision
 Estimation par IC de prévisions
⁄ ( ̅)
̂ √̂ ( )]
∑ ( ̅)