Vous êtes sur la page 1sur 197

2016-17

Méthodes Econométries
Module M2:
-Econométrie I

Parcours :
Economie et Gestion

S6 -Section B-
Vol. Horaire : 50h = 34 C + 12.5 Td +3.5 éval
TOUIJAR 1
TOUIJAR 2
La naissance de l'économétrie moderne

L'économétrie moderne est née à la fin des années 30 et


pendant les années 40. Elle est la résultante de trois
phénomènes : le développement de la théorie de l'inférence
statistique à la fin du XIX ème siècle ; la théorie macro-
économique et la comptabilité nationale qui offrent des
agrégats objectivement mesurables ( contrairement à la
microéconomie fondée sur l'utilité subjective ) ; enfin, et surtout
, la forte demande de travaux économétriques, soit de la part
d'organismes publics de prévision et de planification , soit de la
part d’entreprises qui ont de plus en plus besoin de modéliser
la demande et leur environnement économique général. A
partir des années 60, l'introduction de l'informatique et des
logiciels standardisés va rendre presque routinière l'utilisation
de l'économétrie . TOUIJAR 3
La naissance de l'économétrie moderne

En simplifiant de façon sans doute abusive l'on peut


distinguer deux grandes périodes de la recherche
économétrique moderne . Jusqu'à la fin des années
70 l'économétrie va étudier la spécification et la
solvabilité de modèles macroéconomiques à
équations simultanées . Puis à la suite de ce que l'on
a appelé la révolution des anticipations rationnelles et
de la critique de Lucas, la recherche se tournera
davantage vers la microéconomie et l'analyse des
séries temporelles .

TOUIJAR 4
Introduction générale
L’économétrie est la branche des sciences économiques
qui traite des modèles et des méthodes mathématiques
appliquées aux grandeurs et variations économiques.
Le calcul infinitésimal, les probabilités, la statistique, et
la théorie des jeux, ainsi que d’autres domaines des
mathématiques, sont utilisés pour analyser, interpréter
et prévoir divers phénomènes économiques tels que les
variations de prix sur le marché, l’évolution des coûts
de production, le taux de croissance, le niveau du
chômage, les variations du taux de change, les grandes
tendances de l’économie à court et moyen terme qui
permettent d’orienter la conduite d’une politique
économique. TOUIJAR 5
Introduction générale

Les modèles utilisés ne permettent pas de


prévoir, au sens strict, l’évolution des
phénomènes économiques, mais davantage de
construire des hypothèses et d’extrapoler des
tendances futures à partir d’éléments actuels.

TOUIJAR 6
PROGRAMME DE CE SEMESTRE
Chapitre 0: Rappel sur les Tests
d’Hypothèses et moments conditionnels

Chapitre 1: Introduction au modèle


de régression linéaire simple

Chapitre 2: Le modèle
de régression linéaire multiple
TOUIJAR 7
BIBLIOGRAPHIE
Titre Auteurs Code
ECONOMETRIE
William Greene ECON:

ECONOMETRIE : méthode et B.Crépon-


ECON 50
applications N.Jacquement
ECONOMETRIE : manuel et exercices
corrigés R.Bourbonnais ECON:44

ECON:57
ECONOMETRIE V.MIGNON

Statistique Descriptive: Cours-


Exercices et Examens corrigés Driss TOUIJAR
Mise en œuvre sous R 8
TOUIJAR
CH 0
Rappels
I
LES TESTS
STATISTIQUES
TOUIJAR 9
Introduction
 Soit X1, X2, …, Xn un échantillon aléatoire
θ), où θ ∈ Θ
relatif à la V.A. parente X de loi L (θ
est un paramètre réel inconnu.
 Le semestre précédent, on cherchait à estimer
θ. Mais il arrive qu’on ait une idée préconçue sur
sa valeur: θ = θ 0
 On désire alors tester la validité de cette
hypothèse, en la confrontant à une hypothèse
alternative.
TOUIJAR 10
 Cette dernière exprime une
tendance différente au sujet du
paramètre.
Exemple :
Est-ce que le taux de
chômage au Maroc est p 0 ?
Est-ce que l’espérance de vie
au Maroc est µ0 ?...ou a
augmenté ?
TOUIJAR 11
Méthodologie du
test d’hypothèse
On suppose que Θ est partitionné en Θ0
et Θ1:
Θ = Θ 0 U Θ1 et Θ 0 I Θ1 = Ø

 Exprimons le fait que θ ∈ Θ 0 par


l’hypothèse H0 et le fait que θ ∈ Θ1 par H1
TOUIJAR 12
 H0 : « θ ∈ Θ 0 »

H1 : « θ ∈ Θ1 »

TOUIJAR 13
 H0 : s’appelle l’hypothèse nulle.

H1 : s’appelle l’hypothèse


alternative.

Si Θ0 se réduit au seul point θ0: Θ 0 = {θ 0 }

H0 devient H0 : « θ = θ0 » et sera
appelée l’hypothèse simple.

TOUIJAR 14
Soit l’hypothèse simple H0 : « θ = θ 0 »

 Si H1 est telle que H1: « θ > θ0


»;
alors on dit que le test est unilatéral à
droite:
H0 :"θ =θ0"

T.U.D. #
H :"θ >θ "
 1TOUIJAR
0 15
 Si H1 est telle que H1: « θ < θ 0 » ;
alors on dit que le test est unilatéral à
gauche:

H0 :"θ =θ0"



T.U.G. #
H :"θ <θ "
 1 0
TOUIJAR 16
 Si H1 est telle que H1: « θ ≠ θ0» ;
alors on dit que le test est bilatéral :

H0 :"θ = θ0"



T.B. #
H :"θ ≠ θ "
 1 0
TOUIJAR 17
• Définition: Un test d’hypothèse, est
une règle de décision permettant, au vu
de la réalisation ( x1, x2, …, xn ) de l’E.A., de
répondre à la question « dans lequel des
deux sous ensemble se trouve θ ? »

• Cette règle de décision peut


conduire à deux types d’erreurs:

TOUIJAR 18
• On rejette H0 alors que H0 est vraie:
RH0/H0vraie
• On l’appelle « erreur de première
espèce »

• On ne rejette pas H0 alors que H1 est


vraie:
NRH0/H1vraie;

• c’est « l’erreur de seconde espèce ».


• On définit alors la probabilité de
commettre l’une ou l’autre erreur:
TOUIJAR 19
• 1)-

α = P(RH 0 H 0Vraie ) = P0 (RH 0 )


• C’est le risque de première espèce.

• 2)-

β = P(NRH 0 H1Vraie ) = P1 (NRH 0 )

• C’est le risque de seconde espèce.


TOUIJAR 20
• Voici un tableau résumant toutes les situations

Décision
Réalité RH0 NRH0

H0 Vraie Erreur de 1ère Bonne Décision


espèce
H1 Vraie Bonne Décision Erreur de 2ème
espèce
TOUIJAR 21
Procédure à suivre
1- définir le paramètre θ à tester
2- Formuler les deux hypothèses H0 et H1
3- Préciser le Genre du test
4- Choisir la Statistique du test (bon estimateur de θ)
5- Préciser la loi de la statistique sous H0
6- Ecrire la règle de Décision
7- Faire l’application numérique et décider
8- Conclure
TOUIJAR 22
I- Tests Relatifs à Une Proportion

1Test Unilatéral à gauche pour la proportion


•i) Formulation des hypothèses

 H 0 :" p = p 0 "

T .U .G . #
 H 1 :" p < p 0 "

TOUIJAR 23
Procédure à suivre
1- paramètre p=θ à tester
2- Formulation des deux hypothèses
3- TUG pour la proportion
4- F est un bon estimateur de p
5- si le T.C.L. est vérifié sous H0 alors

F − p0
Z=
p 0q 0
n
TOUIJAR 24
I- Tests Relatifs à Une Proportion

1Test Unilatéral à gauche pour la proportion

R.D
 p 0 q0
Si f < cα = p0 − zα on rejette H 0
n

Si f ≥ c = p − z p 0 q0
α α on ne rejette pas H 0
 0
n

En effet :

- Notation : TOUIJAR 25
Courbe de densité où
de la loi normale P ( Z > +z α ) = α
centrée réduite 1 et
F − p0 2π où z α = −z 1−α
Z=
p 0q 0
n

1- α
α

0 TOUIJAR +zα Z26


zα p0 q0
n
R0
cα p 0 R0

 
 F−p cα − p0 
α = P0 (RH 0 ) = P0 (F < cα ) = P0  0
< 
 p0 q0 p0 q0 
 n n 
cα − p0
⇒ = − zα ⇒ cα = p0 − zα p0 q0
p0 q0 n
TOUIJAR 27
n
Loi de Loi de
F sous α F sous
H1 H0

p1 cα p0 F

TOUIJAR 28
p1 cα p0
• Remarque : Les logiciels utilisent souvent
le niveau de signification α0 ( p-value)
d’une réalisation f de F : c’est le plus
petit α à partir du quel on ne peut plus

P0 (F < f ) = α 0
rejeter H0 :

Si dans notre exemple on suppose que n=100, p0=0.75 f = 0,65


Alors : α 0 = P0 (F < f )
= P0 (Z < −2,309 ) = 1%
Signe de la région de Rejet
Le test est donc significatif
TOUIJAR à 5% 29
α0 P-value Interpretation

α0 < 0,01 very strong evidence against H0

0,01 ≤ α0 < 0,05 moderate evidence against H0

0,05 ≤ α0 < 0,10 suggestive evidence against H0

0,10 ≤ α0 little or no real evidence against H0

TOUIJAR 30
• 2- Test Unilatéral à droite pour la
proportion
 H 0 :" p = p0 "
• i)-F.H. 
T .U .D.#
 H1 :" p > p0 "

• ii) si le T.C.L. est vérifié sous H0 alors la


règle de décision devient :
R.D
 p0 q0
Si f > cα = p0 + zα on rejette H 0
n

Si f ≤ c = p + z p0 q0 on ne rejette pas H
α αTOUIJAR
 0
n
0 31
En effet :

zα p0 q0
n
F
R0 p0 cα
R0

 
 F − p0 cα − p 0 
α = P0 ( RH 0 ) = P0 ( F > cα ) = P0  > 
 p 0q 0 p 0q 0 
 n n 
cα − p 0 p q
⇒ = + z α ⇒ cα = p 0 + z α 0 0
p 0q 0 n
TOUIJAR 32
n
• Remarque : La p-value ici vaut :

α 0 = P0 (F > f )
Si on teste p = 0,75 # p > 0,75 et si n=100 f = 0,65
Alors :
α 0 = P0 (F > f )
= P0 (Z > −2,309) = 99%
Le test n’est donc pas significatif à 5% ni à
95% TOUIJAR 33
3- Test Bilatéral pour la proportion
F.H

H0 :"p = p0"



T.B.#
H1 :" p ≠ p0"
• Si T.C.L. On adopte la Règle de
décision suivante :
R.D
Si f ∉ [c1 ; c2 ] on rejette H 0

Si f ∈ [c1 ; c2 ] on ne rejette pas H 0
TOUIJAR 34
R0 R0
c1 p0 c2
R0
or f ∈ [c1 , c2 ] ⇔ f ∈ [ p0 − c , p0 + c ] ⇔ f − p0 ≤ c
d ' où f ∉ [c1 , c2 ] ⇔ f − p0 > c
 
 F−p 
α = P0 (RH 0 ) = P0 ( F − p0 > c ) = P0 
c
0
> 
 p0 q0 p0 q0 
 n n 
c p 0 q0
⇒ = zα ⇒ c = zα
p0 q0 2 2 n
TOUIJAR 35
n
• D’où:
• R.D
 p0 q0
Si f − p0 > zα / 2 on rejette H0
n

Si f − p ≤ z p0 q0
α /2 on ne rejette pas H0
 0
n

• Ou
Si z > zα /2 on rejette H 0

Si z ≤ zα /2 on ne rejette pas H 0

• avec f − p0
z =
p 0q 0
TOUIJAR 36
n
Remarque Si on teste p = 0,75 # p ≠ 0,75
et si F vaut f = 0,65 , alors la p-value
vaut ici :
 
 F − p f − 0, 75 
α0 = P0  0
> 
 p 0q 0 0, 75 × 0, 25 
 
 n 100 
= P0 (Z > + 2 , 3 0 9 ) = 2 × P0 ( Z > + 2 , 3 0 9 )
= 2 × 1% = 2%

Le test est donc significatif à 5% et même


à 2,5% TOUIJAR 37
II- Tests Relatifs à Une
Moyenne
• 1- Test Unilatéral à droite pour la
moyenne

• Question : est-ce que l’espérance de vie


des marocains a augmenté depuis le
dernier recensement ?

• Pour répondre à cette question, on doit


confronter 2 hypothèses:
TOUIJAR 38
•i)-
 H 0 :" µ = µ 0 "

T .U .D.#
 H1 :" µ > µ 0 "

•ii)-On adopte ensuite une Règle de


décision basée sur la statistique X et qui
répondra à la question: à partir de quelle
réalisation de X décidera-t-on du rejet de
H0 pour un risque α ?

Si x > c on rejette H 0


Si x ≤ c on ne rejette pas H
 TOUIJAR
0 39
• 1)- Détermination de c en fonction du
risque α :

a)Si σ est connu et (X est normale ou n ≥ 30 )

c − µ0 
α = P0 (RH 0 ) = P0 (X > c ) = P0  Z > n ×


 σ 

c − µ0 σ
⇒ × n = zα ⇒ c = µ 0 + zα
σ TOUIJAR n 40
D’où la règle de décision :

 σ
 Si x > cα = µ 0 + zα on rejette H0
n
 σ
Si x ≤ cα = µ0 + zα on ne rejette pas H0
 n

TOUIJAR 41
b)Si σ est inconnu et X est normale; on a
la règle de décision :
 s
 Si x > cα = µ 0 + t n −1;α on rejette H 0
n
 s
Si x ≤ cα = µ 0 + t n −1;α on ne rejette pas H 0
 n
c)Si σ est inconnu et n ≥ 50 ; on a la
règle de décision :
 s
Si x > cα = µ 0 + zα n on rejette H 0
 s
Si x ≤ cα = µ 0 + zα on ne rejette pas H 0
 n
TOUIJAR 42
II- Tests Relatifs à Une
Moyenne
• 2- Test Unilatéral à gauche pour
la moyenne

On doit confronter les deux hypothèses


suivantes

 H 0 :" µ = µ 0 "
i)- 
T .U .G.#
 H1 :" µ < µ 0 "
TOUIJAR 43
•ii)-On adopte ensuite une Règle de
décision basée sur la statistique X et qui
répondra à la question: à partir de quelle
réalisation de X décidera-t-on du rejet de
H0 ?

Si x < c on rejette H 0


Si x ≥ c on ne rejette pas H
 0

•De la même façon que précédemment, on


a les règles de décision selon les cas :
TOUIJAR 44
a)Si σ est connu et (X est normale ou n ≥ 30)
 σ
Si x < cα = µ0 − zα n
on rejette H0
 σ
Si x ≥ cα = µ0 − zα on ne rejette pas H0
 n
b)Si σ est inconnu et X est normale; on a
la règle de décision :
 s
 Si x < cα = µ 0 − t n −1;α on rejette H 0
n
 s
Si x ≥ cα = µ 0 − t n −1;α on ne rejette pas H 0
 TOUIJAR
n 45
c)Si σ est inconnu et n ≥ 50 ; on a la
règle de décision :
 s
Si x < cα = µ 0 − zα n on rejette H 0
 s
Si x ≥ cα = µ 0 − zα on ne rejette pas H 0
 n
II- Tests Relatifs à Une Moyenne
3- Test Bilatéral pour la moyenne
i)- H0 :"µ = µ0"

T.B.#
H1 :"µ ≠ µ0"
TOUIJAR 46
ii)-On adopte la Règle de décision
suivante :

Si x ∉ [c1 ; c2 ] on rejette H 0



Si x ∈ [c1 ; c2 ] on ne rejette pas H 0

R0 R0

c1 µ0 c2
TOUIJAR 47
R0
x ∈ [c1 ; c2 ] ⇔ c1 ≤ x ≤ c2 ⇔ µ 0 − c ≤ x ≤ µ 0 + c
⇔ −c ≤ x − µ 0 ≤ + c ⇔ x − µ 0 ≤ c

D’où la règle de décision suivante

 Si x − µ0 > c on rejette H0


Si x − µ0 ≤ c on ne rejette pas H0
TOUIJAR 48
On a les règles de décision selon les
cas :

a)Si σ est connu et (X est normale ou n ≥ 30 )

 σ
 Si x − µ 0 > zα /2 on rejette H0
n


 σ
Si x − µ0 ≤ zα / 2 on ne rejette pas H0
 n
TOUIJAR 49
b)Si σ est inconnu et X est normale

 s
 Si x − µ 0 > t n −1;α / 2 on rejette H0
n
 s
Si x − µ0 ≤ t n−1;α / 2 on ne rejette pas H0
 n
c)Si σ est inconnu et n ≥ 50 ; on a
 s
 Si x − µ 0 > zα /2 on rejette H0
n
 s
Si x − µ0 ≤ zα / 2 on ne rejette pas H0
 n
TOUIJAR 50
III- Tests Relatifs à Une
Variance
• Dans ce paragraphe on supposera la
normalité de la population

• 1- Test Unilatéral à droite pour la


variance
 H 0 :"σ = σ 0 "
2 2


T .U .D.#
 H1 :"σ 2 > σ 02 "
 TOUIJAR 51
RD. 
Si s 2 > cα on rejette H 0

Si s 2
≤ cα on ne rejette pas H 0

χ2 (n-1)

χ 2n−−1;α Y
S2
Y = ( n − 1) χ2 (n-1) sous H0
σ 02
 2 σ 02 2  σ 02 2
α = P0 (Y > χ 2 ) = P0  S TOUIJAR
> χ n −1;α  ⇒ cα = n − 1 χ52n −1;α
n −1;α
 n −1 
De la même façon que précédemment, on
a les règles de décision selon les cas :

a)Si µ est inconnue


La statistique utilisée est S2; d’où la R.D.
est :
 σ 2

Si s > χ n −1;α


2 2 0
on rejette H 0
n −1

Si s 2 ≤ χ n2−1;α σ 2
0
on ne rejette pas H 0
 n −1 TOUIJAR 53
2- Test Unilatéral à gauche pour la
variance
 H 0 :"σ = σ 0 "
2 2


T .U .G.#
 H 1 :"σ 2 < σ 02 "

R.D. (pour µ inconnue)
 σ 2

Si s < χ n −1;1−α


2 2 0
on rejette H 0
n −1

Si s 2 ≥ χ n2−1;1−α σ 2
0
on ne rejette pas H 0
 n −1TOUIJAR 54
3- Test Bilatéral pour la
variance

H0 :"σ = σ "2 2

 0
T .B.#
H1 :"σ ≠ σ 0 "
2 2

TOUIJAR 55
Si µ est inconnue

  2 σ0 2
σ 
2

Si s ∉  χ n −1;1−α / 2 ; χ n −1;α / 2


2 2 0

  n − 1 n − 1
on rejette H

0

Si s ∈ χ 2 σ0 2
σ 
2
2
 n −1;1−α / 2 ; χ n −1;α / 2
2 0

  n −1 n − 1

on ne rejette pas H 0
TOUIJAR 56
• 1- Test Bilatéral de
comparaison de 2 Variances :
• On suppose la normalité des 2
populations

• F.H.

H : σ 2
1 = 1
 0
σ 2
H 0 : σ 1 = σ 2
2 2

2

 
# ⇔ #
H : σ 2 ≠ σ 2 
 1 1 2
 σ12
H
 1 : 2 ≠1
 σ2
TOUIJAR 57
Cas où µ est inconnue
• Rapport critique (sous H0):
S12 Si s 2 > s 2
Rc = 2 1 2  σ 2
S2 H : 2 =1
2
S22 

0
σ1
Sinon Rc = 2 et F.H. devient alors 
S1 H1 : σ 2
2 ≠1
2
 σ1
• Loi de Rc sous H0 :

Rc ↝ ℱ 1 , 2

TOUIJAR 58
• R.D.

[ ]
Si Rc ∉ F1−α / 2 (ν 1 ;ν 2 ) ; Fα / 2 (ν 1 ;ν 2 )

on rejette H 0

 Si Rc ∈ F1[
−α / 2 (
ν 1 ;ν 2 ) ; Fα / 2 (
ν 1 ;ν 2 ]
)
on ne rejette pas H 0
où ν i = ni − 1
TOUIJAR 59
2- Test Bilatéral de comparaison de 2
moyennes
H0 : µ1 = µ2 H0 : µ1 − µ2 = 0
 
# ⇔ #
H1 : µ1 ≠ µ2 H1 : µ1 − µ2 ≠ 0

• On propose X 1 − X 2 comme estimateur
de µ1−µ2 :

a)Si σ1 et σ2 connus et (X1 normale ou n1 ≥ 30 )


n2 ≥ 30
et (X2 normale ou TOUIJAR ) 60
R.D.
 σ 2
σ 2
 Si x1 − x2 > zα / 2 1
+ 2
on rejette H0
 n1 n2



 σ 2
σ 2
Si x1 − x2 ≤ zα / 2 1
+ 2
on ne rejette
 n1 n2
pas H
 0
TOUIJAR 61
b)Si σ1 et σ2 inconnus mais égales et X1 et
X2 normales, alors la R.D. est la suivante
:
 1 1
 Si x1 − x2 > tα / 2;n1 +n2 −2 sˆ +
 n1 n 2
 on rejette H

0

Si x − x ≤ t 1 1
ˆ
α / 2;n1 + n2 −2 s +
 1 2
n1 n 2

 on ne rejette pas H0TOUIJAR 62
•Où

Sˆ 2
=
(n1 − 1)S + (n2 − 1)S
1
2 2
2
(n1 − 1) + (n2 − 1)

•c)Si σ1 et σ2 inconnus et n1 ≥ 50 , n2 ≥ 50
alors la R.D. est la suivante :

TOUIJAR 63
 s2
s 2
 Si x1 − x2 > zα / 2 1
+ 2
on rejette H0
 n1 n 2



 s2
s 2
Si x1 − x2 ≤ zα / 2 1
+ 2
on ne rejette
 n1 n 2
pas H
 0
TOUIJAR 64
CH 0
Rappels
II
Moments
Conditionnels
TOUIJAR 65
• RAPPELS
• Moments Conditionnels :
• On suppose que Y est une V.A.R. mais que X
peut être qualitative;

• L’Espérance conditionnelle :
• On appelle espérance de Y sachant X=x;
notée E (Y X = x ) ; la quantité définie par
E (Y X = x ) = ∑ y P (Y = y / X = x )
y
• Rem : E(Y/X=x)=ϕ(x) est une fonction de x
appelée fonction de régression de Y en X
TOUIJAR 66
• Définition :
• On appelle espérance conditionnelle de Y
sachant X; notée E (Y X ) ; la variable
aléatoire définie par :
E(Y/X)=ϕ(X)

• Propriétés :

• 1) Linéarité: E (Y 1 + Y 2 X ) = E (Y 1 X ) + E (Y 2 X )
• 2) Théorème de l’espérance Totale :

E  E (Y TOUIJAR
X )  = E (Y ) 67
• La Variance conditionnelle :
• Définition :
• On appelle Variance conditionnelle de Y
sachant X=x; notée V (Y X = x ) ; la quantité

V (Y X = x ) = E (Y − E (Y X = x ) ) / X = x 
 2

 
• De là on peut définir la V.A. variance
conditionnelle :
V (Y X ) = E (Y − E (Y X )) /X 
2

 
• Théorème de la variance Totale :

V (Y ) = E V (Y / X )  +V  E (Y X ) 68
TOUIJAR
• Approche géométrique :
• Soit le produit scalaire de 2 V.A. X et Y, noté
<X , Y>, définie comme suit
<X , Y>= E(XY)
Et soit ||.|| la norme associée à ce produit
X ,X = E (X )
scalaire :
X = 2

• Si Y et X sont deux variables centrées, alors


<X,Y>=E(XY)=cov(X,Y) et X = E X 2 = σX ( )
• E(X) est la projection orthogonale de X sur
la droite D des V.A. constantes : X
E[(X-a)2] minimale si a=E(X)
TOUIJAR 69
O E(X)
D
a
• Approche géométrique :
• Soit maintenant l’espace Lx des V.A.
fonctions de X (i.e. du type ϕ(X)); alors
E(Y/X) est la projection orthogonale de Y sur
Lx (les propriétés d’un projecteur orthogonale sont
vérifiées grâce aux propriétés de l’espérance
conditionnelle).D’où E[(Y-ϕ(X))2] minimale si
ϕ(X)=E(Y/X)
Y W
E(Y/X)
θ
O
E(Y) D

X
Lx TOUIJAR 70
TOUIJAR 71
Introduction :
• La RLS (régression linéaire simple)
permet d’étudier la liaison (supposée
linéaire) entre deux variables quantitatives
X et Y; où Y (variable endogène) sera
expliquée par X (variable exogène).
• Autrement, on cherche à prévoir le
comportement moyen de Y en fonction de
la V.A. X : Y= ϕ (X) tel que cet estimateur
soit sans biais : E(Y)=E(Y), et à mesurer
l’erreur de prévision : V(Y-Y)
TOUIJAR 72
• Nous allons nous intéressé à l’aspect
inférentiel de cette régression.
• On supposera, dorénavant, que la
fonction ϕ de la V.A. X est linéaire
(Régression Linéaire) et on traitera alors
cette régression sous deux volets; le
volet théorique ensuite le volet où on ne
travaillera qu’avec les réalisations de X
et Y sur un échantillon.

TOUIJAR 73
• Modèle théorique de la régression simple
• On mesure la qualité de cette approximation
par le rapport

η
2
=
( ( X )) = V ariance exp liquée = Cos
V E Y
2
(θ )
Y
X V (Y ) V arianceTotale

• La fonction qui à x a E (Y / X = x ) est appelé


fonction de régression, dont la représentation
graphique s’appelle courbe de régression de Y
en X : on écrit Y = E (Y / X ) +W . Or puisque

E (Y ) = E  E (Y / X )  + E (W ) ⇒ E (W ) = 0
144244 3
= E (Y ) TOUIJAR 74
et d’après le graphique ci-dessus W est non
corrélée ni avec X ni avec E(Y/X) (car ) d’où

V (Y ) =V  E (Y / X )  +V (W )
V (Y ) −V (W ) V (W )
⇒η Y =
2
= 1−
X V (Y ) V (Y )
⇒V (W ) = σ (W ) = 1 −η Y
 V (Y )
2 2

 X 

TOUIJAR 75
• Cas où la régression est Linéaire
• C’est le cas où E(Y/X)=α0+α1X ; on a alors
Y = α 0 + α1X +W
(
E Y
X ) =α 0 + α 1X
E (Y ) = α 0 + α 1E ( X )
⇒Y − E (Y ) = α 1 ( X − E ( X ) ) +W

⇒ E  (Y − E (Y ) ) ( X − E ( X ) )  = α 1 E  ( X − E ( X )) 
2

 
+ E W ( X − E ( X ) ) 
144424443
=0

Cov ( X ,Y ) = ρ σY
⇒ Cov ( X ,Y ) = α 1V ( X )TOUIJAR
⇒ α1 =
V (X ) σ X76
• Cas où la régression est Linéaire et simple
• L’équation de la droite s’écrit alors

Cov ( X ,Y )
(
E Y
X )
− E (Y ) =
V (X )
(X − E (X ))
σY
⇒ Y = E (Y ) + ρ
σX ( X − E (X ) ) +W
σ 2
⇒ V (Y ) = ρ 2 Y 2 V ( X ) +V (W )
σX
= ρ 2V (Y ) +V (W )
⇒ ρ =η Y
2 2

TOUIJAR 77
• Modèle de la régression linéaire avec
données Expérimentales
• Il y a trois types différents de données :
Données en coupes instantanées ( ou transversales :
Cross-sections)

• Exemple : Si on prend le modèle keynésien classique:


C i = α0 + α1Ri +W i ∀i = 1,K , n

• Ci et Ri observés pour i = 1, ...,n


• i =individu, ménage, entreprise,... et n = nombre total
d’observations
TOUIJAR 78
• Modèle de la régression linéaire avec
données Expérimentales

• Séries chronologiques (ou séries temporelles :Time


series)

• Exemple :

Ct = α0 + α1Rt +W t ∀t = 1,K ,T
• Ct et Rt observés pour t = 1, ...,T

• T = année, trimestre, mois,... et T = nombre total


d’observations TOUIJAR 79
• Modèle de la régression linéaire avec
données Expérimentales

• Données de panel : Panel data (ou données individuelles-


temporelles)
• Exemple :

Ci t = α0 + α1Ri t +Wi t ∀t = 1,K,T ∀i = 1,K, n

• Cit et Rit observés pour i = 1, ...,n ; t = 1, ...,T

TOUIJAR 80
• Modèle de la régression linéaire avec
données Expérimentales : 1er type
• Soient les données (xi , yi) un échantillon de
taille n , relatif à (X ,Y).
• Régression linéaire ⇒ E Y ( )
= α 0 + α 1X
X
• Le modèle s’écrit alors :

y i = α0 + α1x i +w i ∀i = 1,K, n

• Où wi sont des réalisations indépendantes de W


d’espérance nulle et de variance σ 2 constante ∀x i
• On l’appelle modèle linéaire
TOUIJAR 81
TOUIJAR 82
• Les coefficients(paramètres) α0 et α1 du

modèle, ainsi que σ 2 (W ) seront estimés

puis testés à partir des données (xi ,yi ) de

l’échantillon.

TOUIJAR 83
• Exemples de Modèles linéaires et non
Linéaires:
1)- Soit la fonction keynésienne :
Ct = α0 + α1Rt +W t ∀t = 1,K , n
Où C : consommation
R : le revenu
α1: propension marginale à consommer
α0: consommation incompressible.
w : l’erreur (bruit)

C’est un modèle linéaire :MRLS


TOUIJAR 84
• Exemples de Modèles linéaires et non
Linéaires:

β
• 2)- y =α x un modèle non-linéaire mais
qu’on peut rendre linéaire en composant par le
logarithme :
Ln ( y ) = Ln (α ) + β Ln ( x )

• Modèle très utilisé en économétrie (élasticité


constante de y/x ; où β est le coefficient
d’élasticité

TOUIJAR 85
• Exemples de Modèles linéaires et non
Linéaires:

• 3)- y = α exp ( β x ) un modèle non-linéaire


mais qu’on peut linéariser en posant :

y ′ = Ln ( y ) ⇒ y ′ = α ′ + β x
• Modèle à croissance exponentielle

TOUIJAR 86
• Exemples de Modèles linéaires et non
Linéaires:
exp (α + β x )
• 4)- y = un modèle non-linéaire
1 + exp (α + β x )
mais qu’on peut rendre linéaire en posant :
 y 
y ′ = Ln   ⇒ y ′ =α + βx
 1− y 
• Modèle logistique qui étudie les variations d’un
taux de réponse y en fonction d’une excitation
x

TOUIJAR 87
• Exemples de Modèles linéaires et non
Linéaires:

• 5)- y = α + exp ( β x )
est un modèle non-linéarisable

• 6)- y = α + β x + γ x est un modèle linéaire


2

mais pas simple : à 2 variables explicatives.

TOUIJAR 88
• Estimations des paramètres α , β et σ 2:

• Exemple Introductif

Le tableau ci-dessous représente le produit


national brute ( PNB) et la demande des biens de
première nécessité obtenus pour la période
1969-1980 dans un certain pays.
Nous cherchons à estimer la demande des biens
de première nécessité en fonction du PNB suivant le
modèle linéaire simple:
y i = α0 + α1x i +w i ;
TOUIJAR i = 1,K, n 89
Année PNB: X La Demande : Y
1969 50 6
1970 52 8
1971 55 9
1972 60 12
1973 57 8
1974 58 10
1975 62 12
1976 65 9
1977 68 11
1978 69 10
TOUIJAR
1979 70 11
90
1980 78 14
> PNB =c(50, 52, 55, 60, 57, 58, 62, 65, 68, 69, 70, 78)

> Demande =c(6, 8, 9, 12, 8, 10, 12, 9, 11, 10, 11, 14)

> plot(PNB,Demande,main="Régression de la demande sur le PNB")


Régression de la demande sur le PNB

Sortie
14

du
Logiciel
12

R
Demande

10
8
6

50 55 60 65 70 75

PNB
• Estimations des paramètres α , β et σ 2:

• Exemple Introductif

Pour effectuer une telle étude, on doit


préciser certaines conditions d’application
(hypothèses fondamentales)

TOUIJAR 93
Hypothèses
• H1: Le modèle est linéaire en X

• H2: Exogénéité de la Variable indépendante:


E(Wi /X)=0

• H3: Homoscédasticité et absence d’autocorrélation:


- σ2 = V(Wi ) est constante quelque soit i
- Cov(Wi , Wj)=0 pour i≠j

• H4: Les Wi sont de même loi normale :


Wi N (0,σ2) TOUIJAR 94
Remarques

• 1)- La normalité des erreurs Wi entraîne celle


des Yi ; en effet

N (α0 +α1xi ; σ )
N (0,σ Yi
• Wi 2)
⇒ 2
X i = xi

• Graphiquement :
TOUIJAR 95
f (Y/X)

σ
Y
x1
σ
x2

σ
x3

X
E (Y / X = x ) = α0 + α1x
TOUIJAR 96
Remarques
• 2)- E(Wi /X)=0  E(Wi)=0 et cov(Wi ,X)=0

• 3)- La normalité des erreurs Wi n’est pas


nécessaire pour l’estimation des paramètres α0
et α1 par la méthode des moindres carrés.

• 4)- Il suffit d’avoir la non corrélation des erreurs


et leur normalité pour avoir leur indépendance

• 5)- On pourra ajouter une autre hypothèse : Les


Xi sont certaines (non aléatoires); ceci nous
évitera d’utiliser les espérances
TOUIJAR conditionnelles
97
I- Estimation des paramètres du MRLS

•1- La méthode des MCO


–On détermine la droite passant, le plus
proche, de tous les points du nuage (xi,y i)
Y E(Y /X=x) = α0+ α1 x
yi
y ei y = α 0+ α 1 x
y (xi )
yi

xi
TOUIJAR
x X 99
• Notons par l’équation de la
droite de régression recherchée

• Et la valeur résiduelle.

• On désire calculer les valeurs αˆ 0 et αˆ1 qui


minimisent la somme des carrés des résidus :
n n

∑e = ∑ ( y − αˆ0 − αˆ1x i ) = F (αˆ0 , αˆ1 )


2 2
i i
i =1 i =1

• On notera désormais α0 et α1 à la place deαˆ0 et αˆ1


TOUIJAR par rapport à α et 100
• En annulant les dérivées α1:
0
∂F (α0 , α1 ) n
= 0 ⇔ −2∑ ( y i − α0 − α1x i ) = 0 (1)
∂α0 i =1

⇔ y = α0 + α1x
• Donc la droite passe par le point moyen G ( x ; y )
∂F (α0 , α1 ) n
= 0 ⇔ −2∑ x i ( y i − α0 − α1x i ) = 0 ( 2)
∂α1 i =1
n n n
⇔ ∑ x i y i − α0 ∑ x i − α1 ∑ x i2 = 0
i =1 i =1 i =1

⇔ xy − α0 x − α1 x = 0 2

xy − x y Cov ( x , y )
⇔ α1 =TOUIJAR =
x −x
2 2 V (x ) 101
• (1) et (2) nous donnent les équations :
n n

∑e
i =1
i = 0 et ∑x e
i =1
i i =0

• Et d’autre part :

∑ ( x − x )( y − y )
αˆ1 = i i
et αˆ0 = y − αˆ1x
∑(x − x )
2
i

• α̂ 1 s’écrit aussi
n ∑(xi yi ) − ∑ xi ∑ yi
αˆ1 =
n ∑ (xi ) − (∑ xi )
2 2
TOUIJAR 102
Les Données centrées
• En utilisant les données centrées:


0 =

  0 =  − 

d’où A1 s’écrit
∑ =1
0 0
1 =
∑ =1
0
2

TOUIJAR 103
X Y X0 X02 Y0 X0 Y0 Y^ ei ei xi ei2

50 6 -12 144 -4 48 7,511 -1,511 -75,532 2,282


52 8 -10 100 -2 20 7,926 0,074 3,872 0,006
55 9 -7 49 -1 7 8,548 0,452 24,867 0,204

60 12 -2 4 2 -4 9,585 2,415 144,894 5,832


57 8 -5 25 -2 10 8,963 -0,963 -54,878 0,927
58 10 -4 16 0 0 9,170 0,830 48,128 0,689
62 12 0 0 2 0 10,000 2,000 124,000 4,000
65 9 3 9 -1 -3 10,622 -1,622 -105,452 2,632
68 11 6 36 1 6 11,245 -0,245 -16,638 0,060
69 10 7 49 0 0 11,452 -1,452 -100,197 2,109
70 11 8 64 1 8 11,660 -0,660 -46,170 0,435
78 14 16 256 4 64 13,319 0,681 53,106 0,464
744 120 0 752 0 156 120,000 0,000 0,000 19,638
α^1 = α^0 =
62 10 0 0 10 0,2074 -2,862
• Exemple: la droite de régression empirique
dans notre cas, a pour équation :
• Elle permet d’obtenir une estimation de la
demande moyenne des biens de 1ère nécessité
pour un PNB x.
• Rem : 1)- si x (PNB)=0 alors valeur
qui n’a aucune signification concrète.
• 2) si x’=x+1, alors ; une augθ de 1
du PNB entraine une augθ de la demande
moyenne de 0,21. TOUIJAR 105
> plot(PNB,Demande,main="Régression de la demande sur le PNB")
> reg = lm(Demande~PNB)# effectuer la régression linéaire simple. L'objet résultat s'appelle "reg"
> abline(reg,col=2) # tracé de la droite de régression en rouge
Régression de la demande sur le PNB

Sortie du

14
Logiciel R

12
Demande

10
8
6

50 55 60 65 70 75

PNB
> summary(reg) # donne un sommaire des résultats de la régression.
• Call: Linear Model
• lm(formula = Y ~ X) Sorties du
• Residuals: e:
i les résidus Logiciel R
• Min 1Q Median 3Q Max
• -1.62234 -1.08511 -0.08511 0.71809 2.41489

• Coefficients: α̂ 0
• Estimate Std.Error t value Pr(>|t|)

• (Intercept) -2.8617 3.1941 -0.896 .39134


Régression de la demande sur le PNB

14
• X
α̂1 0.2074 0.0511 4.059 0.00229

12
Demande

10
• ---
• Residual standard error: 1.401 on 10 degrees of freedom

8
• Multiple R-squared: 0.6223, Adjusted R-squared: 0.5846

6
50 55 60 65 70 75
• F-statistic: 16.48 on 1 and 10 DF, p-value: 0.002289 PNB
• Théorème 1:
ˆ sont des estimateurs sans Biais de α , α et de E x (Y
A0 , A1 et Y )
0 1

A1 =
∑ ( X − X )(Y − Y )
i i

∑(X − X )
2
i

Où E x (Y ) désignera E (Y X =x)

• Remarque :

αˆ0 , αˆ1 et yˆ sont des réalisations de A0 , A1 et Yˆ


TOUIJAR 108
• Dem : on doit montrer que E ( A1 ) = α1
Pour ce on doit montrer E x ( A1 ) = α1 i

En effet E E ( ( A )) = E ( A ) = α
xi
1 1 1

∑ (x − x )E xi
( (Y − Y) )
E xi
(A ) =
i i

∑(x −x )
1 2
i

Or E x i (Y i ) = α0 + α1x i
d’où
E x i ( Y ) = α0 + α1x ⇒ E x i (Y i − Y ) = α1 ( x i − x )
⇒E xi
( A1 ) = α1 TOUIJAR 109
• De même puisque :

αˆ0 = y − αˆ1x , αˆ0 étant une réalisation de A0 ;on a :


E xi
( A0 ) = E ( Y ) − x 1 E1
xi
(
424
A1 )
3
xi

α1

= α0 + α1x − x 1α1 = α0
⇒E E ( xi
( A0 ) ) = E ( A0 ) = α0

TOUIJAR 110
• Pour la troisième estimation :
E (Y
x
) = α0 + α1x ⇒ αˆ0 + αˆ1x = yˆ
est une estimation sans Biais de α0 + α1x = E (Y
x
)
⇒ Ŷ = A0 + A1X est un estimateur sans
Biais de E (Y
x
)
• On montre de plus que A1 et Y sont non
corrélés; pour ce, on commence par
montrer qu’elles le sont
conditionnellementTOUIJAR
à xi : 111
• En utilisant les données centrées:
x 0i = x i − x et Y 0i =Y i − Y d’où A1 s’écrit

A =
∑ x Y
=
0i ∑ x Y
0i
= ∑ ωY 0i i
où ωi =
x 0i
∑(x ) ∑(x ) ∑(x )
1 2 2 i i 2
0i 0i 0i

D’où Cov ( A , Y ) = Cov ( ∑ ω Y


xi
1
xi
i i , Y)
 1 
= ∑ ωi Cov (Y i , Y ) = ∑ ωi Cov Y i , ∑Y j 
xi xi

 n 
σ2
=
n

{
ω =0 i
=0
Par conséquent elles sont non corrélées marginalement
TOUIJAR 112
Propriétés et Distributions des
Estimateurs A1 et A0
• Théorème 2 (GAUSS-MARKOV) :
A0 et A1 sont des estimateurs BLUE de α0 et α1

Dém : on a déjà montré qu’ ils sont sans biais.


De plus
σ
( A ) = ∑ ω V (Y ) = σ ∑ ω
2
V xi 2 xi 2 2
=
∑(x )
1 i i i 2
0i
car
V xi
(Y i ) =V (α0 + α1X i +W iTOUIJAR
X i = x i ) =V (W i ) =113σ 2
Pour la linéarité, on a déjà vu que :
x 0i
A1 = ∑ ωiY i où ωi =
∑(x )
2
0i

Reste à montrer que la variance est minimale;


pour ce supposons qu’il existe un autre
estimateur A’ linéaire et sans Biais (où on
notera E à la place de Exi et V au lieu de Vxi ) :
A ′ = ∑ k iY i et E ( A ′ ) = α1 ⇒ ∑ k i E (Y i ) = α1
⇒ ∑ k i (α0 + α1x i ) = α1
⇒ α0 ∑ k i + α1 ∑ k i x i = α1
⇒ ∑ k i = 0 et ∑k x i i =1
TOUIJAR 114
Or
V ( A ′ ) = ∑ k i2V (Y i ) = σ 2 ∑ k i2
=σ ∑ ( k − ω + ω ) = σ ∑ ( k − ω ) + σ ∑ (ω )
2 2 2 2 2 2
i i i i i i

+ 2σ ∑ ω ( k − ω )
2
i i i

= σ ∑ ( k − ω ) + σ ∑ (ω ) − 2σ ∑ (ω )
2 2 2 2 2 2
i i i i

+ 2σ ∑ ω k
2
i i

2σ 2
2σ 2
= σ 2 ∑ ( k i − ωi ) − σ 2 ∑ (ωi ) + 2 ∑ i i
x ∑ ki
2 2
x k −
14243 ∑ x 0i 1 4243 ∑ x 0i {
2
V ( A1 ) 123 =1 =0
2V ( A1 )

=σ ∑ ( k − ω ) + 2V ( A ) −V ( A )
2 2
i i 1 1

= σ ∑ ( k − ω ) +V ( A ) ≥V ( A )
2 2
i i 1 1
1442443 TOUIJAR 115
≥0
De même pour A0; on a vu que :
1 ∑ X (Y − Y)
A0 = Y − X A1 = ∑Y − X
0i i

∑X
i 2
N 0i

∑X Y − Y∑
0i iX
123 0i
1  1 
= ∑Y −X =0
= ∑  − X Ωi Y i
∑ 0i
i 2
N X N 
une réalisation de A0 est :
 1 
αˆ0 = ∑  − x ωi  yi
N 
On vient de voir que A0; est une
combinaison linéaire des Yi et qu’il est sans
Biais de α0 reste à montrer
TOUIJAR
qu’il est de variance
116
minimale :
On calcule maintenant la variance de A0:
(désormais, on travaille avec les xi fixées et V au lieu de Vxi)
2 2
 1   1 
V ( A 0 ) = ∑  − x ωi  V (Y i ) = σ ∑  − x ωi 
2

N  N 
 
 2

=σ ∑
2  1
+ x 2 x 0i
− 2
x
ω 
N 2 
2 i 
2
N N

  ∑ x oi  

  i =1  
   
 ∑
1 2
x
30i
  2 
2 1 1 x  2 1 x 
=σ +x 2
− 2 =0
= σ +
N  N
 N N
  N  N
2
  ∑ x 0i 
2
∑ 2
x 0i    ∑ x 0i  
  i =1  i =1    i =1 117 
TOUIJAR
• Considérons un autre estimateur linéaire sans biais
A’ de α0, d’où

A ′ = ∑ k iY i et E ( A ′ ) = α0 ⇒ ∑ k i E (Y i ) = α0
⇒ ∑ k i (α0 + α1x i ) = α0
⇒ α0 ∑ k i + α1 ∑ k i x i = α0
⇒ ∑ k i = 1 et ∑k x i i =0

TOUIJAR 118
1
• Or posons f i = − x ωi
N
V ( A ′ ) = ∑ k i2V (Y i ) = σ 2 ∑ k i2
=σ ∑ (k − f + f ) = σ ∑ (k − f ) + σ ∑ (f )
2 2 2 2 2 2
i i i i i i

+ 2σ ∑ f ( k − f )
2
i i i

= σ ∑ ( k − f ) −V ( A ) + 2σ ∑ f k
2 2 2
i i 0 i i

2σ 2 2σ 2
= σ 2 ∑ ( ki − f i ) −V ( A0 ) + ∑ x ∑ x i ki
2
ki −
N { ∑ x 0i 1 2
424 3
=1 =0

2σ 2 x 2
= σ ∑ ( k i − f i ) −V ( A0 ) + 2V ( A0 )
2
+ 2

∑ x 0i2

= σ ∑ ( k i − f i ) +V ( A0 ) ≥V ( A0 )
2 2

144244 3 TOUIJAR 119


≥0
• Théorème 3 :
n

∑ ( y i − yˆi )
2

s 2 = σˆ 2 = i =1
une estimation sans Biais de σ2
n −2

Dém : en injectant Y dans la différence, on a :

∑ (Y ) = ∑ (Y )
n 2 n 2
i −Y
ˆ
i i −Y+Y−Y
ˆ ;
i
i =1 i =1

et puisque Y = Y
ˆ d'où :

( ) ( )
n n n
= ∑ (Y i − Y ) + ∑ Y ˆ − 2∑ (Y − Y ) Y
2
2
ˆ −Y ˆ −Y
ˆ
i i i
i =1 1424 3 i =1 1
424 3 i =1 1442443
(1) ( 2 ) TOUIJAR ( 3) 120
Dém : (suite)
( ) ( )
n 2 n 2
∑ i i ∑ i
Y
i =1
− ˆ
Y = Y − Y + Y − ˆ
Y
i =1
i

( ) ( )
n n n
= ∑ (Y i − Y ) + ∑ Y ˆ − 2∑ (Y − Y ) Y
2
2
ˆ −Y ˆ −Y
ˆ
i i i
i =1 1424 3 i =1 1
424 3 i =1 1442443
(1) ( 2) ( 3)

D’autre part : pour calculer (1), on a :

y i = α0 + α1x i +w i
⇒ y i − y = (w i −w ) + α1 ( x i − x )
y = α0 + α1x +w

TOUIJAR 121
Dém : (suite)
D’où :
n n n

∑ (Y − Y ) = ∑ (W i − W ) + α ∑ (x )
2 2
−x
2 2
i 1 i
i =1 i =1 i =1
n
+2 ∑ (W i − W ) ( x i − x )
i =1
n n n
⇒ ∑ E  (Y i − Y )  = ∑ E (W i − W )  + α12 ∑ ( x 0 i )
2 2 2

i =1
  i =1   i =1
n
+2 ∑ ( x i − x ) E (W i − W )
i =1 14243
=0
n n n
= ∑ E W i  + n E  W  − 2 ∑ E W i W  + α ∑ (x )
2 2 2 2
1 0i
i =1 TOUIJAR
i =1 i =1 122
Dém : (suite)

σ2 
n
1    n
= nσ + n − 2∑ E W i W i + ∑W j   + α1 ∑ ( x 0i )
2 2 2

n i =1  n  j ≠i   i =1

 
n    
2
= nσ 2 + σ 2 − ∑  E W i 2  + E  ∑W iW j  
n i =1  1424 3  j ≠i  
 =σ 2 14 4244 3
 =0 
n
+α ∑( x )
2 2
1 0i
i =1
n n
= nσ + σ − 2σ + α ∑ ( x ) = ( n −1) σ +α ∑( x )
2 2 2 2 2 2 2 2
1 0i 1 0i
i =1 TOUIJAR i =1 123
Dém : (suite) Pour ce qui est de (2) :


n
ˆ
Yi
i =1
− Y(
ˆ) ( ) = A ∑ (x − x )
2 n
= ∑ Yˆi − Yˆ
i =1
2
1
2
n

i =1
i
2

⇒ E  ∑ (Y − Y )  =  ∑ ( x − x )  E (A )
 ˆ
n
ˆ   2  n
2 2
i i 1
 i =1   i =1

 n 2
(( )
=  ∑ ( x0i )  × V A1 + α12 )
 i =1 
 
 
 n
 σ 2
 n
2
=  ∑ ( x0i )  × n
 + α1 = σ + α1  ∑ ( x0i ) 
2
2 2 2

 i =1   ( x )2   i =1 
 ∑ 0i 
 i =1 TOUIJAR 124
Dém : (suite) Pour ce qui est de (3) :


n
(Y
i =1
− Y
i )(Yˆ −iYˆ ) = ∑
n
Y
i =1
(
Y ˆ − ˆ
Yi) − Y ∑i(
Y ˆ
n
− Y
i =1
ˆ )i

n n
= A1 ∑ Yi ( xi − x ) − A1 Y ∑ ( xi − x )
i =1 i =1
1 4243 1 4243
n =0
= ∑ ( x0 i )2 ∑ ωiYi
i =1

 i =1
(
ˆ ˆ

)  n

  i =1
2 
⇒ E  ∑ (Yi − Y ) Yi − Y  = E  A1  ∑ ( x0i )  A1 
 n  
 
 n 
(( ) )  2
n
=  ∑ ( x0i )  × V A1 + α1 = σ + α1  ∑ ( x0i ) 
2 2 2 2

 i =1  TOUIJAR
 i =1  125
Dém : (suite)
Pour ce qui est de (1)+(2)-2*(3) :

∑( )
 n 2
 
E  Yi − Yi  = (n − 2)σ
ˆ 2

 i =1 
 1 n
⇒ E 
n − 2
∑ Y(
i − Yˆ
i )
2
 =σ 2

 i =1 
CQFD
On pose donc :
1
S =σ =
2
ˆ
n−2
2
∑ ei ESB de σ
2 2
Distributions des estimateurs ˆ
A0 , A1 et Y
Puisque Wi est normale, on a

Yi/Xi=xi N (α 1 xi + α 0 , σ2)
Par conséquent A0 , A1 et Y ˆ suivent aussi, pour des x
i
fixées, des lois Normales :

A1 N ( α1 , σ2 )
∑(x )
2
0i

 
N (α
2
A0 0 , σ 
2 1
+
x
 )
N ∑ ( x 0i )  2
 
 
N (α α
1 x i + 0 , σ  N +
2
1 x
Ŷi 2 0i
 )
∑ ( ) 
2 127
TOUIJAR
 x 0 i 
• Remarques :
• 1- Les lois des estimateurs vont nous servir
pour la construction des intervalles de
confiance et pour les Tests.
• 2- On démontre que :

( n − 2) S 2
=
∑ e i
2

χ ( n − 2)
2

σ 2
σ 2

est indépendante de A 0 , A1 et Y
II- Tests sur les coefficients du MRLS

• 1- Test sur la régression

• On veut tester si la régression de Y sur X est


significative ?

• Sous l’hypothèse α1 = 0 le modèle s’écrit :

Yi = α 0 + Wi ∀i = 1, K , n
et Y ne dépend plus alors de X.
TOUIJAR 129
i)- Formulation des Hypothèses :
H 0 : α1 = 0

#
H : α1 ≠ 0
 1

ii)- Statistique utilisée et sa loi :

On Propose alors A1 estimateur sans biais de α1

TOUIJAR 130
A1
N (0 , 1 ) sous H0
σ
∑x 0i
2

• Or σ est inconnu, on doit l’estimer;


• Si α 0 et α 1étaient connus, la meilleure
estimation de σ2 est :
1 1
∑w i = ∑ ( y i − α0 − α1 x i )
2 2

n n
• Sinon, En remplaçant α0 et α1 par A 0 et A1, on
obtient une bonne estimation
TOUIJAR de σ2 : 131
σˆ =
2 1
∑ ( yi − αˆ 0 − αˆ1 xi ) =
2 1
∑ 2
ei
n−2 n−2
• Le n-2 vient du nombre de paramètres estimés
• D’où, la statistique du test sera, sous H0

TA1 =
A1
;où sA1 =
σˆ
=
∑i
e 2

S A1
∑(x ) n −2 ∑(x )
2 2
0i 0i

qui suit une loi de student à n-2 d.d.l.


• Sous H0, T devient :
A1
T A1 = tn −2
TOUIJAR
S A1 132
iii)- R.D.
Si tA > tn − 2 ;α / 2 on rejette H0
 1

Si tA1 ≤ tn − 2 ; α /2 on ne rejette pas H0

Exercice :

Pour l’exemple du PNB,

Tester si la régression est significative à 5% ?


TOUIJAR 133
• Solution :
H : α = 0
F.H.  0 1

#
H : α ≠ 0
 1 1

A1
Estimateur et sa loi TA1 = t(10)
S A1
R.D.
Si tαˆ > t10 ;0,025 on rejette H0
 1

Si tαˆ1 ≤ t10 ; 0,025 on ne rejette pas H0
TOUIJAR 134
•A.N.

αˆ1 n − 2 ∑(x )
2
αˆ1
tαˆ1 = =
0i

sαˆ1 ∑i
e 2

0, 2074 10 752
= ≈ 4, 06 et t10;0,025 = 2, 23
19, 638

•On a t calculé supérieur au t tabulé donc


on RH0 la régression est donc significative
TOUIJAR 135
• summary(reg) # donne un sommaire des résultats de la régression.
• Call:
Linear Model
• lm(formula = Y ~ X)
Sorties du
• Residuals: e:
i les résidus Logiciel R
• Min 1Q Median 3Q Max
• -1.62234 -1.08511 -0.08511 0.71809 2.41489

• Coefficients: α̂ 0 sαˆ0
• Estimate Std.Error t value Pr(>|t|)

• (Intercept) -2.8617 3.1941 -0.896 .39134


tαˆ0
α̂1
• X 0.2074 0.0511 4.059 0.00229

• ---
σ̂ = S sαˆ1 tαˆ1
• Residual standard error: 1.401 on 10 degrees of freedom

• Multiple R-squared: 0.6223, Adjusted R-squared: 0.5846 (n − 2)


• F-statistic: 16.48 on 1 and 10 DF, p-value: 0.002289
• 2- Intervalle de confiance de α1

• D’après ce qui précède, on a :

I C (α1 ) = [αˆ1 − t n − 2;α / 2 sαˆ1 ; αˆ1 + t n − 2;α / 2 sαˆ1 ]

• A.N. 19, 638


t10;0,025 = 2, 23 αˆ1 = 0, 2074 sαˆ1 = 10 = 0, 05
752
I C (α1 ) = [ 0, 2074 − 2, 23 × 0, 05 ; 0, 2074 + 2, 23 × 0, 05]
= [ 0, 096 ; 0,319]
TOUIJAR 137
• Remarque :
α1 = 0 ∉ I C (α1 ) = [ 0,096; 0,319]
⇒ RH 0

• Interprétation: à 95% de confiance,


l’augmentation de la demande moyenne se
situe entre 0,1 et 0,32 pour une augmentation
de 1 du PNB
• Pour α0 on a :

I C (α 0 ) = αˆ 0 − t n − 2;α / 2 s αˆ 0 ; αˆ 0 + t n − 2;α / 2 s αˆ 0 


1 x 2 
= [ − 9, 979 ; 4, 255 ] où S αˆ 0 = S  +
2 2
 = 3,194
2

TOUIJAR  n ∑ 0i
x 2
 138
> confint(reg) α/2
α/2 1− α/2
α/2

• 2.5 % 97.5 %

• (Intercept) -9.97856227 4.2551580


     
I C (α 0 ) = αˆ 0 −  t α  Sαˆ 0 ; αˆ 0 +  t α  Sαˆ 0 
  n −2;   n−2;  
 2   2  

• X 0.09358312 0.3213105
     
I C (α1 ) = αˆ1 −  t α  Sαˆ1 ; αˆ1 +  t α  Sαˆ1 
  n −2;   n−2;  
  2   2  
III- Tests et Tableau d’Analyse de la
Variance (ANOVA) d’un MRLS

• 1- Équation fondamentale de l’ ANOVA:


• La notion de liaison entre Y et X, signifie
q’une variation de x implique celle de Y.
La formule de décomposition de la
variance permet de connaître la part de
variation de Y expliquée par celle de X :

∑ (Y −
i Y ) =
2
∑ (Y
14243 14243 14243
ˆ − Yi) + ∑ (Y
2
− Yˆ )i i
2

SCT SCE
TOUIJAR
SCR = ∑ ei2
140
en effet:
∑ (Y − Y) = ∑ Y − Y ( )
2 2
ˆ +Y
ˆ −Y
i i i

( ) + ∑ ( Yˆ − Y ) + 2∑ (Y − Yˆ )( Yˆ − Y )
2 2
= ∑ Yi −Y
ˆ
i i i i

= ∑ (Y ˆ ) + ∑(Y ˆ − Y ) + 2∑ e ( Y
ˆ − Y)
2 2
i −Y i i i i

= ∑ (Y i
ˆ ) + ∑(Y
−Y i
2
i ( )
ˆ − Y ) + 2∑ e Y
2
ˆ −Y
i
ˆ
i

= ∑ (Y ˆ ) + ∑(Y ˆ − Y ) + 2A ∑ e ( x − x )
2 2
i −Y i i 1 i i

 
( ) + ∑( )
2 2
= ∑ Yi −Y
ˆ
i
ˆ − Y + 2A  ∑ e x − x ∑ e 
Yi 1 i i i
 123 { 
 =0
144424443 = 0 
=0

( ) + ∑ ( Ŷ − Y )
2 2
= ∑ Y i − Ŷi i
• La variabilité totale(SCT)est égale à la
variabilité expliquée(SCE) augmentée de la
variabilité résiduelle(SCR).
• Cette décomposition va nous permettre de
décider de la qualité de l’ajustement du modèle.
• Remarque : si la variance expliquée tend
vers la variance totale (SCR faible), la
qualité de l’ajustement tend à être
meilleure.
• Ceci nous donne une idée de tester,
d’une autre façon, la signification de la
régression: un test équivalent au
T-test sur 1α TOUIJAR 142
• La variabilité expliquée SCE n’est autre qu’un
estimateur de E(SCE/1) et SCR estimateur de
E(SCR/n-2); on a :
 SCE
E
 1



= E ( A1 ∑ 0i )
2
x 2
= σ 2
+ α 1 ∑ 0i
2
x 2

 SCR 
E = E


∑ e i
2

 = σ 2

n −2  n −2 
•De là, on peut affirmer que si la régression est
significative(α 1 ≠ 0 ) alors:E(SCE /1) > E(SCR/n-2)
•Par contre, si la régression n’est pas significative
(α 1 = 0) alors: E(SCE/1) = E(SCR/n-2)
TOUIJAR 143
• D’où
H 0 : α1 = 0

# ⇔
H : α1 ≠ 0
 1

H
 0 : E (S C E 1 ) = E (S C R n − 2 ) ( ré g n o n s ig n .)

#

H
 1 : E (S C E 1 ) > E (S C R n − 2 ) ( ré g s ig n .)

• La statistique utilisée est SCE


SCR
• Sa loi sous H0?
On montre que
σ2
SCE/σ χ2(1)
σ2
SCR/σ χ2(n-2) TOUIJAR
144
• D’où sous H0
SCE
•F=
SCR
1
Y (1 ; n − 2)
n−2
• R.D.
Si F > Y α (1N n − 2 ) on rejette H 0

Si F ≤ Y α (1N n − 2 ) on ne rejette pas H 0
• Remarque :on a vu Y (1;n-2) = [t(n-2)]2
• En effet :  A1
2

(T )
2
=  = SCE SCR n − 2 = F
A1
 SA
TOUIJAR  1  145
Tableau de l’ ANOVA
Source Somme Carrés
d.d.l Fisher
de varq des carrés moyens
SCE= ∑ (
Yˆi − Y )
2

F= SCE/11/
x 1 SCE/1

Résidu SCR= ∑i
e 2
n-2 SCR/(n-2)

SCR/(n-2)
Totale SCT=∑ (Yi − Y )2 n-1

•Exercice: on reprend l’exo. Précédent. A l’aide


de l’ANOVA, tester si la régression est significative
> anova(reg)

• Analysis of Variance Table


d.d.l. Somme moyenne Valeur de
des carrées des carrées Fisher P-value
• Response: Y
• Df Sum Sq Mean Sq F value Pr(>F)

• X 1 32.362 32.362 16.479 0.002289


SCE

• Residuals 10 19.638 1.964


SCR
• ---
• Solution : sous H0
• F=
SCE
SCR
Y (1 N n − 2)
• R.D. n−2
Si F > F0, 05 (1;10) on rejette H 0

Si F ≤ F0, 05 (1;10) on ne rejette pas H 0

OrF = SCE ×10 = αˆ12 ∑ x 02i 0, 20742 × 752


×10 = = 16, 472
SCR ∑i
e 2 1,9638

Y0,05(1;10) = 4,96 d’où F > Y0,05(1;10) donc on RH0


la régression est donc significative
Remarque :F =
148
[T]2 = (4,06)2 = 16,484
• summary(reg) # donne un sommaire des résultats de la régression.
• Call:
Linear Model
• lm(formula = Y ~ X)
Sorties du
• Residuals: e:
i les résidus Logiciel R
• Min 1Q Median 3Q Max
• -1.62234 -1.08511 -0.08511 0.71809 2.41489
sαˆ0
• Coefficients: α̂ 0
• Estimate Std.Error t value Pr(>|t|)

• (Intercept) -2.8617 3.1941 -0.896 .39134


tαˆ0
α̂1
• X 0.2074 0.0511 4.059 0.00229

• ---
σ̂ = S sαˆ1 tαˆ1
• Residual standard error: 1.401 on 10 degrees of freedom

• Multiple R-squared: 0.6223, Adjusted R-squared: 0.5846 SCE


F=
• F-statistic: 16.48 on 1 and 10 DF, p-value: 0.002289 SCR
n−2
• Une troisième façon de tester la
régression est de tester le coefficient de
corrélation théorique ρ :

H : ρ = 0
F.H. 
0

#
H : ρ ≠ 0
 1

• Soit R le coefficient de corrélation simple


entre X et Y estimateur de ρ; R 2 est
appelé le coefficient de détermination
SCE SCR
2
R =
TOUIJAR = 1− 150
SCT SCT
• En effet, cov( x, Y ) ∑x Y
R= =
0i 0i

σ XσY
∑ x ∑Y
2
0i
2
0i

⇒R 2
=
(∑ x Y )
0i 0i
2

= αˆ 2 ∑x 2
0i

∑ x ∑Y ∑Y
2 2 1 2
0i 0i 0i

α1 ∑ x0i SCE
α̂
ˆ 2 2

= =
• Car SCT SCT

( ) = ∑ (Yˆ − Yˆ )
2
SCE = ∑ Yˆi − Y
2
i

= ∑ (α1 (xi − x )) = α1 ∑ x0i


2 2
2
ˆ ˆ
TOUIJAR 151
Or on a vu que :
SCE 2 2 2
1 = R SCT R R
F= = =
SCR
n−2
SCR
n−2
SCR 1− R2 ( )
SCT n−2
n−2
Et sous H0
R n−2
F = T ⇒ Tαˆ 1 =
2
tα / 2 (n − 2)
R.D.
αˆ 1
(1 − R )
2

Si r > rα / 2 ;n − 2 on rejette H 0




Si r ≤ rα / 2 ;n − 2 on ne rejette pas H 0
TOUIJAR 152
r α/2
α/2; n-2 se trouve sur la table du coefficient de corrélation
• A.N. : SCE 32,347
r =
2
= = 0, 622 ⇒ r = 0, 789
SCT 52
• Or r = 0,789 > r0,025;10 ≈ 0,576 on rejette H 0

• Remarques:
• - On peut tester H0 en utilisant le rapport
R n − 2
critique T = , on lit alors t dans la
(1 − R 2
)
table de student à n-2 ddl
• le r-test sur le coefficient de corrélation ρ est
équivalent au T-test sur la pente(α 1 ) équivalent
au F-test sur les variances.
TOUIJAR 153
IV- PREVISION Sur Un MRLS

• On sait que Ŷi est un estimateur de la


moyenne des (Yi) donc de E(Y):
Yt = Ŷt + et = αˆ 0 + αˆ 1 xt + et ∀t = 1,L , n

• À l’instant k=n+1, on a :
Ŷk = αˆ 0 + αˆ 1 x k = Y + αˆ 1 ( x k − x )
Intervalle de confiance autour de E(Y)
TOUIJAR 154
• Propriétés de Ŷk : la loi de Ŷk est normale
car combinaison des Yi

( )
E Yˆk = E (Y ) + (x k − x ) E (αˆ1 )
= (α 0 + α 1 x ) + (x k − x )α 1 = E (Yk )
ˆ( )
V Yk = V(Y ) + ( xk − x ) V(αˆ1 ) =
2

σ 2
+
σ 2
( xk − x )
2


2 1
+
( x k − x )2


n ∑x 2 n ∑ 0i 
x 2 
0i 
• Or σ2est inconnue, on l’estime par
σ̂ 2
=
∑ e 2
i

n−2
TOUIJAR 155
 on a alors :
Yˆk − E (Y k )
TYˆ = tα /2 ( n − 2 )
1 ( xk − x ) 
k 2

σˆ  + 
 n ∑(x − x )  2
 i 
D’où

 + (xk − x )
1 2 
I C (E (Yk )) = Ŷk − σˆ tα / 2 (n − 2 ) ;
  n ∑ ( x − x )2 
  i 

1 ( xk − x )
2 
Ŷk + σˆ tα / 2 (n − 2)  + 
 n ∑ ( x − x )2 
 i  TOUIJAR
156
Si n → ∞ :


 + (xk − x )
1 2 
I C (E (Yk )) = Ŷk − σˆ zα / 2 ;
  n ∑ ( x − x )2 
  i 


 + (xk − x )
1 2

Ŷk + σˆ zα / 2 
 n ∑ ( x − x )2 
 i 

TOUIJAR 157
Intervalle de confiance pour E(Yk)

y
b.sup Ŷ = A0 + A1X
Y

b.inf

x
TOUIJAR
X
158
Exercice: on reprend toujours le même exo.
• Estimer à l’aide d’un intervalle de confiance la
moyenne des Y pour un x = 78.
Solution : on a d’abord Yˆ78 = −2,862 + 0, 2074 × 78 = 13,319

  1 ( 78 − 62 )2 
I C ( E (Y 78 ) ) = 13,319 − 2, 23 1,964  + ;
  10 752 
  

 1 ( 78 − 62 )2  
13,319 + 2, 23 1,964  + 
 10 752 
 
= [11, 287 ;15,352] TOUIJAR 160
> ndata  data.frame(PNB=c(78))
> Ic=round(predict(reg,interval="confidence",ndata),3)
> Ic # intervalle de confiance de E(Y)

• fit lwr upr


• 1 13.319 11.287 15.352
  −  −2  +  −2

ajusté lower upper


V- PREVISION Sur Un MRLS

Intervalle de prévision autour de Y k


Soit xk une valeur non observée de X (exple k=n+1)
alors la prévision naturelle de Yk est
Yˆk = A0 + A1 xk
Or Yk =(Y/X=xk ) N (α1 xk + α 0 , σ2)

Vu que les 2 V.A. Yk(ne dépend que de wk) et k
(ne dépend que des valeurs précédentes(w1,…,162wn)
on a : TOUIJAR
IV- PREVISION Sur Un MRLS
Intervalle de prévision autour de Y k ( p )
Yk ( p ) = Yˆk + e k ⇒ e k = Yk ( p ) − Yˆ

( ) ()

⇒ V (e k ) = V Yk ( p ) + V Y = σ 1 + +
ˆ 2 1 (x k − x ) 
2



n ∑ i( x − x )2 


⇒ σˆ (e k ) = S  1 + +
1 ( x k − x )2 

 n ∑ ( x i − x )2 
 
Yk ( p ) − Yˆ
⇒ a tα / 2 (n − 2 ) )
S

 1+ +
1 ( xk − x ) 
2 

 n ∑ ( x i − x )2  TOUIJAR
163

 
IV- PREVISION Sur Un MRLS
Intervalle de prévision autour de Y k ( p )

1 + + ( x k − x )  ;
 1 2 
( )
I p Yk ( p ) = Yˆk − σˆ tα / 2 (n − 2)


 n
 ∑ (xi − x ) 2

2 
 1
Yk + σˆ tα / 2 (n − 2) 1 + +
ˆ  ( xk − x )  
 n
 ∑ (xi − x )  
2 

I p (Y 78 ) = [9,568 ;17, 07 ]
TOUIJAR 164
> ndata <- data.frame(PNB=c(78))
> Ip = round(predict(reg,interval="prediction",ndata),3)
> Ip # Intervalle de prévision de Yp

• fit lwr upr

  −  −2  +  −2

• 1 13.319 9.593 17.045


ajusté lower upper
> PNB =c(50, 52, 55, 60, 57, 58, 62, 65, 68, 69, 70, 78)
> Demande =c(6, 8, 9, 12, 8, 10, 12, 9, 11, 10, 11, 14)
> reg = lm(Demande~PNB)
> ndata <- data.frame(PNB=sort(PNB))
> Ic=round(predict(reg,interval="confidence",ndata),2)
> Ip=round(predict(reg,interval="prediction",ndata),2)
> plot(PNB,Demande)
>polygon(c(sort(PNB),sort(PNB,dec=TRUE)),c(Ip[,2],sort(Ip[,3],dec=TRUE)),col="light
yellow2",border=0)
>polygon(c(sort(PNB),sort(PNB,dec=TRUE)),c(Ic[,2],sort(Ic[,3],dec=TRUE)),col="t
histle1",border=0)
> points(PNB,Demande ,pch=18,col="darkblue",lwd=3)
> abline(reg, col=3)
> lines(sort(PNB),Ic[ , 2],col=2)
> lines(sort(PNB),Ic[ , 3],col=2)
> lines(sort(PNB),Ip[ , 2],col=4)
> lines(sort(PNB),Ip[ , 3],col=4)
> legend("topleft",legend=c("Ic","Ip","DR"),lty=1,lwd=2,col=c(2,4,3))
14
Ic
Ip
DR
12
Demande

10
8
6

50 55 60 65 70 75

PNB
IV- PREVISION Sur Un MRLS
Remarque :
Cet intervalle de prévision permet de
détecter les points aberrants( ou
extrêmes) afin de les écarter pour refaire
une nouvelle régression sans leurs
influence.

TOUIJAR 168
Chapitre 2

Régression Multiple

TOUIJAR 169
Introduction :

• Le but premier de ce deuxième chapitre est la


modélisation (l’explication) dans un but
prédictif, d’une variable quantitative Y par
plusieurs variables quantitatives X1, X2, …, Xp .
Ces dernières sont liées linéairement avec Y.
Il s’agit là de ce qu’on appelle :
la régression linéaire multiple.

TOUIJAR 170
Le modèle :

• Le modèle de régression linéaire multiple


est une généralisation de la régression
simple.

• C’est un outil statistique mis en œuvre


pour l’étude de données
multidimensionnelles.
TOUIJAR 171
Le modèle : Objectifs

• Estimer les paramètres du modèle α 0 ; α1 ; α 2 ;L ; α p


Avec des estimateurs de meilleur qualité.
• Mesurer le pouvoir explicatif global du modèle.
• Faire de la prévision en construisant des intervalles de
prévision.
• Ce dernier point nous permettra de repérer les points
aberrants et de les supprimer.

TOUIJAR 172
Le modèle : (aspect empirique)
• Une variable quantitative Y (V. à expliquer ou
endogène) est mise en relation avec p variables
quantitatives X1, X2, …, Xp (V. explicatives , exogènes
ou régresseurs).
• On mesure sur n individus ces p+1 variables
représentées par des vecteurs de Rn: y, x1, x2, …, xp
(où n > p+1).

• L’écriture du modèle linéaire est alors comme suit :

y i = α 0 + α1x i 1 + α 2 x i 2 + L + α p x ip + w i 1≤ i ≤ n
TOUIJAR 173
Le modèle : Ecriture matricielle
 y 1   1 x 11 x 12 L x 1 p   α 0   w 1 
   x
   
α
 y 2  1 x 21 x 22 L 2 p   1  w
 2
 M  M M M M M  M   M 
 =   + 
 y i   1 x i 1 x i 2 L x ip   α i   w i 
M  M M M M M  M  M 
      
 α p  w 
y
{ n 
 1 x x L x 
np    n 
14444n1 n2
244443 {  {
Y ( n ,1) X ( n , p +1) α ( p +1,1) W ( n ,1)

α +W
Y = XTOUIJAR 174
Le modèle : Les Hypothèses
On supposera vrai les hypothèses suivantes :

H1- Linéarité : y i = α 0 + α1x i 1 + α 2 x i 2 + L + α p x ip + w i 1 ≤ i ≤ n


La relation entre y et x1, . . . ,xp est linéaire.

H2: Plein rang : La matrice X’X est inversible; autrement


det(X’X)≠ 0. On peut l’exprimer par le fait que les Xi
sont indépendantes linéairement (pas statistiquement).
Cette hyp. est nécessaire pour l’estimation des paramètres.

H3: Exogénéité des variables indépendantes : Les Wi


sont des termes d’erreur d’espérance conditionnelle
aux réalisations des xi est nulle : E(Wi | x1, . . . ,xp) =0.
Les xi n’interviennent pas dans la prédiction de Wi
TOUIJAR 175
Le modèle : Les Hypothèses (suite)

H4: Homoscédasticité et absence d’autocorrélation:


V(Wi) = σ2; où σ2 est cste et wi n’est pas corrélé avec
wj pour i ≠ j : cov(wi ,wj)=0

H5: Génération des données: Les Xi qu’elle soient


aléatoires ou déterministes (facteurs contrôlés) ne
changent en rien les résultats.

H6: Distribution Normale : Les W sont distribués selon la


loi Normale.
TOUIJAR 176
Le modèle : Méthode des
Moindres Carrés
• Comme on a vu dans le chapitre 1, il s’agit , afin
d’estimer α, de minimiser la somme des carrées des
résidus (ei) (voir graphique du chapitre 1) :

n
min ∑ e i
2

i =1

ˆ =Y − X αˆ
où e =Y − Y
TOUIJAR 177
Le modèle : Méthode des
Moindres Carrés
• Autrement :
n
F (α ) = ∑e i
2
= e ′e
i =1

∑ (y )
2
= i − α 0 − α 1 x i 1 − α 2 x i 2 + L − α p x ip

= (Y − X α )′ (Y − X α ) = Y ′Y − 2α' X ′Y + α' X ′X α

∂F
= 0 ⇔ − 2X ′Y + 2 X ′X α = 0
∂α
⇔ α = ( X ′X )
−1
X ′Y
178
Le modèle : Méthode des
Moindres Carrés
• Où: 
 n ∑ x i1 ∑ xi2 L ∑ x ip 

 ∑ x i1 ∑ x i 1 ∑ x i 1 x i 2 L ∑ x i 1 x ip 
2

X ′X =  M M M M M 
 
 ∑ x ip ∑ x ip x i 1 L ∑ x 2
ip

 
14 4 4 4 4 4 4 4 424 4 4 4 4 4 4 44 3
( p +1, p +1 )

 ∑ yi 
 
X ′Y =  ∑ x i1y i 
 M 
 
 ∑ x ip y i  TOUIJAR 179
Le modèle : Méthode des Moindres Carrés
• Exemple : (Modèle avec constante)
1 1 1.5
X=  Y =   ⇒ 2observations :(1,1.5) et ( 2,2)
1 2 2
 3.5  2 3  5 −3
 ⇒ ( X′X ) = 
−1
X′Y =   X′X =  
 
5.5  3 5   −3 2 
1 1.5
αˆ = ( X′X )
−1
X′Y =   Y = X αˆ =  
ˆ
 0.5 144244  23
yˆi =1+0.5x i

1.5 1.5  0 
e =   −  =  
 2   2   0
• e=0R2 : signifie que la droite estimée passe par les
TOUIJAR 180
deux points (1 , 1.5) et (2 , 2).
Le modèle : Méthode des Moindres Carrés
• Exemple : (Modèle sans constante)
 1 1.5
X =   Y =   ⇒ 2observations :(1,1.5) et ( 2,2)
 2 2
1
X′Y = 5.5 X′X = 5 ⇒ ( X′X ) =
−1

5
5.5  1.1 
αˆ = ( X′X ) X′Y = = 1.1 Y
−1
ˆ
1
4 =
2 X
43 αˆ =  
5 yˆi =1.1x i  2.2 
1.5  1.1   0.4 
e =   −  =  
    
2 2.2 − 0.2 
n
• On remarque que ∑ e i ≠ 0 car le modèle est sans cste.
i =1

TOUIJAR 181
PROPRIETES ET DISTRIBUTION DE
L’ESTIMATEUR
• Théorème (GAUSS-MARKOV) :
αˆ est BLUE de α
• Remarque :
 αˆ ; αˆ ; αˆ ;L ; αˆ sont des fonctions linéaires des Y
0 1 2 p i
 La matrice Var-Cov (variance-covariance) de αˆ ,

( X′X )
−1
notée Ωαˆ , s'écrit : Ωαˆ =σ 2

TOUIJAR 182
• Quelques éléments de démonstration :
 Puisque, αˆ = ( X′X ) X′Y et en posant k = ( X′X ) X′ ;
−1 −1

on obtient l’écriture : αˆ = k Y combinaison des Yi

E (αˆ ) = kE (Y ) = k ( X α ) = (14
X′X ) X′X α = α
−1

4244 3
Ωαˆ = kV (Y ) k ′ = k (σ I n ) k ′ = σ kk ′
I
2 2


( X′X ) X′  X ( X′X )
−1 −1
=σ 2 
 
( X′X ) [ X′X ] ( X′X ) ( X′X )
−1 −1 −1
=σ 2
=σ 2

 Rem : on peut utiliser la définition :



Ωαˆ = E (α − αˆ )(α − αˆ ) 

  183
PROPRIETES ET DISTRIBUTION DE
L’ESTIMATEUR
• Matrice de Var-Cov de W et son estimateur
 E (W12 ) E (WW 1 2 ) L E (WW 1 n)

 
 E (WW
ΩW =Ω= E WW ′  = 2 1 ) E (W 2
2
) 

   M O 
 
 E (WnW1 )
 E (W n
2
) 

 E (W12 ) 0 L 0 
 
 0 E (W22 ) 
=  =σ 2I n
 M O 
 
 0

TOUIJAR
E (W n
2
) 

184
PROPRIETES ET DISTRIBUTION DE
L’ESTIMATEUR
• Matrice de Var-Cov de W et son estimateur
e = Y −Yˆ = ( X α +W ) − ( X αˆ )
= X α +W − X ( ( ) X W′
α + X ′
X
−1
)
 
=  I − X (X X ′ ) X ′ W ( où Γ est symétrique et idempotente )
−1

 144 42444 3
 Γ 
⇒ ∑ e i2 = e ' e = W ' Γ W ⇒ E (e ' e ) = σ 2T r ( Γ ) (à développer )

= σ 2 ( n − ( p + 1) ) ⇒σ2 =
E ( e ' e ) ⇒ σˆ 2 =
∑ ie 2

n − p −1 n − p −1
S CR
= est donc un estimateur san s Biais de σ 2
n − p −1 TOUIJAR 185
PROPRIETES ET DISTRIBUTION DE
L’ESTIMATEUR

• Estimation de la Matrice de Var-Cov de α̂ :

• On a déjà vu que :

( X′X ) ⇒ Ωαˆ =σˆ ( X′X )


−1 −1
Ωαˆ =σ 2 ˆ 2

TOUIJAR 186
Tableau d’Analyse de la Variance
(ANOVA) d’un MRLM

• Équation fondamentale de l’ ANOVA:

– La formule de décomposition de la variance


permet de connaître la part de variation de Y
expliquée par celle des Xi :

∑ (Y −
i Y ) =
2
∑ (Y
14243 14243 14243
ˆ − Yi) + ∑ (Y
2
− Yˆ ) i i
2

SCT SCE
TOUIJAR SCR = ∑ ei2187
Tableau de l’ ANOVA
Source Somme Carrés
d.d.l Fisher
de varθ des carrés moyens
x SCE=∑ (
Yˆi − Y )
2
p SCE/p

F= (SCE/ p)/ (SCR/(n-p-1))


Résidu SCR= ∑e 2
i n-p-1 SCR/(n-p-1)

Totale SCT=∑ (Yi − Y )


2
n-1

TOUIJAR 188
• Mesure de la Qualité de l’ajustement
• L’évaluation globale de la régression est
donnée parR 2 le coefficient de détermination,
qui exprime la part de variabilité totale
expliquée par le modèle:
SCE SCR
R =
2
= 1−
SCT SCT
• Remarque:
• R2 doit être utilisé avec précaution.
• On ne peut utiliser R2 dans un modèle sans constante.
• Si p augmente, R2 augmente aussi, même s’il y a des
variables qui n’ont rien à voir avec le phénomène; pour
ce on corrige R2 : SCR
( n − 1) n − p −1
R = 1−
2

( n − p − 1)
(1 −2
R
TOUIJAR
) = 1 −
SCT
< R
189
2

n −1
Tests et Intervalles de Confiance des
Coefficients du Modèle
• Test de Significativité Globale de la
Régression
• On vient d’évaluer la qualité d’un ajustement
par le calcul de R2 (où R est appelé coefficient
de corrélation multiple), mais sur un
échantillon; pour que ça soit sur toute la
population; on doit procéder à une inférence
statistique sur le ρ2 paramètre théorique:
H 0 : ρ 2
= 0
• C’est un F-Test : 
#
TOUIJAR
H 1 : ρ ≠ 0
2 190
• 1- Test de Significativité Globale de la
Régression
• D’une façon analogue au MRLS, a statistique du
test est , sous H0
2
SCE R
p p
F=
SCR
=
1− R 2 Y ( p ; n − p − 1)
n − p −1 n − p −1

• R.D. si F>Fα(p;n-p-1), On Rejette H0

TOUIJAR 191
• 1- Test de Significativité Globale de la
Régression

• Le F-Test précédent est équivalent au F-Test


sur le vecteur coefficient α :

• F.H.
H 0 : α1 = α 2 = L = α p = 0

# ∀α 0
 H : ∃ j tq α ≠ 0
 1 j

TOUIJAR 192
2- Test de Significativité individuel des
coefficients
Est-ce que la Variable Xi joue significativement
dans l’explication de Y ? On effectue alors un
T-test
F.H.  H : α = 0
0 i

#
H : α ≠ 0
 1 i

• S.U.
αˆi
• Tαˆ = t(n-p-1)
i
σˆαˆ i
TOUIJAR 193
• Calcul de σˆαˆ : i

On a vu que
 σˆ α2ˆ 
 0

 σˆ α2ˆ 
( X ′X )
−1
Ωˆ αˆ = 1
 = σˆ 2

 O 
 σˆ α2ˆ 
 p 

=
∑ e i2
( X ′X )
−1

n − p −1
( X ′X )
−1
s i o n p o s e d ii le s é lé m e n t d ia g o n a u x d e

a lo rs : σˆ 2
=
∑e i
2

× d ii
αˆ i
n − p −1 TOUIJAR 194
Tests et Intervalles de Confiance des
Coefficients du Modèle

• Test Modèle réduit VS Modèle Complet

VOIR TD

TOUIJAR 195
PREVISION ET INTERVALLE DE
PREVISION
• Si on ajoute une observation k =n+1 pour
chacune des variables explicatives, on obtient
une prévision ponctuelle :
yˆ k = αˆ 0 + αˆ1x k 1 + αˆ 2 x k 2 + L + αˆ p x kp
= X k αˆ ; où X k = (1 x k 1 L x kp )
• Et on montre que :
σˆ = σˆ 1 + X k ( X′X )
−1
2 2
X k′ 
ek  
ek yˆ k − y k
• ⇒ = t(n-p-1)
σˆe k σˆe k TOUIJAR 196
• INTERVALLE DE PREVISION de yk

I p ( y k ) = yˆk −tn−p−1;α/2σˆek ; yˆk +tn−p−1;α/2σˆek 

TOUIJAR 197

Vous aimerez peut-être aussi