Vous êtes sur la page 1sur 87

MÉTHODES ET INSTRUMENTS DE LA

FINANCE
Master 1 MBFA

Partie 4

Gilles de Truchis
gilles.detruchis@gmail.com
Site : www.varennes-ecofin.com/
LE PLAN DU CHAPITRE

1. Statistique, probabilité et économétrie

1.1 Variables aléatoires et convergence

1.2 Le Théorème Central Limite

1.3 La notion d’estimateur

1.4 L’estimation des modèles linéaires

2. Conclusion

2
STATISTIQUE, PROBABILITÉ ET ÉCONOMÉTRIE
Statistique, probabilité et économétrie Variables aléatoires et convergence

PLAN

1. Statistique, probabilité et économétrie

1.1 Variables aléatoires et convergence

1.2 Le Théorème Central Limite

1.3 La notion d’estimateur

1.4 L’estimation des modèles linéaires

2. Conclusion

4
Statistique, probabilité et économétrie Variables aléatoires et convergence

L'ÉCONOMÉTRIE

I L’économétrie a pour objectif la mesure des phénomènes économiques

I L’économétrie s’inscrit à la frontières de plusieurs disciplines


I La théorie économique
I La statistique et les probabilités
I L’informatique

I L’économètre cherche ainsi


I à développer des outils statistiques...
I ... afin d’analyser les phénomènes économiques...
I ... et ainsi valider ou invalider la théorie économique

I La nature aléatoire des phénomènes économiques nécessite

I de développer des estimateurs


⇒ statistiques permettant d’évaluer les paramètres inconnus d’un modèle

I de développer des tests statistiques


⇒ statistiques permettant de valider ou invalider une hypothèse statistique concernant des
paramètres

5
Statistique, probabilité et économétrie Variables aléatoires et convergence

LES CONCEPTS DE CONVERGENCES

I Soit Xi une fonction de n variables aléatoire

Xn = f (Y1 , . . . , Yn )

I L’étude du comportement de Xn quand n → ∞ est crucial en économétrie

I f (.) sera souvent un estimateur

I L’étude de ce comportement limite repose sur différentes notions de convergence


I convergence presque sûre

I convergence en probabilité

I convergence en moyenne quadratique

I convergence en loi

6
Statistique, probabilité et économétrie Variables aléatoires et convergence

CONVERGENCE PRESQUE SÛRE

I Implications : quand n → ∞, Xn tend de façon certaine vers une constante (i.e. un


variable aléatoire générée)

Définition
xn converge presque sûrement vers une constante c si,
 
Pr lim Xn = c = 1
n→∞

a.s.
I Notation mathématique : Xn −→ c

I Explications : Comme Xn tend vers une valeur constante de manière certaine, sa


distribution asymptotique est une masse ponctuelle

7
Statistique, probabilité et économétrie Variables aléatoires et convergence

CONVERGENCE PRESQUE SÛRE : ILLUSTRATION

Densité Densité

n petit n grand

8
Statistique, probabilité et économétrie Variables aléatoires et convergence

CONVERGENCE EN PROBABILITÉ

I Implications : quand n → ∞, Xn tend vers une constante

Définition
Xn converge en probabilité vers une constante c, si pour toute valeur de  > 0,

lim Pr (|Xn − c| > ) = 0


n→∞

p plim
I Notation mathématique : Xn −→ c ou −→ Xn = c

I Explications : La convergence en probabilité n’est pas stricte comme la convergence


presque sûre et on parle également de convergence au sens faible. Par conséquent,
Xn convergence asymptotique vers une quantité aléatoire dont la densité est très
concentrée autour de c

9
Statistique, probabilité et économétrie Variables aléatoires et convergence

CONVERGENCE EN PROBABILITÉ : ILLUSTRATION

Densité Densité

ε grand ε petit

c-ε c c+ε c

10
Statistique, probabilité et économétrie Variables aléatoires et convergence

CONVERGENCE EN MOYENNE QUADRATIQUE

I Implications : quand n → ∞, Xn tend vers une constante

Définition
Xn converge en moyenne quadratique vers une constante c, si E |Xn |2 < ∞ et si pour


toute valeur de γ > 0,


E |Xn − c|2 < γ


m.s.
I Notation mathématique : Xn −→ c

I Explications : Xn converge en moyenne quadratique si sa distribution est centrée sur


c, i.e. E(Xn ) = c et si sa variance tend vers 0 asymptotique, impliquant une densité
très concentrée autour de c

11
Statistique, probabilité et économétrie Variables aléatoires et convergence

CONVERGENCE EN LOI

I Implications : quand n → ∞, Xn tend vers une autre variable aléatoire et dont la


distribution est asymptotique équivalente

Définition
Soit Fn (.) la fonction de répartition de Xn . Xn converge en loi vers une variable aléatoire
X définie sur un support X(Ω) et ayant pour fonction de répartition F(.) si,

lim Fn (z) = F(z), ∀z ∈ X(Ω)


n→∞

d d
I Notation mathématique : Xn −→ X ou Xn −→ L

I Explications : Asymptotiquement la distribution de Xn est donc identique à celle de


X, ce qui implique des fonctions de densité et de répartition identiques : Xn et X sont
identiquement distribuées

12
Statistique, probabilité et économétrie Variables aléatoires et convergence

CONVERGENCE EN LOI : ILLUSTRATION

Densité Densité

n petit n grand

densité de x

densité de xn

c-ε c c+ε c

13
Statistique, probabilité et économétrie Variables aléatoires et convergence

LA LOI FAIBLE DES GRANDS NOMBRES

I Implications : il s’agit d’un théorème portant sur une séquence de variables


aléatoires i. i. d.

Théorème de Khintchine
Pour une séquence de variables aléatoires i. i. d. , Xt = X1 , . . . , Xn , la moyenne empi-
rique de ces variables converge en probabilité vers l’espérance de Xt
n
1X p
X̄ = Xt −→ E(Xt )
n t=1

I Notes : Il existe une version forte de cette loi (théorème de Kolmogorov) qui
démontre que
n
1X a.s.
X̄ = Xt −→ E(Xt )
n t=1

14
Statistique, probabilité et économétrie Le Théorème Central Limite

PLAN

1. Statistique, probabilité et économétrie

1.1 Variables aléatoires et convergence

1.2 Le Théorème Central Limite

1.3 La notion d’estimateur

1.4 L’estimation des modèles linéaires

2. Conclusion

15
Statistique, probabilité et économétrie Le Théorème Central Limite

VERS UN THÉORÈME DE LA LIMITE CENTRÉE

I Soit une séquence i. i. d. , Xt = X1 , . . . , Xn de moyenne X̄

a.s.
I D’après la loi forte des grands nombres, X̄ −→ E(Xt ) si n → ∞
I la distribution asymptotique de X̄ est dégénérée
⇒ Comment construire une statistique inférentielle ?

I La logique consiste à opérer une transformation de X̄ tel que


d
T(X̄) −→ L

avec L une distribution non dégénérée

I Cette transformation sera généralement de la forme



T(X̄) = n X̄ − E(Xt )


16
Statistique, probabilité et économétrie Le Théorème Central Limite

POURQUOI UNE TELLE TRANSFORMATION ?

I Pour simplifier supposons E(Xt ) = 0 et T(X̄) = n α X̄


I Comme Xt ∼ i. i. d. , E(Xt ) = 0, V(Xt ) = σ 2 et Cov(Xi , Xj ) = 0, i 6= j

I On en déduit alors

E n α X̄ = n α E (x̄) = 0 , V n α X̄ = n 2α−1 σX
2
 

I Car :
n n
! !
1X 1
V(X̄) = V Xi Xi
X
= 2V
n i=1 n i=1
n n n−1
!
1
Cov(Xi , Xj )
X X X
= 2 V(Xi ) + 2
n i=1 i=1 j=i+1
n n
1 X 1 X 2 nσX2
σX2
= V(Xi ) = σ X = =
n 2 i=1 n 2 i=1 n2 n

17
Statistique, probabilité et économétrie Le Théorème Central Limite

LA VITESSE DE CONVERGENCE

I Pour α ≥ 0 considérons trois cas


I α > 1/2 et donc 2α − 1 > 0
lim V n α X̄ = σ 2 lim n 2α−1 = ∞

n→∞ n→∞

I α < 1/2 et donc 2α − 1 < 0


lim V n α X̄ = σ 2 lim n 2α−1 = 0

n→∞ n→∞

I α = 1/2 et donc 2α − 1 = 0
lim V n α X̄ = σ 2 lim n 2α−1 = σ 2

n→∞ n→∞

⇒ La normalisation n préserve la variance de Xt

⇒ On dit que X̄ − E(Xt ) converge à la vitesse n −1/2

18
Statistique, probabilité et économétrie Le Théorème Central Limite

LE THÉORÈME CENTRAL LIMITE

Théorème
Soit une séquence i. i. d. , Xt = X1 , . . . , Xn d’espérance E(Xt ) = m et de variance finies
V(Xt ) = σ 2 . D’après le théorème central limite de Lindeberg-Levy,
√  d
n X̄ − m −→ N (0, σ 2 )

I D’autres théorèmes centraux limites existes et relâchent des hypothèses du TCL de


Lindeberg-Levy
I TCL de Lindeberg-Feller
I TCL de Lyapounov
I TCL pour martingales
I TCL pour processus mélangeants

19
Statistique, probabilité et économétrie Le Théorème Central Limite

LA DISTRIBUTION ASYMPTOTIQUE

I Soit une séquence i. i. d. , Xt = X1 , . . . , Xn convergeant en loi vers X, une variable


ayant pour fonction de répartition F(.)
d
Xn −→ LX
I F(.) est donc la fonction de répartition de la distribution asymptotique de Xn
I Dans le cadre du TCL, supposons
√ d
n (Xn − m) −→ N (0, σ 2 )
d
I Peut-on en conclure que Xn −→ N (m, σ 2 /n) ?

⇒ En fait, on peut uniquement dire que


a.a.d
Xn −→ N (m, σ 2 /n)

et que Vasy (Xn ) = σ 2 /n et Easy (Xn ) = m

20
Statistique, probabilité et économétrie Le Théorème Central Limite

THÉORÈME DE SLUTSKY

I A partir du TCL se déclinent de nombreux théorèmes


I Pour revenir à la notion d’estimateur, voici un théorème très utile :

Théorème de Slutsky
Soit Xt = X1 , . . . , Xn et Yt = Y1 , . . . , Yn deux séquences de variables aléatoires telles
d p
que Xt −→ X et Yt −→ c 6= 0. Alors,
d d Xt d X
Xt + Yt −→ X + c, Xt Yt −→ Xc, −→
Yt c

d p
I En supposant que Xt −→ N (m, σ 2 ) et que Yt −→ 2, le théorème nous apprend que
Xt d
−→ N (m/2, σ 2 /4)
Yt

21
Statistique, probabilité et économétrie Le Théorème Central Limite

MÉTHODE DELTA

Méthode delta
Soit Yt = Y1 , . . . , Yn une séquence aléatoire telle que
√ d
n(Yt − µ) −→ N (0, σ 2 )

Si g(.) est une fonction continue, continûment différentiable et ne dépendant pas de n,


alors
!2 !
√  d ∂g(x)
n g(Yt ) − g(µ) −→ N 0, σ2
∂x µ

I Rappelons que ∂g(x)/∂x|µ est la dérivée partielle de g(x) au point µ

22
Statistique, probabilité et économétrie Le Théorème Central Limite

MÉTHODE DELTA : EXEMPLE


I Soit une séquence de variables aléatoires Xn avec nXn ∼ N (0, 1)

I On cherche à connaître la distribution asymptotique de g(Xn ) = exp(Xn )

I L’application de la méthode delta nécessite de calculer


I g(µ = E(Xn ))
I (∂g(Xn )/∂Xn )2 × (σ2 = V(Xn )) au voisinage de µ

I On obtient

23
Statistique, probabilité et économétrie Le Théorème Central Limite

MÉTHODE DELTA : EXEMPLE


I Soit une séquence de variables aléatoires Xn avec nXn ∼ N (0, 1)

I On cherche à connaître la distribution asymptotique de g(Xn ) = exp(Xn )

I L’application de la méthode delta nécessite de calculer


I g(µ = E(Xn ))
I (∂g(Xn )/∂Xn )2 × (σ2 = V(Xn )) au voisinage de µ

I On obtient
I g(µ) = g(0) = exp(0) = 1
I Pour la dérivée :
!2
∂g(Xn )
= exp(µ) = 1
∂Xn µ
√ d
I On en déduit donc que n(exp(Xn ) − 1) −→ N (0, 1)

23
Statistique, probabilité et économétrie La notion d’estimateur

PLAN

1. Statistique, probabilité et économétrie

1.1 Variables aléatoires et convergence

1.2 Le Théorème Central Limite

1.3 La notion d’estimateur

1.4 L’estimation des modèles linéaires

2. Conclusion

24
Statistique, probabilité et économétrie La notion d’estimateur

PRINCIPE GÉNÉRAL

Intuition
Un estimateur est un outil statistique qui permet de révéler de l’information sur les pa-
ramètres d’intérêt d’une population à partir d’un échantillon de variables aléatoires

I Soit X une caractéristique aléatoire d’une population

I Supposons X
I définie sur un espace probabilisé (X(Ω), F , Pr)
I continue et dont la fonction de densité dépend d’un paramètre θ
fX (x; θ), ∀x ∈ X(Ω)
⇒ θ est inconnu est on cherche donc à l'estimer

25
Statistique, probabilité et économétrie La notion d’estimateur

L'ESTIMATEUR

I Pour estimer θ on dispose d’un échantillon Xt = X1 , . . . , Xn


I On suppose Xt ∼ i. i. d.

Définition
Un estimateur du paramètre θ est une fonction des variables aléatoires Xt = X1 , . . . , Xn
de l’échantillon. Il est noté
θ̂ = g(X1 , . . . , Xn )

I Construire un estimateur :
I il s’agit trouver une fonction g(.) qui combine les Xt de sorte à révéler de l’information sur
θ
I comme g(.) est une fonction de variables aléatoires, θ est une variable aléatoire

26
Statistique, probabilité et économétrie La notion d’estimateur

EXEMPLE D'ESTIMATEUR

I Les statistiques descriptives comme la moyenne et la variance empirique sont des


exemples simples d’estimateur
I Soit Xt = X1 , . . . , Xn ∼ i. i. d. avec Xt ∼ N (m, σ 2 ) ∀t
⇒ Il s’en suit que
n
1X 1
X̄ = Xt = (X1 + . . . + xn ) = g(X1 , . . . , Xn )
n t=1 n

est bien un estimateur

I Si on cherche à estimer m, la question est de savoir si X̄ est un bon estimateur


I D’après le théorème de Khintchine nous savons que la condition d’indépendance nous
assure que
n
1X p
X̄ = Xt −→ E(Xt )
n t=1

27
Statistique, probabilité et économétrie La notion d’estimateur

DISTRIBUTION D'ÉCHANTILLONNAGE ET RÉALISATIONS

Définition

La distribution d’un estimateur θ̂ est nommée distribution d’échantillonnage.


Une réalisation de l’estimateur θ̂ associée à une réalisation de l’échantillon, notée x1 , . . . , xn ,
correspond à une estimation du paramètre θ, qui sera notée θ̂x

I Soit un échantillon Xi = X1 , X2 avec Xi ∼ N (µ, σ 2 )


I Il s’en suit que µ̂ = (X1 +, X2 )/2 est un estimateur de µ et que
µ̂ ∼ N (µ, σ 2 /2)
I Supposons à présent les réalisations (x1 , x2 ) = (10, 4). Il s’en suit que
10 + 4
µ̂x = =7
2
⇒ Distinction entre estimateur (VA) et estimation (réalisations)

28
Statistique, probabilité et économétrie La notion d’estimateur

PROPRIÉTÉS EN ÉCHANTILLON FINI

Dans la pratique, un estimateur opère sur une taille d’échantillon finie

Définition

La distribution à distance finie d’un estimateur θ̂ correspond à la distribution valable pour


toute valeur de la taille de l’échantillon n ∈ N. On a donc θ̂ ∼ L(n), ∀n ∈ N

I Soit Xt = X1 , . . . , Xn ∼ i. i. d. avec Xt ∼ N (µ, σ 2 ) ∀t


I On a vu que µ̂ ∼ N (µ, σ 2 /n) et que V(µ̂) = σ 2 /n
I On montre également que E(µ̂) = µ car
n n
n×µ
!
1X 1X
E(µ̂) = E Xt = E(Xt ) = =µ
n t=1 n t=1 n

29
Statistique, probabilité et économétrie La notion d’estimateur

PERFORMANCE D'UN ESTIMATEUR

I Théoriquement, il est rarement aussi simple d’analyser la distribution à distance finie


car
I La fonction g(.) est souvent complexe et dériver la distribution devient impossible
I La distribution des variables X1 , . . . , Xn est souvent inconnue
I Mais alors comment évaluer les performances d'un estimateur ?
⇒ A l’aide des moments de θ̂

Définitions biais et de la variance

Le premier moment de θ̂ détermine son biais. L’estimateur θ̂ d’un paramètre θ est non
biaisé si E(θ̂) = θ

Le second moment de θ̂ détermine sa précision. Pour un paramètre θ à estimer, un esti-


mateur sans biais θ̂1 est plus précis qu’un estimateur sans biais θ̂2 si V(θ̂1 ) < V(θ̂2 )

30
Statistique, probabilité et économétrie La notion d’estimateur

ESTIMATEUR OPTIMAL

Optimalité

Un estimateur optimal au sens de l'erreur quadratique est un estimateur sans biais qui
possède la variance la plus faible parmi tous les estimateurs sans biais

I Théoriquement, démontrer l’optimalité peut s’avérer insoluble


I Solution : montrer que la variance de θ̂ atteint une borne d'efficacité

Borne de Cramer-Rao
Soit Xt = X1 , . . . , Xn ∼ i. i. d. possédant une fonction de densité (de masse si X dis-
crète) régulière. On peut alors montrer que

V(θ̂) ≥ In−1 (θ0 )

où In (θ0 ) est l'information de Fisher évalué en θ0 , la vrai valeur de θ

31
Statistique, probabilité et économétrie La notion d’estimateur

PROPRIÉTÉS ASYMPTOTIQUES : CONVERGENCE

Une alternative à l’analyse de la distribution exacte est l’étude des propriétés


asymptotiques

Convergence

Un estimateur θ̂n est convergent au sens faible s’il converge en probabilité vers la vraie
p
valeur du paramètre : θ̂n −→ θ0 , n → ∞

I Soit Xt = X1 , . . . , Xn ∼ i. i. d. (µ, σ 2 ) ∀t
I On a vu que E(µ̂) = µ : µ̂ est sans biais
I µ̂ est même convergent au sens fort car
n
1 X σ2
lim V(µ̂) = lim V(Xt ) = lim =0
n→∞ n→∞ n 2 t=1 n→∞ n 2

a.s.
⇒ distribution dégénérée car µ̂n −→ µ

32
Statistique, probabilité et économétrie La notion d’estimateur

PROPRIÉTÉS ASYMPTOTIQUES : DISTRIBUTION

Distribution asymptotique

La distribution asymptotique d’un estimateur θ̂n correspond à sa distribution valable


uniquement pour une taille d’échantillon n très grande

I Soit Xt = X1 , . . . , Xn ∼ i. i. d. (µ, σ 2 ) ∀t
I On a vu que µ̂n a une distribution dégénérée quand n → ∞
I Cependant, l’application du TCL nous permet de montrer que
√ d
n(µ̂n − µ) −→ N (0, σ 2 )

I On peut également montrer que

a.a.d σ2
µ̂n −→ N (µ, )
n

33
Statistique, probabilité et économétrie La notion d’estimateur

ESTIMATION PONCTUELLE ET INCERTITUDE

I Dans la pratique, on procédera à des estimations ponctuelle


I réalisation de θ̂ que l’on note θ̂(x) = g(x1 , . . . , xn )
I Une estimation ponctuelle ne rend pas compte de l'incertitude liée à l'estimation

Définition
Un intervalle de confiance sur le paramètre θ pour un niveau de risque de α ∈ (0, 1) est
un encadrement du type
Pr(A ≤ θ ≤ B) = 1 − α
avec A et B des variables aléatoires, fonctions de X1 , . . . , Xn
I Dans la pratique cet intervalle sera noté IC1−α = [a; b]
I a et b étant des réalisations de A et B, IC1−α est une réalisation
I e.g. pour α = 5% et IC0.95 = [1, 2; 1, 5]
⇒ on dira que θ a 95% de chance d’être entre 1,2 et 1,5

34
Statistique, probabilité et économétrie La notion d’estimateur

INTERVALLE DE CONFIANCE : MÉTHODOLOGIE

I Méthodologie pour construire un intervalle de confiance :


1 On construit un estimateur sans biais et convergent dont on connait la loi exacte ou
asymptotique
2 On transforme la variable θ̂ afin que la loi de la variable transformée ne dépende plus de
paramètres inconnus
⇒ e.g. la z-transformée :
θ̂ − E(θ̂) θ̂ − θ
h(θ̂, θ) = z = q = q
V(θ̂) V(θ̂)
3 On construit l'encadrement Pr(c ≤ h(θ̂, θ) ≤ d) = 1 − α avec d > c
4 Pour A = f (θ̂, c, d) et B = g(θ̂, c, d) des variables aléatoires on construit
Pr(f (θ̂, c, d) ≤ θ ≤ g(θ̂, c, d)) = Pr(A ≤ θ ≤ B) = 1 − α
h i
5 L’IC réalisé donne alors IC1−α = f (θ̂(x)); g(θ̂(x)) = [a; b]

35
Statistique, probabilité et économétrie La notion d’estimateur

INTERVALLE DE CONFIANCE : EXEMPLE

I Soit Xt = X1 , . . . , Xn ∼ i. i. d. avec Xt ∼ N (µ, σ 2 = 6.25)


1 Supposons ici que X̄ = 4, 3
p
I D’après le théorème de Khintchine X̄ −→ µ
I De plus, on a montré que X̄ ∼ N (µ, σ 2 /n)
2 La z-transformée de X̄ nous donne
X̄ − E(X̄) X̄ − µ
h(θ̂, θ) = p = ∼ N (0, 1)
V(X̄) σ/n
3 On construit un encadrement
X̄ − µ
 
Pr c ≤ ≤d =1−α
σ/n
avec c = Φ−1 (α/2), d = Φ−1 (1 − α/2) et Φ(.) la fonction de répartition de la loi
normale centrée réduite

36
Statistique, probabilité et économétrie La notion d’estimateur

INTERVALLE DE CONFIANCE : EXEMPLE

I Suite de la méthodologie...
4 De l’étape 3 on déduit
 
σ −1  α  σ −1  α
1 − α = Pr Φ − X̄ ≤ −µ ≤ Φ 1− − X̄
n 2 n 2
 
σ  α σ −1  α 
= Pr X̄ − Φ−1 1 − ≤ µ ≤ X̄ − Φ
n 2 n 2
 
σ  α σ −1  α
= Pr X̄ − Φ−1 1 − ≤ µ ≤ X̄ + Φ 1−
n 2 n 2
en multipliant par −1 et en utilisant la symétrie de la loi normale
5 Pour α = 0, 05, n = 10, σ 2 = 6, 25 et x̄ = 4, 3 on obtient alors
 
σ  α σ  α
IC0.95 = Pr x̄ − Φ−1 1 − ; x̄ + Φ−1 1 −
n 2 n 2
√ √ !
6.25 −1 6.25 −1
= Pr 4.3 − Φ (0.975); 4.3 + Φ (0.975)
10 10
= [3.81; 4.79]

37
Statistique, probabilité et économétrie L’estimation des modèles linéaires

PLAN

1. Statistique, probabilité et économétrie

1.1 Variables aléatoires et convergence

1.2 Le Théorème Central Limite

1.3 La notion d’estimateur

1.4 L’estimation des modèles linéaires

2. Conclusion

38
Statistique, probabilité et économétrie L’estimation des modèles linéaires

LE MODÈLE LINÉAIRE

I Soit un modèle liant deux variables aléatoires Xt = X1 , . . . , Xn et Yt = Y1 , . . . , Yn


via une fonction
Yt = g(θ; Xt )

Définition
Un modèle est linéaire dans les variables si la dérivée de Yt par rapport à Xt est indé-
pendante de Xt

I Exemple de modèle linéaire simple :

Yt = α + βXt

I Exemple de modèle linéarisable simple :

Yt = α + βXt2

⇒ non linéaire en Yt et Xt mais linéaire en log Yt et log Xt

39
Statistique, probabilité et économétrie L’estimation des modèles linéaires

LE MODÈLE LINÉAIRE

I Soit un modèle liant deux variables aléatoires Xt = X1 , . . . , Xn et Yt = Y1 , . . . , Yn


via une fonction dépendant de paramètre

Yt = g(α, β; Xt )

I Exemple de modèle linéaire simple :

Yt = α + βXt

I Exemples de modèles non-linéaires :


β
Yt = α + β 2 Xt2 ou Yt = α + Xt
α

Note
Par la suite nous dirons qu’un modèle est linéaire s’il est linéaire dans les paramètres et
au moins linéarisable dans les variables

40
Statistique, probabilité et économétrie L’estimation des modèles linéaires

NUAGE DE POINTS ET DÉPENDANCE LINÉAIRE

I Soit deux variables aléatoires Xt et Yt et leurs réalisations xt et yt


I En couplant pour chaque t les valeurs correspondantes des réalisations de x et y on obtient
des coordonnées : zt = (xt , yt )
⇒ En traçant chaque point on obtient un nuage
x

y
I La forme du nuage donne une première idée de la dépendance qu’il existe entre xt et yt

41
Statistique, probabilité et économétrie L’estimation des modèles linéaires

LE MODÈLE LINÉAIRE DANS LA PARTIQUE

I Pour analyser la dépendance, cherchons le modèle qui représentera le mieux l’allure


du nuage

⇒ On utilise pour cela le concept de droite de régression


I On cherche une droite ŷt qui, sans passer par l’ensemble des points, représente le mieux
l’allure du nuage
⇒ Pour chaque t, il existe donc un écart entre yt et la droite ŷt
εt = yt − ŷt
I Au plus les écarts seront faibles, au mieux la droite représentera le nuage
⇒ On cherche donc une droite qui minimise les écarts εt

I Comment trouver l'équation d'une telle droite ?

42
Statistique, probabilité et économétrie L’estimation des modèles linéaires

LE MODÈLE DE RÉGRESSION SIMPLE

I Partons du modèle linéaire


yt = α + βxt + εt
I εt représente ici les écarts aussi appelés erreurs ou résidus

I Afin de minimiser ces erreurs, reformulons le modèle :

εt = yt − α − βxt

I Les erreurs pouvant être positives comme négatives, on cherche à minimiser la


somme des carrés des erreurs
n n
S=
X X
ε2t = (yt − α − βxt )2
t=1 t=1

43
Statistique, probabilité et économétrie L’estimation des modèles linéaires

MÉTHODE DES MCO

I Afin de minimiser S on annule les dérivées partielles par rapport aux paramètres α et
β
n
∂S X
= −2 (yt − α − βxt )xt = 0
∂β t=1
n
∂S X
= −2 (yt − α − βxt ) = 0
∂α t=1

I En cassant les sommes on obtient le système suivant


n n n
yt xt = β xt2 + α xt
X X X

t=1 t=1 t=1


n n
yt = β
X X
+n × α
t=1 t=1

44
Statistique, probabilité et économétrie L’estimation des modèles linéaires

MÉTHODE DES MCO

I En divisant par n l’équation 2 on obtient α = ȳ − βx̄


I Puis en remplaçant dans 1 on obtient
n n n
yt xt = β xt2 + (ȳ − βx̄) xt
X X X

t=1 t=1 t=1


n n n n
!2 !
1X X 1
xt yt + β xt2 xt
X X
= −
n t=1 t=1 t=1
n t=1

I D’après les formules de V(xt ) et Cov(yt , xt ), il vient que nCov(yt , xt ) = βnV(xt ) et


donc
Cov(yt , xt )
β=
V(xt )
I Il s’agit de la méthode des moindres carrés ordinaires (MCO)

45
Statistique, probabilité et économétrie L’estimation des modèles linéaires

MÉTHODE DES MCO

I Nous obtenons donc l’équation de la droite de régression qui minimise la somme des
carrés des erreurs : ŷt = α + βxt

46
Statistique, probabilité et économétrie L’estimation des modèles linéaires

COEFFICIENT DE DÉTERMINATION

I Il existe non pas un modèle linéaire mais une infinité


I e.g. on pourrait imaginer un modèle où α = 0
⇒ Comment apprécier la capacité d’un modèle à expliquer la dépendance entre deux
variables ?

I La variance de yt peut s’exprimer comme V(yt ) = V(ŷt ) + V(εt )


I V(ŷt ) représente la dispersion sur la droite de régression : la variance de yt expliquée par
la régression
I V(εt ) représente la dispersion autour de la droite de régression : la variance de yt
inexpliquée par la régression

⇒ Le coefficient de détermination permet de synthétiser cela


V(ŷt ) V(εt )
0 ≤ R2 = =1− ≤1
V(yt ) V(yt )

I si V(ŷt ) explique totalement (nullement) V(yt ) on a R2 = 1 (R2 = 0)

47
Statistique, probabilité et économétrie L’estimation des modèles linéaires

MESURE DE DÉPENDANCE

I Il existe un grand nombre de mesures de dépendance

Définition
Le coefficient de corrélation de Pearson est une mesure qui quantifie le degré de dépen-
dance entre deux variables. Cette mesure évalue la proximité entre les points d’un nuage
et ceux figurant sur la droite de régression
Cov(yt , xt )
rxy =
σx σy

I Mathématiquement on a −1 ≤ rxy ≤ 1
I Il s’agit d’un coefficient de corrélation linéaire
I L’absence de corrélation linéaire n’est pas l’absence de corrélation
I La corrélation n’est pas la causalité

48
Statistique, probabilité et économétrie L’estimation des modèles linéaires

SPHÉRICITÉ DES ERREURS

Afin de s’assurer que la méthode des MCO s’applique, plusieurs hypothèses doivent être
vérifiées
I Nullité de l’erreur moyenne
I En moyenne, le modèle est correctement spécifié :
E(εt ) = 0

I L’absence d’autocorrélation
I L’erreur en date t n’est pas corrélée avec l’erreur en date t + j :
E(εt εt+j ) = 0, ∀j 6= 0

49
Statistique, probabilité et économétrie L’estimation des modèles linéaires

SPHÉRICITÉ DES ERREURS

Afin de s’assurer que la méthode des MCO s’applique, plusieurs hypothèses doivent être
vérifiées
I L’homoscédasticité des erreurs
I Pour tout échantillon, la variance est constante :
E(ε2t ) = σε2 , ∀t

I La normalité des erreurs


I En vertu du TCL, le terme d’erreur est normalement distribué :
εt ∼ N (0, σε2 )
I L’absence d’autocorrélation permet de conclure que εt ∼ i. i. d.

50
Statistique, probabilité et économétrie L’estimation des modèles linéaires

MÉTHODE DU MAXIMUM DE VRAISEMBLANCE

I Partons d’un exemple : soit un échantillon Xt = X1 , · · · , Xn ∼ P(θ)


I P(θ) dénote la distribution de Poisson de fonction de masse
exp(−θ)θx
Pr(Xi = x) = , θ > 0, ∀x ∈ N
x!
I Soit une réalisation de l’échantillon xt = x1 , · · · , xn

I La probabilité d’observer cette réalisation est

Pr (X1 = x1 )∩, · · · , ∩(Xn = xn )




I L’indépendance des tirages donne l’équivalence avec le produit des probabilités


marginales
n
Pr (X1 = x1 )∩, · · · , ∩(Xn = xn ) = Pr(Xi = xi )
 Y
i=1

51
Statistique, probabilité et économétrie L’estimation des modèles linéaires

L'ESTIMATEUR DU MAXIMUM DE VRAISEMBLANCE

I En remplaçant par la fonction de masse de la loi de Poisson on obtient


n n
e−θ θxi θ i=1 xi
P

Pr (X1 = x1 )∩, · · · , ∩(Xn = xn ) = = e −nθ Qn


Y 
i=1
xi ! i=1 xi !

I Il s’agit donc d’une fonction dépendant de x1 , · · · , xn et de θ


I θ est un paramètre inconnu mais on observe x1 , · · · , xn
I Par la suite on notera :
Ln (θ; x1 , · · · , xn ) = Pr (X1 = x1 )∩, · · · , ∩(Xn = xn )


I Le principe du maximum de vraisemblance est le suivant :


I Trouver le θ qui maximise la probabilité d’apparition de x1 , · · · , xn

I L'estimateur du maximum de vraisemblance est donc :

θ̂ = arg max Ln (θ; x1 , · · · , xn )


θ∈R+

52
Statistique, probabilité et économétrie L’estimation des modèles linéaires

L'ESTIMATEUR DU MAXIMUM DE LA LOG-VRAISEMBLANCE

I Dans le cas exemple reposant sur la loi de Poisson on a


Pn
θ i=1 xi
θ̂ = arg max e −nθ
Qn
θ∈R+ i=1 xi !

I La formule est complexe et la présence d’un produit n’arrange rien

I Simplifions le programme de maximisation en considérant la log-vraisemblance

θ̂ = arg max ln Ln (θ; x1 , · · · , xn )


θ∈R+

I Dans le cadre de notre exemple la log-vraisemblance est


n n
!
ln Ln (θ; x1 , · · · , xn ) = −nθ + ln(θ) xi − ln xi !
X Y

i=1 i=1

53
Statistique, probabilité et économétrie L’estimation des modèles linéaires

CONDITIONS NÉCESSAIRE ET SUFFISANTE

I La condition nécessaire répond à la question


I Le problème admet-il une solution ?
⇒ Pour répondre on annule la dérivée première par rapport à θ
n n
∂ ln Ln (θ; x1 , · · · , xn )

x n xi
X X
−1 −1
= −n + θ̂ i = 0 ⇐⇒ θ̂ =
∂θ
θ̂ i=1 i=1

I Ici, la log vraisemblance est maximisée par la moyenne empirique

I La condition suffisante répond à la question


I Cette solution est-elle un maximum ?
⇒ Pour répondre on regarde le signe de la dérivée seconde par rapport à θ
n
∂ 2 ln Ln (θ; x1 , · · · , xn )

xi < 0
X
2
= −θ̂−2
∂θ
θ̂ i=1

I Négatif donc bien un maximum

54
Statistique, probabilité et économétrie L’estimation des modèles linéaires

LOG-VRAISEMBLANCE GAUSSIENNE

I Dans l’exemple, il s’agissait de variables aléatoires discrètes

I Dans le cas de variables aléatoires continues, l’intuition est la même


I Néanmoins, on raisonnera sur la densité de la loi jointe des variables
Ln (θ; x1 , · · · , xn ) = fX1 ,··· ,Xn (x1 , · · · , xn ; θ)
I Soit une séquence Xn ∼ i. i. d. (µ, σ 2 ) selon une loi normale

I La densité de la loi normale implique 2 paramètres θ = (µ, σ 2 )0


n (x −µ)2
√ − i 2
Ln (θ; x1 , · · · , xn ) = (σε 2π)−1 e
Y
2σε

i=1
 Pn 2
i=1 (xi − µ)
= exp −
(2πσε2 )−n/2
2σε2
n
n n 1 X
ln Ln (θ; x1 , · · · , xn ) = − ln(σε2 ) − ln(2π) − 2 (xi − µ)2
2 2 2σε i=1

55
Statistique, probabilité et économétrie L’estimation des modèles linéaires

L'ESTIMATEUR DU MAXIMUM DE VRAISEMBLANCE

I Estimateur du maximum de vraisemblance θ̂ = arg max ln Ln (θ; x1 , · · · , xn )


θ∈R+

I Hypothèses
I θ = (µ, σ 2 )0 est identifiable : ∀θ∗ , θ avec θ∗ 6= θ, les lois jointes de x1 , · · · , xn sont
différentes

I Condition nécessaire du gradient :


∂ ln Ln (θ; x1 , · · · , xn )

gn (θ̂; x1 , · · · , xn ) = =0
∂θ θ̂
I Condition suffisante de la hessienne :
∂ 2 ln Ln (θ; x1 , · · · , xn )

Hn (θ̂; x1 , · · · , xn ) = <0
∂θ2 θ̂

56
Statistique, probabilité et économétrie L’estimation des modèles linéaires

CONDITION NÉCESSAIRE DU MLE GAUSSIEN

I Notons ln Ln (θ; x1 , · · · , xn ) = `n (θ; x) et commençons par le gradient :

57
Statistique, probabilité et économétrie L’estimation des modèles linéaires

CONDITION NÉCESSAIRE DU MLE GAUSSIEN

I Notons ln Ln (θ; x1 , · · · , xn ) = `n (θ; x) et commençons par le gradient :


Pn
i=1 (xi − m)
 ∂`n (θ;x)   1

∂`n (θ; x) ∂m σ2
= = 
∂θ n
Pn
∂`n (θ;x)
∂σ 2
− 2σ 2 + 1
2σ 4 i=1 (xi − m) 2

−1 Pn
m̂ n i=1 xi = x̄
 
=
∂`n (θ; x)
 
0
⇒ = 0 ⇒ θ̂ =
 
∂θ
σ̂ 2 = n −1 ni=1 (xi − x̄)2
P
θ̂

I Le programme de maximisation a donc une solution


Pn Pn
I Les réalisations du ML sont m̂ = n −1 i=1 xi = x̄ et σ̂ 2 = n −1 i=1 (xi − x̄)2
(variance empirique non-corrigée)
Pn Pn
I Les estimateurs du ML sont m̂ = n −1 i=1 Xi = X̄ et σ̂ 2 = n −1 i=1 (Xi − X̄)2

57
Statistique, probabilité et économétrie L’estimation des modèles linéaires

CONDITION SUFFISANTE DU MLE GAUSSIEN

I La solution est-elle bien un maximum ?

58
Statistique, probabilité et économétrie L’estimation des modèles linéaires

CONDITION SUFFISANTE DU MLE GAUSSIEN

I La solution est-elle bien un maximum ?

∂ 2 `n (θ; x) ∂ 2 `n (θ;x) ∂ 2 `n (θ;x)


!
= ∂m 2 ∂m∂σ 2
∂θ∂θ0 ∂ 2 `n (θ;x) ∂ 2 `n (θ;x)
∂m∂σ 2 ∂σ 4

I On obtient alors

58
Statistique, probabilité et économétrie L’estimation des modèles linéaires

CONDITION SUFFISANTE DU MLE GAUSSIEN

I La solution est-elle bien un maximum ?

∂ 2 `n (θ; x) ∂ 2 `n (θ;x) ∂ 2 `n (θ;x)


!
= ∂m 2 ∂m∂σ 2
∂θ∂θ0 ∂ 2 `n (θ;x) ∂ 2 `n (θ;x)
∂m∂σ 2 ∂σ 4

I On obtient alors
Pn
∂ 2 `n (θ; x) n
i=1 (xi − m̂)

− σ̂14 P
 
= P−
n
σ̂ 2
n n
∂θ∂θ 0
θ̂
− σ̂4 i=1 (xi − m̂)
1
2σ̂ 4
− σ̂16 i=1 (xi − m̂)2

I D’après l’étude du gradient, on sait que n × m̂ = ni=1 xi et donc


P

n n n n
1 X 1 X 1 1 X 1 X
− (xi − m̂) = − xi + n × m̂ = xi − xi = 0
σ̂ 4 i=1 σ̂ 4 i=1 σ̂ 4 σ̂ 4 i=1 σ̂ 4 i=1
Pn
I De plus, n × σ̂ 2 = i=1 (xi − m̂)2 , ce qui donne
 n
∂ 2 `n (θ; x)
  n
− σ̂2

0 − σ̂2 0
= =
∂θ∂θ0 θ̂ 0 n
2σ̂ 4 − n σ̂ 2
σ̂ 6 0 − 2σ̂n4

58
Statistique, probabilité et économétrie L’estimation des modèles linéaires

CONDITION SUFFISANTE DU MLE GAUSSIEN

I Pour conclure, il faut montrer que la hessienne est définie négative

∂ 2 `n (θ; x)
 n 
− σ̂2 0
=
∂θ∂θ0 θ̂ 0 − 2σ̂n4

I Pour cela on s’intéresse aux mineurs principaux, ∆1 et ∆2 . Le premier mineur est

59
Statistique, probabilité et économétrie L’estimation des modèles linéaires

CONDITION SUFFISANTE DU MLE GAUSSIEN

I Pour conclure, il faut montrer que la hessienne est définie négative

∂ 2 `n (θ; x)
 n 
− σ̂2 0
=
∂θ∂θ0 θ̂ 0 − 2σ̂n4

I Pour cela on s’intéresse aux mineurs principaux, ∆1 et ∆2 . Le premier mineur est


n
∆1 = − <0
σ̂ 2
I Le second mineur est

59
Statistique, probabilité et économétrie L’estimation des modèles linéaires

CONDITION SUFFISANTE DU MLE GAUSSIEN

I Pour conclure, il faut montrer que la hessienne est définie négative

∂ 2 `n (θ; x)
 n 
− σ̂2 0
=
∂θ∂θ0 θ̂ 0 − 2σ̂n4

I Pour cela on s’intéresse aux mineurs principaux, ∆1 et ∆2 . Le premier mineur est


n
∆1 = − <0
σ̂ 2
I Le second mineur est
− σ̂n2 n n
 
0
∆2 = det =− ×− 4 −0>0
0 − 2σ̂n4 σ̂ 2 2σ̂

I Les mineurs principaux étant de signes opposés, la hessienne est bien définie négative
et la solution du programme est bien un maximum

59
Statistique, probabilité et économétrie L’estimation des modèles linéaires

LE SCORE

I Le score ressemble au gradient mais en diffère pour la raison suivante :


I Le gradient est déterministe car basé sur les réalisations :
∂`n (θ; x1 , · · · , xn )
∂θ
I Le score est une version stochastique du gradient car basé sur les variables aléatoires :
∂`n (θ; X1 , · · · , Xn )
Sn (θ; X) =
∂θ
I Le score étant une variable aléatoire, il convient de s’intéresser à ces moments et
notamment son espérance

I L’espérance nous intéresse afin de calculer la variance

I La variance nous intéresse car elle permet de calculer la matrice d'information de Fisher

60
Statistique, probabilité et économétrie L’estimation des modèles linéaires

LA HESSIENNE STOCHASTIQUE

I De même que pour le gradient, on peut considérer une version stochastique de la


hessienne
I La hessienne déterministe est basés sur les réalisations :
∂ 2 `n (θ; x1 , · · · , xn )
Hn (θ, x) =
∂θ∂θ 0
I La hessienne stochastique est basés sur les variables aléatoires :
∂ 2 `n (θ; X1 , · · · , Xn )
Hn (θ, X) =
∂θ∂θ 0
I Le hessienne stochastique étant une variable aléatoire elle a des moments :

I l’espérance de la hessienne nous permet de calculer la matrice d'information de Fisher

61
Statistique, probabilité et économétrie L’estimation des modèles linéaires

L'INFORMATION DE FISHER

I La matrice d'information de Fisher peut se calculer de plusieurs manières

Information de Fisher
La quantité d’information de Fisher associée à l’échantillon est une
constante définie par la variance du score ou l’espérance de l’opposée de la hessienne
stochastique :

In (θ) = V(Sn (θ; X)) = E(Sn2 (θ; X)) − E(Sn (θ; X))2

ou
In (θ) = E(−Hn (θ, X))

62
Statistique, probabilité et économétrie L’estimation des modèles linéaires

L'INFORMATION DE FISHER ET MLE GAUSSIEN

I Repartons du MLE Gaussien et calculons l’information de Fisher :

63
Statistique, probabilité et économétrie L’estimation des modèles linéaires

L'INFORMATION DE FISHER ET MLE GAUSSIEN

I Repartons du MLE Gaussien et calculons l’information de Fisher :


Pn
i=1 (Xi − m)
1
 
 
0 σ2
Sn (θ; X) = ⇒ θ̂ =  
0
− 2σn2 + 2σ1 4 ni=1 (Xi − m)2
P

n
Pn
i=1 (Xi − m)
− σ14 P
 
Hn (θ; X) = Pn− σ2
− σ14 i=1 (Xi − m)
n
2σ 4
− σ16 ni=1 (Xi − m)2

I Les deux méthodes peuvent être utilisée. Par exemple :

In (θ) = E(−Hn (θ, X))


n
Pn
i − m)
1
 
= E 1 Pn σ2 σ4 P(X
i=1
n
σ4 i=1 (Xi − m) − 2σn4 + σ
1
6 i=1 (Xi − m)2

63
Statistique, probabilité et économétrie L’estimation des modèles linéaires

L'INFORMATION DE FISHER ET MLE GAUSSIEN

I Les quantités déterministe n’étant pas affectées par l’espérance on obtient

64
Statistique, probabilité et économétrie L’estimation des modèles linéaires

L'INFORMATION DE FISHER ET MLE GAUSSIEN

I Les quantités déterministe n’étant pas affectées par l’espérance on obtient


n
Pn
1
E(Xi − m)
 
In (θ) = 1 n
σ 2 σ 4 i=1
i=1 E(Xi − m) − 2σn4 + σ16 ni=1 E((Xi − m)2 )
P P
σ4

I Or, E(Xi ) = m donc E(Xi − m) = 0


I De plus, par définition, E(Xi − m)2 = σ 2 ce qui nous donne
n 
0
In (θ) = σ2 n
0 2σ 4

I La borne informationnelle de Cramer-Rao définissant l’efficacité du MLE Gaussien est


donc :

64
Statistique, probabilité et économétrie L’estimation des modèles linéaires

L'INFORMATION DE FISHER ET MLE GAUSSIEN

I Les quantités déterministe n’étant pas affectées par l’espérance on obtient


n
Pn
1
E(Xi − m)
 
In (θ) = 1 n
σ 2 σ 4 i=1
i=1 E(Xi − m) − 2σn4 + σ16 ni=1 E((Xi − m)2 )
P P
σ4

I Or, E(Xi ) = m donc E(Xi − m) = 0


I De plus, par définition, E(Xi − m)2 = σ 2 ce qui nous donne
n 
0
In (θ) = σ2 n
0 2σ 4

I La borne informationnelle de Cramer-Rao définissant l’efficacité du MLE Gaussien est


donc :
2 !
σ0
0
In−1 (θ0 ) = n 2σ04
0 n

64
Statistique, probabilité et économétrie L’estimation des modèles linéaires

PROPRIÉTÉ DE MAXIMUM DE VRAISEMBLANCE

I Commençons par poser 3 hypothèses dites de régularités

I Hypothèse 1 : la fonction de densité fX (θ; xi ) est trois fois différentiable par rapport à θ et
ses dérivées sont continues et finies ∀x, θ

I Hypothèse 2 : les espérances des dérivées première et seconde de ln fX (θ; Xi ) par


rapport à θ existent

I Hypothèse 3 : la vrai valeur de θ, i.e. θ0 , appartient à un ensemble compact Θ

I Par ensemble compact il faut comprendre un ensemble fermé et petit dont on ne peut
s’échapper

65
Statistique, probabilité et économétrie L’estimation des modèles linéaires

PROPRIÉTÉ DE MAXIMUM DE VRAISEMBLANCE

I Sous cet ensemble d’hypothèses il est possible de montrer

I que le MLE est convergent


p
θ̂ −→ θ0
I que le MLE est asymptotiquement efficace
V(θ̂) = In−1 (θ0 )
I que le MLE est asymptotiquement normalement distribué
√ d
n(θ̂ − θ0 ) −→ N (0, In−1 (θ0 ))

66
Statistique, probabilité et économétrie L’estimation des modèles linéaires

MAXIMUM DE VRAISEMBLANCE CONDITIONNELLE

I Soit un modèle économétrique du type Yt = g(θ; Xt ) + εt

I Une approche par MLE nécessite de considérer la distribution conditionnelle de Y


sachant les réalisations de X
fY |X (y|x; θ)

Vraisemblance conditionnelle
Les fonctions de vraisemblance et log-vraisemblance conditionnelle d’un échantillon
{yt , xt }nt=1 sont définies par
n n
Ln (θ; y|x) = fY |X (yt |xt ; θ), et `n (θ; y|x) = ln fY |X (yt |xt ; θ)
Y X

t=1 t=1

67
Statistique, probabilité et économétrie L’estimation des modèles linéaires

MLE ET MODÈLE DE RÉGRESSION LINÉAIRE

I Dans le cadre simple du modèle Yt = βXt + εt ∼ i. i. d.

I En supposant la normalité des erreurs, i.e. εt ∼ N (0, σ 2 ), si Xi = xi , on obtient que


Yi |xi ∼ N (βxi , σ 2 )

I On obtient alors la densité conditionnelle de Yi suivante


!2
1 yi − βxi
fY |X (yt |xt ; θ) = √ exp − , θ = (β, σ 2 )0
σ 2π 2σ

I Les fonctions de ML et log-ML conditionnelles sont alors


!2
1 yi − βxi
Ln (θ; y|x) = √ exp −
σ 2π 2σ

et
n
n n 1 X
`n (θ; y|x) = − ln(σε2 ) − ln(2π) − 2 (yi − βxi )2
2 2 2σε i=1

68
Statistique, probabilité et économétrie L’estimation des modèles linéaires

EXERCICE TYPE

I Soit un échantillon (X1 , · · · , Xn ) ∼ i. i. d. selon une distribution exponentielle de


paramètre θ−1
I La fonction de densité d’une loi exponentielle est θ−1 exp(−θ−1 X)

I La log-vraisemblance de l’échantillon (x1 , · · · , xn ) est alors

69
Statistique, probabilité et économétrie L’estimation des modèles linéaires

EXERCICE TYPE

I Soit un échantillon (X1 , · · · , Xn ) ∼ i. i. d. selon une distribution exponentielle de


paramètre θ−1
I La fonction de densité d’une loi exponentielle est θ−1 exp(−θ−1 X)

I La log-vraisemblance de l’échantillon (x1 , · · · , xn ) est alors


n
`n (θ; x) = −n ln(θ) − θ−1 xt
X

t=1

I L’estimateur du log-ML est alors

69
Statistique, probabilité et économétrie L’estimation des modèles linéaires

EXERCICE TYPE

I Soit un échantillon (X1 , · · · , Xn ) ∼ i. i. d. selon une distribution exponentielle de


paramètre θ−1
I La fonction de densité d’une loi exponentielle est θ−1 exp(−θ−1 X)

I La log-vraisemblance de l’échantillon (x1 , · · · , xn ) est alors


n
`n (θ; x) = −n ln(θ) − θ−1 xt
X

t=1

I L’estimateur du log-ML est alors


n n
∂`n (θ; x) n 1 X
Xt = 0 ⇒ θ̂ = n −1 Xt
X
=− + 2
∂θ θ θ t=1 t=1

I Sachant que la loi exponentielle de paramètre λ a pour espérance λ−1 et pour


variance λ−2 , E(Xt ) et V(Xt ) sont données par

69
Statistique, probabilité et économétrie L’estimation des modèles linéaires

EXERCICE TYPE

I Soit un échantillon (X1 , · · · , Xn ) ∼ i. i. d. selon une distribution exponentielle de


paramètre θ−1
I La fonction de densité d’une loi exponentielle est θ−1 exp(−θ−1 X)

I La log-vraisemblance de l’échantillon (x1 , · · · , xn ) est alors


n
`n (θ; x) = −n ln(θ) − θ−1 xt
X

t=1

I L’estimateur du log-ML est alors


n n
∂`n (θ; x) n 1 X
Xt = 0 ⇒ θ̂ = n −1 Xt
X
=− + 2
∂θ θ θ t=1 t=1

I Sachant que la loi exponentielle de paramètre λ a pour espérance λ−1 et pour


variance λ−2 , E(Xt ) et V(Xt ) sont données par

E(Xt ) = θ0 , V(Xt ) = θ02

69
Statistique, probabilité et économétrie L’estimation des modèles linéaires

EXERCICE TYPE

I Calculez E(θ̂)

70
Statistique, probabilité et économétrie L’estimation des modèles linéaires

EXERCICE TYPE

I Calculez E(θ̂)
n n
  n × θ0
E(θ̂) = E n −1 Xt = n −1
X X
E(Xt ) = = θ0
t=1 t=1
n

I Calculez V(θ̂)

70
Statistique, probabilité et économétrie L’estimation des modèles linéaires

EXERCICE TYPE

I Calculez E(θ̂)
n n
  n × θ0
E(θ̂) = E n −1 Xt = n −1
X X
E(Xt ) = = θ0
t=1 t=1
n

I Calculez V(θ̂)
n n
  n × θ02 θ2
V(θ̂) = V n −1 Xt = n −2
X X
V(Xt ) = = 0
t=1 t=1
n 2 n

I Que pouvez-vous conclure ?

70
Statistique, probabilité et économétrie L’estimation des modèles linéaires

EXERCICE TYPE

I Calculez E(θ̂)
n n
  n × θ0
E(θ̂) = E n −1 Xt = n −1
X X
E(Xt ) = = θ0
t=1 t=1
n

I Calculez V(θ̂)
n n
  n × θ02 θ2
V(θ̂) = V n −1 Xt = n −2
X X
V(Xt ) = = 0
t=1 t=1
n 2 n

I Que pouvez-vous conclure ?


I L’estimateur est sans biais et asymptotiquement convergent car lim V(θ̂) = 0 et donc
n→∞
p
θ̂ −→ θ0

70
CONCLUSION
Conclusion

ET MAINTENANT...

I Bonnes révisions

72

Vous aimerez peut-être aussi