PC 1 du cours de Statistique

Modèle statistique, construction d’estimateurs.

Exercice 1.1. Construction d’un estimateur par la méthode des moments. Soient
{Xi }1≤i≤N des variables aléatoires indépendantes de loi uniforme U([0, θ]), θ > 0, et soit
(x1 , · · · , xN ) des observations.
1. Proposer une estimation de θ construit par la méthode de substitution en utilisant le
moment d’ordre 1.
2. Proposer une estimation de θ construit par la méthode de substitution en utilisant le
moment d’ordre 2.

Solution:
1. Soit la fonctionnelle
Z
G(Pθ ) := xdPθ = Eθ (X1 ) = θ/2,

1
PN
on utilise la mesure empirique P̂(x1 , · · · , xN ) = N i=1 δxi

Z N
1 X
G(P̂(x1 , · · · , xN )) = xP̂(x1 , · · · , xN )(dx) = xi = θ̂(1) /2
N i=1

soit l’estimateur θ̂(1) = 2X N

2. De la fonctionnelle
Z
H(Pθ ) := x2 dPθ = Eθ (X12 ) = θ2 /3,

on déduit
N
1X 2
H(P̂(x1 , · · · , xN ) = X = (θ̂(2) )2 /3 .
n i=1 i
N
!1/2
3 X 2
soit θ̂(2) = x (on sait que θ > 0.)
N i=1 i

Exercice 1.2. Construction de I’EMV. Supposons que l’on observe n variables aléatoires
X1 , · · · , Xn indépendantes et de même loi. Calculer l’estimateur du maximum de vraisem-
blance du paramètre θ lorsque la loi des variables Xi est :

1
1. Une loi de Poisson P(θ) de paramètre θ ≥ 0.
2. Une loi exponentielle E(θ) de paramètre θ > 0.
3. Une loi admettant la densité exp{−(x − θ)}I(x ≥ θ) , θ ∈ R.
On vérifiera dans chaque cas que l’on obtient bien le maximum global de la fonction de
vraisemblance.

Solution:
1. On a
θxi −θ
Pθ (Xi = xi ) = e ,
xi !
d’où n
Y θ xi
L((x1 , . . . , xn ), θ) = e−θ
i=1
xi !
et n
X
ln (θ) = ln(L((x1 , . . . , xn ), θ)) = −nθ + [xi ln(θ) − ln(xi !)].
i=1
n
1X
En dérivant par rapport à θ, on obtient ln0 (θ) = −n + xi . Par conséquent,
θ i=1
n
X
si xi = 0, on obtient un maximum en θ = 0. Sinon, la solution de l’équation
i=1
ln0 (θ) = 0 est θ̂ = x. Cette valeur est bien le maximum global de ln , car ln croît sur
]0, x[ (ln0 (x) > 0) et décroît sur ]x, ∞[. Dans tous les cas, θ̂ = x. Soit l’estimateur:

θ̂M V (X1 , · · · , Xn ) = X.

2. La famille des lois exponentielles est donnée par les densités:

pθ (x) = θe−θx I{x≥0} , pour θ > 0 .

Pour l’échantillon d’observations (x1 , · · · , xN ), nous en déduisons donc la vraisem-

blance:
n
Y
L((x1 , · · · , xn ), θ) = pθ (xi )
i=1
Yn
= θe−θxi I{xi >0}
i=1
n −θ(x1 +···+xn )
=θ e I( min xi ≥ 0)
i=1,··· ,n

Soit la log-vraisemblance:

n ln θ − nθx, si mini=1,...,n xi ≥ 0,
l(θ) =
−∞, si mini=1,...,n xi < 0.

2
 Dans le second cas, toute valeur de R+ peut être considérée comme estimation du
max de vraisemblance (mais si une valeur xi est négative, l’hypothèse que la loi est
exponentielle n’est pas valide...).
Si min xi ≥ 0, on a l0 (θ) = nθ−1 − nx. Si x = 0, l(θ) est strictement croissante
i=1,...,n
et n’admet pas de maximum. Si x > 0, l0 (θ̂) = 0 équivaut à θ̂ = 1/x. Comme la
fonction l0 (θ) est > 0 sur ]0, 1/x[ et < 0 sur ]1/x, ∞[, l’estimateur du maximum de
vraisemblance du paramètre θ est bien θ̂M V (X1 , · · · , Xn ) = 1/X.
3. On a
n
Y
L((x1 , . . . , xn ), θ) = e−(xi −θ) I{xi ≥θ} = enθ−(x1 +···+xn ) I( min xi ≥ θ) .
i=1,··· ,n
i=1

On note x(1) = min xi . On a alors

i=1,...,n

n(θ − x), si x(1) ≥ θ,
ln (θ) =
−∞, si x(1) < θ.
Cette fonction atteint son maximum au point θ̂ = x(1) , soit l’estimateur du maximum
de vraisemblance: θ̂M V (X1 , · · · , Xn ) = X(1) .

Exercice 1.3. EMV pour la régression Linéaire. Soient ξ1 , · · · , ξn des variables aléa-
toires i.i.d de densité pξ par rapport à la mesure de Lebesgue sur R, et soit xi ∈ R, i =
1, · · · , n. On observe les couples (xi , yi ), 1 ≤ i ≤ n, issus du modèle de régression
linéaire
Yi = θXi + ξi ,
où θ ∈ R est un paramètre inconnu. On suppose ici que les Xi sont déterministes et non
tous nuls.
1. Expliciter la densité jointe de (Y1 , · · · , Yn ) .
2. Montrer que si la loi de ξi est N (0, 1), la densité des (Y1 , · · · , Yn ) est donnée par:
n
!
1 1X
p(y1 , · · · , yn ) = exp − (yi − θxi )2 .
(2π)n/2 2 i=1

En déduire l’estimateur du maximum de vraisemblance θ̂M V de θ.

3. Reprendre la question précédente en supposant cette fois que les ξi suivent une loi de
Laplace (connue aussi sous le nom de double exponentielle) dont la densité est donnée
1
par f (x) = e−|x| .
2

Solution: 1. Soit: ϕ : Rn → Rn , avec ϕ (s1 , · · · , sn ) = (s1 + θx1 , · · · , sn + θxn ).

Nous avons que (Y1 , · · · , Yn ) = φ (ξ1 , · · · , ξn ) et que ϕ est un C 1 -difféomorphisme
de Rn dans Rn , ϕ−1 (y1 , · · · , yn ) = (y1 − θx1 , · · · , yn − θxn ).

3
 D’après le théorème de la loi image, nous avons alors:

p(Y1 ,··· ,Yn ) (y1 , · · · , yn ) = p(ξ1 ,··· ,ξn ) ϕ−1 (y1 , · · · , yn ) |Jϕ−1 (y1 , · · · , yn )|

Or:
p(ξ1 ,··· ,ξn ) (s1 , · · · , sn ) = pξ (s1 ) · · · pξ (sn )
comme les ξi sont indépendantes de densité pξ . Par ailleurs,

Jφ−1 = Id

d’où finalement: n
Y
p(Y1 ,...,Yn ) (y1 , . . . , yn ) = pξ (yi − θxi )
i=1

2. Dans la question précédente, en remplacant pξ par la densité de la loi normale, on

obtient:

Ln (θ; (x1 , y1 ) , · · · , (xn , yn )) = p(Y1 ,...,Yn ) (y1 , · · · , yn )

n
1 1X
= exp(− (yi − θxi )2 )
(2π)n/2 2 i=1

On en déduit que
n
n 1X
ln (θ) = − ln(2π) − (yi − θxi )2 .
2 2 i=1
D’où n n n
X X X
ln0 (θ) = xi (yi − θxi ) = −θ x2i + xi y i .
i=1 i=1 i=1
X
On a ln00 = − x2i < 0, donc θ̂ est obtenu en annulant la dérivée, ce qui nous donne
l’estimateur: Pn
MV Xi Yi
θ̂ = Pi=1n 2
.
i=1 Xi

3. On cherche à maximiser la vraisemblance qui s’écrit maintenant

n
!
X
−n
Ln (θ) = 2 exp − |yi − θxi | .
i=1

On a donc implicitement
n
X
MV
θ̂ = arg min (−ln (θ)) = arg min |yi − θxi |
θ θ
i=1

Exercice 1.4. Modèle statistique pour une série financière. On mesure le cours d’une

4
 action Yt au cours du temps (toutes les minutes par exemple) et on s’intéresse à la
modélisation des ln-retours, c’est-à-dire des quantités Xt = ln(Yt+1 /Yt ) . Sur la Figure
1, on a représenté la simulation d’une série financière x1 , · · · , xn , ainsi que l’histogramme
des valeurs observées et le profil de la queue de distribution G : t 7→ Card{i | xi > t}/n,
en coordonnées logarithmiques.
On rappelle qu’une variable de Cauchy de paramètre m et c admet une densité
1 1
fm,c (x) =
πc 1 + (x − m)2 /c2

où m est le paramètre de position de la loi et c le paramètre d’échelle.

1. Justifier l’utilisation d’une loi de Cauchy plutôt que d’une loi normale pour modéliser
les valeurs xt observées.
2. Pour X une loi de Cauchy de paramètres m et c, que vaut E (|X|) ?
3. Que vaut la médiane de X ?

Figure 1: Série financière: (a) valeurs de xt au cours du temps; (b) histogramme des (xt )t ;
(c) G(t) en fonction de t, en échelle logarithmique, avec G : t 7→ Card{i | xi > t}/n

Solution: 1. Si T est une v.a. de loi de Cauchy de paramètre de position m = 0 et

1
d’échelle c = 1, on a P(T > t) = − arctan(t)/π ∼ 1/(πt) quand t → ∞.
2
Pour une v.a. T de loi de Cauchy de paramètres m, c, (T 0 − m)/c est une v.a. de
0

Cauchy standard et donc on a également P(T 0 > t) = P(T > (t − m)/c) ∼ c/(πt).
Donc ln P(T 0 > t) ∼ − ln t. Or G : t 7→ Card{i|Xi > t}/n correspond à la queue
de distribution empirique. L’asymptote linéaire dans le tracé de t → P(T 0 > t) en
coordonnées logarithmiques est donc bien compatible avec ln P(T 0 > t) ∼ − ln t.

5
À l’inverse, dans le cas d’une variable gaussienne centrée réduite, on a
Z Z
−1/2 −x2 /2 −1/2 x −x2 /2 1 2
P(T > t) = (2π) e dx ≤ (2π) e dx = (2π)−1/2 e−t /2 .
x>t x>t t t

Le changement de moyenne et de variance modifie t en (t − m)/σ dans cette borne

mais dans tous les cas, ln P(X > t) décroît de façon au moins quadratique en t donc
exponentielle en ln t ce qui est loin de l’allure de la fonction de répartition empirique.
2. Une variable deZCauchy n’a pas d’espérance, et donc a fortiori aucun moment fini.
En effet, ∀p ≥ 1, |x|p fm,c (x)dx = +∞. On ne peut donc pas espérer estimer m
en utilisant une moyenne empirique.
3. Une variable à densité admet une unique médiane donnée par F −1 (1/2) =
G−1 (1/2) (avec F la distribution et G = 1 − F la queue de distribution). On vérifie
facilement (par le calcul ou un argument de symétrie) que m est cette médiane. Sur
le graphe 3, on cherche m̂ tel que G(m̂) = 1/2, on a que m̂ ' 0.02., ce qui est
cohérent avec l’histogramme.