Math-F-207 Corrigé Séance 5

Séance 5 : Exercices récapitulatifs sur l’estimation ponctuelle

Exercice 1
Les éléments d’une population possèdent un caractère X qui suit une loi de densité
√
θ 2
fθ (x) = √ e−θx /2
2π
où θ > 0. Pour étudier le paramètre θ, on a effectué une suite de n expériences indépendantes qui
ont donné les réalisations x1 , . . . , xn de n v.a. X1 , . . . , Xn i.i.d. de même loi que X.
1. Déterminez un estimateur θ̂ du paramètre θ par la méthode du maximum de vraisemblance.
2. θ̂ est-il exhaustif ?
3. Calculez la moyenne et la variance de θ̂. Déduisez-en un estimateur θ̂1 de θ non biaisé. Quelle
est la variance de θ̂1 ? Est-il convergent ?
4. Notons B (n) (θ) la borne de Cramer-Rao pour l’estimation de θ. Dans l’ensemble des estima-
teurs non biaisés de θ, on définit l’efficacité relative de θ̂1 comme étant
B (n) (θ)
e(θ̂1 ) := .
V ar[θ̂1 ]

Calculez e(θ̂1 ). Qu’en concluez-vous ?

5. Soit s2 = n1 ni=1 (Xi − X̄)2 . Peut-on définir un estimateur θ̂2 non biaisé de θ, qui soit sim-
P

plement lié à s2 ? Quelle est son efficacité relative ? De θ̂1 et θ̂2 , lequel préconiseriez-vous ?

Solution :

1. La vraisemblance s’écrit :
n  n/2
Y θ Pn
Xi2
Lθ (X) = fθ (Xi ) = e−θ/2 i=1 .
2π
i=1

Cette fonction est C ∞ en θ, on peut donc chercher son maximum en utilisant les conditions
du premier et second ordre. Comme elle est partout positive, on passe au logarithme pour
simplifier les calculs :
  n
n θ θX 2
log Lθ (X) = log − Xi
2 2π 2
i=1
n
n 1X
∂θ log Lθ (X) = − Xi2
2θ 2
i=1
n
∂θ log Lθ (X) = 0 ⇔ θ̂ = Pn 2
i=1 Xi

On vérifie aisément que θ̂ = Pn n X 2 est un maximum et l’on conclut que θ̂ est l’estimateur
i=1 i
du maximum de vraisemblance pour θ.
2. On utilise ici le critère de factorisation de la vraisemblance
 n/2
θ Pn 2
Lθ (X) = e−θ/2 i=1 Xi = h(X)gθ (θ̂),
2π
avec  n/2
1 −θ
h(t) = et gθ (x) = θe 2nx .
2π
La statistique θ̂ est donc exhaustive.

Titulaire: D. Paindaveine Assistant: G. Van Bever

Math-F-207 Corrigé Séance 5

3. On ne veut pas intégrer directement θ̂ pour calculer son espérance, le changementPde variables
impliqué étant peu pratique. Il vaut mieux commencer par déterminer la loi de ni=1 Xi2 , qui
est plus accessible. En effet, on remarque à la forme de la densité de fθ que les Xi suivent en
fait une loi normale‘déguisée”, si l’on pose µ = 0 et σ 2 = θ−1 . Ainsi,
1
Xi ∼ N (0, )
θ
de façon indépendante. Si l’on se souvient que la somme de normales centrées réduites
indépendantes est distribuée
√ selon une loi chi-deux, on est proche de l’objectif. Il suffit de
considérer les variables θXi qui sont centrées réduites, et il vient que
n
X
Z=θ Xi2 ∼ χ2n ,
i=1

dont on connaı̂t la densité. On a ainsi

 
h i nθ
= nθIE Z−1 .
 
IE θ̂ = IE
Z
On va maintenant écrire l’espérance comme une intégrale et bricoler un peu à l’intérieur pour
arriver au résultat.
  Z Z
1 1 1 n
−1 −z/2 1 n−2
IE = n/2
z2 e dz = n/2
z 2 −1 e−z/2 dz.
Z IR+ z 2 Γ(n/2) IR+ 2 Γ(n/2)
L’idée est de faire apparaı̂tre sous l’intégrale la densité d’une loi chi-deux en ajustant le nombre
de degrés de libertés au fait que la puissance de z dans l’intégrande est diminuée de un. Il
faut donc mettre les bonnes constantes. Entre autres, faire sortir un deux au dénominateur,
ainsi qu’un facteur (n − 2)/2 grâce aux propriétés de la fonction Γ. L’intégale restante est
alors celle d’une densité sur son domaine et vaut donc un. D’où
 
1 1
IE = .
Z n−2

On en déduit l’espérance de θ̂
 
h i 1 n
IE θ̂ = nθIE = θ.
Z n−2

Le raisonnement et les calculs sont similaires pour la variance. Connaissant l’espérance de θ̂,
il nous reste pour obtenir la variance à calculer celle de son carré :
n2 θ 2
θ̂2 = .
Z2
On a alors, à l’aide des mêmes idées
h i n2 θ2
IE θ̂2 =
(n − 2)(n − 4)
et   2n2 θ2
Var θ̂ = · · · = .
(n − 2)2 (n − 4)
On note au passage que θ̂ est asymptotiquement sans biais et convergent. On en déduit un
estimateur sans biais par une simple transformation linéaire :
n−2 h i
θ̂1 = θ̂ ⇒ IE θ̂1 = θ.
n

Titulaire: D. Paindaveine Assistant: G. Van Bever

Math-F-207 Corrigé Séance 5

On déduit aisément la variance du nouvel estimateur

  2θ2
Var θ̂1 = .
n−4
qui montre que θ̂1 est également convergent.
4. Comme la log-vraisemblance du modèle est C ∞ , ne nous privons pas pour dériver deux fois
avant de prendre l’espérance.
n
∂θ2 log Lθ (X) = − 2 ,
2θ
et donc,
n 2θ2
I(θ) = −IE ∂θ2 log Lθ (X) = 2 et B(n) (θ) =
 
.
2θ n
Remarquons que ces deux quantités peuvent bien sûr se calculer ”à l’ancienne” en prenant
l’espérance du carré de la première dérivée de la log-vraisemblance. Le fait que I(θ) soit un
multiple de n est rassurant. On peut alors calculer l’efficacité relative de θ̂1
2θ2 n − 4 n−4
e(θ̂1 ) = 2
= .
n 2θ n
On remarque que e < 1, donc que θ̂1 n’est pas efficace, mais que e → 1 et donc que θ̂1 est
asymptotiquement efficace.
5. Cette question fait appel à un résultat du cours. Le lemme de Fisher nous dit que dans un
modèle i.i.d. gaussien, X̄ et s2 sont indépendants, et que ns2 /σ 2 ∼ χ2n−1 , où n est la taille
de l’échantillon. Comme notre échantillon simple est gaussien ; ce résultat s’applique, et les
rappels sur la loi chi-deux nous donnent
 2
ns
= IE ns2 θ = (n − 1),
 
IE 2
σ
i.e.
IE s2 = (n − 1)/nθ.
 

Pour définir simplement un estimateur à partir de s2 , il faut considérer son inverse 1/s2 .
Calculons l’espérance de cette statistique, dans l’espoir qu’elle soit une fonction linéaire de θ.
   
 2 nθ 1 nθ
IE 1/s = IE 2
= nθIE 2
= ··· = .
nθs nθs n−3
Ainsi, la statistique θ̂2 = n−3
ns2
st un estimateur sans biais pour θ. Calculons sa variance, et
pour ce faire, l’espérance de son carré :
(n − 3)2
   
2 2 1
IE = (n − 3) θ IE 2 2 4
n2 s4 n θ s
Z
1 1 (n−1)
= (n − 3)2 θ2 2 (n−1)/2
z 2 −1 e−z/2 dz
IR+ z 2 Γ((n − 1)/2)
1
= (n − 3)2 θ2
(n − 3)(n − 5)
(n − 3)θ 2
=
(n − 5)
et donc   (n − 3)θ2 2θ2
Var θ̂2 = − θ2 = .
(n − 5) n−5
Cet estimateur est donc également convergent, et son efficacité relative est de
n−5 n−4
e(θ̂2 ) = < = e(θ̂1 ).
n n
On lui préférera donc θ̂1 .

Titulaire: D. Paindaveine Assistant: G. Van Bever

Math-F-207 Corrigé Séance 5

Exercice 2
Les éléments d’une population possèdent un caractère X qui suit une loi de densité
2 2
fθ (x) = √ 3/2
x2 e−x /θ
πθ
où θ > 0. Une suite de n expériences indépendantes a donné les valeurs x1 , . . . , xn .
1. Déterminez un estimateur θ̂ du paramètre θ par la méthode du maximum de vraisemblance.
2. Examinez les qualités suivantes de θ̂ : efficacité, biais, convergence, exhaustivité.

Solution :
On écrit la vraisemblance du modèle grâce à l’hypothèse i.i.d. et on obtient :
n
Y 2 2
Lθ (X) = √ 3/2 Xi2 e−Xi /θ
i=1
πθ
n
2n Y
2 − θ1 i Xi2
P
= X e
π n/2 θ3n/2 i=1 i
n
3n X 1X 2
log Lθ (X) = C− log θ − 2 log Xi − Xi
2 θ
i =1
n
3n 1 X 2
∂θ log Lθ (X) = − + 2 Xi
2θ θ
i=1
n
2 X
∂θ log Lθ (X) = 0 ⇔ θ̂ = Xi2 .
3n
i=1

Clairement, la vraisemblance (ou log-vraisemblance) peut se factoriser de la bonne manière et

l’estimateur du maximum de vraisemblance θ̂ est donc exhaustif. Tentons de factoriser la dérivée
de la log-vraisemblance :
n n
!
3n 1 X 2 3n 2 X 2
∂θ log Lθ (X) = − + 2 Xi = 2 Xi − θ .
2θ θ 2θ 3n
i=1 i=1

Ainsi, d’après le critère de factorisation, θ̂ est efficace (donc sans biais) pour θ. Reste à juger de sa
convergence, en calculant sa variance. Pour ce faire, il nous manque l’espérance de son carré. On
note pour ce faire que les variables Yi = Xi2 ont pour densité
√ 1 1
gθ (y) = fθ ( y) √ = √ 3/2 y 1/2 e−y/θ y > 0,
2 y πθ
où l’on reconnaı̂t une loi Gamma de paramètres a = 1/θ et b = 3/2. La somme de n variables
indépendantes de telle loi donne une variable Gamma de paramètres a = 1/θ et b = 3n/2. On
connaı̂t donc son moment d’ordre deux
" n #
X
2 Γ(3n/2 + 2) 2
IE Yi = θ = (3n/2 + 1)(3n/2)θ2 .
Γ(3n/2)
i=1

On en déduit la quantité recherchée

h i 4
IE θ̂2 = 2 (3n/2 + 1)(3n/2)θ2 .
9n
Il est alors immédiat que   2 2
Var θ̂ = θ .
3n
L’estimateur est donc également convergent.

Titulaire: D. Paindaveine Assistant: G. Van Bever

Math-F-207 Corrigé Séance 5

Exercice 3
En 1897, l’économiste suisse Vilfredo Pareto (1848-1923), professeur d’économie politique à
l’université de Lausanne, eut l’idée de modéliser la loi des revenus en postulant que le nombre relatif
de personnes dont le revenu dépasse une valeur x est inversément proportionnel à une puissance de
x. La définition suivante fut adoptée : une variable aléatoire X, absolument continue, suit une loi
de Pareto de paramètres α et θ si sa densité est donnée par

fα,θ (x) = kx−α I[x≥θ] ;

où θ > 0 et α > 1. Cet exercice vous propose d’étudier différentes caractéristiques de cette loi sur
le plan probabiliste et statistique.
1. Analyse probabiliste
a) Déterminez la constante de normalisation k.
A ce stade vous êtes tous capable de calculer une intégrale définie... Réponse : k = (α−1)θα−1 .
b) Ecrivez la fonction de répartition FX de X.
Même remarque pour une primitive... Réponse :
X
(x) = 1 − (θ/x)α−1 I[x≥0] .


Fα,θ

c) Calculez le moment non centré d’ordre s(s ∈ IN0 ). Précisez ses conditions d’existence.
Déduisez-en E[X] et V ar[X].
De manière générale,
Z +∞  s−α+1 +∞
s (α − 1)θα−1 α−1 x
IE [X ] = α−s
dx = (α − 1)θ .
θ x s−α+1 θ
La condition d’existence de l’intégrale est s − α + 1 < 0, c’est-à-dire s < α − 1. On a alors
(α − 1)θs
IE [Xs ] = .
α−1−s
Si α > 2, l’espérance existe et vaut donc
(α − 1)θ
IE [X] = .
α−2
Si α > 3, le moment d’ordre deux existe, et permet de calculer la variance
(α − 1)θ2 (α − 1)2 θ2 (α − 1)θ2
Var (X) = IE X2 − (IE [X])2 =
 
− 2
= .
α−3 (α − 2) (α − 3)(α − 2)2

d) Donnez la loi de la variable aléatoire U définie par U = (α − 1) ln(X/θ).

Sur le domaine de X, ce changement de variable est admissible et on utilise la formule

habituelle
α−1
U = G(X) ⇒ G0 (X) = , X = G−1 (U )
X
avec G−1 (u) = θeu/(α−1) , X ≥ θ ⇔ U ≥ 0
et donc
1 (α − 1)θα−1 θeu/(α−1)
fU (u) = fX (G−1 (u)) = = e−u .
G0 (G−1 (u)) (θeu/(α−1) )α α − 1
Ainsi, en combinant cette expression avec le domaine de u, on reconnaı̂t la densité d’une loi
exponentielle de paramètre 1 (ou Γ(1, 1)).

Titulaire: D. Paindaveine Assistant: G. Van Bever

Math-F-207 Corrigé Séance 5

e) Soient n variables aléatoires indépendantes X1 , . . . , Xn suivant toutes la même loi de Pareto

de paramètres α et θ. Déterminez la loi de Z = X(1) . Identifiez cette loi

Pour déterminer la loi du minimum de n v.a. i.i.d., on considère sa fonction de répartition

n
Y
IP [Z ≤ z] = 1 − IP [Z > z] = 1 − IP [Xi > z] = 1 − (1 − F X (z))n ,
i=1

et on réinjecte l’expression obtenue pour F X à la question (b)

n
F Z (z) = 1 − (θ/z)α−1 = 1 − (θ/z)n(α−1) ,

qui est de la forme F (z) = 1 − (θ/z)a−1 avec a = n(α − 1) − 1. C’est donc une loi de Pareto
de paramètres n(α − 1) − 1 et θ.
2. Inférence sur α. Supposons que θ est connu. Soient les variables aléatoires X1 , . . . , Xn i.i.d. de
loi de Pareto de paramètres α et θ.
a) Donnez une statistique exhaustive pour α.
Factorisons la vraisemblance. Comme θ est connu, on suppose que l’indicatrice vaut 1, sans
quoi la vraisemblance serait identiquement nulle et toute statistique serait exhaustive.
n n
!−α
Y Y
n n(α−1) −α n n(α−1)
Lα (X) = (α − 1) θ Xi = (α − 1) θ Xi .
i=1 i=1

Ainsi, le produit des observations est exhaustif.

b) Proposez un estimateur α̂ de α par la méthode du maximum de vraisemblance.
On trouve
n
X
log Lα (X) = n log(α − 1) + n(α − 1) log θ − α log Xi
i=1
n n  
n X n X Xi
∂α log L = + n log θ − log Xi = − log
α−1 α−1 θ
i=1 i=1
n  
n X Xi
∂α log L = 0 ⇔ = log
α̂ − 1 θ
i=1
n
⇔ α̂ = 1 + P  
n Xi
i=1 log θ

On vérifie que c’est bien un maximum en remarquant que

n
∂α2 log Lα (X) = − < 0.
(α − 1)2

c) α̂ est-il sans biais pour α ? Si non, construisez un estimateur sans biais α̂1 pour α et vérifiez
s’il est convergent et efficace.
Il faut calculer l’espérance de α̂. On utilise pour cela de résultat montré précédemment sur
la loi (α − 1) log(X/θ). En effet, en posant Yi = (α − 1) log(Xi /θ), on a
n(α − 1)
Yi ∼ Γ(1, 1) et α̂ = 1 + Pn .
i=1 Yi

Les Yi étant indépendants, leur somme W suit une loi Γ(1, n). Ainsi,
(α − 1)n
⇒ IE [α̂] = 1 + n(α − 1)IE W−1 .
 
α̂ = 1 +
W

Titulaire: D. Paindaveine Assistant: G. Van Bever

Math-F-207 Corrigé Séance 5

Cette dernière espérance est facile à calculer commeune intégrale, en faisant apparaı̂tre dans
−1 = (n − 1)−1 . Ainsi,

l’intégrande une densité Γ(1, n − 1) et on trouve IE W

n(α − 1) nα − 1
IE [α̂] = 1 + = .
n−1 n−1
L’estimateur maximum de vraisemblance est donc biaisé (mais asymptotiquemen sans biais).
Le biais est cependant aisément corrigé car l’espérance de α̂ est une fonction linéaire de α.
Ainsi,
(n − 1)α̂ + 1
α̂1 =
n
est sans biais pour α. Pour juger de sa convergence et de son efficacité, on calcule sa variance.
notons qu’avec les notations précédentes

(n − 1)(α − 1)
α̂1 = 1 +
W
et il nous faut l’espérance du carré de α̂1 , son espérance étant α. On trouve aisément que (en
développant le carré et en calculant IE W−1 et IE W−2 ) que
 

(n − 1)2 (α − 1)2
IE α̂12 = · · · = 2α − 1 +
 
.
(n − 1)(n − 2)

On en déduit alors la variance de l’estimateur :

(α − 1)2
Var (α̂1 ) = IE α̂12 − (IE [α̂1 ])2 = · · · =
 
.
n−2
On en déduit que l’estimateur est convergent. Calculons la borne de Cramer-Rao pour juger
de son efficacité :
1 n
I(α) = −IE ∂α2 log L =
 
BCR = avec .
I(α) (α − 1)2

Ainsi, Var (α̂1 ) > BCR et l’estimateur n’est pas efficace.

3. Inférence sur θ. Supposons que α est connu. Soient les variables aléatoires X1 , . . . , Xn i.i.d. de
loi de Pareto de paramètres α et θ.
a) Donnez une statistique exhaustive pour θ.
Bien entendu, la vraisemblance n’a pas foncièrement changé d’une fois à l’autre, mais il
convient ici de ne pas oublier les indicatrices, qui dépendent de θ. Ainsi,
n n
!
Y Y
Lθ (X) = (α − 1)n θn(α−1) Xi−α I[θ,+∞ [ (Xi ) = (α − 1)n θn(α−1) Xi−α I[θ,+∞ [ (X(1) ).
i=1 i=1

En factorisant, on constate que X(1) est une statistique exhaustive.

b) Proposez un estimateur θ̂ de θ par la méthode du maximum de vraisemblance.
Il n’est pas question de passer au logarithme directement du fait de la présence de l’indicatrice,
ni de dériver par rapport à θ. On note que la vraisemblance dépend de θ à travers l’indicatrice
d’une part et d’autre part à travers le terme θn(α−1) , qui est une fonction croissante de θ
puisque α > 1. Ainsi, comme il existe des valeurs de θ pour lesquelles la vraisemblance
n’est pas nulle, le maximum de vraisemblance est obtenu lorsque l’indicatrice vaut 1 ; ce qui
correspond à θ ≤ X(1) , et par croissance, le maximum est atteint pour la plus grande valeur
de θ dans cet ensemble, soit
θ̂ = X(1) .

Titulaire: D. Paindaveine Assistant: G. Van Bever

Math-F-207 Corrigé Séance 5

c) θ̂ est-il convergent ?
Pour juger des caractéristiques d’optimalité de cet estimateur, on doit connaı̂tre son espérance
et sa variance, mais les résultats obtenus dans la première partie de l’exercice nous garan-
tissent que la loi de θ̂ est une loi de Pareto de paramètres θ et n(α − 1) − 1. Ainsi,
h i n(α − 1)θ   n(α − 1)θ2
IE θ̂ = et Var θ̂ =
n(α − 1) − 1 (n(α − 1) − 2)(n(α − 1) − 1)2
pour peu que ces quantités existent, ce qui est vrai pour n suffisament grand. Cet estimateur
est ainsi biaisé, mais asymptotiquement sans biais, et convergent.

Exercice 4
Les éléments d’une population possèdent un caractère X qui suit une loi de probabilité dont la
densité est  −θ(x−a)
θe si x ≥ a
fa,θ (x) =
0 sinon
où θ, a > 0. Une suite de n expériences indépendantes a donné les valeurs x1 , . . . , xn .
1. Inférence sur a. Supposons que θ est connu.
a) Proposez un estimateur â de a par la méthode du maximum de vraisemblance.
La vraisemblance est donnée par
P
La,θ (X) = θn e−θ i Xi −na
e I[a,+∞[ (X(1) ).
Un raisonnement identique à celui fait plus haut permet de conclure
â = X(1)

b) â est-il sans biais, convergent, exhaustif ?

Par factorisation immédiate, â est exhaustif. Calculons son espérance et sa variance. Pour ce
faire, il faut obtenir la loi de X(1) . On obtient aisément
 
F X(1) (x) = 1 − (1 − F X (x))n = 1 − e−nθ(x−a) I[a,+∞[ (x).

La densité est alors donnée par

f X(1) (x) = nθe−nθ(x−a) I[a,+∞[ (x).
Restent deux calculs faciles :
Z ∞
IE [â] = xnθe−nθ(x−a) dx
a
h i∞ Z ∞
−nθ(x−a)
= xe + e−nθ(x−a) dx
a a
1
= a+
Z ∞ nθ
x2 nθe−nθ(x−a) dx
 2
IE â =
a
h i∞ Z ∞
2 −nθ(x−a)
= x e + 2xe−nθ(x−a) dx
a a
2
= a2 + IE [â]
nθ
2a 2
= a2 + + 2 2
nθ n θ
2a 2 1 2a 1
Var (â) = a2 + + 2 2 − a2 − 2 2 − = 2 2.
nθ n θ n θ nθ n θ

Titulaire: D. Paindaveine Assistant: G. Van Bever

Math-F-207 Corrigé Séance 5

L’estimateur maximum de vraisemblance est donc biaisé mais asymptotiquement sans biais,
et convergent.
2. Inférence sur θ. Supposons que a est connu.
a) Proposez un estimateur θ̂ de θ par la méthode du maximum de vraisemblance.
On reprend la vraisemblance, mais cette fois-ci, a étant connu, on peut supposer les indica-
trices toutes égales à un et s’en passer dans l’expression de L. On trouve alors
n
n X
∂θ log L = − n(Xi − a).
θ
i=1

Ainsi (et car la dérivée seconde est partout négative), l’estimateur maximum de vraisemblance
est
n
θ̂ = Pn
i=1 (X i − a)

b) Cherchez la densité de probabilité de la variable Y = θ ni=1 (Xi − a), où les Xi sont i.i.d. de
P
même loi que X.
On commence par la loi de Yi = θ(Xi − a), dont la densité est de façon immédiate

fY (y) = e−y I[0,+∞[ (y).

Ainsi, les Yi sont de loi Γ(1, 1). Y étant la somme des Yi , par indépendance, sa loi est Γ(1, n).
c) θ̂ est-il non biaisé ? Si non, construisez un estimateur non biaisé θ̂1 de θ et vérifiez s’il est
convergent, efficace et exhaustif.
On calcule l’espérance de θ̂ en se servant du résultat précédent (déjà vu plus haut)
h i nθ
IE θ̂ = nθIE Y−1 =
 
n−1
et l’on en déduit l’estimateur maximum de vraisemblance est biaisé mais asymptotiquement
sans biais. On peut alors définir
(n − 1)θ̂
θ̂1 =
n
qui sera sans biais. On calcule l’espérance de son carré et on trouve
h i (n − 1)θ
IE θ̂12 = ,
n−2
d’où la variance   (n − 1)θ2 θ2
Var θ̂1 = − θ2 = ,
n−2 n−2
ainsi θ̂1 est convergent. La borne de CR est θ2 /n ce qui implique que l’estimateur θ̂1 n’est
pas efficace.

Titulaire: D. Paindaveine Assistant: G. Van Bever