Académique Documents
Professionnel Documents
Culture Documents
Exercice 1
Les éléments d’une population possèdent un caractère X qui suit une loi de densité
p
✓ 2
f✓ (x) = p e ✓x /2
2⇡
où ✓ > 0. Pour étudier le paramètre ✓, on a e↵ectué une suite de n expériences indépendantes qui
ont donné les réalisations x1 , . . . , xn de n v.a. X1 , . . . , Xn i.i.d. de même loi que X.
1. Déterminez un estimateur ✓ˆ du paramètre ✓ par la méthode du maximum de vraisemblance.
2. ✓ˆ est-il exhaustif ?
3. Calculez la moyenne et la variance de ✓. ˆ Déduisez-en un estimateur ✓ˆ1 de ✓ non biaisé. Quelle
est la variance de ✓ˆ1 ? Est-il convergent ?
4. Notons B (n) (✓) la borne de Cramer-Rao pour l’estimation de ✓. Dans l’ensemble des estima-
teurs non biaisés de ✓, on définit l’efficacité relative de ✓ˆ1 comme étant
B (n) (✓)
e(✓ˆ1 ) := .
V ar[✓ˆ1 ]
Solution :
1. La vraisemblance s’écrit :
n
Y ✓ ◆n/2 Pn
✓ ✓/2 Xi2
L✓ (X) = f✓ (Xi ) = e i=1 .
2⇡
i=1
Cette fonction est C 1 en ✓, on peut donc chercher son maximum en utilisant les conditions
du premier et second ordre. Comme elle est partout positive, on passe au logarithme pour
simplifier les calculs :
✓ ◆ n
n ✓ ✓X 2
log L✓ (X) = log Xi
2 2⇡ 2
i=1
n
n 1X
@✓ log L✓ (X) = Xi2
2✓ 2
i=1
n
@✓ log L✓ (X) = 0 , ✓ˆ = Pn 2
i=1 Xi
On vérifie aisément que ✓ˆ = Pn n X 2 est un maximum et l’on conclut que ✓ˆ est l’estimateur
i=1 i
du maximum de vraisemblance pour ✓.
2. On utilise ici le critère de factorisation de la vraisemblance
✓ ◆n/2 Pn
✓ 2
ˆ
L✓ (X) = e ✓/2 i=1 Xi = h(X)g✓ (✓),
2⇡
avec ✓ ◆n/2
1 ✓
h(t) = et g✓ (x) = ✓e 2nx .
2⇡
La statistique ✓ˆ est donc exhaustive.
3. On ne veut pas intégrer directement ✓ˆ pour calculer son espérance, le changementPde variables
impliqué étant peu pratique. Il vaut mieux commencer par déterminer la loi de ni=1 Xi2 , qui
est plus accessible. En e↵et, on remarque à la forme de la densité de f✓ que les Xi suivent en
fait une loi normale‘déguisée”, si l’on pose µ = 0 et 2 = ✓ 1 . Ainsi,
1
Xi ⇠ N (0, )
✓
de façon indépendante. Si l’on se souvient que la somme de normales centrées réduites
indépendantes est distribuée
p selon une loi chi-deux, on est proche de l’objectif. Il suffit de
considérer les variables ✓Xi qui sont centrées réduites, et il vient que
n
X
Z=✓ Xi2 ⇠ 2
n,
i=1
On en déduit l’espérance de ✓ˆ
h i
ˆ 1 n
IE ✓ = n✓IE = ✓.
Z n 2
ˆ
Le raisonnement et les calculs sont similaires pour la variance. Connaissant l’espérance de ✓,
il nous reste pour obtenir la variance à calculer celle de son carré :
n2 ✓ 2
✓ˆ2 = .
Z2
On a alors, à l’aide des mêmes idées
h i n2 ✓ 2
IE ✓ˆ2 =
(n 2)(n 4)
et ⇣ ⌘ 2n2 ✓2
Var ✓ˆ = · · · = .
(n 2)2 (n 4)
On note au passage que ✓ˆ est asymptotiquement sans biais et convergent. On en déduit un
estimateur sans biais par une simple transformation linéaire :
n 2ˆ h i
✓ˆ1 = ✓ ) IE ✓ˆ1 = ✓.
n
i.e. ⇥ ⇤
IE s2 = (n 1)/n✓.
Pour définir simplement un estimateur à partir de s2 , il faut considérer son inverse 1/s2 .
Calculons l’espérance de cette statistique, dans l’espoir qu’elle soit une fonction linéaire de ✓.
⇥ 2⇤ n✓ 1 n✓
IE 1/s = IE 2
= n✓IE 2
= ··· = .
n✓s n✓s n 3
Ainsi, la statistique ✓ˆ2 = nns23 st un estimateur sans biais pour ✓. Calculons sa variance, et
pour ce faire, l’espérance de son carré :
(n 3)2 2 2 1
IE 2 4
= (n 3) ✓ IE 2 2 4
n s n ✓ s
Z
1 1 (n 1)
= (n 3)2 ✓2 2 (n 1)/2
z 2 1 e z/2 dz
IR+ z 2 ((n 1)/2)
1
= (n 3)2 ✓2
(n 3)(n 5)
(n 3)✓ 2
=
(n 5)
et donc ⇣ ⌘ (n 3)✓2 2✓2
Var ✓ˆ2 = ✓2 = .
(n 5) n 5
Cet estimateur est donc également convergent, et son efficacité relative est de
n 5 n 4
e(✓ˆ2 ) = < = e(✓ˆ1 ).
n n
On lui préférera donc ✓ˆ1 .
Exercice 2
Les éléments d’une population possèdent un caractère X qui suit une loi de densité
2 x2 /✓
f✓ (x) = p x2 e
⇡✓3/2
où ✓ > 0. Une suite de n expériences indépendantes a donné les valeurs x1 , . . . , xn .
1. Déterminez un estimateur ✓ˆ du paramètre ✓ par la méthode du maximum de vraisemblance.
2. Examinez les qualités suivantes de ✓ˆ : efficacité, biais, convergence, exhaustivité.
Solution :
On écrit la vraisemblance du modèle grâce à l’hypothèse i.i.d. et on obtient :
n
Y 2 Xi2 /✓
L✓ (X) = p X 2e
i=1
⇡✓3/2 i
Yn
2n 1 P
Xi2
= X 2e ✓ i
⇡ n/2 ✓3n/2 i=1 i
X n
3n 1X 2
log L✓ (X) = C log ✓ 2 log Xi Xi
2 ✓
i =1
n
3n 1 X 2
@✓ log L✓ (X) = + 2 Xi
2✓ ✓
i=1
Xn
2
@✓ log L✓ (X) = 0 , ✓ˆ = Xi2 .
3n
i=1
Ainsi, d’après le critère de factorisation, ✓ˆ est efficace (donc sans biais) pour ✓. Reste à juger de sa
convergence, en calculant sa variance. Pour ce faire, il nous manque l’espérance de son carré. On
note pour ce faire que les variables Yi = Xi2 ont pour densité
p 1 1
g✓ (y) = f✓ ( y) p = p 3/2 y 1/2 e y/✓
y > 0,
2 y ⇡✓
où l’on reconnaı̂t une loi Gamma de paramètres a = 1/✓ et b = 3/2. La somme de n variables
indépendantes de telle loi donne une variable Gamma de paramètres a = 1/✓ et b = 3n/2. On
connaı̂t donc son moment d’ordre deux
" n #
X (3n/2 + 2) 2
2
IE Yi = ✓ = (3n/2 + 1)(3n/2)✓2 .
(3n/2)
i=1
Exercice 3
En 1897, l’économiste suisse Vilfredo Pareto (1848-1923), professeur d’économie politique à
l’université de Lausanne, eut l’idée de modéliser la loi des revenus en postulant que le nombre relatif
de personnes dont le revenu dépasse une valeur x est inversément proportionnel à une puissance de
x. La définition suivante fut adoptée : une variable aléatoire X, absolument continue, suit une loi
de Pareto de paramètres ↵ et ✓ si sa densité est donnée par
↵
f↵,✓ (x) = kx I[x ✓] ;
où ✓ > 0 et ↵ > 1. Cet exercice vous propose d’étudier di↵érentes caractéristiques de cette loi sur
le plan probabiliste et statistique.
1. Analyse probabiliste
a) Déterminez la constante de normalisation k.
A ce stade vous êtes tous capable de calculer une intégrale définie... Réponse : k = (↵ 1)✓↵ 1.
c) Calculez le moment non centré d’ordre s(s 2 IN0 ). Précisez ses conditions d’existence.
Déduisez-en E[X] et V ar[X].
De manière générale,
Z +1 s ↵+1 +1
s (↵ 1)✓↵ 1 ↵ 1 x
IE [X ] = ↵ s
dx = (↵ 1)✓ .
✓ x s ↵+1 ✓
La condition d’existence de l’intégrale est s ↵ + 1 < 0, c’est-à-dire s < ↵ 1. On a alors
(↵ 1)✓s
IE [Xs ] = .
↵ 1 s
Si ↵ > 2, l’espérance existe et vaut donc
(↵ 1)✓
IE [X] = .
↵ 2
Si ↵ > 3, le moment d’ordre deux existe, et permet de calculer la variance
⇥ ⇤ (↵ 1)✓2 (↵ 1)2 ✓2 (↵ 1)✓2
Var (X) = IE X2 (IE [X])2 = 2
= .
↵ 3 (↵ 2) (↵ 3)(↵ 2)2
qui est de la forme F (z) = 1 (✓/z)a 1 avec a = n(↵ 1) 1. C’est donc une loi de Pareto
de paramètres n(↵ 1) 1 et ✓.
2. Inférence sur ↵. Supposons que ✓ est connu. Soient les variables aléatoires X1 , . . . , Xn i.i.d. de
loi de Pareto de paramètres ↵ et ✓.
a) Donnez une statistique exhaustive pour ↵.
Factorisons la vraisemblance. Comme ✓ est connu, on suppose que l’indicatrice vaut 1, sans
quoi la vraisemblance serait identiquement nulle et toute statistique serait exhaustive.
n n
! ↵
Y Y
n n(↵ 1) ↵ n n(↵ 1)
L↵ (X) = (↵ 1) ✓ Xi = (↵ 1) ✓ Xi .
i=1 i=1
c) ↵
ˆ est-il sans biais pour ↵ ? Si non, construisez un estimateur sans biais ↵ ˆ 1 pour ↵ et vérifiez
s’il est convergent et efficace.
Il faut calculer l’espérance de ↵
ˆ . On utilise pour cela de résultat montré précédemment sur
la loi (↵ 1) log(X/✓). En e↵et, en posant Yi = (↵ 1) log(Xi /✓), on a
n(↵ 1)
Yi ⇠ (1, 1) et ˆ = 1 + Pn
↵ .
Y
i=1 i
Les Yi étant indépendants, leur somme W suit une loi (1, n). Ainsi,
(↵ 1)n ⇥ 1
⇤
↵
ˆ =1+ ) IE [↵
ˆ ] = 1 + n(↵ 1)IE W .
W
n(↵ 1) n↵ 1
IE [↵
ˆ] = 1 + = .
n 1 n 1
L’estimateur maximum de vraisemblance est donc biaisé (mais asymptotiquemen sans biais).
Le biais est cependant aisément corrigé car l’espérance de ↵
ˆ est une fonction linéaire de ↵.
Ainsi,
(n 1)ˆ ↵+1
↵
ˆ1 =
n
est sans biais pour ↵. Pour juger de sa convergence et de son efficacité, on calcule sa variance.
notons qu’avec les notations précédentes
(n 1)(↵ 1)
↵
ˆ1 = 1 +
W
et il nous faut l’espérance du carré de ↵
ˆ⇥1 , son⇤ espérance
⇥ étant
⇤ ↵. On trouve aisément que (en
développant le carré et en calculant IE W 1 et IE W 2 ) que
⇥ 2⇤ (n 1)2 (↵ 1)2
ˆ 1 = · · · = 2↵
IE ↵ 1+ .
(n 1)(n 2)
Ainsi, Var (ˆ
↵1 ) > BCR et l’estimateur n’est pas efficace.
3. Inférence sur ✓. Supposons que ↵ est connu. Soient les variables aléatoires X1 , . . . , Xn i.i.d. de
loi de Pareto de paramètres ↵ et ✓.
a) Donnez une statistique exhaustive pour ✓.
Bien entendu, la vraisemblance n’a pas foncièrement changé d’une fois à l’autre, mais il
convient ici de ne pas oublier les indicatrices, qui dépendent de ✓. Ainsi,
n n
!
Y Y
L✓ (X) = (↵ 1)n ✓n(↵ 1) Xi ↵ I[✓,+1 [ (Xi ) = (↵ 1)n ✓n(↵ 1) Xi ↵ I[✓,+1 [ (X(1) ).
i=1 i=1
c) ✓ˆ est-il convergent ?
Pour juger des caractéristiques d’optimalité de cet estimateur, on doit connaı̂tre son espérance
et sa variance, mais les résultats obtenus dans la première partie de l’exercice nous garan-
tissent que la loi de ✓ˆ est une loi de Pareto de paramètres ✓ et n(↵ 1) 1. Ainsi,
h i n(↵ 1)✓ ⇣ ⌘ n(↵ 1)✓2
IE ✓ˆ = et Var ✓ˆ =
n(↵ 1) 1 (n(↵ 1) 2)(n(↵ 1) 1)2
pour peu que ces quantités existent, ce qui est vrai pour n suffisament grand. Cet estimateur
est ainsi biaisé, mais asymptotiquement sans biais, et convergent.
Exercice 4
Les éléments d’une population possèdent un caractère X qui suit une loi de probabilité dont la
densité est ⇢
✓e ✓(x a) si x a
fa,✓ (x) =
0 sinon
où ✓, a > 0. Une suite de n expériences indépendantes a donné les valeurs x1 , . . . , xn .
1. Inférence sur a. Supposons que ✓ est connu.
a) Proposez un estimateur â de a par la méthode du maximum de vraisemblance.
La vraisemblance est donnée par
P
La,✓ (X) = ✓n e ✓ i Xi
e na
I[a,+1[ (X(1) ).
Un raisonnement identique à celui fait plus haut permet de conclure
â = X(1)
L’estimateur maximum de vraisemblance est donc biaisé mais asymptotiquement sans biais,
et convergent.
2. Inférence sur ✓. Supposons que a est connu.
a) Proposez un estimateur ✓ˆ de ✓ par la méthode du maximum de vraisemblance.
On reprend la vraisemblance, mais cette fois-ci, a étant connu, on peut supposer les indica-
trices toutes égales à un et s’en passer dans l’expression de L. On trouve alors
n
X
n
@✓ log L = n(Xi a).
✓
i=1
Ainsi (et car la dérivée seconde est partout négative), l’estimateur maximum de vraisemblance
est
n
✓ˆ = Pn
i=1 (X i a)
P
b) Cherchez la densité de probabilité de la variable Y = ✓ ni=1 (Xi a), où les Xi sont i.i.d. de
même loi que X.
On commence par la loi de Yi = ✓(Xi a), dont la densité est de façon immédiate
y
fY (y) = e I[0,+1[ (y).
Ainsi, les Yi sont de loi (1, 1). Y étant la somme des Yi , par indépendance, sa loi est (1, n).
c) ✓ˆ est-il non biaisé ? Si non, construisez un estimateur non biaisé ✓ˆ1 de ✓ et vérifiez s’il est
convergent, efficace et exhaustif.
On calcule l’espérance de ✓ˆ en se servant du résultat précédent (déjà vu plus haut)
h i ⇥ ⇤ n✓
IE ✓ˆ = n✓IE Y 1
=
n 1
et l’on en déduit l’estimateur maximum de vraisemblance est biaisé mais asymptotiquement
sans biais. On peut alors définir
(n 1)✓ˆ
✓ˆ1 =
n
qui sera sans biais. On calcule l’espérance de son carré et on trouve
h i (n 1)✓
IE ✓ˆ12 = ,
n 2
d’où la variance ⇣ ⌘ (n 1)✓2 ✓2
Var ✓ˆ1 = ✓2 = ,
n 2 n 2
ainsi ✓ˆ1 est convergent. La borne de CR est ✓2 /n ce qui implique que l’estimateur ✓ˆ1 n’est
pas efficace.