Académique Documents
Professionnel Documents
Culture Documents
(X) =
e
n
i
X
i
!
P
i
X
i
log L
(X) = n +
i
X
i
log log(
i
X
i
!)
log L
(X) = n +
i
X
i
log L
(X) = 0 n =
i
X
i
=
1
n
n
i=1
X
i
Verions que cette valeur est bien un maximum : prenons la derivee seconde.
log L
(X) = 0
i
X
i
2
,
qui est toujours negatif. Lestimateur maximum de vraisemblance est
= T(X) =
X.
Exercice 2
Soient X
1
, . . . , X
n
i.i.d. Bin(1, p). Determinez le MLE pour le param`etre p.
Solution :
Toujours les memes idees :
L
p
(X) = p
P
i
X
i
(1 p)
n
P
i
X
i
log L
p
(X) = log p
i
X
i
+ (n
i
X
i
) log(1 p)
p
log L
p
(X) =
i
X
i
p
(n
i
X
i
(1 p)
p
log L
p
(X) = 0 (1 p)
i
X
i
= p(n
i
X
i
)
i
X
i
p
i
X
i
= np p
i
X
i
p =
1
n
i
X
i
=
X
Ainsi, lestimateur maximum de vraisemblance est p =
X.
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
Exercice 3
Soient X
1
, . . . , X
n
i.i.d. N(,
2
). Determinez le MLE pour le param`etre = (,
2
)
T
. En deduire
le MLE pour
a) le param`etre , etant suppose connu,
b) le param`etre
2
, etant suppose connu.
Solution :
On trouve,
L
(X) =
n
i=1
1
2
exp
_
1
2
2
i
(X
i
)
2
_
log L
(X) = C
n
2
log
_
2
_
1
2
2
n
i=1
(X
i
)
2
log L
(X) =
_
log L
(X)
2
log L
(X)
_
=
_
1
i
(X
i
)
2
+
1
2
4
i
(X
i
)
2
_
=
_
n
2
(
X )
n
2
4
_
n
1
i
(X
i
)
2
2
_
_
log L
(X) = 0
_
=
X
1
n
n
i=1
(X
i
)
2
2
= 0
_
=
X
2
=
1
n
n
i=1
(X
i
X)
2
= s
2
Apr`es verication de maximalite (via la matrice Hessienne), on conclut que lestimateur maximum
de vraisemblance est
=
_
X
s
2
_
.
Le cas o` u lun des deux param`etres est connu est laisse en exercice.
Exercice 4
Soit X
1
, . . . , X
n
un echantillon simple issu dune population uniforme sur {1, 2, . . . , N}. Determinez,
`a partir de cet echantillon, le MLE pour N.
Solution :
Le param`etre dinteret est N. On trouve
IP[X = x] =
_
1
N
si x {1, . . . , N}
0 sinon
L
N
(X) =
n
i=1
1
N
I
{1,...,N}
(X
i
)
=
1
N
n
n
i=1
I
{1,...,N}
(X
i
)
=
1
N
n
I
{1,...,N}
(X
(1)
)I
{1,...,N}
(X
(n)
)
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
Cette quantite est maximisee en N lorsquelle est non-nulle et que N
n
est petit, cest-`a-dire lorsque
X
(n)
N et N petit. On trouve donc
N = X
(n)
= X
max
.
Exercice 5
Soit X
1
, . . . , X
n
un echantillon aleatoire simple issu dune population de densite
f
(x) =
_
1
(x)
si x >
0 sinon
o` u > 0. Determinez une estimation des param`etres et
a) par la methode du MLE,
b) par la methode des moments.
Solution :
L
,
(X) =
n
i=1
1
exp
_
1
(X
i
)
_
I
[ ,+[
(X
i
)
=
1
n
exp
_
(X
i
)
_
I
[ ,+[
(X
(1)
)
En se limitant `a X
(1)
> ,
log L
,
(X) = nlog
1
i
(X
i
)
log L
,
(X) = n
1
+
1
i
(X
i
)
log L
,
(X) = 0 n +
i
X
i
n = 0
=
X
log L
,
(X) =
n
Cette derni`ere quantite nest jamais nulle. Souhaitant maximiser la vraisemblance, on remarque
qu`a xe, la vraisemblance est une fonction croissante de . Quand prend sa valeur maximale,
la vraisemblance sera maximale. Or, X
(1)
. On trouve alors
= X
(1)
= X
min
et
=
X X
(1)
.
Nous souhaitons maintenant obtenir des estimateurs via la methode des moments. Il faut pour
cela calculer IE[X] et IE
_
X
2
(x) = e
x
I
[x>0]
,
IE[Y] =
1
et Var (Y) =
1
2
.
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
On remarque que X Exp(
1
). Ainsi,
IE[X] = IE[X] + = +
IE
_
X
2
n
i=1
X
i
=
+
1
n
n
i=1
X
2
i
=
2
+ (
+ )
2
Ceci livre
= s
X
=
(
1
n
i
X
2
i
)
X
2
et =
X s
X
.
Exercice 6
a) Soient X
1
, . . . , X
n
i.i.d. U[0, ]. Determinez
, le MLE pour le param`etre . Quelle est la loi de
?
b) Meme question si on prend X
1
, . . . , X
n
i.i.d. U[, ]. Quelle est la loi de
?
c) Soient X
1
, . . . , X
n
i.i.d. U[a, b]. Determinez a,
(X) =
n
i=1
1
2
I
[,]
(X
i
)
=
1
(2)
n
I
_
X
(1)
_
I
_
X
(n)
_
Cette quantite est `a maximiser en . On peut supposer les deux indicatrices satisfaites en prenant
susament grand. Ce maximum sera atteint si
1
(2)
n
est grand, i.e. si est petit. Il faut donc
choisir le plus petit tel que X
(1)
et X
(n)
, cest-`a-dire
= max
_
X
(n)
, X
(1)
_
.
La loi de
1
= X
(n)
dans le cas U[0, ] peut etre trouvee facilement. Celle-ci est donnee par
F
1
(x)
=
_
_
_
0 pour x < 0
_
F
X
(x)
_
n
=
_
x
_
n
pour 0 x
1 pour x >
Cherchons alors la loi de
2
= max
_
X
(n)
, X
(1)
_
. Dans le cas x ]0, ],
F
2
(x) = IP
_
2
x
_
= IP
_
X
(1)
x X
(n)
x
= IP[x X
1
x x X
n
x]
= (IP[x X x])
n
=
_
x
_
n
Les cas x 0 et x sont triviaux. On remarque que
2
L
=
1
.
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
Exercice 7
Soit X
1
, . . . , X
n
un echantillon aleatoire simple issu dune population de densite
f
(x) =
_
1
x
21
1
si 0 < x < 1
0 sinon
o` u 1/2 < < 1. Determinez le MLE pour .
Solution :
Immediatement, en supposant X
1
. . . , X
n
dans le support de f
,
L
(X) =
n
i=1
f
(X
i
)
=
n
i=1
1
X
21
1
i
I
0<X<1
(X
i
)
=
_
1
_
n
_
n
i=1
X
i
_21
1 n
i=1
I
0<X<1
(X
i
)
log L
i=1
log X
i
_
log L
(X) =
n
+
n
1
+
_
n
i=1
log X
i
_
2(1 ) + (2 1)
(1 )
2
log L
(X) = 0 =
1
1
1
n
i
log(X
i
)
Exercice 8
Les elements dune population poss`edent un caract`ere X qui suit une loi de densite
f
(x) =
+ 1
2
(1 |x|)
, x (1, 1),
o` u on suppose le param`etre > 1. On en extrait un echantillon simple X
1
, . . . , X
n
. Determinez
lestimateur du maximum de vraisemblance
de .
Solution :
Comme dhabitude, en supposant que les indicatrices sont veriees (le support de dependant pas
de ),
L
(X) =
n
i=1
f
(X
i
)
=
_
+ 1
2
_
n
_
n
i=1
(1 |X
i
|)
_
I
{X1}
(X
(1)
)I
{X1}
(X
(n)
)
log L
(X) = nlog
_
+ 1
2
_
+
n
i=1
log(1 |X
i
|)
log L
(X) =
n
+ 1
+
n
i=1
log(1 |X
i
|)
log L
(X) = 0 =
n
ln(1 |X
i
|)
1
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
Exercice 9
On consid`ere n observations independantes (X
1
, . . . , X
n
) de loi p U[0, a] +(1p) U[0, b], cest-`a-dire
que X
i
suit la loi uniforme sur [0, a] avec probabilite p et la loi uniforme sur [0, b] avec probabilite
1 p. On suppose que a < b avec a et b connus et xes.
a) Determinez la fonction de repartition et la densite de X
1
.
b) Considerons N
a
la variable aleatoire egale au nombre dindividus X
i
compris entre 0 et a. Quelle
est la loi de N
a
? En deduire son esperance et sa variance.
c) Determinez lestimateur du maximum de vraisemblance p du param`etre p.
Solution :
En notant U
1
(resp. U
2
) levenement X
1
provient de la loi uniforme sur [0, a] (resp. [0, b]), la
fonction de repartition de X
1
est donnee par
F
X
1
(x) = IP[X
1
x]
=
_
_
0 pour x < 0
IP[X
1
x|U
1
] IP[U
1
] + IP[X
1
x|U
2
] IP[U
2
] pour 0 x a
IP[X
1
x|U
1
] IP[U
1
] + IP[X
1
x|U
2
] IP[U
2
] pour a x b
1 pour x > b
=
_
_
0 pour x < 0
p
x
a
+
(1p)x
b
pour 0 x a
p + (1 p)
x
b
pour a x b
1 pour x > b
La fonction de densite est alors donnee par
f
X
1
(x) =
_
_
0 pour x < 0
p
a
+
(1p)
b
pour 0 x a
1p
b
pour a x b
0 pour x > b
Soit maintenant N
a
le nombre dobservations entre 0 et a. Les variables aleatoires etant sup-
posees independantes, chacune de celle-ci appartiendra `a lintervalle avec probabilite F
X
1
(a). Ainsi,
N
a
Bin
_
n, p = p +
(1 p)a
b
_
.
Des resultats connus nous donnent esperance et variance en bonus :
IE[N
a
] = n p et Var (N
a
) = n p(1 p).
Titulaire: D. Paindaveine Assistant: G. Van Bever
Math-F-207 Corrig e s eance 4
Cherchons alors lestimateur maximum de vraisemblance pour p, a et b etant suppose connnus.
On trouve
L
p
(X) =
n
i=1
f
X
(X
i
)
=
_
p
a
+
(1 p)
b
_
Na(X)
_
1 p
b
_
(nNa(X))
log L
p
(X) = N
a
(X) log
_
p
a
+
(1 p)
b
_
+ (n N
a
(X)) log
_
1 p
b
_
p
log L
p
(X) = N
a
(X)
_
b a
pb + (1 p)a
_
+ (n N
a
(X))
_
1
(1 p)
_
p
log L
p
(X) = 0 N
a
(X)
_
b a
pb + (1 p)a
_
+ (n N
a
(X))
_
1
(1 p)
_
= 0
. . .
p =
Na(X)b
n
a
b a
= 1
_
(nNa(X))b
n
_
b a
Remarque : Cet estimateur de p est bien borne par 1. Il peut par contre etre negatif (voir le cas
N
a
(X) = 0). On posera dans ce cas p = 0. En pratique, ce p sera-t-il souvent negatif ?
Titulaire: D. Paindaveine Assistant: G. Van Bever