Vous êtes sur la page 1sur 8

Math-F-207 Corrigé séance 3

Exercices
Exercice 1
Soit un échantillon aléatoire simple (X1 , . . . , Xn ) issu d’une population P(λ). Déterminez un
estimateur efficace de λ, donnez sa variance et l’information de Fisher apportée par l’échantillon.
Solution :

Comme dans l’ensemble des exercices de cette séance, nous allons utiliser le critère de factorisation.
Si X1 , . . . , Xn sont i.i.d P(λ), on trouve

e−nλ Pi Xi
Lλ (X) = Q λ
i Xi !
X Y
log Lλ (X) = −nλ + Xi log λ − log( Xi !)
Pi i

i Xi n 
∂λ log Lλ (X) = −n + = X̄ − λ
λ λ
Il est alors immédiat que T (X) = X̄ est un estimateur efficace pour λ, avec A(λ) = n/λ et ψ(λ) = λ.
En conséquence, ∆λ = 1, I(λ) = nλ .1 = n/λ. On trouve alors
λ λ
Varλ (T (X)) = 1. = .
n n
Il est ici aisé d’obtenir ces résultats directement :
n
1 X λ
Varλ (T (X)) = 2
Var (Xi ) =
n n
i=1
 P  P
Xi Var (Xi )
I(λ) = Var −n + i = i 2 = n/λ
λ λ

Exercice 2
Considérons une population N (µ, σ 2 ), où σ 2 est connu. Soit (X1 , . . . , Xn ) un échantillon aléatoire
simple issu de cette population.
1. Déterminez un estimateur efficace de µ, déduisez-en sa variance et l’information de Fisher.
2. Déterminez cette dernière quantité par un calcul direct.

Solution :
Par le critère, il est immédiat que
 n  P 2

1 i (Xi − µ)
Lµ (X) = exp −
2πσ 2σ 2
(Xi − µ)2
P
log Lµ (X) = C(σ, µ×) − i
2σ 2
n
1 X
∂µ log Lµ (X) = 2(Xi − µ)
2σ 2
i=1
n
= (X̄ − µ)
σ2
Avec A(µ) = n/σ 2 , on voit que T (X) = X̄ est un estimateur efficace pour ψ(µ) = µ. De plus,
∆µ = 1, I(µ) = n/σ 2 . Ainsi, Varµ (X̄) = σ 2 /n.

Titulaire: D. Paindaveine Assistant: G. Van Bever


Math-F-207 Corrigé séance 3

Des calculs directs montrent que


h i
I(µ) = IEµ (∂µ log Lµ (X))2
= Var (∂µ log Lµ (X)) + (IE [∂µ log Lµ (X)])2
n   hn i2
= Var 2 (X̄ − µ) + IE 2 (X̄ − µ)
σ σ
! " " # #!2
n2 1X n 1X
= Var Xi + IE Xi − µ
σ4 n σ2 n
i i
!!2
n2 −2 X n 1X
= n Var (Xi ) + IE [Xi ] − µ
σ4 σ2 n
i i
n
=
σ2

Exercice 3
Soient les variables aléatoires (X1 , . . . , Xn ), i.i.d., à valeurs dans IN et dont la distribution de
probabilité est donnée par
P (Xi = k) = θ(1 − θ)k ,
où k ∈ IN et 0 < θ < 1. Déterminez un estimateur efficace, sa variance et l’information de Fisher.
Solution :

On trouve
n
Y
Lθ (X) = θ(1 − θ)Xi
i=1
P
= θn (1 − θ) i Xi
X
log Lθ (X) = n log(θ) + Xi log(1 − θ)
i
n X 1
∂θ log Lθ (X) = − Xi
θ 1−θ
i
n nX̄
= +
θ θ− 1   
n θ−1 n 1−θ
= + X̄ = X̄ −
θ−1 θ θ−1 θ

Ainsi, T (X) = X̄ est un estimateur efficace pour ψ(θ) = (1 − θ)/θ. De plus, A(θ) = n/(θ − 1). On
trouve alors ∆θ = ∂ψ −2 , Var X̄ = 1−θ et I(θ) = n

∂θ = θ θ nθ 2 (1−θ)θ2
.

Exercice 4
Soit X ∼ P(λ). Considérons δ(X) := I[X=0] .
1. Montrez que cette statistique est non biaisée pour e−λ .
2. Montrez que c’est le seul estimateur non biaisé de e−λ .
3. On extrait d’une population P(λ) un échantillon de taille 1. Calculez à partir de cet échantillon
la borne de Cramer-Rao pour un estimateur non biaisé de e−λ . Calculez V arλ [δ(X)]. Quelle
conclusion pouvez-vous en tirer au sujet de δ(X) ?

Titulaire: D. Paindaveine Assistant: G. Van Bever


Math-F-207 Corrigé séance 3

Solution :
Le non-biais est presque trivial, via
X    
IE [δ(X)] = xIP [δ(X) = x] = 1.IP I[X=0] = 1 + 0.IP I[X=0] = 0
x
= IP [X = 0]
= e−λ

D’où la conclusion attendue. Prenons maintenant un autre estimateur T (X) et montrons qu’il ne
sera pas sans biais.
?
X
IE [T(X)] = T (x)IP [T (X) = x] = e−λ
x
X λx ? −λ
⇔ T (x)e−λ =e
x
x!
X λx ?
⇔ T (x)e−λ =1
x
x!

On a donc un polynome en λ de degré infini qui doit être égal à une constante. Seul le terme
indépendant du polynôme doit être 6= 0 (et doit valoir 1). On retrouve donc l’estimateur T (X) =
I[X=0] .
Calculons maintenant la borne de Cramer-Rao pour un échantillon de taille 1. On trouve
e−λ λX1
Lλ (X1 ) =
X1 !
log Lλ (X1 ) = −λ + X1 log λ − log X1
1
∂λ log Lλ (X1 ) = −1 + X1
λ
1
= (X1 − λ) .
λ
Par définition,

Iλ = Var (∂λ Lλ (X1 ))


 
X1 1 1
= Var −1 + = Var (X1 /λ) = 2 Var (X1 ) = .
λ λ λ

De plus, pour ψ = IE [δ(X)] = e−λ ,



∆λ == −e−λ .

La borne de Cramer-Rao = ∆λ Iλ−1 ∆λ = e−2λ λ. On a

Varλ (δ(X)) = IEλ δ 2 (X) − (IEλ [δ(X)])2 .


 

Or,
X
IEλ δ 2 (X) = xIP δ 2 (X) = x
   
x
 
= IP I[X=0] = 1
= e−λ

Ainsi, Varλ (δ(X)) = e−λ − e−2λ 6= borne de Cramer-Rao. L’estimateur n’atteignant pas la borne
(bien que sans biais), celui-ci n’est pas efficace. Petite question au passage : que faire si l’on dispose
d’un estimateur dont la variance atteint la borne de Cramer-Rao...mais qui n’est pas sans biais ?

Titulaire: D. Paindaveine Assistant: G. Van Bever


Math-F-207 Corrigé séance 3

Exercice 5
Extrayons un échantillon aléatoire simple (X1 , . . . , Xn ) d’une population caractérisée par la
fonction de densité  1 −x/θ
fθ (x) = θe si x > 0
0 sinon
où θ > 0. Déterminez un estimateur efficace de θ, calculez sa variance et l’information de Fisher.
Solution :

A nouveau,
n
Y 1
Lθ (X) = eXi /θ I[Xi ∈]0,∞[]
θ
i=1
−n θ−1 i Xi
P
= θ e I[X(1) ∈]0,∞[]
X  
log Lθ (X) = −n log(θ) − θ−1 Xi + log I[X(1) ∈]0,∞[]
i
n 1 X
∂θ log Lθ (X) = − + 2 Xi
θ θ
i
n 
= X̄ − θ .
θ2
L’estimateur T (X) = X̄ est donc efficace. De plus, ∆θ = 1, Varθ X̄ = θ2 /n et I(θ) = n/θ2 .


Exercice 6 (*)
Replaçons-nous dans le cadre de l’exercice supplémentaire 1 de la séance 2. Déterminez, à partir
de l’estimateur θ̂, un estimateur θ̂1 non biaisé pour θ. Cet estimateur est il efficace pour θ ?
Solution :

Rappelons que la densité des observations est donnée par


2
2θxe−θx si x > 0

fθ (x) =
0 sinon

où θ > 0. On a précédemment considéré l’estimateur θ̂ = n/ Xi2 de θ, dont on a déterminé le


P
n
biais : E(θ̂) = n−1 θ. Il est clair dès lors que l’estimateur sans biais correspondant est donné par

n−1
θ̂1 = θ̂.
n
Pour juger de l’efficacité de ce nouvel estimateur, nous pouvons utiliser le critère de factorisation
de la dérivée de la log-vraisemblance. La vraisemblance est donnée ici par
 Y  P 2
L(X, θ) = 2n Xi θn e−θ Xi .

En passant au logarithme, et en dérivant par rapport à θ on obtient


 X 
1 2 1
∂θ log L(X, θ) = −n Xi − .
n θ

Il apparaı̂t
P 2ainsi que seul 1/θ (et ses transformations affines) peut être estimé efficacement, et ce
par n1 Xi ( et ses transformations affines correspondantes). L’estimateur θ̂1 ne peut donc être
efficace pour θ.

Titulaire: D. Paindaveine Assistant: G. Van Bever


Math-F-207 Corrigé séance 3

n2 θ2
Remarque : Nous avons vu à la séance 2 que V ar(θ̂) = (n−1)2 (n−2)
. Nous en déduisons aisément la
θ2 2
variance de θ̂1 : En calculant la borne de Cramer-Rao pour le modèle, nous obtenons θn . Un
n−2 .
calcul facile permet de voir que, pout toute valeur de n, nous avons V ar(θ̂1 ) > B.C.R. Donc θ̂1
n’est pas efficace pour θ.

Exercice 7 (*)
Replaçons-nous dans le cadre de l’exercice supplémentaire 2 de la séance 2. θ̂ est-il un estima-
teur efficace du paramètre θ ?
Solution :

Rappelons que la densité des observations est donnée par


( 1
x θ −1
fθ (x) = θa1/θ
si 0 < x < a
0 sinon

où a et θ sont deux constantes strictement positives. On a proposé comme estimateur θ̂ = − n1 log Xai
P
pour le paramètre θ. La vraisemblance du modèle s’écrit
Y 1 1/θ−1
L(X, θ) = X .
θa1/θ i
En dérivant le logarithme de cette dernière expression nous obtenons
n n log a 1 X
∂θ log L(X, θ) = − + 2
− 2 log Xi .
θ θ θ

On réarrange les termes pour faire apparaı̂tre θ̂ et on obtient


n
∂θ log L(X, θ) = (θ̂ − θ).
θ2
L’estimateur proposé est donc efficace pour θ.

Exercice 8
Considérons maintenant le cas où σ 2 est inconnu, pour un échantillon aléatoire simple (X1 , . . . , Xn )
issu d’une population N (µ, σ 2 ). On souhaite montrer que l’estimateur
 

T(X) = 1
S 2 = n−1 2
P
i (Xi − µ)

est asymptotiquement efficace mais non efficace. Pour ce faire,


1. Calculer la matrice d’information de Fisher pour θ.
2. Se convaincre dans un second temps qu’il est impossible d’utiliser le critère d’efficacité sur la
fonction de score.
3. Calculer la matrice de variance-covariance ΣT de l’estimateur de θ.
4. Montrer que
I(θ) × ΣT → I2 .
On dira donc que notre estimateur est asymptotiquement efficace (au sens de Pitman).
Vous aurez besoin pour cela des quelques résultats (devant être démontrables !) ci-dessous :

Titulaire: D. Paindaveine Assistant: G. Van Bever


Math-F-207 Corrigé séance 3

1. Si X1 , . . . , Xn sont i.i.d. N (µ, σ 2 ), alors

σ2
X̄ ∼ N (µ, ).
n

2. Si X ∼ N (µ, σ 2 ), alors

IE X3 = µ3 + 3µσ 2 et IE X4 = µ4 + 6µ2 σ 2 + 3σ 4 .
   

3. La statistique S 2 peut s’écrire


n
! !
2 n 2 n 1X 2 2
S = s = Xi − X̄ .
n−1 n−1 n
i=1

Solution :
De manière classique (mais un peu pluslonguette),
 il est possible d’écrire (attention aux vecteurs
µ
à partir de maintenant), en posant θ = ,
σ2
n
!
1
Y 1 X
Lθ (X) = √ exp (Xi − µ)2
2πσ 2σ 2
i=1 i
n
n 2 1 X
(Xi − µ)2

log Lθ (X) = C − log σ −
2 2σ 2
i=1
 ∂ 
∇θ log Lθ (X) = ∂µ log Lθ (X)

∂σ 2
log Lθ (X)
1 P
 
= σ2 Pi − µ)
i (X
− σn2 + 2σ1 4 i (Xi − µ)2
n
 
σ2
(X̄ − µ)
= n −1
P 2 2

2σ 4
n i (Xi − µ) − σ

La matrice d’information de Fisher est alors



I(θ) = Varθ ∇θ log Lθ (X)
h  0 i
= IEθ ∇θ log Lθ (X) ∇θ log Lθ (X)
 
a b
= ,
c d

où  2  n2
n  n
a = IEθ 2
(X̄ − µ) = 4 Varθ X̄ − µ = 2 ,
σ σ σ
!
n2 X n
d = 8 Varθ n−1 (Xi − µ)2 − σ 2 = . . . = 4
4σ 2σ
i

Titulaire: D. Paindaveine Assistant: G. Van Bever


Math-F-207 Corrigé séance 3

Des calculs (un peu longs certes...dont les étapes principales sont détaillées ci-dessous) montrent
que b = c = 0 :
" !#
n2 1X
b = IEθ (X̄ − µ) (Xi − µ)2 − σ 2
2σ 6 n
i
" !#
n2 1X 2
 µn2
= IEθ X̄ Xi − µ) − 4
2σ 6 n 2σ
i
n  2
 n(n − 1)  2
 µn2
= IEθ (X1 ±µ)(X 1 − µ) + IE θ X 2 (X1 − µ) − 4
2σ 6 2σ 6 2σ
µn n(n − 1) µn 2
IEθ (X1 − µ)2 + µσ 2 − 4
 
=
2σ 6 2σ 6 2σ
= 0.

Ainsi,
n
 
σ2
0
I(θ) = n
0 2σ 4
Il est relativement aisé de se convaincre que la foncion de score, dont l’expression est donnée un
peu plus haut, ne peut être réécrite sous la forme A(θ)(T(X) − θ). Ceci est dû à la présence du
µ dans l’expression de la seconde composante du vecteur. Calculons alors la matrice de variance-
covariance :
 2   ! 
IEθ X̄2 − IEθ X̄ IEθ X̄S2 − IEθ X̄ IEθ S2
      
a b
ΣT =  2 = ,
IEθ X̄S2 − IEθ X̄ IEθ S2 IEθ (S2 )2 − IEθ S2 c d
       

σ2
où (et c’est ici que les choses deviennent amusantes) a = n et

n2
Varθ s2

d = 2
(n − 1)
  !2  
n2 IEθ  (n−1
X 2
X2i ) − X̄2  − IEθ s2 
 
=
(n − 1)2
i
  !2  
n 2 X n − 1 2
= IEθ  (n−1 X2i ) − X̄2  − ( )
(n − 1)2 n
i

Or,
 !2   !2  " #
X 1 X 2 X
IEθ  (n−1 X2i ) − X̄2  = 2 IEθ  X2i  − IEθ ( X2i )X̄2 + IEθ X̄4
 
n n
i i i
1   (n − 1)
IEθ X41 + IEθ X21 X22 − 2IEθ X21 X̄2 + IEθ X̄4
     
=
n n
Et,
 !2 
1 X
IEθ X1 X̄ = 2 IEθ X21
 2 2
Xi 
n
i
1   n−1
= 2 IEθ X41 + IEθ X21 X22
 
n n
2(n − 1)  3  (n − 1)(n − 2)
IEθ X21 X2 X3
 
+ 2
IEθ X1 X2 + 2
n n

Titulaire: D. Paindaveine Assistant: G. Van Bever


Math-F-207 Corrigé séance 3

Ainsi,

(n − 1)2 4 1 4
Varθ s2 = − µ + 6µ2 σ 2 + 3σ 4
 
2
σ +
n n
σ2 σ4
 
(n − 1) 2 2
+ σ + µ2 + µ4 + 6µ2 +3 2
n n n

1  (n − 1) 2 2
− 2 2 µ4 + 6µ2 σ 2 + 3σ 4 + µ + σ2
n n

2(n − 1) 3 2
 (n + 1)(n − 2) 2 2 2 2
+ µ + 3µσ µ + σ (σ + µ )µ
n2 n2
= ...
2(n − 1) 4
= σ
n2

Et donc,

n2 2
 n2 2(n − 1) 4 2σ 4
d= Varθ s = σ = .
(n − 1)2 (n − 1)2 n2 (n − 1)

Il est aisé de montrer en suivant les mêmes idées que b = c = 0. On trouve donc la matrice ΣT telle
que ! 
 n  σ2 
σ 2 0 n 0 1 0
I(θ) × ΣT = × 2σ 4 = n → I2 .
0 2σn4 0 (n−1) 0 n−1

Titulaire: D. Paindaveine Assistant: G. Van Bever