Math-F-207 Séance 3

Séance 3 : Estimateurs efficaces.

Rappels théoriques
Soient X1 , . . . , Xn uniformément distribuées de loi Pθ , où θ ∈ Θ. Notons Lθ (X) la vraisemblance,
sous θ, du vecteur d’observations X. Un estimateur de θ, T∗ (X), est dit UMVU (uniformly mi-
nimum variance unbiased ) si T∗ est sans biais et Varθ (T∗ ) ≤ Varθ (T) pour tout T sans biais.

Afin d’avoir les résultats suivants, on supposera que le modèle dans lequel nous travaillons est
régulier et que les statistiques utilisées sont régulières (voir cours). La matrice d’information de
Fisher est

h

0 i
I(θ) := Var ∇θ log Lθ (X) = IEθ ∇θ log Lθ (X) ∇θ log Lθ (X)

La quantité ∇θ log Lθ (X) est parfois appelée score ou fonction de score. Si IEθ [(T(X))] = ψ(θ)
une fonction dérivable, alors, en notant
 
∂ψi 
∆θ = (θ) 
∂θj θ

la matrice jacobienne de ψ par rapport à θ, pour toute statistique T telle que IEθ [T] = ψ(θ), on a

−1 0
Varθ (T) ≥ ∆θ I(θ) ∆θ .

Cette dernière quantité est appelée la borne de Cramer-Rao. On dit qu’une statistique T est
efficace pour ψ(θ) si Varθ (T) = ∆θ (I(θ))−1 ∆0θ . On a alors automatiquement que IEθ [T] = ψ(θ).

Proposition (Critère d’efficacité). La statistique T est efficace pour IEθ [T] = ψ(θ) ⇔ ∃ une
matrice A(θ) de rang maximal et une fonction φ(θ) telles que ∇θ log Lθ (X) = A(θ) (T(X) − φ(θ))
pour tout θ p.s. Si T est efficace, alors
(i) φ(θ) = ψ(θ)

−1
(ii) Varθ (T) = ∆θ A(θ)t
(iii) I(θ) = A(θ)∆θ .

Exercices
Exercice 1
Soit un échantillon aléatoire simple (X1 , . . . , Xn ) issu d’une population P(λ). Déterminez un
estimateur efficace de λ, donnez sa variance et l’information de Fisher apportée par l’échantillon.

Exercice 2
Considérons une population N (µ, σ 2 ), où σ 2 est connu. Soit (X1 , . . . , Xn ) un échantillon aléatoire
simple issu de cette population.
1. Déterminez un estimateur efficace de µ, déduisez-en sa variance et l’information de Fisher.
2. Déterminez cette dernière quantité par un calcul direct.

Titulaire: D. Paindaveine Assistant: G. Van Bever

Math-F-207 Séance 3

Exercice 3
Soient les variables aléatoires (X1 , . . . , Xn ), i.i.d., à valeurs dans IN et dont la distribution de
probabilité est donnée par
P (Xi = k) = θ(1 − θ)k ,
où k ∈ IN et 0 < θ < 1. Déterminez un estimateur efficace, sa variance et l’information de Fisher.

Exercice 4
Soit X ∼ P(λ). Considérons δ(X) := I[X=0] .
1. Montrez que cette statistique est non biaisée pour e−λ .
2. Montrez que c’est le seul estimateur non biaisé de e−λ .
3. On extrait d’une population P(λ) un échantillon de taille 1. Calculez à partir de cet échantillon
la borne de Cramer-Rao pour un estimateur non biaisé de e−λ . Calculez V arλ [δ(X)]. Quelle
conclusion pouvez-vous en tirer au sujet de δ(X) ?

Exercice 5
Extrayons un échantillon aléatoire simple (X1 , . . . , Xn ) d’une population caractérisée par la
fonction de densité  1 −x/θ
fθ (x) = θe si x > 0
0 sinon
où θ > 0. Déterminez un estimateur efficace de θ, calculez sa variance et l’information de Fisher.

Exercice 6 (*)
Replaçons-nous dans le cadre de l’exercice 18 de la séance 2. Déterminez, à partir de l’estima-
teur θ̂, un estimateur θ̂1 non biaisé pour θ. Cet estimateur est il efficace pour θ ?

Exercice 7 (*)
Replaçons-nous dans le cadre de l’exercice 19 de la séance 2. θ̂ est-il un estimateur efficace du
paramètre θ ?

Exercice 8
Considérons maintenant le cas où σ 2 est inconnu, pour un échantillon aléatoire simple (X1 , . . . , Xn )
issu d’une population N (µ, σ 2 ). On souhaite montrer que l’estimateur
 
X̄
T(X) = 1 P
S 2 = n−1 i (Xi − X̄)
2

est asymptotiquement efficace mais non efficace. Pour ce faire,

1. Calculer la matrice d’information de Fisher pour θ.
2. Se convaincre qu’il est impossible d’utiliser le critère d’efficacité sur la fonction de score.
3. Calculer la matrice de variance-covariance ΣT de l’estimateur de θ, i.e.
h

0 i
ΣT = IEθ T(X) − IEθ [T(X)] T(X) − IEθ [T(X)] .

Titulaire: D. Paindaveine Assistant: G. Van Bever

Math-F-207 Séance 3

4. Montrer que
I(θ) × ΣT → I2 .
On dira donc que notre estimateur est asymptotiquement efficace (au sens de Pitman).
Vous aurez besoin pour cela des quelques résultats (devant être démontrables !) ci-dessous :
1. Si X1 , . . . , Xn sont i.i.d. N (µ, σ 2 ), alors

σ2
X̄ ∼ N (µ, ).
n

2. Si X ∼ N (µ, σ 2 ), alors

IE X3 = µ3 + 3µσ 2 et IE X4 = µ4 + 6µ2 σ 2 + 3σ 4 .
   

3. La statistique S 2 peut s’écrire

n
! !
2 n 2 n 1X 2 2
S = s = Xi − X̄ .
n−1 n−1 n
i=1

Titulaire: D. Paindaveine Assistant: G. Van Bever