Chap 3 : Estimateur sans biais à variance minimale

L’inconnu : θ ∈ Rp est déterministe

Fatma ABDELKEFI

26 septembre 2021

Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 1 / 11

Introduction

Notre objectif : Définir un estimateur efficace. Il faut d’abord les

notions suivantes :
1 Estimateur MVU (Minimum Variance Unbiased).
2 Matrice d’information de Fisher.
3 Borne de Cramér-Rao (BCR).
Estimateur MVU
Il s’agit d’un estimateur sans biais et à variance minimale :

 
θ̂1 (
. p bθ̂MVU = 0
∃θ̂MVU  ..  ∈ R , /
= 
var (θ̂MVU (k)) est minimale, ∀k = 1, . . . , p.
θ̂p

Propriété
L’estimateur MVU n’existe pas toujours et s’il existe il est unique.

Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 2 / 11

Recherche d’un estimateur MVU

Si l’estimteur MVU existe, il n’y a pas de procédure systématique

pour calculer θ̂MVU . Il y a trois approches possibles :
1 Approche 1 : Calculer la borne inférieure de la variance, BCR, et voir
s’il existe un estimateur qui peut atteindre cette borne. Si c’est le cas,
il s’agit de l’estimateur qualifié d’efficace.
2 Approche 2 : Quand BCR ne peut pas être atteinte : il n’existe pas
d’estimateur efficace. Solution : la théorie de Rao-Blackwell et celle de
Lehmann-Scheffe.
3 Approche 3 : Solution sous optimale pour trouver un estimateur
MVU : Estimateur BLUE (Best Linear Unbiased Estimator).
Démarche qu’on va suivre :
On cherche à définir la borne inférieure de la variance de l’estimateur.
Lorsqu’elle est atteinte, ∀θ, l’estimateur est sans biais et est qualifié
d’efficace car il utilise efficacement les données.
Dans la littérature, il existe plusieurs bornes, la plus utilisée est BCR
qui est basée sur la matrice d’information de Fisher.

Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 3 / 11

Matrice d’information de Fisher (1)

Hypothèses :
 
X1
On dispose d’un échantillon X =  ...  où Xk des v.a.r. et i.i.d. et
1
 

XN
 
x1
x =  ...  est une réalisation possible de X . On suppose que p < N.
 

xN
N
Y
2 On connaît PX ,θ ( x1 , . . . , xN ) = PXk ,θ (xk ).
| {z }
k=1
les N observations
Matrice d’information de Fisher :
Elle mesurer l’information qu’apporte X sur θ, qu’on note I(θ), de
taille p × p tels que :
 
∂ln(PX ,θ ) ∂ln(PX ,θ )
Iij (θ) = E ∂θi ∂θj , i, j = 1, . . . , p

Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 4 / 11

Matrice d’information de Fisher (2)

Propriétés de la matrice d’information de Fisher :

(P1) Elle est symértique et définie positive.
(P2) Elle est à caractère additif :

N X
N
X ∂ln(PXn ,θ ) ∂ln(PXm ,θ )
Iij (θ) = E(
n=1 m=1
∂θi ∂θj
N
X ∂ln(PXn ,θ ) ∂ln(PXn ,θ )
= E( )
n=1
∂θi ∂θj

On utilise les hypothèses suivantes :

Xk sont des v.a.r., i.i.d.
on peut différencier sous le signe "somme".
On intégre sur le support de X : RX .

Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 5 / 11

Matrice d’information de Fisher (3)
Démonstration.
N X
N
∂ln(PX ,θ ) ∂ln(PX ,θ ) X ∂ln(PXn ,θ ) ∂ln(PXm ,θ )
Iij = E( ∂θi ∂θj ) = E( ) =
n m=1 ∂θi ∂θj
| {z }
∂ln(PX ,θ ) ∂ln(PX ,θ )
E( n )E( m ), Xk ⊥, ∀n̸=m
∂θi ∂θj
X ∂ln(PXn ,θ ) ∂ln(PXn ,θ ) X ∂ln(PXn ,θ ) ∂ln(PXm ,θ )
E( )+ E( )E( ).
n ∂θ i ∂θj n,m,m̸=n
∂θ i ∂θj
∂
Z
∂ln(P )
Or E( ∂θXi n ,θ ) = (ln(PXn ))PXn ,θ (xn ) dxn . Comme
∂θi
∂PX ,θ (xn )
n
∂ ∂θi
∂θi (ln(PXn ,θ )) = alors
PXn ,θ
∂P Xn ,θ n )
(x ∂ ∂
Z Z
∂ln(P )
E( ∂θXi n ,θ ) = dxn = PXn ,θ (xn ) dxn = 1=0
∂θi ∂θi ∂θi
N N
X ∂ln(PXn ,θ ) ∂ln(PXn ,θ ) X (n)
Iij = E( )= Iij . On dit que la matrice de
n=1
∂θi ∂θ j n=1
Fisher est additive.
Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 6 / 11
Autre expression de la matrice de Fisher et condition de
régularité

Condition de régularité :
∂ln(PX ,θ ) ∂ln(PX ,θ )
E( ∂θ ) = 0, c’est à dire E( ∂θi ) = 0, ∀i = 1, . . . , p.
 
∂ ∂ln(P )
Cette condition de régularité implique que : ∂θ j
E( ∂θXi ,θ ) = 0 soit
∂ ∂ln(PX )
Z  
PX ,θ dx =
∂θj ∂θi !
∂ 2 ln(PX ,θ ) ∂ln(PX ,θ ) ∂ln(PX ,θ )
Z
PX ,θ + PX ,θ dx = 0. Il en résulte
∂θi ∂θj ∂θi ∂θj
que :

∂ 2 ln(PX ,θ ) ∂ln(PX ,θ ) ∂ln(PX ,θ )

Iij = −E( ∂θi ∂θj ) = E( ∂θi ∂θj ) avec i, j = 1, . . . , p.

Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 7 / 11

Exemple

Soit les N observations Xi modélisées

! par des gaussiennes et sont i.i.d., tel
m
que Xi ∼ N (m, σ 2 ) et soit θ = .
σ2
(xk −m)2
−
PXk ,θ (xk ) = √ 1 e 2σ 2 et
2πσ 2
N
X
− 1
2σ 2
(xk − m)2
1 k=1
PX ,θ (x1 , . . . , xN ) = N e . La matrice d’information
(2πσ 2 ) 2
de Fisher est donc de taille 2 × 2 où :
∂ 2 ln(PX,θ ) N
1 I11 (θ) = −E( ∂m∂m ) = σ 2 .
∂ 2 ln(P ) N
2 I22 (θ) = E( ∂σ2 ∂σX,θ2 ) = 2σ 4.

3 I12 (θ) = I21 (θ) = 0.

Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 8 / 11

Borne de Cramér-Rao (BCR) (1)

On s’intéresse au cas scalaire (p = 1).

Soit θ̂ un estimateur de θ, on suppose que la condition de
régularité est vérifiée alors :

( d(E( θ̂)) 2
dθ )
var (θ̂) ≥ BCR avec BCR = .
I(θ)

Comme l’estimateur est sans biais :

1
var (θ̂) ≥ BCR avec BCR = .
I(θ)

Intuitivement, plus on a de l’information apportée par l’échantillon de

taille N, plus petite est la plage de variation de la variance de
l’estimateur.

Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 9 / 11

Borne de Cramér-Rao (BCR) (2)
Démonstration.
La condition de Zrégularité étant vérifiée alors :
d(ln(PX ,θ )) d ln(PX ,θ )
E( dθ )= PX ,θ dx = 0 , on a donc :
 x∈RX dθ  
d(ln(PX ,θ )) dE(θ̂) d R
E E(θ̂) dθ = 0 (1). En plus : dθ = dθ θ̂(x )P X ,θ dx
 
R d(ln(PX ,θ )) d(ln(PX ,θ ))
= θ̂(x ) dθ PX ,θ dx = E θ̂ dθ (2).
 
dE(θ̂) d(ln(PX ,θ ))
(2)-(1) −
donne : dθ = E (θ̂ E(θ̂))
En utilisant l’inégalité
dθ .
de Cauchy-Schwarz,
 on en déduit que : 
d(ln(PX ,θ )) 2
( dE(θ̂) 2 2
dθ ) ≤ E((θ̂ − E(θ̂)) )E(( dθ ) ) = var (θ̂)I(θ) . Soit
dE(θ̂) 2
( )
var (θ̂) ≥ dθ
I(θ) .

cas vectoriel : on suppose que la condition de régularité est vérifiée.

La matrice de covariance Cθ̂ de tout estimateur non-biaisé vérifie :
Cθ̂ − (I(θ))−1 est symétrique, définie positive.
Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 10 / 11
Estimateur efficace
On suppose que la condition de régularité est vérifiée : l’es-
timateur atteint la borne de Carmér-Rao si et seulement si :
d(ln(PX ,θ ))
dθ = I(θ)(g( x1 , . . . , xN ) − θ)
| {z }
Les N observations

où g(x ) est une fonction de RN dans Rp . On parle donc d’un

estimateur efficace qui est l’estimateur MVU, donné par θ̂eff =
θ̂MVU = g(x1 , . . . , xN ) = θMV et sa variance est égale à I −1 (θ).

Démonstration.
d ln(PX,θ )
Sans biais ? E( dθ ) = I(θ)E((θ̂eff − θ)) = 0 donc bθ̂eff = 0.
L’inégalité de Cauchy-Schwarz devient une égalité ssi :
d ln(PX ,θ )
dθ = α(θ)(θ̂eff − E(θ̂eff )) = α(θ)(θ̂eff − θ). Il en résulte que :
d 2 ln(PX ,θ ) d 2 ln(PX ,θ )
d θ2
= d dα(θ)
θ (θ̂eff − θ) − α(θ). Soit : E( d θ2
) = −α(θ).
1
Donc : I(θ) = α(θ) et var (θ̂eff ) = I(θ) .
Fatma ABDELKEFI (Sup’Com) Estimation 26 septembre 2021 11 / 11