Méthodes d’estimation

Chap. 1. Statistiques d’ordres

Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Les notions d’exhaustivité et de complétude permettent de

trouver un estimateur sans biais à variance minimale.
Théorème de Lehmann-Scheffé

Théorème
Soit U un estimateur sans biais de q(θ). Soit T une statistique
exhaustive complète alors l’estimateur h(T ) défini par

h(t) = E(U|T =t )

est un estimateur sans biais pour q(θ) à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 97 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Les notions d’exhaustivité et de complétude permettent de

trouver un estimateur sans biais à variance minimale.
Théorème de Lehmann-Scheffé

Théorème
Soit U un estimateur sans biais de q(θ). Soit T une statistique
exhaustive complète alors l’estimateur h(T ) défini par

h(t) = E(U|T =t )

est un estimateur sans biais pour q(θ) à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 97 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 98 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 99 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Corollaire
Soit U un estimateur sans biais de q(θ). Si U est une fonction
de la statistique exhaustive complète alors U est un estimateur
sans biais pour q(θ) à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 100 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Corollaire
Soit U un estimateur sans biais de q(θ). Si U est une fonction
de la statistique exhaustive complète alors U est un estimateur
sans biais pour q(θ) à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 100 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 101 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Algorithme
1 On trouve une statistique exhaustive complète.
2 On trouve un estimateur sans biais qui est une fonction de
la statistique exhaustive complète.
3 Si on n’arrive pas à trouver un estimateur sans biais qui
est une fonction de la statistique exhaustive complète: on
applique le théorème de Lehmann-Scheffél.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 102 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Algorithme
1 On trouve une statistique exhaustive complète.
2 On trouve un estimateur sans biais qui est une fonction de
la statistique exhaustive complète.
3 Si on n’arrive pas à trouver un estimateur sans biais qui
est une fonction de la statistique exhaustive complète: on
applique le théorème de Lehmann-Scheffél.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 102 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Algorithme
1 On trouve une statistique exhaustive complète.
2 On trouve un estimateur sans biais qui est une fonction de
la statistique exhaustive complète.
3 Si on n’arrive pas à trouver un estimateur sans biais qui
est une fonction de la statistique exhaustive complète: on
applique le théorème de Lehmann-Scheffél.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 102 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Algorithme
1 On trouve une statistique exhaustive complète.
2 On trouve un estimateur sans biais qui est une fonction de
la statistique exhaustive complète.
3 Si on n’arrive pas à trouver un estimateur sans biais qui
est une fonction de la statistique exhaustive complète: on
applique le théorème de Lehmann-Scheffél.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 102 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Exemples
Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ Ber (θ),
q(θ) = θ : X̄ est un estimateur sans biais de θ à variance
minimale.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 103 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Exemples
Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ Ber (θ),
q(θ) = θ : X̄ est un estimateur sans biais de θ à variance
minimale.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 103 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Exemples
Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ P(θ),
q(θ) = θ : X̄ est un estimateur sans biais de θ à variance
minimale.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 104 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Exemples
Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ P(θ),
q(θ) = θ : X̄ est un estimateur sans biais de θ à variance
minimale.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 104 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Plusieurs résultats généraux existent pour cette famille de lois.
Il s’agit d’une famille de lois de probabilité englobant plusieurs
lois.
Définition
Soit une famille paramétrique de lois admettant des fonctions
de densité {f (x, θ); θ ∈ Θ ⊂ Rk }.
On dit qu’elle appartient à la classe exponentielle de lois si la
n
!
densité de probabilité conjointe L(x1 , · · · , xn ) = f (xj ) de
j=1
X1 , · · · , Xn , s’écrit:
k
!
Aj (θ)Tj (x1 ,··· ,xn )
L(x1 , · · · , xn ) = c(θ)h(x1 , · · · , xn )ej=1 1B (x1 , · · · , xn )

où B ⊂ Rn ne dépend pas de θ.
Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 105 / 135
 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Plusieurs résultats généraux existent pour cette famille de lois.
Il s’agit d’une famille de lois de probabilité englobant plusieurs
lois.
Définition
Soit une famille paramétrique de lois admettant des fonctions
de densité {f (x, θ); θ ∈ Θ ⊂ Rk }.
On dit qu’elle appartient à la classe exponentielle de lois si la
n
!
densité de probabilité conjointe L(x1 , · · · , xn ) = f (xj ) de
j=1
X1 , · · · , Xn , s’écrit:
k
!
Aj (θ)Tj (x1 ,··· ,xn )
L(x1 , · · · , xn ) = c(θ)h(x1 , · · · , xn )ej=1 1B (x1 , · · · , xn )

où B ⊂ Rn ne dépend pas de θ.
Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 105 / 135
 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
La plupart des lois usuelles appartiennent à la famille
exponentielle:
x
Loi de Poisson P(λ) : f (x, λ) = e−λ λx! IN (x),

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 106 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
La plupart des lois usuelles appartiennent à la famille
exponentielle:
x
Loi de Poisson P(λ) : f (x, λ) = e−λ λx! IN (x),

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 106 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
Loi Gamma: Gamma(α, β) :
1 −x
f (x) = β α Γ(α) x α−1 e β I(0,∞) (x),

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 107 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
Loi Gamma: Gamma(α, β) :
1 −x
f (x) = β α Γ(α) x α−1 e β I(0,∞) (x),

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 107 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
Loi uniforme U (0, θ) :

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 108 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
Loi uniforme U (0, θ) :

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 108 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Le lien entre famille exponentielle, exhaustivité et complétude
est donné par le théorème de Darmois:
Théorème
Soit une famille paramétrique de lois qui appartient à la classe
exponentielle de lois définie par
k
!
Aj (θ)Tj (x1 ,··· ,xn )
L(x1 , · · · , xn ) = c(θ)h(x1 , · · · , xn )ej=1 1B (x1 , · · · , xn ).

Si pour tout j = 1, · · · , k , θ → Aj (θ) est bijective alors

(T1 (x1 , · · · , xn ), · · · , Tk (x1 , · · · , xn )) est une statistique
exhaustive et complète.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 109 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Le lien entre famille exponentielle, exhaustivité et complétude
est donné par le théorème de Darmois:
Théorème
Soit une famille paramétrique de lois qui appartient à la classe
exponentielle de lois définie par
k
!
Aj (θ)Tj (x1 ,··· ,xn )
L(x1 , · · · , xn ) = c(θ)h(x1 , · · · , xn )ej=1 1B (x1 , · · · , xn ).

Si pour tout j = 1, · · · , k , θ → Aj (θ) est bijective alors

(T1 (x1 , · · · , xn ), · · · , Tk (x1 , · · · , xn )) est une statistique
exhaustive et complète.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 109 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
x
Loi de Poisson P(λ) : f (x) = e−λ λx! Ix∈N ,
n
"
=⇒ Xi est une statistique exhaustive et complète.
i=1
1 2
−
√1 e 2σ2
(x−µ)
Loi Normale N (µ, σ 2 ) : f (x) =
σ 2π
n
" n
"
=⇒( Xi , Xi2 ) est une statistique exhaustive et
i=1 i=1
complète.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 110 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
x
Loi de Poisson P(λ) : f (x) = e−λ λx! Ix∈N ,
n
"
=⇒ Xi est une statistique exhaustive et complète.
i=1
1 2
−
√1 e 2σ2
(x−µ)
Loi Normale N (µ, σ 2 ) : f (x) =
σ 2π
n
" n
"
=⇒( Xi , Xi2 ) est une statistique exhaustive et
i=1 i=1
complète.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 110 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
x
Loi de Poisson P(λ) : f (x) = e−λ λx! Ix∈N ,
n
"
=⇒ Xi est une statistique exhaustive et complète.
i=1
1 2
−
√1 e 2σ2
(x−µ)
Loi Normale N (µ, σ 2 ) : f (x) =
σ 2π
n
" n
"
=⇒( Xi , Xi2 ) est une statistique exhaustive et
i=1 i=1
complète.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 110 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
x
Loi de Poisson P(λ) : f (x) = e−λ λx! Ix∈N ,
n
"
=⇒ Xi est une statistique exhaustive et complète.
i=1
1 2
−
√1 e 2σ2
(x−µ)
Loi Normale N (µ, σ 2 ) : f (x) =
σ 2π
n
" n
"
=⇒( Xi , Xi2 ) est une statistique exhaustive et
i=1 i=1
complète.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 110 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

La classe exponentielle de lois

Exemples
x
Loi de Poisson P(λ) : f (x) = e−λ λx! Ix∈N ,
n
"
=⇒ Xi est une statistique exhaustive et complète.
i=1
1 2
−
√1 e 2σ2
(x−µ)
Loi Normale N (µ, σ 2 ) : f (x) =
σ 2π
n
" n
"
=⇒( Xi , Xi2 ) est une statistique exhaustive et
i=1 i=1
complète.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 110 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Exemples
Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ P(θ),
q(θ) = θ2 : X̄ 2 − X̄n est un estimateur sans biais de θ2 à
variance minimale.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 111 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Exemples
Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ P(θ),
q(θ) = θ2 : X̄ 2 − X̄n est un estimateur sans biais de θ2 à
variance minimale.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 111 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Exercices
Exercice 1
Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ P(θ),
1 Trouver un estimateur sans biais à variance minimale pour
e−θ

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 112 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Exercices
Exercice 1
Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ P(θ),
1 Trouver un estimateur sans biais à variance minimale pour
e−θ

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 112 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 113 / 135

 Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 114 / 135