Vous êtes sur la page 1sur 52

Méthodes d’estimation

Chap. 1. Statistiques d’ordres


Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Statistique exhaustive

Définition
Une statistique T (X1 , · · · , Xn ) est dite exhaustive pour θ si la loi
conditionnelle de (X1 , · · · , Xn ) sachant T (X1 , · · · , Xn )
! " #
"
P X1 = x1 , · · · , Xn = xn "
T (X1 ,··· ,Xn )=t

ne dépend pas de θ

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 69 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Statistique exhaustive

Définition
Une statistique T (X1 , · · · , Xn ) est dite exhaustive pour θ si la loi
conditionnelle de (X1 , · · · , Xn ) sachant T (X1 , · · · , Xn )
! " #
"
P X1 = x1 , · · · , Xn = xn "
T (X1 ,··· ,Xn )=t

ne dépend pas de θ

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 69 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple: Loi de Poisson


Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xi ∼ P(θ),
alors
n
$
T (X1 , · · · , Xn ) = Xj est une statistique exhaustive pour θ
j=1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 70 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple: Loi de Poisson


Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xi ∼ P(θ),
alors
n
$
T (X1 , · · · , Xn ) = Xj est une statistique exhaustive pour θ
j=1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 70 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

 
'
Pr X1 = x1 , · · · , Xn = xn n
!

Xj =t
j=1
* ,
n
+
Pr X1 = x1 , · · · , Xn = xn , Xj = t
j=1
= n
+
Pr ( Xj = t)
j=1
* ,
n−1
+
Pr X1 = x1 , · · · , Xn = xn , Xn = t − xj
j=1
= n
+
Pr ( Xj = t)
j=1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 71 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 72 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

donc
  
t!"
' 
 n−1
# si
!
Pr X1 = x1 , · · · , Xn = xn = nt x1 !···xn−1 ! t− xj !
n
! j=1
Xj =t 
 0
j=1 sinon.
n
+
La probabilité conditionnelle est indépendante de θ, donc Xj
j=1
est une statistique exhaustive pour θ

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 73 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple : Loi de Bernoulli


Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xi ∼ Ber (θ)

Pθ (Xi = 1) = θ

et
Pθ (Xi = 0) = 1 − θ

n
$
T (X1 , · · · , Xn ) = Xj est une statistique exhaustive pour θ
j=1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 74 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple : Loi de Bernoulli


Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xi ∼ Ber (θ)

Pθ (Xi = 1) = θ

et
Pθ (Xi = 0) = 1 − θ

n
$
T (X1 , · · · , Xn ) = Xj est une statistique exhaustive pour θ
j=1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 74 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 75 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

   n
'  1 +
Cnt
si xj = t
Pr X1 = x1 , · · · , Xn = xn n
!
= j=1
Xj =t 
j=1 0 sinon
 
'
La distribution de X1 , · · · , Xn n
!
 ne dépend pas de θ
Xj
j=1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 76 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive:Théorème de factorisation:


(Fisher-Neyman)
Dans les exemples précédents, on a vu que le calcul de la
densité conditionnel est loin d’être immédiat. Le théorème
suivant va nous simplifier la tâche.

Théorème
Soient X1 , · · · , Xn n variables aléatoires i.i.d. de densité f (., θ).
Une statistique T (X1 , X2 , · · · , Xn ) est dite exhaustive pour le
paramètre θ si et seulement si la densité de probabilité
conjointe de X1 , · · · , Xn , s’écrit
n
1
L(x1 , · · · , xn ) = f (xj ) = g[T (x1 , · · · , xn ), θ] × h(x1 , · · · , xn )
j=1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 77 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive:Théorème de factorisation:


(Fisher-Neyman)
Dans les exemples précédents, on a vu que le calcul de la
densité conditionnel est loin d’être immédiat. Le théorème
suivant va nous simplifier la tâche.

Théorème
Soient X1 , · · · , Xn n variables aléatoires i.i.d. de densité f (., θ).
Une statistique T (X1 , X2 , · · · , Xn ) est dite exhaustive pour le
paramètre θ si et seulement si la densité de probabilité
conjointe de X1 , · · · , Xn , s’écrit
n
1
L(x1 , · · · , xn ) = f (xj ) = g[T (x1 , · · · , xn ), θ] × h(x1 , · · · , xn )
j=1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 77 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive
Exemple: Loi de Poisson
Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ P(θ),
n
$
alors T (X1 , · · · , Xn ) = Xj est une statistique exhaustive pour θ.
j=1 n
2
En effet: n
! 1N (xj )
xj j=1
−nθ
L(x1 , · · · , xn ) = e θ j=1
n
2
xj !
j=1
n
$
= g( xj , θ)h(x1 , · · · , xn )
j=1

1Nn (x1 ,··· ,xn )


où g(t, θ) = e−nθ θt et h(x1 , · · · , xn ) = n
$
xj !
j=1
Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 78 / 115
Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive
Exemple : Loi normale
Soient X1 , · · · , Xn n v.a. i.i.d. ∼ N (µ, σ 2 ), θ = (µ, σ 2 ).
1 2

√1 e 2σ2
(x−µ)
f (x, µ, σ 2 ) = , x ∈ R, alors
σ 2π
n 3
+ 42
(X̄ , Xj − X̄ ) est une statistique exhaustive pour
j=1
θ = (µ, σ 2 ). En effet: !n
− 1 2 [ (xj −x̄)2 +n(x̄−µ)2 ]
1 2σ
L(x1 , · · · , xn ) = ( √ )n e j=1

σ 2π
 
n
$
= g x̄, (xj − x̄)2 , µ, σ 2  h(x1 , · · · , xn )
j=1

− 1 [t +n(t1 −µ)2 ]
où g(t1 , t2 , µ, σ 2 ) = ( √1 )n e 2σ2 2 et h(x1 , · · · , xn ) = 1
σ 2π
Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 79 / 115
Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive
Exemple : Loi normale
Soient X1 , · · · , Xn n v.a. i.i.d. ∼ N (µ, σ 2 ), θ = (µ, σ 2 ).
1 2

√1 e 2σ2
(x−µ)
f (x, µ, σ 2 ) = , x ∈ R, alors
σ 2π
n 3
+ 42
(X̄ , Xj − X̄ ) est une statistique exhaustive pour
j=1
θ = (µ, σ 2 ). En effet: !n
− 1 2 [ (xj −x̄)2 +n(x̄−µ)2 ]
1 2σ
L(x1 , · · · , xn ) = ( √ )n e j=1

σ 2π
 
n
$
= g x̄, (xj − x̄)2 , µ, σ 2  h(x1 , · · · , xn )
j=1

− 1 [t +n(t1 −µ)2 ]
où g(t1 , t2 , µ, σ 2 ) = ( √1 )n e 2σ2 2 et h(x1 , · · · , xn ) = 1
σ 2π
Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 79 / 115
Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive
Exemple : Loi normale
Soient X1 , · · · , Xn n v.a. i.i.d. ∼ N (µ, σ 2 ), θ = (µ, σ 2 ).
1 2

√1 e 2σ2
(x−µ)
f (x, µ, σ 2 ) = , x ∈ R, alors
σ 2π
n 3
+ 42
(X̄ , Xj − X̄ ) est une statistique exhaustive pour
j=1
θ = (µ, σ 2 ). En effet: !n
− 1 2 [ (xj −x̄)2 +n(x̄−µ)2 ]
1 2σ
L(x1 , · · · , xn ) = ( √ )n e j=1

σ 2π
 
n
$
= g x̄, (xj − x̄)2 , µ, σ 2  h(x1 , · · · , xn )
j=1

− 1 [t +n(t1 −µ)2 ]
où g(t1 , t2 , µ, σ 2 ) = ( √1 )n e 2σ2 2 et h(x1 , · · · , xn ) = 1
σ 2π
Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 79 / 115
Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive
Exemple : Loi normale
Soient X1 , · · · , Xn n v.a. i.i.d. ∼ N (µ, σ 2 ), θ = (µ, σ 2 ).
1 2

√1 e 2σ2
(x−µ)
f (x, µ, σ 2 ) = , x ∈ R, alors
σ 2π
n 3
+ 42
(X̄ , Xj − X̄ ) est une statistique exhaustive pour
j=1
θ = (µ, σ 2 ). En effet: !n
− 1 2 [ (xj −x̄)2 +n(x̄−µ)2 ]
1 2σ
L(x1 , · · · , xn ) = ( √ )n e j=1

σ 2π
 
n
$
= g x̄, (xj − x̄)2 , µ, σ 2  h(x1 , · · · , xn )
j=1

− 1 [t +n(t1 −µ)2 ]
où g(t1 , t2 , µ, σ 2 ) = ( √1 )n e 2σ2 2 et h(x1 , · · · , xn ) = 1
σ 2π
Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 79 / 115
Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple : Loi Uniforme


Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ U(0, θ),
alors
X(n) est une statistique exhaustive pour θ. En effet:

1
L(x1 , · · · , xn ) = I (x )I (x )
θn [0,∞) (1) (−∞,θ] (n)
= g(X(n) , θ)h(x1 , · · · , xn )

1
où g(t, θ) = θ n I(−∞,θ] (t) et h(x1 , · · · , xn ) = I[0,∞) (x(1) )

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 80 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple : Loi Uniforme


Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec Xj ∼ U(0, θ),
alors
X(n) est une statistique exhaustive pour θ. En effet:

1
L(x1 , · · · , xn ) = I (x )I (x )
θn [0,∞) (1) (−∞,θ] (n)
= g(X(n) , θ)h(x1 , · · · , xn )

1
où g(t, θ) = θ n I(−∞,θ] (t) et h(x1 , · · · , xn ) = I[0,∞) (x(1) )

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 80 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple : Loi Uniforme


Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec
Xj ∼ U(θ1 , θ2 ), θ = (θ1 , θ2 ) alors
(X(1) , X(n) ) est une statistique exhaustive pour θ
En effet:

1
L(x1 , · · · , xn ) = I (x )I (x )
(θ2 − θ1 )n [θ1 ,∞) (1) (−∞,θ2 ] (n)
= g(X(1) , X(n) , θ1 , θ2 )h(x1 , · · · , xn )

1
où g(t1 , t2 , θ1 , θ2 ) = (θ2 −θ 1)
n I[θ1 ,∞) (t1 )I(−∞,θ2 ] (t(2) )

et h(x1 , · · · , xn ) = 1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 81 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple : Loi Uniforme


Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec
Xj ∼ U(θ1 , θ2 ), θ = (θ1 , θ2 ) alors
(X(1) , X(n) ) est une statistique exhaustive pour θ
En effet:

1
L(x1 , · · · , xn ) = I (x )I (x )
(θ2 − θ1 )n [θ1 ,∞) (1) (−∞,θ2 ] (n)
= g(X(1) , X(n) , θ1 , θ2 )h(x1 , · · · , xn )

1
où g(t1 , t2 , θ1 , θ2 ) = (θ2 −θ 1)
n I[θ1 ,∞) (t1 )I(−∞,θ2 ] (t(2) )

et h(x1 , · · · , xn ) = 1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 81 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple : Loi Uniforme


Soient X1 , · · · , Xn n variables aléatoires i.i.d. avec
Xj ∼ U(θ1 , θ2 ), θ = (θ1 , θ2 ) alors
(X(1) , X(n) ) est une statistique exhaustive pour θ
En effet:

1
L(x1 , · · · , xn ) = I (x )I (x )
(θ2 − θ1 )n [θ1 ,∞) (1) (−∞,θ2 ] (n)
= g(X(1) , X(n) , θ1 , θ2 )h(x1 , · · · , xn )

1
où g(t1 , t2 , θ1 , θ2 ) = (θ2 −θ 1)
n I[θ1 ,∞) (t1 )I(−∞,θ2 ] (t(2) )

et h(x1 , · · · , xn ) = 1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 81 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple: Loi gamma


Soient X1 , · · · , Xn n v.a. i.i.d. ∼ G(α, β)
β α −βx α−1
f (x) = Γ(α) e x , x > 0,
n
2 +n
( Xj , Xj ) est une statistique exhaustive pour θ = (α, β)
j=1 j=1
n
!
n
En effet: β nα −β j=1 Xj 1 α−1
L(x1 , · · · , xn ) = = n e xj
Γ (α)
j=1
n
1 n
$
= g( Xj , Xj , α, β)h(x1 , · · · , xn )
j=1 j=1

β nα −βt2 α−1
où g(t1 , t2 , α, β) = Γn (α) e t1 et h(x1 , · · · , xn ) = 1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 82 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple: Loi gamma


Soient X1 , · · · , Xn n v.a. i.i.d. ∼ G(α, β)
β α −βx α−1
f (x) = Γ(α) e x , x > 0,
n
2 +n
( Xj , Xj ) est une statistique exhaustive pour θ = (α, β)
j=1 j=1
n
!
n
En effet: β nα −β j=1 Xj 1 α−1
L(x1 , · · · , xn ) = = n e xj
Γ (α)
j=1
n
1 n
$
= g( Xj , Xj , α, β)h(x1 , · · · , xn )
j=1 j=1

β nα −βt2 α−1
où g(t1 , t2 , α, β) = Γn (α) e t1 et h(x1 , · · · , xn ) = 1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 82 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple: Loi gamma


Soient X1 , · · · , Xn n v.a. i.i.d. ∼ G(α, β)
β α −βx α−1
f (x) = Γ(α) e x , x > 0,
n
2 +n
( Xj , Xj ) est une statistique exhaustive pour θ = (α, β)
j=1 j=1
n
!
n
En effet: β nα −β j=1 Xj 1 α−1
L(x1 , · · · , xn ) = = n e xj
Γ (α)
j=1
n
1 n
$
= g( Xj , Xj , α, β)h(x1 , · · · , xn )
j=1 j=1

β nα −βt2 α−1
où g(t1 , t2 , α, β) = Γn (α) e t1 et h(x1 , · · · , xn ) = 1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 82 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Exemple: Loi gamma


Soient X1 , · · · , Xn n v.a. i.i.d. ∼ G(α, β)
β α −βx α−1
f (x) = Γ(α) e x , x > 0,
n
2 +n
( Xj , Xj ) est une statistique exhaustive pour θ = (α, β)
j=1 j=1
n
!
n
En effet: β nα −β j=1 Xj 1 α−1
L(x1 , · · · , xn ) = = n e xj
Γ (α)
j=1
n
1 n
$
= g( Xj , Xj , α, β)h(x1 , · · · , xn )
j=1 j=1

β nα −βt2 α−1
où g(t1 , t2 , α, β) = Γn (α) e t1 et h(x1 , · · · , xn ) = 1

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 82 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Propriété
Si T (X1 , X2 , · · · , Xn ) est une statistique exhaustive et si θ̂ est
l’estimateur de maximum de vraisemblance, alors il existe une
fonction φ telle que θ̂ = φ0T (X1 , X2 , · · · , Xn ).

La statistique de maximum de vraisemblance est fonction d’une


statistique exhaustive, mais elle n’est pas forcément exhaustive
elle-même.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 83 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Propriété
Si T (X1 , X2 , · · · , Xn ) est une statistique exhaustive et si θ̂ est
l’estimateur de maximum de vraisemblance, alors il existe une
fonction φ telle que θ̂ = φ0T (X1 , X2 , · · · , Xn ).

La statistique de maximum de vraisemblance est fonction d’une


statistique exhaustive, mais elle n’est pas forcément exhaustive
elle-même.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 83 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Statistique exhaustive

Propriété
Si T (X1 , X2 , · · · , Xn ) est une statistique exhaustive et si θ̂ est
l’estimateur de maximum de vraisemblance, alors il existe une
fonction φ telle que θ̂ = φ0T (X1 , X2 , · · · , Xn ).

La statistique de maximum de vraisemblance est fonction d’une


statistique exhaustive, mais elle n’est pas forcément exhaustive
elle-même.

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 83 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 84 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Réduction de la variance
Le théorème suivant permet à partir d’un estimateur sans biais
de construire un autre estimateur sans biais de variance
inférieure, pour peu qu’il existe une statistique exhaustive.
Théorème de Rao-Blackwell

Théorème
Soit U un estimateur sans biais de q(θ).
Soit T une statistique exhaustive alors l’estimateur h(T ) défini
par
h(t) = E(U|T =t )
est sans biais pour q(θ) et

Var (h(T )) ≤ Var (U)

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 85 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Réduction de la variance
Le théorème suivant permet à partir d’un estimateur sans biais
de construire un autre estimateur sans biais de variance
inférieure, pour peu qu’il existe une statistique exhaustive.
Théorème de Rao-Blackwell

Théorème
Soit U un estimateur sans biais de q(θ).
Soit T une statistique exhaustive alors l’estimateur h(T ) défini
par
h(t) = E(U|T =t )
est sans biais pour q(θ) et

Var (h(T )) ≤ Var (U)

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 85 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Démonstration

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 86 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 87 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 88 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Notre objectif est de trouver parmi les estimateurs non biaisés,


un estimateur sans biais à variance minimale. Les notions
d’exhaustivité et de complétude permettent de trouver un
estimateur sans biais à variance minimale.

Définition
On dit qu’un estimateur θ̂n est un estimateur sans biais à
variance minimale ESBVM pour θ s’il est sans biais pour θ et si
pour tout autre estimateur θn sans biais on a :

Var (θ̂n ) ≤ Var (θn )

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 89 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Notre objectif est de trouver parmi les estimateurs non biaisés,


un estimateur sans biais à variance minimale. Les notions
d’exhaustivité et de complétude permettent de trouver un
estimateur sans biais à variance minimale.

Définition
On dit qu’un estimateur θ̂n est un estimateur sans biais à
variance minimale ESBVM pour θ s’il est sans biais pour θ et si
pour tout autre estimateur θn sans biais on a :

Var (θ̂n ) ≤ Var (θn )

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 89 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Statistique complète

Définition
Soit X une v.a. de densité f (, θ) et de fonction de répartition F .
On dit que X est complète si pour tout g : R → R

Eθ (g(X )) = 0 =⇒ g(x) = 0
pour tout x sauf sur un ensemble D tel que Pr (X ∈ D) = 0

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 90 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Statistique complète

Définition
Soit X une v.a. de densité f (, θ) et de fonction de répartition F .
On dit que X est complète si pour tout g : R → R

Eθ (g(X )) = 0 =⇒ g(x) = 0
pour tout x sauf sur un ensemble D tel que Pr (X ∈ D) = 0

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 90 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Statistique complète: Exemples


X ∼ Ber (θ)
X ∼ Bin(n, θ)
X ∼ Poi(θ).
X ∼ Unif (0, θ)
X ∼ Exp(θ).

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 91 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Statistique complète: Exemples


X ∼ Ber (θ)
X ∼ Bin(n, θ)
X ∼ Poi(θ).
X ∼ Unif (0, θ)
X ∼ Exp(θ).

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 91 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Statistique complète: Exemples


X ∼ Ber (θ)
X ∼ Bin(n, θ)
X ∼ Poi(θ).
X ∼ Unif (0, θ)
X ∼ Exp(θ).

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 91 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Statistique complète: Exemples


X ∼ Ber (θ)
X ∼ Bin(n, θ)
X ∼ Poi(θ).
X ∼ Unif (0, θ)
X ∼ Exp(θ).

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 91 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Statistique complète: Exemples


X ∼ Ber (θ)
X ∼ Bin(n, θ)
X ∼ Poi(θ).
X ∼ Unif (0, θ)
X ∼ Exp(θ).

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 91 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Estimateur sans biais à variance minimale

Statistique complète: Exemples


X ∼ Ber (θ)
X ∼ Bin(n, θ)
X ∼ Poi(θ).
X ∼ Unif (0, θ)
X ∼ Exp(θ).

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 91 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 92 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 93 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 94 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 95 / 115


Méthodes d’estimation
Chap. 1. Statistiques d’ordres
Réduction de la variance
Chap. 2. Estimation ponctuelle optimale
Estimateur sans biais à variance minimale

Fouad Marri, fmarri@insea.ac.ma INFÉRENCE STATISTIQUE 96 / 115

Vous aimerez peut-être aussi