Estimation Jabrane

Chapitre 2 :Estimation
Estimation ponctuelle 3/59

Motivation
Le directeur du personnel du groupe ALSA a été chargé de

développer le profil de 2500 responsables de sociétés appartenant
au groupe ALSA. Les caractéristiques (paramètres) à étudier sont
J MOUSTAAID [INSEA] 1ère année ESBD, AC, SROA & BSDB 2022/2023
Motivation

❂ le salaire moyen annuel et sa dispersion
❂ la participation au programme de formation en gestion mis en
place par la société.
Motivation

❂ le salaire moyen annuel et sa dispersion
❂ la participation au programme de formation en gestion mis en
place par la société.
On a donc trois paramètres à calculer
❂ la moyenne µ
❂ l’écart type σ du salaire annuel pour la population
❂ la proportion p de la population ayant suivi la formation
Motivation
✌ Le recensement. On doit interroger 2500 personnes. Le coût de

la collecte est très élevé, il nécessite un entretien avec chaque
responsable.
Motivation
✌ Le recensement. On doit interroger 2500 personnes. Le coût de

la collecte est très élevé, il nécessite un entretien avec chaque
responsable.
❂ On estime les trois paramètres à partir d’un échantillon de taille

n << 2500.
Motivation
❂ Le problème de l’estimation est l’impossibilité de connaı̂tre

exactement la valeur d’un paramètre inconnu noté θ d’une
population (cela peut être sa moyenne µ, son écart-type σ, une
proportion p).
Motivation
❂ Le problème de l’estimation est l’impossibilité de connaı̂tre

exactement la valeur d’un paramètre inconnu noté θ d’une
population (cela peut être sa moyenne µ, son écart-type σ, une
proportion p).
❂ L’estimation consiste à donner des valeurs approximatives aux
paramètres d’une population à l’aide d’un échantillon de n
observations issues de cette population.
Objectif
☞ Soit un caractère X (une variable aléatoire) d’une population

quelconque, dont la loi de probabilité PXθ dépend d’un paramètre
inconnu θ ∈ Θ avec Θ ⊂ Rd .
Objectif

☞ On considère un n-échantillon aléatoire X = (X1 , ..., Xn ) issu de
la variable aléatoire X
Objectif

☞ On considère un n-échantillon aléatoire X = (X1 , ..., Xn ) issu de
la variable aléatoire X ( i.e. une suite de variable aléatoires
X1 , X2 , ..., Xn indépendantes et de même loi que X )
Comment pouvons-nous estimer θ à partir d’un
n-échantillon aléatoire X ?
☞ On définit une fonction f telle que :

(
fθ (x) si X est une v.a. continue de densité fθ
f (x, θ) =
Pθ (X = x) si X est une v.a. discrète
Exemple
On fait l’hypothèse que la taille (en cm) des 4000 étudiants
masculins d’une école de génie est une variable aléatoire X
distribuée normalement d’écart-type 3, c’est-à-dire que
X ∼ N (µ, 9). Dans ce cas θ = µ et Θ = R
(x − θ)2

1
f (x, θ) = √ exp −
3 2π 18
Exemple
On fait l’hypothèse que la taille (en cm) des 4000 étudiants
masculins d’une école de génie est une variable aléatoire X
distribuée normalement d’écart-type 3, c’est-à-dire que
X ∼ N (µ, 9). Dans ce cas θ = µ et Θ = R
(x − θ)2

1
f (x, θ) = √ exp −
3 2π 18
☞ Si l’écart-type est inconnu c’est-à-dire que X ∼ N (µ, σ 2 ). Dans
ce cas θ = (µ, σ 2 ) et Θ = R × R+∗
ESTIMATION PONCTULLE D’UN PARAMETRE
Estimateur (Ponctuel) de θ : variable aléatoire, souvent notée

θ̂n , qui dépend uniquement du n-échantillon X

Estimation de θ : réalisation de θ̂n ; il s’agit d’un nombre réel.

Exemple
pour estimer l’espérance µ = E[X ] de la loi deP
X , un estimateur
naturel est la moyenne échantillonnale X̄ = n ni=1 Xi . On peut
1
utiliser aussi :

Exemple
pour estimer l’espérance µ = E[X ] de la loi deP
X , un estimateur
naturel est la moyenne échantillonnale X̄ = n ni=1 Xi . On peut
1
utiliser aussi :
2. X1
3. inf 1≤i≤n Xi
Statistique Exhaustive
❂ Pour faire l’inférence statistique, on travail en général sur une

statistique T (X )

statistique T (X )
❂ Comment savoir si la réduction des données opérée par la

statistique T (X ) ne conduit pas à une perte d’information ?

statistique T (X )
❂ Comment savoir si la réduction des données opérée par la

statistique T (X ) ne conduit pas à une perte d’information ?
❂ Une statistique contient l’ensemble de l’information sur les

paramètres de la population dite exhaustive
Définition
Une statistique T (X ) sera dite exhaustive pour θ si la probabilité
d’observer X sachant T (X ) n’est pas une fonction du paramètre θ
(i.e. independante de θ)
Exemple
Supposons que X1 , ..., Xn soient des variables indépendantes de loi

Bernoulli de parmètre p, B(p). Soit la statistique
T (X ) = X1 + X2 + ... + Xn
Exemple

T (X ) = X1 + X2 + ... + Xn
❂ T (X ) est le nombre de succès observés sur n essais de

Bernoulli, la probabilité de succès d’un essai étant p.
Exemple

T (X ) = X1 + X2 + ... + Xn
❂ T (X ) est le nombre de succès observés sur n essais de

Bernoulli, la probabilité de succès d’un essai étant p.
❂ On va calculer P (X1 = x1 , ..., Xn = xn |T (X ) = t)
❂ Si t ̸= x1 + x2 + ... + xn alors sa probabilité conditionnelle est 0.

Supposons que t = x1 + x2 + ... + xn . On a

P (X1 = x1 , ..., Xn = xn , T (X ) = t)
P (X1 = x1 , ..., Xn = xn |T (X ) = t) =
P (T (X ) = t)
P (X1 = x1 , ..., Xn = xn )
=
P (T (X ) = t)
p (1 − p)n−t
t
=
Cnt p t (1 − p)n−t
1
=
Cnt
❂ Dans la plus part des lois, il est difficile d’utiliser directement la

définition pour montrer qu’une statistique est exhaustive.
❂ Dans la plus part des lois, il est difficile d’utiliser directement la

définition pour montrer qu’une statistique est exhaustive.
❂ Il existe un critère simple qui donne une condition nécessaire et

suffisante pour que T (X ) soit une statistique exhaustive quand
la loi de X admet une densité.
Critère de factorisation
Supposons que X admet une densité jointe f (x, θ) pour θ ∈ Θ.

Alors T (X ) est une statistique exhaustive pour θ si et seulement s’il
existe deux fonctions mesurables g et h telles que
f (x, θ) = h(x)g (T (x), θ)
où x = (x1 , ..., xn )
Exemple
Soit X ∼ Poisson(λ). La loi jointe pour l’échantillon

X = (X1 , ..., Xn ) est donnée par :
n
Y λxi −λ
pX (x1 , ..., xn ; λ) = e
xi !
i=1
Exemple
Soit X ∼ Poisson(λ). La loi jointe pour l’échantillon

n
Y λxi −λ
pX (x1 , ..., xn ; λ) = e
xi !
i=1
Pn 1
= λ i=1 xi e −nλ Qn
i=1 xi !
A partir de ce résultat, et d’après le théorème de factorisation, on a
Xn
T (X ) = Xi
i=1
est une statistique exhaustive pour λ.
Exemple
Soit X ∼ E(β) (loi exponentielle). La loi jointe pour l’échantillon

Exemple

n
Y
fX (x1 , ..., xn ; β) = βe −βxi
i=1
Exemple

n
Y
fX (x1 , ..., xn ; β) = βe −βxi
i=1
Pn
n −β i=1 xi
= β e
Exemple

n
Y
fX (x1 , ..., xn ; β) = βe −βxi
i=1
Pn
n −β i=1 xi
= β e
A partir de ce résultat, et d’après le théorème de factorisation, on a
n
X
T (X ) = Xi
i=1
est une statistique exhaustive pour β. Ici h(x) = 1

Exemple
Soit X ∼ U[0, θ], θ > 0 . La loi jointe pour l’échantillon

Exemple

1
fX (x1 , ..., xn ; θ) = 10≤inf 1≤i≤n (xi ) × 1sup1≤i≤n (xi )≤θ
θn
Exemple

1
fX (x1 , ..., xn ; θ) = 10≤inf 1≤i≤n (xi ) × 1sup1≤i≤n (xi )≤θ
θn
A partir de ce résultat, et d’après le théorème de factorisation,
(avec h(x) = 10≤inf 1≤i≤n (xi ) ) on a
T (X ) = sup (Xi )
1≤i≤n
est une statistique exhaustive pour θ.

Exemple
Soit X ∼ N (µ, λ) (µ l’espérence mathématique et λ la variance ) .
Exemple
Soit X ∼ N (µ, λ) (µ l’espérence mathématique et λ la variance ) .

n n
!
1 X 1 X
T (X ) = Xi ; Xi2
n n
i=1 i=1
est une statistique exhaustive pour θ = (µ, λ).
familles exponentielles
La plupart des lois usuelles font partie de ce qu’on appelle la famille
exponentielle.
La plupart des lois usuelles font partie de ce qu’on appelle la famille
exponentielle.
Définition
Une loi de probabilité Pθ , θ ∈ Θ ⊂ Rd de densité f (x, θ) est dite
appartenir à une famille exponentielle s’il existe des fonctions
θ −→ αj (θ), θ −→ β(θ),
x −→ Tj (x) et x −→ h(x)
avec h > 0, telles que
 
d
X
f (x, θ) = β(θ)h(x) exp  αj (θ)Tj (x)
j=1
Loi Normale
Ici d = 2
(t − µ)2

2 1
f (t, θ = (µ, σ )) = √ exp −
2πσ 2 2σ 2
Loi Normale
Ici d = 2
2

1 (t − µ)
f (t, θ = (µ, σ 2 )) = √ exp −
2πσ 2 2σ 2
µ2 t2

1 µ
= √ exp − 2 exp − 2 + 2 t
2πσ 2 2σ 2σ σ
Loi Normale
Ici d = 2
2

1 (t − µ)
f (t, θ = (µ, σ 2 )) = √ exp −
2πσ 2 2σ 2
µ2 t2

1 µ
= √ exp − 2 exp − 2 + 2 t
2πσ 2 2σ 2σ σ
On pose
µ2

1
β(θ) = √ exp − 2
2πσ 2 2σ
1 µ
h(t) = 1, α1 (θ) = − 2 , α2 (θ) = 2
2σ σ
2
T1 (t) = t , T2 (t) = t
Loi Exponentielle
Ici d = 1
f (t, λ) = λe −λt
Loi Exponentielle
Ici d = 1
f (t, λ) = λe −λt
On pose
β(λ) = λ
h(t) = 1, α1 (λ) = −λ
T1 (t) = t
Loi de Bernoulli de paramètre p
Ici d = 1
p(x, p) = p x (1 − p)1−x
Loi de Bernoulli de paramètre p
Ici d = 1
p(x, p) = p x (1 − p)1−x
= e x ln p+(1−x) ln(1−p)
= e x(ln p−ln(1−p))+ln(1−p))
p
= e x ln 1−p +ln(1−p)
p
= (1 − p)e x ln 1−p
On pose
β(λ) = 1 − p, T1 (t) = t
p
h(t) = 1, α1 (p) = ln
1−p
❂ La famille exponentielle est dite en forme canonique (ou

naturelle) lorsque (α1 (θ), ..., αd (θ)) = θ

❂ Il est toujours possible de convertir une famille exponentielle en

forme canonique, on pose λ = (α1 (θ), ..., αd (θ)) et on écrit
 
Xd
f (x, λ) = β(θ)h(x) exp  λj Tj (x)
j=1

❂ Il est toujours possible de convertir une famille exponentielle en

forme canonique, on pose λ = (α1 (θ), ..., αd (θ)) et on écrit
 
Xd
f (x, λ) = β(θ)h(x) exp  λj Tj (x)
j=1
❂ Les paramètres λj s’appellent les paramètres naturels de la

famille exponentielle.
Loi Normale
la paramétrisation naturelle de la loi normale de moyenne µ et de

variance σ est donnée par
µ2 t2

1 µ
f (t, θ1 , θ2 ) = √ exp − 2 exp − 2 + 2 t
2πσ 2 2σ 2σ σ
Loi Normale
la paramétrisation naturelle de la loi normale de moyenne µ et de

variance σ est donnée par
µ2 t2

1 µ
f (t, θ1 , θ2 ) = √ exp − 2 exp − 2 + 2 t
2πσ 2 2σ 2σ σ
θ22

1 p
exp θ1 t 2 + θ2 t

= √ −θ1 exp −
π 4θ1
avec
1 µ
θ1 = − , θ 2 =
2σ 2 σ2
Statistique Exhaustive et familles exponentielles
Soit X une variable aléatoire de densité f (x; θ) , θ ∈ Θ ⊂ Rd , appartenant à la

famille exponentielle. On a
n
Y
fX (x, θ) = f (xi , θ), x = (x1 , ..., xn )
i=1
n d
!
Y X
= β(θ)h(xi ) exp αj (θ)Tj (xi )
i=1 j=1
Soit X une variable aléatoire de densité f (x; θ) , θ ∈ Θ ⊂ Rd , appartenant à la

famille exponentielle. On a
n
Y
fX (x, θ) = f (xi , θ), x = (x1 , ..., xn )
i=1
n d
!
Y X
= β(θ)h(xi ) exp αj (θ)Tj (xi )
i=1 j=1
n
! n d
!!
Y X X
= h(xi ) β n (θ) exp αj (θ)Tj (xi )
i=1 i=1 j=1
n
! d n
!!
Y X X
= h(xi ) β n (θ) exp αj (θ) Tj (xi )
i=1 j=1 i=1
Ainsi, d’après le critère de factorisation

n n
!
X X
T1 (Xi ), ..., Td (Xi )
i=1 i=1
est une statistique exhaustive pour θ
Exemple: Loi Exponentielle
Qualités d’un estimateur(Cas univarié)
Estimateur sans biais
Soit θ̂n un estimateur de θ.
❂ L’erreur d’estimation est mesurée par la quantité θ̂n − θ.

❂ la quantité θ̂n − E[θ̂n ] représente les fluctuations de l’estimateur
θ̂n autour de sa valeur moyenne

❂ La quantité E[θ̂n ] − θ est le biais de l’estimateur

❂ Un estimateur est sans biais si E[θ̂n ] − θ = 0
❂ Un estimateur est biaisé si E[θ̂n ] − θ ̸= 0

❂ Un estimateur est sans biais si E[θ̂n ] − θ = 0
❂ Un estimateur est biaisé si E[θ̂n ] − θ ̸= 0
❂ Un estimateur est asymptotiquement sans biais si
E[θ̂n ] −→ θ , quand la taille n de l’échantillon tend vers l’infini.
Example
1
Pn
On pose θ̂n = X̄ = n i=1 Xi .
❂ θ̂n est un estimateur sans biais pour l’espérance mathématique

µ = E[X ]. En effet :
Example
1
Pn
On pose θ̂n = X̄ = n i=1 Xi .
❂ θ̂n est un estimateur sans biais pour l’espérance mathématique

µ = E[X ]. En effet :
On a X = (X1 , ..., Xn ) est un n-échantillon aléatoire issu de la
variable aléatoire X . donc
E[X ] = E[Xj ], j = 1, ..., n
Ainsi n
1X
E[θ̂n ] = E[Xi ] = µ
n
i=1
d’où
J MOUSTAAID [INSEA]
E[θ̂n ] − µ = 0
1ère année ESBD, AC, SROA & BSDB 2022/2023
Example
S 2 = n1 ni=1 (Xi − X̄ )2 est un estimateur biaisé pour la variance
P
σ 2 = Var [X ]. En effet : On a
Example
S 2 = n1 ni=1 (Xi − X̄ )2 est un estimateur biaisé pour la variance
P
σ 2 = Var [X ]. En effet : On a
On sait que :
n−1 2
E[S 2 ] =σ
n
n
❂ par contre la statistique Sc2 = S 2 est un estimateur sans
n−1
biais pour la variance
Estimateur convergent ( consistant)

Un estimateur θ̂n de θ est convergent si pour tout ϵ > 0
h i
P θ̂n − θ ≥ ϵ −→ 0 n −→ ∞

i.e. h i
P θ̂n − θ ≤ ϵ −→ 1 n −→ ∞

Estimateur convergent ( consistant)

Un estimateur θ̂n de θ est convergent si pour tout ϵ > 0
h i
P θ̂n − θ ≥ ϵ −→ 0 n −→ ∞

i.e. h i
P θ̂n − θ ≤ ϵ −→ 1 n −→ ∞

théorème
Si E[θ̂n ] −→ θ et Var [θ̂n ] −→ 0, lorsque n −→ ∞, alors θ̂n est
convergent
pour simplifier on pose T = θ̂n
La moyenne empirique X̄ est un estimateur consistant et sans biais

de l’espérance.
Précision d’un estimateur

La qualité d’un estimateur θ̂n de θ se mesure également par
l’erreur
quadratique moyenne (ou risque quadratique) définie
2
par E θ̂n − θ

La qualité d’un estimateur θ̂n de θ se mesure également par
l’erreur
quadratique moyenne (ou risque quadratique) définie
2
par E θ̂n − θ
théorème
Soit θ̂n un estimateur du paramètre θ à étudier. On a :
2 2
E θ̂n − θ = Var [θ̂n ] + E[θ̂n ] − θ

Remarque
Entre deux estimateurs sans biais, le “meilleur” sera celui dont la
variance est minimale (on parle d’efficacité).

Remarque
Entre deux estimateurs sans biais, le “meilleur” sera celui dont la
variance est minimale (on parle d’efficacité).
Exemple
Soit X ∼ N (µ, σ 2 ). X1 et X̄ sans des estimateur sans biais de µ de
2
risques quadratiques respectifs σ 2 et σn si bien que X̄ est préférable
à X1
Application 1
Soient T1 et T2 deux estimateurs différents du meme paramètre θ.

On suppose que : E(T1 ) = θ + b1 et E(T2 ) = θ + b2 (b1 et b2 sont
deux valeurs numériques connues). Soit T = αT1 + βT2 .
Déterminer α et β pour que T soit un estimateur sans biais de θ:
1. Lorsque b1 ̸= b2
2. Lorsque b1 = b2
Application 2
Soient les variables aléatoires Xi , (i = 1; 2) i.i.d de moyenne m et

de variance σ 2 . Lequel des deux estimateurs de m non biaisés
choisirez-vous:
X1 + X2 aX1 + bX2
X̄1 = X̄2 =
2 a+b
avec a, b ∈ R et a + b ̸= 0
Vraisemblance
❂ On appelle fonction de vraisemblance de θ pour une

réalisation (x1 , ..., xn ) d’un échantillon X , la fonction de θ
n
Y
Ln (x1 , x2 , ..., xn , θ) = f (xi , θ)
i=
Vraisemblance
❂ On appelle fonction de vraisemblance de θ pour une

réalisation (x1 , ..., xn ) d’un échantillon X , la fonction de θ
n
Y
Ln (x1 , x2 , ..., xn , θ) = f (xi , θ)
i=
❂ On appelle fonction de log-vraisemblance la fonction définie

par
ℓn (x1 , x2 , ..., xn , θ) = ln Ln (x1 , x2 , ..., xn , θ)
Elle n’a de sens que si θ vérifie Ln (x1 , x2 , ..., xn , θ) > 0
Exemple : Loi exponentielle

Supposons que X suit une loi exponentielle de paramètre λ
inconnu, X ∼ E(λ). Das ce cas
f (x, λ) = λe −λx 1R+ (x)
Exemple : Loi exponentielle

f (x, λ) = λe −λx 1R+ (x)
Ainsi
n
Y n
Y Pn
Ln (x1 , x2 , ..., xn , λ) = f (xi , θ) = λe −λx = λn e −λ i=1 xi
i= i=
Méthodes d’estimation
Méthodes d’estimation
❂ la méthode du maximum de vraisemblance
❂ la méthode des moments
la méthode du maximum de vraisemblance
❂ Supposons que X1 , X2 , ..., Xn sont des variables aléatoires

discrètes, Dans ce cas
L(x1 , x2 , ..., xn , θ) = P(X1 = x1 , X2 = x2 , ..., Xn = xn ; θ)
❂ C’est la probabilité que l’on observe les réalisations x1 , ..., xn

quand la vraie valeur du paramètre est θ.
❂ Supposons que X1 , X2 , ..., Xn sont des variables aléatoires

discrètes, Dans ce cas
L(x1 , x2 , ..., xn , θ) = P(X1 = x1 , X2 = x2 , ..., Xn = xn ; θ)
❂ C’est la probabilité que l’on observe les réalisations x1 , ..., xn

quand la vraie valeur du paramètre est θ.
❂ Il est logique de dire qu’une valeur vraisemblable pour θ est la

valeur pour laquelle la probabilité d’observer x1 , ..., xn est la plus
forte possible
méthode du maximum de vraisemblance
❂ La méthode consistant à estimer θ par la valeur qui maximise
Ln (vraisemblance) s’appelle méthode du maximum de
vraisemblance.
❂ On appelle estimateur du maximum de vraisemblance (emv) de
θ la statistique θ̂nemv qui maximise la fonction de vraisemblance
L(X1 , X2 , ..., Xn , θ) en θ.
méthode du maximum de vraisemblance
❂ La méthode consistant à estimer θ par la valeur qui maximise
Ln (vraisemblance) s’appelle méthode du maximum de
vraisemblance.
❂ On appelle estimateur du maximum de vraisemblance (emv) de
θ la statistique θ̂nemv qui maximise la fonction de vraisemblance
L(X1 , X2 , ..., Xn , θ) en θ.
☞ Une expression alternative est :
θ̂nemv ∈ arg max Ln (X1 , X2 , ..., Xn , θ)

θ
où arg max désigne l’argument du maximum qui est l’ensemble

des points en lesquels une expression atteint sa valeur maximale
Notes
❂ L’EMV n’existe pas toujours.
❂ Un estimateur de maximum de vraisemblance n’est pas
forcément unique
Notes
❂ Si Ln est dérivable et si Ln admet un maximum global en une
valeur, alors la dérivée première s’annule en et que la dérivée
seconde est négative.
Notes
❂ Si Ln est dérivable et si Ln admet un maximum global en une
valeur, alors la dérivée première s’annule en et que la dérivée
seconde est négative.
❂ La vraisemblance étant positive et le logarithme népérien une
fonction croissante, il est équivalent et souvent plus simple de
maximiser le logarithme népérien de la vraisemblance
Cas univarié : en pratique et si Ln est de classe C 2 :

❂ une condition nécessaire que doit vérifier θ̂nemv :

∂Ln (x1 , x2 , ..., xn ; θ) ∂ ln Ln (x1 , x2 , ..., xn ; θ)
∂θ emv = 0 ou ∂θ emv = 0
θ=θ̂n θ=θ̂n
Cas univarié : en pratique et si Ln est de classe C 2 :


∂Ln (x1 , x2 , ..., xn ; θ) ∂ ln Ln (x1 , x2 , ..., xn ; θ)
∂θ emv = 0 ou ∂θ emv = 0
θ=θ̂n θ=θ̂n
❂ vérifier que θ̂nemv est bien un maximum :
∂ 2 L(x1 , x2 , ..., xn ; θ) ∂ 2 ln Ln (x1 , x2 , ..., xn ; θ)

∂θ2 emv < 0 ou ∂θ2 emv < 0

θ=θ̂n θ=θ̂n
Exemple
On souhaite estimer le paramètre λ d’une loi de Poisson à partir

d’un n-échantillon. On a
λx −λ
f (x, θ) = P(X = x) = e
x!
Cas à plusieurs paramètres θ = (θ1 , θ2 , ..., θd ) :


∂Ln (x1 , x2 , ..., xn ; θ)
∂θj emv = 0
θ=θ̂n
ou
∂ ln Ln (x1 , x2 , ..., xn ; θ)
∂θj emv = 0; j = 1, ..., d
θ=θ̂n
Cas à plusieurs paramètres θ = (θ1 , θ2 , ..., θd ) :


∂Ln (x1 , x2 , ..., xn ; θ)
∂θj emv = 0
θ=θ̂n
ou
∂ ln Ln (x1 , x2 , ..., xn ; θ)
∂θj emv = 0; j = 1, ..., d
θ=θ̂n
❂ vérifier que θ̂nemv est bien un maximum : la matrice hessienne

des dérivées seconde
2
∂ L(x1 , x2 , ..., xn ; θ)

∂θj ∂θk

j,k=1,...,d
emv
θ=θ̂n
ou
2

∂ ln Ln (x1 , x2 , ..., xn ; θ)

∂θj ∂θk

j,k=1,...,d

θ=θ̂nemv
doit être définie négative i.e. que toutes ses valeurs propres sont
négatives (si d = 2, cela équivaut à dire que son déterminant
est positif et sa trace est négatif)
Exemple
On souhaite
estimer les paramètres µ et σ 2 d’une loi normale,
N µ, σ 2 , à partir d’un n-échantillon aléatoire X .
2

1 (t − µ)
f (t, µ, σ 2 ) = √ exp −
2πσ 2 2σ 2
Exemple(La vraisemblance n’est pas a priori dérivable en tout
point θ)
Soient X1 , X2 , ..., Xn ∼ U[0, θ].

n
Y 1
Ln (X1 , ..., Xn ; θ) = 1[0,θ](Xi )
θ
i=1
1
= 10≤inf 1≤i≤n Xi ≤sup1≤i≤n Xi ≤θ
θn
1
= n 10≤inf 1≤i≤n Xi × 1sup1≤i≤n Xi ≤θ
θ
Ainsi
θ̂nemv = sup Xi
1≤i≤n
Exemple(L’emv n’est pas unique)
Soient X1 , X2 , ..., Xn ∼ U[θ, θ + 1]. Dans cet exemple
θ̂nemv compris entre sup Xi − 1 compris entre inf Xi

1≤i≤n 1≤i≤n
la méthode des moments
Définitions
Soit Y une variable aléatoire, c ∈ R et k un entier naturel.

❂ On appelle moment d’ordre k, noté mk , de Y l’espérance
mathématique de Y k
mk = E Y k

Définitions

mk = E Y k

❂ On appelle moment d’ordre k par rapport à c, noté µk , de Y

l’espérance mathématique de (Y − c)k
Définitions

mk = E Y k

❂ On appelle moment d’ordre k par rapport à c, noté µk , de Y

l’espérance mathématique de (Y − c)k
❂ si c = E [Y ] on parle de moment centré d’orde k.
la méthode des moments consiste à égaler le k-ème moment

1 Pn k
k
empirique : X au k-ème moment théorique E Xi , qui
n i=1 i
dépend du paramètre inconnu θ.
la méthode des moments consiste à égaler le k-ème moment

1 Pn k
k
empirique : X au k-ème moment théorique E Xi , qui
n i=1 i
dépend du paramètre inconnu θ.
☞ On considère autant d’équations de moments qu’il est nécessaire

pour déterminer une estimation de θ
L’estimateur obtenu par la méthode des moments, noté θ̂nmm de

θ = (θ1 , θ2 , ..., θd ) est la solution du système (s’elle existe) suivant:
n
1X
E [Xi ] = Xi
n
i=1
n
1 X
E Xi2 = Xi2

n
i=1
.
.
n
d 1X d
E Xi = Xi
n
i=1
Exemple

f (x, λ) = λe −λx 1R+ (x)
Pour tout λ, on E[X1 ] = λ1 . L’estimateur obtenu par la méthode

des moments est
1 1
θ̂nmm = P =
1 n X̄
i=1 Xi
n
Exemple
On souhaite estimer (par la méthode des moments) les paramètres

µ et λ d’une loi normale, N (µ, λ) , à partir d’un n-échantillon
aléatoire X . On pose θ = (µ, λ)
(t − µ)2

1
f (t, µ, λ) = √ exp −
2πλ 2λ
Exemple
On souhaite estimer (par la méthode des moments) les paramètres

µ et λ d’une loi normale, N (µ, λ) , à partir d’un n-échantillon
aléatoire X . On pose θ = (µ, λ)
(t − µ)2

1
f (t, µ, λ) = √ exp −
2πλ 2λ
On a
E[X1 ] = µ et E[(X1 )2 ] = λ + µ2
L’estimateur obtenus par la méthode des moments vérifie
n
mm mm 2 mm 1X 2
µ̂n = X̄n et (µ̂n ) + λ̂n = Xi
n
i=1
Exemple
c’est a dire !
n
1X
θ̂nmm = X̄n ; (Xi − X̄n )2
n
i=1
Exemple(L’estimateur par la méthode des moments n’existe pas)
Soient X1 , X2 , ..., Xn ∼ U[−θ, θ], avec θ > 0.

1
f (x1 ; θ) = 1[−θ,θ] (x1 )
2θ
Exemple(L’estimateur par la méthode des moments n’existe pas)
Soient X1 , X2 , ..., Xn ∼ U[−θ, θ], avec θ > 0.

1
f (x1 ; θ) = 1[−θ,θ] (x1 )
2θ
Remarquons que E[X1 ] = 0. Danc l’équation
X̄ = E[X1 ] = 0
n’a pas de solutions pour θ

Estimation Jabrane

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Estimation Jabrane

Transféré par

Droits d'auteur :

Formats disponibles

Chapitre 2 :Estimation

Estimation ponctuelle 3/59

Le directeur du personnel du groupe ALSA a été chargé de

Le directeur du personnel du groupe ALSA a été chargé de

Le directeur du personnel du groupe ALSA a été chargé de

✌ Le recensement. On doit interroger 2500 personnes. Le coût de

✌ Le recensement. On doit interroger 2500 personnes. Le coût de

❂ On estime les trois paramètres à partir d’un échantillon de taille

❂ Le problème de l’estimation est l’impossibilité de connaı̂tre

❂ Le problème de l’estimation est l’impossibilité de connaı̂tre

☞ Soit un caractère X (une variable aléatoire) d’une population

☞ Soit un caractère X (une variable aléatoire) d’une population

☞ Soit un caractère X (une variable aléatoire) d’une population

☞ On définit une fonction f telle que :

Estimateur (Ponctuel) de θ : variable aléatoire, souvent notée

Estimateur (Ponctuel) de θ : variable aléatoire, souvent notée

Estimation de θ : réalisation de θ̂n ; il s’agit d’un nombre réel.

Estimateur (Ponctuel) de θ : variable aléatoire, souvent notée

Estimation de θ : réalisation de θ̂n ; il s’agit d’un nombre réel.

Estimateur (Ponctuel) de θ : variable aléatoire, souvent notée

Estimation de θ : réalisation de θ̂n ; il s’agit d’un nombre réel.

❂ Pour faire l’inférence statistique, on travail en général sur une

❂ Pour faire l’inférence statistique, on travail en général sur une

❂ Comment savoir si la réduction des données opérée par la

❂ Pour faire l’inférence statistique, on travail en général sur une

❂ Comment savoir si la réduction des données opérée par la

❂ Une statistique contient l’ensemble de l’information sur les

Supposons que X1 , ..., Xn soient des variables indépendantes de loi

Supposons que X1 , ..., Xn soient des variables indépendantes de loi

❂ T (X ) est le nombre de succès observés sur n essais de

Supposons que X1 , ..., Xn soient des variables indépendantes de loi

❂ T (X ) est le nombre de succès observés sur n essais de

❂ On va calculer P (X1 = x1 , ..., Xn = xn |T (X ) = t)

❂ Si t ̸= x1 + x2 + ... + xn alors sa probabilité conditionnelle est 0.

Supposons que t = x1 + x2 + ... + xn . On a

❂ Dans la plus part des lois, il est difficile d’utiliser directement la

❂ Dans la plus part des lois, il est difficile d’utiliser directement la

❂ Il existe un critère simple qui donne une condition nécessaire et

Supposons que X admet une densité jointe f (x, θ) pour θ ∈ Θ.

f (x, θ) = h(x)g (T (x), θ)

où x = (x1 , ..., xn )

Soit X ∼ Poisson(λ). La loi jointe pour l’échantillon

Soit X ∼ Poisson(λ). La loi jointe pour l’échantillon

Soit X ∼ E(β) (loi exponentielle). La loi jointe pour l’échantillon

Soit X ∼ E(β) (loi exponentielle). La loi jointe pour l’échantillon

Soit X ∼ E(β) (loi exponentielle). La loi jointe pour l’échantillon

Soit X ∼ E(β) (loi exponentielle). La loi jointe pour l’échantillon

est une statistique exhaustive pour β. Ici h(x) = 1

Soit X ∼ U[0, θ], θ > 0 . La loi jointe pour l’échantillon

Soit X ∼ U[0, θ], θ > 0 . La loi jointe pour l’échantillon

Soit X ∼ U[0, θ], θ > 0 . La loi jointe pour l’échantillon

est une statistique exhaustive pour θ.

Soit X ∼ N (µ, λ) (µ l’espérence mathématique et λ la variance ) .

Soit X ∼ N (µ, λ) (µ l’espérence mathématique et λ la variance ) .

est une statistique exhaustive pour θ = (µ, λ).

❂ La famille exponentielle est dite en forme canonique (ou

❂ La famille exponentielle est dite en forme canonique (ou

❂ Il est toujours possible de convertir une famille exponentielle en

❂ La famille exponentielle est dite en forme canonique (ou

❂ Il est toujours possible de convertir une famille exponentielle en

❂ Les paramètres λj s’appellent les paramètres naturels de la

la paramétrisation naturelle de la loi normale de moyenne µ et de

la paramétrisation naturelle de la loi normale de moyenne µ et de