Estimation paramétrique ponctuelle

& distribution d’échantillonnage

Module : Techniques d’estimation pour l’ingénieur

Plan

1. Introduction
• Notion d’échantillonnage
• Notion d’estimation paramétrique
2. Estimation paramétrique ponctuelle
• Qualités des estimateurs
• Méthodes d’estimation ponctuelle
• Estimateur par méthode des moments (EMM)
• Estimateur par la méthode du maximum de vraisemblance (EMV)
4. Distribution d’échantillonnage
• Distribution échantillonnale de la moyenne X
• Distribution échantillonnale de la variance S 2
• Distribution échantillonnale de la proportion F

1
Méthodes d’estimation ponctuelle

• Estimation par la méthode du maximum de vraisemblance (E.M.V)

Soit (X1 , . . . , Xn ) un n−échantillon de loi Lθ (discrète ou continue), avec

θ ∈ R un paramètre inconnu qu’on cherche à estimer.
On vise maintenant à définir l’estimateur du maximum de vraisemblance
de θ, pour cela on a besoin d’introduire la notion de la fonction de
vraisemblance associée à un échantillon :

40
Méthodes d’estimation ponctuelle

Fonction de vraisemblance
La fonction de vraisemblance de θ pour une réalisation (x1 , . . . , xn ) d’un
échantillon (X1 , . . . , Xn ) est l’application L(x1 , · · · , xn ; •) : R 7→ R∗+ définie
par, si X est:
Une variable aléatoire discrète: la loi de X est caractérisée par Pθ
n
Y
L(x1 , . . . , xn ; θ) = Pθ (Xi = xi ),
i=1

Une variable aléatoire continue: la loi de X est caractérisée par fθ

n
Y
L(x1 , . . . , xn ; θ) = fθ (xi ),
i=1

41
Méthodes d’estimation ponctuelle

Exemple
On considère un échantillon {X1 } de taille n = 1. On suppose que
X1 ∼ B(15, p), avec p inconnu. On observe x1 = 5 et on cherche à
estimer p.

1. Déterminer la fonction de vraisemblance L(5; p).

2. Donner les valeurs particulières de L pour p ∈ {0.1,0.2,0.3, . . . ,0.9}.
3. Déterminer la valeur la plus vraisemblable de p.

42
Méthodes d’estimation ponctuelle

Solution

Rappel

La loi de probabilité de la loi Binomiale B(n, p) :

P(X = k) = Cnk p k (1 − p)n−k

Dans notre cas, n = 15 :

k k
P(X = k) = C15 p (1 − p)15−k

1. La fonction de vraisemblance L(5, p) est donnée par :

n
Y
L(5, p) = P(Xi = xi )
i=1
43
Méthodes d’estimation ponctuelle

= P(X1 = x1 )
= P(X1 = 5)

Par la suite :
5 5
L(5, p) = C15 p (1 − p)10

2. Donons les valeurs particulières de L pour p ∈ {0.1,0.2,0.3, . . . , 0.9}

5
• L(5; 0.1) = C15 (0.1)5 (1 − 0.1)10 = 0.104
• L(5; 0.2) = C15 (0.2)5 (1 − 0.2)10
5
= 0.103
5
• L(5; 0.3) = C15 (0.3)5 (1 − 0.3)10 = 0.206
• L(5; 0.4) = C15 (0.4)5 (1 − 0.4)10
5
= 0.185
5
• L(5; 0.5) = C15 (0.5)5 (1 − 0.5)10 = 0.091

44
Méthodes d’estimation ponctuelle

• L(5; 0.6) = C15

5
(0.6)5 (1 − 0.6)10 = 0.024
• L(5; 0.7) = C15
5
(0.7)5 (1 − 0.7)10 = 0.029
• L(5; 0.8) = C15
5
(0.8)5 (1 − 0.8)10 = 0.002
• L(5; 0.9) = C15
5
(0.9)5 (1 − 0.9)10 = 0.17.10−5

3. La valeur la plus vraisemblable (probable) de p est celle pour

laquelle la probabilité d’observer 5 est maximale,
=⇒ L(5; 0.3) = 0.206 pour la valeur p = 0.3.
C’est la valeur de p qui maximise la fonction de vraisemblance.

45
Méthodes d’estimation ponctuelle

Ceci revient donc à chercher le maximum de la fonction de

vraissemblance (dérivée première s’annule et dérivée seconde négative),
mais comme la vraissemblance est un produit, alors il devient plus
commode de maximiser une somme qu’un produit en passant à la
fonction logarithme de la vraissemblance.
De plus le fait que la valeur qui rend maximale une fonction rend aussi
maximal son logarithme, nous permet de maximiser finalement le
logarithme de la fonction de vraisemblance, qu’on appelle la
log-vraisemblance.
Dans notre cas :

46
Méthodes d’estimation ponctuelle

La fonction de vraisemblance est :

5 5
L(5, p) = C15 p (1 − p)10

Sa fonction Logarithme est donnée par:

5 5
p (1 − p)10 )



ln L(x1 ; p) = ln (C15
5
= ln(C15 ) + 5.ln(p) + 10.ln(1 − p)

Pour trouver la valeur qui maximise la log-vraisemblance, on calcule sa

dérivée partielle par rapport à p :

d 5 10
Ln(L(5, p)) = 0 + −
dp p 1−p

47
Méthodes d’estimation ponctuelle

Le maximum est atteint quand cette dérivée partielle est nulle:

5 10
− =0
p 1−p
5 10
=
p 1−p
Ce qui implique
5 1
p= =
15 3
' 0.3

et pour cette valeur on a :

d2
Ln(L(5, p))|p=0.3 < 0
d 2p

48
Méthodes d’estimation ponctuelle

Estimateur du maximum de vraisemblance

Soit L(x1 , · · · , xn ; •) la fonction de vraisemblance associée à la réalisation
(x1 , . . . , xn ) de l’échantillon (X1 , . . . , Xn ) qui suit la loi Lθ .
On appelle estimateur du maximum de vraisemblance (E.M.V) de θ la
variable aléatoire correspondante à la valeur θbn pour laquelle la fonction
de vraisemblance atteint son maximum. Ce qui donne que θbn l’estimateur
de maximum de vraisemblance de θ est solution du système:
 
dL
= 0 d ln L
=0
 dθ|θbn  dθ|θbn

 

⇔
2 2
 d2 L < 0  d 2ln L < 0

 

dθ b
|θ n |θn
dθ b

49
Méthodes d’estimation ponctuelle

Exercice
Soit (X1 , . . . , Xn ) un n−échantillon qui suit la loi exponentielle de
paramètre θ1 avec θ > 0, i.e. la fonction densité de probabilité est donnée
par: (
1 − θx
θ e si x ≥ 0
f (x) =
0 sinon

1. Donner la fonction de vraisemblance associée à une réalisation

(x1 , . . . , xn ) de l’échantillon.
2. Déterminer un estimateur θbn de θ par la méthode du maximum de
vraisemblance.

50
Méthodes d’estimation ponctuelle

Solution
1. La fonction de vraisemblance :

( Pn
n n i xi
Y 1 Y −x 1
θ n .e
− θ ; x ≥0
L(x1 , x2 , ..., xn ; θ) = fθ (xi ) = n e θ =
i=1
θ
i=1 0 ; sinon
2. Comme il est plus commode de maximiser une somme qu’un
produit, on applique le logarithme:

1
Pn
i xi
ln L(x1 , x2 , .., xn ; θ) = ln( n e − θ ) ; x ≥ 0


θ
1
Pn
i xi
= ln( n ) + ln(e − θ )
θ
n
1X
= −nln(θ) − xi
θ
i=1

51
Méthodes d’estimation ponctuelle

Vu que la valeur qui maximise une fonction , maximise aussi son

logarithme, θ̂n , l’estimateur du maximum de vraisemblance de θ est la
variable aléatoire correspondante à la solution du système:

d ln L
=0
 dθ|θbn



d 2 ln L
<0


dθ 2 |θb

n

n
d ln L n 1 X
=0⇔− + 2 xi = 0
dθ θ θ
i=1
Pn
nθ xi
⇔ − 2 + i=1 2
=0
θ Pnθ
−nθ + i=1 xi
⇔ =0
θ2

52
Méthodes d’estimation ponctuelle

n
X
⇔ −nθ + xi = 0
i=1
Pn
i=1 xi
⇔θ=
n
Donc la v.a associée à cette valeur de θ est donnée par :
θˆn = Xn
Vérifions maintenant que :
d 2 ln L
<0
dθ2 |θbn
On a :
n
d 2 ln L n 2 X
= − xi
dθ2 θ2 θ3
i=1

53
Méthodes d’estimation ponctuelle

Remplacons θ par θbn :

d 2 ln L n 2nX n
= 2
− 3
dθ2 |θbn =Xn Xn Xn
n
=− 2 <0
Xn

Concclusion: θbn est bien un estimateur de maximum de vraisemblance de

θ.

54