Chapitre 2 : Estimation

3. Méthodes de construction d’un estimateur

Une méthode d'estimation est une méthode mathématique qui permet de dériver la forme
fonctionnelle d'un estimateur = ,⋯, à partir des variables aléatoires de l'échantillon
, ⋯ , . Pour un même problème, on peut parfois appliquer plusieurs méthodes d'estimation.
À chaque méthode d'estimation correspond un estimateur particulier. Si l'on se restreint aux seules
méthodes d'estimation paramétriques, il existe de nombreuses méthodes suivant le problème étudié
et les hypothèses retenues.
Citons par exemple :
─ la méthode des moindres carrés ordinaires ;
─ la méthode des moindres carrés généralisés ;
─ la méthode du maximum de vraisemblance ;
─ la méthode des moments généralisés;
─ la méthode des variables instrumentales;
─ la méthode des doubles moindres carrés ordinaires.

3.1. Méthode des Moindres Carrées Ordinaires

Cette méthode a pour principe de minimiser l’erreur entre un estimateur et le paramètre estimé.
Considérons un échantillon aléatoire dont les observations = , ,⋯, proviennent
d’une population de moyenne inconnue et de variance connue . Chaque variable peut être
représenté sous la forme :
= + = 1, 2, ⋯ ,
On a donc − = .
Soit l’erreur quadratique :

= = −

On cherche donc un estimateur de qui minimise l’erreur, ce qui suppose qu’on doit avoir
tel que
=0; # >0
∑
= −2 − =0 =

= &−2 − ' = −2 −1 =2 >0

ce qui correspond à un minimum

3.2. Méthode du Maximum de Vraisemblance

Une méthode pour obtenir un estimateur consiste à choisir comme estimateur, une fonction
()* qui réalise un maximum strict de la vraisemblance de l’échantillon.
La vraisemblance + ); représente la probabilité d’observer le -uple ) = ) , . . . , ) pour une
valeur fixée de . Dans la situation inverse ici où on a observé ) sans connaître la valeur de , on
va attribuer à la valeur qui paraît la plus vraisemblable, compte tenu de l’observation dont on
dispose, c’est-à-dire celle qui va lui attribuer la plus forte probabilité. On se fixe donc la règle
suivante : à ) fixé, on considère la vraisemblance + comme une fonction de et on attribue à la
valeur qui maximise cette fonction. D’où la définition suivante.
Définition : On appelle estimateur du maximum de vraisemblance (emv) toute fonction de) =
) , . . . , ) qui vérifie
+(); - * = max + );
1∈3
Cette définition ne renseigne en aucune façon, ni sur l’existence, ni sur l’unicité, d’un tel estimateur.
La recherche de l’emv peut se faire directement par recherche du maximum de +, ou dans le cas
particulier où la fonction + est deux fois dérivable par rapport à , comme solution de l’équation :
4+ );
=0
4
56 7
Qui vérifie que 6 < 0. Cependant, la vraisemblance se calculant à partir d’un produit, on préfère
51
remplacer ce dernier problème par le problème équivalent pour la log-vraisemblance :
4ln+ );
=0
4
56 ;<7
avec 6 < 0
51

Exemple : échantillon issu d’une distribution de Bernoulli

On suppose que les variables aléatoires = ,⋯, forment un échantillon aléatoire issu
d’une distribution de Bernouilli de paramètre , qui est inconnue 0 ≤ ≤ 1. Pour toutes valeurs
observées ) = ) , ⋯ , ) , où chaque ) est soit 0 >? 1, la fonction de vraisemblance est :

+(); * = @ AB
1− CAB
= ∑D
BEF AB 1− ∑D
BEF CAB

ln+(); * = & ) ' ln + & − ) ' ln 1 −

4ln+ 1 1
=0⟹ ) − & − )'=0
4 1−
1
⇒ = )

Lorsque l’échantillon est tiré, = )̅ = ∑ ) réalise le maximum strict de la vraisemblance (la

dérivée seconde de la vraisemblance est strictement négative).

Exemple : échantillon issu d’une distribution normale avec moyenne inconnue

On suppose que les variables aléatoires = ,⋯, forment un échantillon aléatoire issu
d’une distribution normale pour laquelle la moyenne J est inconnue mais de variance connue.
Pour toutes valeurs observées ) = ) , ⋯ , ) , la fonction de vraisemblance est :
 1 1
+(); J* = K N )O P− ) −J Q
√2M 2
1
Ln+(); J* = − Ln 2M − ) −J
2 2
dLn+(); J* 1
=0⟹ ) −J =0
dJ
1
) − J = 0 ⇒ Ĵ = )

Lorsque l’échantillon est tiré, Ĵ = )̅ = ∑ ) réalise le maximum strict de la vraisemblance (la

dérivée seconde de la vraisemblance est strictement négative).

Exemple : échantillon issu d’une distribution normale avec moyenne et variance inconnues
On suppose que les variables aléatoires = ,⋯, forment un échantillon aléatoire issu
d’une distribution normale pour laquelle la moyenne J et la variance sont inconnues. Le
paramètre à estimer est = J, . Pour toutes valeurs observées ) = ) , ⋯ , ) , la fonction
de vraisemblance est :
1 1
+(); J, *=K N )O P− ) −J Q
√2M 2
1
Ln+(); J* = − Ln 2M − Ln − ) −J
2 2 2
On trouve la valeur de = J, pour laquelle +(); J, * atteint son maximum en suivant
, on va trouver la valeur Ĵ
U
trois étapes. Premièrement, pour chaque valeur fixée de qui
maximise le côté droit de la dernière égalité. Deuxièmement, on va trouver la valeur de qui
maximise +(); ′* avec ′ = Ĵ , . Finalement, emv de sera un vecteur aléatoire dont les
valeurs observées sont = (Ĵ U
, *.
La première étape est déjà résolue dans l’exemple précédent et don on obtient Ĵ = )̅ . Pour la
deuxième étape, on fixe ′ = )̅ , et on maximise
1
Ln+(); ′* = − Ln 2M − Ln − ) − )̅
2 2 2
Lorsqu’on prend la dérivée par rapport à égale à 0, on a :
dLn+(); ′* 1 1
=0⟹− + ) − )̅ =0
d 2 2
1
⟹U= ) − )̅

1 1
= (Ĵ , U * = &Ĵ = ) ; U= ) − )̅ '
 3.3. Méthode des moments
Dans le cas où le paramètre à estimer est = W1 , moyenne théorique de la loi, l’estimateur
naturel est la moyenne empirique, ou moyenne de l’échantillon :
1
)=

pour estimer le paramètre = X1 , variance de la loi, nous retenons logiquement comme

estimateur la variance empirique :
1
Y′ = −)

Plus généralement, si l’un des moments d’ordre ∈ ℕ∗ , non centré \ = W1 \ = \ , ou

centré J\ = W1 − \
= J\ , dépend de , nous allons chercher un estimateur par
résolution de l’équation en obtenue en égalant moment théorique et moment empirique
correspondant, soit :
1 1
\ = \
= \ >? J\ = −) \
= J\

La solution de l’équation retenue, si elle existe et est unique, sera appelée estimateur obtenu par la
méthode des moments.

Exemple 1 :
Soit une variable aléatoire qui suit une loi uniforme, ] 0, où est un paramètre strictement
positif. Déterminer par la méthode des moments un estimateur du paramètre construit à partir
d’un échantillon .
Pour une loi uniforme, la moyenne théorique est ) = ∑ . La moyenne empirique à partir
1
de la loi ] 0, est donné par W = . Pour trouver l’estimateur 4 on résous
l’équation :

)̅ =
2
Ce qui donne comme solution = 2 ^ . Ce qui fournit l’estimateur de la méthode des moments
= 2 ^.

Exemple 2 : Soit une variable aléatoire de densité donnée par

2 )
_ ) = ` a1 − b Y 0≤)≤
0 Y >
où est un paramètre strictement positif. Déterminer par la méthode des moments un estimateur
du paramètre construit à partir d’un échantillon .
Solution : Avec la fonction de densité de probabilité donnée, on a l’espérance mathématique
suivante :
 1
2 1
)2 ) )f
W = c ) a1 − b 4) = e − h =
d 2 3 d 3

On cherche donc à résoudre l’équation ^ = , de solution immédiate = 3 ^ . Ce qui fournit

1
f
l’estimateur de la méthode des moments = 3 ^ .

Fonctions génératrices de moments

Elles permettent de caractériser la distribution d’une variable aléatoire qui est étroitement liée à
ses moments qu’à sa distribution de probabilité.

Définition :
Soit une variable aléatoire. Pour chaque nombre réel #, on définit
i # =W jk

mn jk
Si est continue, i # = lCn _ ) 4) , et si est discrète, i # = ∑mn
Cn
jk
o =)
La fonction i # est appelée fonction génératrice de moment de .
Si # = 0, i 0 = W 1 = 1

Exemple :
On suppose une variable aléatoire dont la fonction de densité de probabilité est donnée par :
CA
Y )>0
_ ) =p
0 Y >
Déterminer la fonction génératrice de moment de et également la variance de .
n n
i # =W jk
=c )Oq#)r. )Oq−)r 4) = c )Oq # − 1 )r 4)
d d

Cette intégrale est finie si et seulement si # < 1. Donc, i # est finie seulement si # < 1. Pour
chaque valeur de #,
1
i # =
1−#
Comme i # est finie pour toutes les valeurs de # dans un intervalle ouvert proche du point # =
0, tous les moments de existent. Les deux premières dérivées de i # sont :
1 2
is # = # iss # =
1−# 1−# f

Ainsi W = i′ 0 = 1, et W = i′′ 0 = 2. Il s’en suit que

X t = iss 0 − uis 0 v = 1
Propriétés de fonctions génératrices de moments des lois usuelles
Les lois usuelles discrètes
Théorème 1 : soit une variable aléatoire dont la fonction génératrice de moments est i # ;
soit w = + x où # x sont des constantes, et soit i # la fonction génératrice de moment
de w. Alors pour chaque de # telle que i # soit définie,
i # = )Oqx#ri #
Exemple : on considère la variable aléatoire comme spécifiée dans l’exemple précédent. On a
vu que le fgm de pour # < 1 est :
1
i # =
1−#
Si w = 3 − 2 , alors la fgm de w est finie pour # > −1/2 et aura l’expression suivante :
fj
i # = )Oq3#ri −2# =
1 + 2#
Théorème 2 : on suppose que , ⋯ , sont variables aléatoires indépendantes ; et pour =
1, ⋯ , soit i # représente la fgm de . Soit w = + ⋯+ et on désigne le fgm de w par
i # . Alors, pour toute valeur de telle que i # soit finie pour = 1, ⋯ , ,

i # = @i #

Propriétés :
Transformation linéaire
Théorème : si a une distribution normale avec une moyenne J et de variance et si w = +
x où # x sont supposés être constants et ≠ 0, alors w a une distribution normale de moyenne
J + x et de variance .

Combinaison linéaire de variables normalement distribuées

Théorème : si les variables , ⋯ , \ sont indépendantes et si a une distribution normale de
moyenne J et de variance = 1, ⋯ , { , alors la somme + ⋯ + \ a une distribution
normale de moyenne J + ⋯ + J\ et de variance + ⋯+ \.
\ \
1
i # = @ i # = @ )O KJ # + # N
2
\ \
1
i # = )O |& J '# + & ' # } O>?t − ∞ < # < ∞
2