Méthode du maximum de

vraisemblance
Niveau S3
Email de contact: cours.s3.echantillonnage@gmail.com

Estimation_S3_N.GUEHAIR 1
Parmi les méthodes d’estimation la plus utilisée est celle de
maximum de vraisemblance.
Il s’agit d’une méthode statistique qui permet de dériver la
formule d’un estimateur particulier : l’estimateur du
maximum de vraisemblance (EMV).
Principe général : on suppose que la variable d’intérêt suit
une certaine distribution caractérisée par un nombre fini de
paramètres inconnus et l’on cherche à les estimer. On utilise
pour cela un échantillon pour lequel on dispose d’un
ensemble d’observations. Si les variables de l’échantillon sont
discrètes, on construit la probabilité jointe d’apparition des
données de l’échantillon. Dans le cas continu, on a la densité
jointe associée à ces observations. Cette probabilité jointe ou
densité jointe correspond à la vraisemblance de l’échantillon.
La vraisemblance est une fonction des observations et des
paramètres inconnus de la distribution. Le maximum de
vraisemblance consiste donc à déterminer la valeur des
paramètres qui rend l’échantillon la plus vraisemblable.

Estimation_S3_N.GUEHAIR 2
Supposant X une V.a suivant une loi de probabilité (sa
fonction de masse comme par exemple la loi de Poisson)
ou sa densité (loi continue comme loi normale) qu’est
une fonction f (𝑥1 , 𝑥2 … … 𝑥n, θ), avec θ un paramètre
inconnu (souvent sont deux dans le cas continu).
On cherche à estimer la valeur de θ qui rend maximal la
probabilité d’observer les données (𝑥1 , 𝑥2 … … 𝑥n ) étant
une réalisation d’un n échantillon (𝑋1 , . .. , 𝑋𝑛 ) de X.
On appelle alors fonction de vraisemblance la fonction
L (𝑥1 , 𝑥2 … … 𝑥n, θ) = f(𝑥1 , 𝑥2 … … 𝑥n, θ).

Estimation_S3_N.GUEHAIR 3
La méthode de vraisemblance consiste à chercher la valeur θ෠
pour le paramètre inconnu θ qui maximise la fonction de
vraisemblance : θ෠ = 𝐴𝑟𝑔𝑚𝑎𝑥 θ L 𝑥1 , 𝑥2 … … 𝑥n , θ
θ෠ est un estimateur ponctuel du paramètre inconnu θ appelé
Estimateur du Maximum de Vraisemblance (EMV).
Pour calculer le maximum de la vraisemblance, on procède
ainsi :
- On définit la vraisemblance des données( 𝑥1 , 𝑥2 … … 𝑥n ) par la
fonction du paramètre à estimer.
- Puis on détermine la valeur θ෠ qui annule la dérivée du log de
vraisemblance (ln (L (𝑥1 , 𝑥2 … … 𝑥n , θ))
Enfin on s'assure à l'aide de la dérivée seconde que ce point est
bien un maximum ( c’est-à-dire doit être négative).

Estimation_S3_N.GUEHAIR 4
 Cas discret : Loi de Poisson
Supposons que le tirage d’un n-échantillon 𝑿𝟏. . . , 𝑿𝒏 de v . a. suivant une loi de Poisson
P(λ), avec λ>0 inconnu (c’est-dire θ= λ) avec des réalisation 𝒙𝟏 , 𝒙𝟐 , … … 𝒙𝐧
𝒆−𝛉 𝛉𝒙𝐢
La fonction de probabilité (ou de masse) : P (𝑿𝐢 = 𝒙𝐢 ) = 𝒙𝐢 !

Déterminer la vraisemblance
La vraisemblance de l’échantillon 𝒙𝟏 , 𝒙𝟐 , … … 𝒙𝐧 est :
−𝛉 𝒙𝐢 σ𝒏 𝒙
𝒆 𝛉 𝛉 𝒊=𝟏 𝐢
𝑳 θ 𝒙𝟏 , 𝒙𝟐 , … … 𝒙𝐧 ; θ = ς𝒏𝒊=𝟏 = 𝒆−𝐧𝛉 ς𝒏 𝒙 !
𝒙𝐢 ! 𝒊=𝟏 𝐢

Il est plus facile de calculer avec le logarithme de cette expression est comme log est une
fonction croissante, il nous suffit de rechercher le maximum de :
σ𝒏 σ𝒏
෡ = 𝐥𝐧(𝑳 𝒙𝟏 , 𝒙𝟐 , … … 𝒙𝐧 ; θ ) −𝐧𝛉 𝛉 𝒊=𝟏 𝒙𝐢 𝛉 𝒊=𝟏 𝒙𝐢
𝛉 θ = ln(𝒆 ) = 𝒍𝒏 𝒆−𝐧𝛉 + 𝒍𝒏
ς𝒏
𝒊=𝟏 𝒙𝐢 ! ς𝒏
𝒊=𝟏 𝒙𝐢 !
𝒏
= −𝐧𝛉 + 𝒍𝒏 𝛉σ𝒊=𝟏 𝒙𝐢 − 𝐥𝐧( ς𝒏𝒊=𝟏 𝒙𝐢 !) = −𝐧𝛉 + σ𝒏𝒊=𝟏 𝒙𝐢 𝒍𝒏(𝛉)- σ𝒏𝒊=𝟏 𝒍𝒏(𝒙𝐢 !)
෡ qui annule la dérivée du ln de vraisemblance :
Trouver la valeur 𝛉
𝒅 [𝐥𝐧 (𝑳θ 𝒙𝟏 , 𝒙𝟐 , … … 𝒙𝐧 ; θ ]
=𝟎
𝒅𝛉
Estimation_S3_N.GUEHAIR 5
Cas discret : Loi de Poisson
𝒅 [−𝐧𝛉 + σ𝒏𝒊=𝟏 𝒙𝐢 𝒍𝒏(𝛉) − σ𝒏𝒊=𝟏 𝒍𝒏(𝒙𝐢!)]
=𝟎
𝒅𝛉
σ𝒏
𝒊=𝟏 𝒙𝐢
-n+ =0
𝛉
σ𝒏
𝒊=𝟏 𝒙𝐢
Nous trouvons 𝛉 ෡= comme estimateur de λ, ce qui convient
𝐧
λ = E (𝑿𝐢 ) pour toute v.a 𝑿𝐢 ∼ P(λ).
La dérivée seconde est :
𝒅 [𝐥𝐧 (𝑳 𝒙𝟏,𝒙𝟐 ,……𝒙𝐧 ;θ σ𝒏
θ 𝒊=𝟏 𝒙𝐢
𝟐 =− 𝟐 <0
𝒅𝛉 𝛉
σ𝒏
𝒊=𝟏 𝒙𝐢
෡=
𝛉 est bien un maximum
𝐧

Estimation_S3_N.GUEHAIR 6
 Cas continu : Loi Normale
On suppose cette fois-ci que n-échantillon où les variables aléatoires 𝑿𝟏. . . , 𝑿𝒏 sont
normalement et indépendamment distribués (iid) de paramètres inconnus µ et 𝝈.
(𝑿−µ)𝟐
𝟏 −
La densité d’une variable normale est : f(x) = 𝒆 𝟐𝝈𝟐
𝝈 𝟐𝝅
Déterminer la vraisemblance
𝑳µ ,𝝈 𝑿𝟏, 𝑿𝟐 , … … 𝑿𝐧 = 𝒇µ ,𝝈 (𝑿𝟏) x 𝒇µ ,𝝈 (𝑿𝟐) x …….x 𝒇µ ,𝝈 (𝑿𝐧)
( 𝑿𝟏 −µ)𝟐 (𝑿𝟐 −µ)𝟐 (𝑿𝐧 −µ)𝟐
𝟏 − 𝟏 − 𝟏 −
𝑳µ ,𝝈 𝑿𝟏, 𝑿𝟐 , … … 𝑿𝐧 = 𝒆 𝟐𝝈𝟐 x 𝒆 𝟐𝝈𝟐 ……..x 𝒆 𝟐𝝈𝟐 =
𝟐 𝝈 𝟐𝝅 𝝈 𝟐𝝅 𝝈 𝟐𝝅
σ𝒏 (𝑿 −µ)
𝟏 𝒏 − 𝒊=𝟏 𝟐𝐢
(𝝈 𝟐𝝅
) 𝒆 𝟐𝝈

𝒏 𝟐
𝟏 𝒏 −σ𝒊=𝟏 (𝑿𝐢 −µ)
Introduire le logarithme : Ln 𝑳µ ,𝝈 𝑿𝟏, 𝑿𝟐 , … … 𝑿𝐧 = 𝐥𝐧[ 𝒆 𝟐𝝈𝟐 =
𝝈 𝟐𝝅
𝟐
𝒏 σ𝒏 (𝑿 −µ)
𝟏 − 𝒊=𝟏 𝟐𝐢
𝐥𝐧( + 𝐥𝐧 𝒆 𝟐𝝈
𝝈 𝟐𝝅
𝟐
σ𝒏
𝒊=𝟏 (𝑿𝐢 −µ)
Donc: 𝐥𝐧 𝑳µ ,𝝈 𝑿𝟏, 𝑿𝟐 , … … 𝑿𝐧 = −𝒏 𝒍𝒏 𝝈 + 𝒍𝒏 𝟐𝝅 − 𝟐𝝈𝟐

Estimation_S3_N.GUEHAIR 7
 ෡ µ
Pour trouver les estimateurs des paramètres 𝛉 ො, ෝ
𝝈
𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧 ,µ ] 𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧,𝝈 ]
Il faut que les deux dérivés partielles et s’annulent.
𝒅µ 𝒅𝝈
𝟐
σ𝒏 (𝑿 −µ)
𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧 ,µ ] 𝒅 [−𝒏 𝒍𝒏 𝝈 +𝒍𝒏 𝟐𝝅 − 𝒊=𝟏 𝟐𝐢 ] − σ𝒏 𝒏
𝟐𝝈 𝒊=𝟏 −𝟐( 𝑿𝐢 −µ) σ𝒊=𝟏 𝑿𝐢 −𝒏µ
𝒅µ
= 𝒅µ
= 𝟐 𝝈𝟐
= 𝝈𝟐
=0

σ𝒏
𝒊=𝟏 𝑿𝐢
Donc µ
ො= = 𝑬 𝑿𝐢
𝒏
𝟐
σ𝒏 (𝑿 −µ)
𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧 ,𝝈 ] 𝒅 [ [−𝒏 𝒍𝒏 𝝈 +𝒍𝒏 𝟐𝝅 − 𝒊=𝟏 𝟐𝐢 ] 𝒏 𝟒𝝈 σ𝒏
𝟐
𝟐𝝈 𝒊=𝟏 (𝑿𝐢 −µ)
= = − + =
𝒅𝝈 𝒅𝝈 𝝈 𝟒𝝈𝟒
𝒏 𝟐
𝒏 σ (𝑿 −µ)
− + 𝒊=𝟏 𝟑𝐢 =𝟎
𝝈 𝝈
𝒏 𝟐
෢𝟐 = σ𝒊=𝟏
𝝈
(𝑿𝒊 −µ)
= 𝑺𝟐𝒆
𝒏

On conclut que l’espérance et la variance de la variable X sont les meilleurs estimateurs des
deux paramètres de la loi normale.
𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧 ,µ ] 𝒏
Les dérivées partielles secondes : =− <𝟎
𝒅µ𝟐 𝝈𝟐

𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧 ,µ ] 𝒏 𝟑 𝟐 𝒏 𝟑 𝟐𝒏

𝒅𝝈𝟐
= 𝝈𝟐 − 𝝈𝟒 σ𝒏𝒊=𝟏 (𝑿𝐢 −µ) = 𝝈𝟐 − 𝝈𝟒 𝝈𝟐 𝒏 = − 𝝈
< 𝟎
8
Estimation_S3_N.GUEHAIR
 ෡ µ
Pour trouver les estimateurs des paramètres 𝛉 ො, ෝ
𝝈
𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧 ,µ ] 𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧,𝝈 ]
Il faut que les deux dérivés partielles et s’annulent.
𝒅µ 𝒅𝝈
𝟐
σ𝒏 (𝑿 −µ)
𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧 ,µ ] 𝒅 [−𝒏 𝒍𝒏 𝝈 +𝒍𝒏 𝟐𝝅 − 𝒊=𝟏 𝟐𝐢 ] σ𝒏
𝟐𝝈 𝒊=𝟏 𝑿𝐢 −𝒏µ
𝒅µ
= 𝒅µ
= 𝝈𝟐
=0

σ𝒏
𝒊=𝟏 𝑿𝐢
Donc µ
ො= = 𝑬 𝑿𝐢
𝒏
𝟐
σ𝒏 (𝑿 −µ)
𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧 ,𝝈 ] 𝒅 [ [−𝒏 𝒍𝒏 𝝈 +𝒍𝒏 𝟐𝝅 − 𝒊=𝟏 𝟐𝐢 ] 𝒏 𝟒𝝈 σ𝒏
𝟐
𝟐𝝈 𝒊=𝟏 (𝑿𝐢 −µ)
= = − + =
𝒅𝝈 𝒅𝝈 𝝈 𝟒𝝈𝟒
𝒏 𝟐
𝒏 σ (𝑿 −µ)
− + 𝒊=𝟏 𝟑𝐢 =𝟎
𝝈 𝝈
𝒏 𝟐
෢𝟐 = σ𝒊=𝟏
𝝈
(𝑿𝒊 −µ)
= 𝑺𝟐𝒆
𝒏

On conclut que l’espérance et la variance de la variable X sont les meilleurs estimateurs des
deux paramètres de la loi normale.
𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧 ,µ ] 𝒏
Les dérivées partielles secondes : =− <𝟎
𝒅µ𝟐 𝝈𝟐

𝒅 [𝐥𝐧(𝐋 𝒙𝟏 ,𝒙𝟐 ……𝒙𝐧,µ ] 𝒏 𝟑 𝟐

Et 𝒅𝝈𝟐
= 𝝈𝟐 − 𝝈𝟒 σ𝒏𝒊=𝟏 (𝑿𝐢 −µ) < 𝟎
Estimation_S3_N.GUEHAIR 9