Académique Documents
Professionnel Documents
Culture Documents
2
𝜕 𝐿𝑛(𝐿)
Où 𝐼𝑛 (𝜃̂) = −𝐸 ⟦ 𝜕𝜃2 ⟧ est appelé la quantité d’information de Fisher.
̂
𝜃=𝜃
Exemple
Soit la variable Y qui a pour distribution de probabilité f(y) donnée comme suit :
(𝑝 + 1)𝑦 𝑝 , 0≤𝑦≤1
𝑓(𝑦) = {
0, 𝑠𝑖𝑛𝑜𝑛
Soit un échantillon aléatoire (𝑌1 ; 𝑌2 ; … ; 𝑌𝑛 ) indépendamment et identiquement distribuées selon la
loi de Y. Déterminer un estimateur 𝑝̂ du paramètre p par la méthode de moments.
On sait que :
+∞ 1
𝑝 + 1 𝑝+2 1 𝑝 + 1
𝐸(𝑌) = ∫ 𝑦𝑓(𝑦)𝑑𝑦 = ∫ 𝑦(𝑝 + 1)𝑦 𝑝 𝑑𝑦 = [𝑦 ]0 =
𝑝+2 𝑝+2
−∞ 0
𝑝+1
𝐸(𝑌) =
𝑝+2
∑ 𝑌𝑖
𝑚1 = = 𝑦̅
𝑛
𝑚𝑜𝑚𝑒𝑛𝑡 𝑚𝑜𝑚𝑒𝑛𝑡
𝑡ℎé𝑜𝑟𝑖𝑞𝑢𝑒 𝑠𝑖𝑚𝑝𝑙𝑒 𝑒𝑚𝑝𝑖𝑟𝑖𝑞𝑢𝑒 𝑠𝑖𝑚𝑝𝑙𝑒
𝑑′ 𝑜𝑟𝑑𝑟𝑒 1 𝑑′ 𝑜𝑟𝑑𝑟𝑒 1
⏞ 𝑝+1 ∑ 𝑌𝑖 2𝑦̅−1
𝐸(𝑌) = ⏞1
𝑚 ⇔ 𝑝+2 = = 𝑦̅ et on obtient 𝑝̂ = estimateur de p par la
𝑛 1−𝑦̅
méthode des moments (EMM).
𝑖=𝑛
Exercice 2
– Soit une variable aléatoire X dont la loi de probabilité est donnée par la fonction suivante :
0 si x < 0
𝑓(𝑥) = { 1 - 𝛼𝑥 ;𝛼 > 0
e si x ≥ 0
𝛼
1°) Vérifier que f est une densité de probabilité. Calculer l'espérance mathématique de X.
2°) Estimer par la méthode du maximum de vraisemblance.
3°) Montrer que cet estimateur est sans biais et Convergent.
Exercice 3 :
-Dans une population P, on définit la variable aléatoire X dont la loi de probabilité est donnée par
la densité de probabilité suivante :
2x - 𝑥 2
𝑓(x, 𝜃) = { 𝜃 e 𝜃 si x ≥ 0 ; 𝜃 > 0
0 si x < 0
Exercice 1 : Corrigé
Estimation du paramètre de la loi de poisson par la méthode du maximum de vraisemblance
Soit X une variable aléatoire qui suit une loi de Poisson de paramètre 𝜆, et on note 𝑋 ↝ 𝒫(𝜆),
si :
−𝜆
𝜆𝑥
𝑃(𝑋 = 𝑥) = 𝑒 , 𝑎𝑣𝑒𝑐 𝜆 > 0
𝑥!
𝑖=𝑛 𝑖=𝑛
−𝑛𝜆
𝜆∑𝑖=1 𝑥𝑖
𝐿𝑛(𝐿(𝑋𝑛 ; 𝜆)) = 𝐿𝑛 [𝑒 ] = −𝑛𝜆 + (∑ 𝑥𝑖 ) 𝑙𝑛𝜆 − 𝑙𝑛 (∏ 𝑥𝑖 !)
∏𝑖=𝑛
𝑖=1 𝑥𝑖 ! 𝑖=1
𝑖=𝑛
∑ 𝑋𝑖
𝑙 ′ 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑒𝑢𝑟 𝑑𝑢 𝑚𝑎𝑥𝑖𝑚𝑢𝑚 𝑑𝑒 𝑣𝑟𝑎𝑖𝑠𝑒𝑚𝑏𝑙𝑎𝑛𝑐𝑒 𝑑𝑒 𝜆 𝑒𝑠𝑡 𝑑𝑜𝑛𝑐 𝜆̂ =
𝑛
2)
∑𝑋 1 1 1
a) 𝐸(𝜆̂) = 𝐸 ( 𝑛 𝑖 ) = 𝑛 𝐸(∑𝑖=𝑛
𝑖=1 𝑋𝑖 ) = 𝑛 ∑(𝐸(𝑋𝑖 ) = 𝑛 × 𝑛. 𝜆 = 𝜆
𝐸(𝜆̂) = 𝜆, 𝑑𝑜𝑛𝑐 𝜆̂ 𝑒𝑠𝑡 𝑠𝑎𝑛𝑠 𝑏𝑖𝑎𝑖𝑠.
∑𝑋 1 1 1 𝜆
b) V(𝜆̂) = 𝑉 ( 𝑛 𝑖 ) = 𝑛2 𝑉(∑𝑖=𝑛
𝑖=1 𝑋𝑖 ) = 𝑛2 [∑ 𝑉(𝑋𝑖 )] = 𝑛2 × 𝑛𝜆 = 𝑛
𝜆
lim V(𝜆̂) = 𝑙𝑖𝑚 = 0, 𝑑𝑜𝑛𝑐 𝜆̂ 𝑒𝑠𝑡 𝑐𝑜𝑛𝑣𝑒𝑟𝑔𝑒𝑛𝑡.
𝑛→+∞ 𝑛→+∞ 𝑛
Exercice2- Corrige
Soit une variable aléatoire X dont la loi de probabilité est donnée par la fonction suivante :
0 si x < 0
𝑓(𝑥) = { 1 𝑥 ;𝛼 > 0
e - 𝛼 si x ≥ 0
𝛼
1°) Vérifier que f est une densité de probabilité. Calculer l'espérance mathématique de X.
2°) Estimer par la méthode du maximum de vraisemblance.
3°) Montrer que cet estimateur est sans biais et Convergent.
Solution - 1°) Vérification que f est une densité de probabilité (ddp)
On note que X suit la loi exponentielle de paramètre 𝛼 ; avec 𝐸(𝑋) = 𝛼 et 𝑉(𝑋) = 𝛼 2
𝑓(𝑥) ≥ 0
𝑓 𝑒𝑠𝑡 𝑢𝑛𝑒 𝑑𝑑𝑝 𝑠𝑖 { 𝑒𝑡 ;
+∞
∫−∞ 𝑓(𝑥)𝑑𝑥 = 1
𝑥 𝑥 +∞
+∞ 0 +∞ 1
or 𝑓(𝑥) ≥ 0, ∀𝑥 ∈ ℝ 𝑒𝑡 ∫−∞ 𝑓(𝑥)𝑑𝑥 = ∫−∞ 0𝑑𝑥 + ∫0 (𝛼 e - 𝛼 ) 𝑑𝑥 = 0 + [−e - 𝛼 ] =1
0
donc f(x) est une ddp.
2°) Estimateur du Maximum de vraisemblance de α.
Fonction de vraisemblance : 𝐿(𝑋1 , 𝑋2 , . . . , 𝑋𝑛 ; 𝛼)
𝑖=𝑛 𝑖=𝑛
1 - 𝑥𝑖 1 𝑥1 1 𝑥2 1 𝑥𝑛
𝐿(𝑋1 , 𝑋2 , . . . , 𝑋𝑛 ; 𝛼) = ∏ 𝑓(𝑥𝑖 ; 𝛼) = ∏ [ e 𝛼] = e- 𝛼 × e- 𝛼 × …× e- 𝛼
𝛼 𝛼 𝛼 𝛼
𝑖=1 𝑖=1
1 𝑛 - 1 (𝑥1+𝑥2+⋯+𝑥𝑛)
𝑖=𝑛
∑𝑖=1 𝑥𝑖
𝐿(𝑋1 , 𝑋2 , . . . , 𝑋𝑛 ; 𝛼) = ( ) e 𝛼 = 𝛼 −𝑛 𝑒 − 𝛼
𝛼
Propriétés de 𝛼̂ :
∑𝑋 1 1 1
𝐸(𝛼̂) = 𝐸 ( 𝑛 𝑖 ) = 𝑛 𝐸(∑ 𝑋𝑖 ) = 𝑛 ∑𝑖=𝑛
𝑖=1 𝐸(𝑋𝑖 ) = 𝑛 × 𝑛 × 𝐸(𝑋𝑖 )
⏟ =𝛼
𝑋𝑖 𝑠𝑢𝑖𝑡 𝑙𝑎 𝑙𝑜𝑖
𝑒𝑥𝑝𝑜𝑛𝑒𝑛𝑡𝑖𝑒𝑙𝑙𝑒 𝑑𝑒
𝑝𝑎𝑟𝑎𝑚è𝑡𝑟𝑒 𝛼
𝑒𝑡 𝐸(𝑋𝑖 )=𝛼
⇒ 𝐸(𝛼̂) = 𝛼 , 𝛼̂ est donc un estimateur sans biais de 𝛼.
∑ 𝑋𝑖 1 1 1 𝛼²
et V(𝛼̂) = 𝑉 ( ) = 𝑛2 V(∑ 𝑋𝑖 ) = 𝑛2 ∑𝑖=𝑛
𝑖=1 𝑉(𝑋𝑖 ) = 𝑛2 × 𝑛 ⏟2
𝛼 =
𝑛 𝑛
𝑋𝑖 𝑠𝑢𝑖𝑡 𝑙𝑎 𝑙𝑜𝑖
𝑒𝑥𝑝𝑜𝑛𝑒𝑛𝑡𝑖𝑒𝑙𝑙𝑒 𝑑𝑒
𝑝𝑎𝑟𝑎𝑚è𝑡𝑟𝑒 𝛼
𝑒𝑡 𝑉(𝑋𝑖 )=𝛼2
𝛼²
⇒ lim 𝑉 (𝛼̂) = lim = 0 , donc 𝛼̂ est convergent.
𝑛→∞ 𝑛→∞ 𝑛
Exercice3- Corrigé
Dans une population P, on définit la variable aléatoire X dont la loi de probabilité est donnée par
la densité de probabilité suivante :
2x - 𝑥 2
𝑓(x; 𝜃) = { 𝜃 e 𝜃 si x ≥ 0 ; 𝜃 > 0
0 si x < 0
∑ 𝑥𝑖2
𝑙𝑛𝐿(𝑋𝑛 ; 𝜃) = 𝑛𝑙𝑛2 − 𝑛𝑙𝑛𝜃 + 𝑙𝑛 (∏ 𝑥𝑖 ) −
𝜃
∑ 𝑥𝑖2
𝑙𝑛𝐿(𝑋𝑛 ; 𝜃) = 𝑛𝑙𝑛2 − 𝑛𝑙𝑛𝜃 + ∑ 𝑙𝑛𝑥𝑖 −
𝜃
+∞ +∞ +∞
2𝑥 𝑥²
𝐸(X²)= ∫ x²f(𝑥)dx = ∫ x² ( 𝑒 − 𝜃 ) dx = ∫ ue-u 𝜃du = 𝜃𝛤(2) = 𝜃1! = 𝜃
0 0 𝜃 ⏟0
𝑓𝑜𝑛𝑐𝑡𝑖𝑜𝑛 𝑔𝑎𝑚𝑚𝑎 𝑑′𝐸𝑢𝑙𝑒𝑟
∑𝑖 𝑋𝑖2
⇒ 𝜃 = 𝐸(X²) = 𝑚2 ; et 𝜃̂ =
𝑛
Remarque : méthode d’intégration débouchant sur la fonction gamma d’Euler pour calculer
+∞
2𝑥 𝑥² 𝑥2
𝐸(X²)= ∫ x² ( 𝑒 − 𝜃 ) dx 𝑒𝑡 𝑝𝑜𝑠𝑜𝑛𝑠 𝑢 =
0 𝜃 𝜃
2
𝑥 = 𝜃𝑢
𝑒𝑡
2𝑥𝑑𝑥 𝜃𝑑𝑢
⇒ 𝑑𝑢 = ⇒ 𝑑𝑥 =
𝜃 2𝑥
𝑒𝑡
𝑥2 𝑥2
lim
{𝑥→0 𝜃 = 0 ⇒ lim 𝑢 = 0 𝑒𝑡 lim = +∞ ⇒ lim 𝑢 = +∞
𝑥→0 𝑥→+∞ 𝜃 𝑥→+∞
On remplace u dans le calcul de 𝐸(X²)
+∞ +∞ +∞ +∞
2𝑥 −𝑥 2 2𝑥 -u 𝜃𝑑𝑢
𝐸(X²)= ∫ x² ( 𝑒 ) dx = ∫ 𝜃𝑢 e (
𝜃 ) = ∫ 𝜃𝑢e du = 𝜃 ∫ 𝑢e-u du
-u
0 𝜃 0 𝜃 2𝑥 0 0
𝑝𝑜𝑢𝑟 𝑛 > 0
Rappel : la fonction gamma d’Euler est: { +∞
Γ(𝑛) = ∫0 𝑢𝑛−1 e-u du = (n − 1)!
+∞
⇒∫ 𝑢e-u du = Γ(2) = (2 − 1)! = 1! = 1
0
+∞
⇒ 𝐸(X²) = 𝜃 ∫ 𝑢e-u du = 𝜃 × 1! = 𝜃 𝑠𝑜𝑖𝑡 𝐸(X²) = 𝜃
0
0 𝑠𝑖 𝑥 < 0