Vous êtes sur la page 1sur 18

Estimation par maximum de vraisemblance Approche numrique

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 1

But de lestimation en statistique


X : Variable ou vecteur alatoire dintrt

X1, X2, . Xn chantillon de donnes

f(x;) Densit de probabilit sur X f() est connu, inconnu

Lestimation a pour but de trouver les valeurs possibles de telles que la densit f(x;) sajuste le mieux aux donnes disponibles Diffrentes mthodes possibles : mthode des moments, du maximum de vraisemblance ou des moindres carrs.
B. Govaerts - Institut de Statistique - UCL STAT2430 Estimation par maximum de vraisemblance Page 2

Exemple : ajustement dun loi des donnes


chantillon de donnes :
200 donnes de mesures de rsistance de verre la rupture.

But : trouver une densit de probabilit qui sajuste bien aux donnes et en estimer les paramtres. Densit proposes : Normale, logNormale, Weibull
B. Govaerts - Institut de Statistique - UCL STAT2430 Estimation par maximum de vraisemblance Page 3

Estimation par maximum de vraisemblance


Fonction de vraisemblance
Soit X une variable alatoire de densit de probabilit f(x;) o est un vecteur de k paramtres : =(1, 2,... k) Soit X1,X2 Xn un chantillon de donnes indpendantes. La fonction de vraisemblance associe est dfinie par :

L( ) = f ( xi ; )
i =1

Estimateur de maximum de vraisemblance (EMV)


Lestimateur de maximum de vraisemblance de est la valeur de qui maximise la fonction de vraisemblance L(). En pratique on maximise le logarithme de la fonction de vraisemblance :

l ( ) = log( L( )) = log( f ( xi ; ))
Si une approche analytique par drivation ne fonctionne pas, on procde numriquement.
i =1

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 4

Proprits des EMV


Un estimateur de maximum de vraisemblance est asymptotiquement sans biais, de distribution Normale et de variance minimale :

dist N ( , I 1 ( ))
I() est la matrice dinformation de Fischer dfinie par :
n 2 2 I ( ) = l ( ) = log( f ( xi ; )) = H ( ) ' i =1 '

matrice Hessienne
B. Govaerts - Institut de Statistique - UCL STAT2430 Estimation par maximum de vraisemblance Page 5

Proprit dinvariance des estimateurs de MV


Soit =g() un paramtre fonction du vecteur des paramtres estims par maximum de vraisemblance. La proprit dinvariance assure que lestimateur de maximum de vraisemblance de vaut :

= g ()

est l' estimateur de MV de o

Les proprits asymptotiques de cet estimateur sont similaires aux proprits de lEMV :

dist N ( , G ( )' I 1 ( )G ( ))
o G ( ) = g ( )

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 6

Ajustement dun distribution Normale : approche analytique


( x )2 f ( x; ) = f ( x; , ) = exp( ) 2 2 2 2
2

Densit normale

Fonction de vraisemblance Log vraisemblance Minimisation


n

L( ) = f ( xi ; ) =
i =1 i =1

( xi ) 2 exp( ) 2 2 2 2 1

n ( xi ) 2 n n 2 l ( ) = log( f ( xi ; )) = log( ) log(2 ) 2 2 2 2 i =1 i =1

n ( xi ) 1 n = xi = X l ( ) = 2 =0 2 2 n i =1 i =1

( xi ) 2 1 n 2 2 l ( ) = + = 0 = ( x ) i 2 2 2 i =1 2 4 n i =1 n
n

Estimateurs de maximum de vraisemblance


=X
B. Govaerts - Institut de Statistique - UCL

1 n = ( xi X ) 2 n i =1
2
Page 7

STAT2430 Estimation par maximum de vraisemblance

Exemple : ajustement dune Normale


Estimateurs de MV
1 n = X = 23.46 = ( xi X ) 2 = 222.75 n i =1
2

Valeur de la log vraisemblance


n )2 ( xi n n 2 ) log(2 ) l ( ) = log( = 824.39 2 2 2 2 i =1

N(23.46, 222.75)

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 8

Approche numrique de lEMV

Quand une solution analytique nexiste pas ou ne peut facilement tre trouve pour les EMV, on procde numriquement. La fonction R nlm() (nlmin() dans S+) permet de minimiser une fonction plusieurs variables. On va donc minimiser l(). Lalgorithme utilis est itratif et est une variante de lalgorithme de Newton.

A faire : Ecrire une fonction qui permet de calculer l() Minimiser cette fonction avec nlm en donnant des valeurs de dpart pour
les paramtres estimer.

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 9

Exemple : Ajustement numrique dune Normale


Fonction de vraisemblance minimiser l()
> vraisnor function (par,x) {mu=par[1] sig2=par[2] n=length(x) logvrais=-(n/2)*log(2*pi*sig2)-sum((x-mu)^2/(2*sig2)) return(-logvrais)}

Appel de la fonction de minimisation


nlm(vraisnor,par=c(10,10),x=x)

Rsultat
$minimum [1] 824.3943 $estimate [1] 23.46570 222.75373 $gradient [1] 1.717000e-05 6.512322e-07 $code [1] 1 $iterations [1] 19

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 10

La distribution logNormale
Un variable est logNormale si son logarithme est Normale. Elle prend ses valeurs dans R0+ et permet dajuster des phnomnes asymtriques. Densit logNormale Moments
(log( x) ) 2 f ( x; ) = f ( x; , ) = exp( ) 2 2 2 x 2
2

E ( X ) = exp( + 2 / 2)

V ( X ) = (exp( 2 ) 1) exp(2 + 2 )

Exemples

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 11

EMV des paramtres dune distribution logNormale


Densit lognormale
(log( x) ) 2 f ( x; ) = f ( x; , ) = exp( ) 2 2 2 x 2
2

Fonction de vraisemblance Log vraisemblance Minimisation


n

L( ) =
i =1

(log( xi ) ) 2 f ( xi ; ) = exp( ) 2 2 2 i =1 xi 2
n

n n n n (log( xi ) ) 2 2 l ( ) = log( f ( xi ; )) = log( ) log(2 ) log( xi ) 2 2 2 2 i =1 i =1 i =1

n (log( xi ) ) 1 n = log( xi ) l ( ) = 2 =0 2 2 n i =1 i =1

(log( xi ) ) 2 1 n 2 2 l ( ) = + = 0 = (log( x ) ) i 2 2 2 i =1 2 4 n i =1 n
n

Estimateurs de maximum de vraisemblance de E(X) et V(X)


( X ) = exp( ( X ) = (exp( + 2 / 2) V 2 ) 1) exp(2 + 2) E
B. Govaerts - Institut de Statistique - UCL STAT2430 Estimation par maximum de vraisemblance Page 12

Exemple : ajustement dune logNormale


Estimateurs de MV
1 n 1 n 2 = log( xi ) = 2.99 = (log( xi ) ) 2 = 0.335 n i =1 n i =1 ( X ) = exp( ( X ) = (exp( + 2 / 2) = 23.49 2 ) 1) exp(2 + 2 ) = 219.84 E V

Valeur de la log vraisemblance


) = l (
n n )2 n n ( xi 2 ) log(2 ) log( xi ) log( f ( xi ; )) = log( = 772.31 2 2 2 2 i =1 i =1 i =1 n

logN(2.99,0.335)

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 13

Exemple : Ajustement numrique dune logNormale


Fonction de vraisemblance minimiser l()
> vraislogn function (par,x) mu=par[1] sig2=par[2] n=length(x) logvrais=-sum(log(x))-n*log(sqrt(2*pi*sig2))-sum((log(x)-mu)^2/(2*sig2))

return(-logvrais)}

Appel de la fonction de minimisation


nlm(vraislogn,par=c(1,1),x=x)

Rsultat
$minimum [1] 772.3136 $estimate [1] 2.9889810 0.3353075 $gradient [1] 1.939801e-05 -2.501110e-06 $code [1] 1 $iterations [1] 21

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 14

La distribution Weibull
La variable alatoire de Weibull 2 paramtres prend ses valeurs entre dans R0+ et permet dajuster des phnomnes asymtriques. Densit Weibull Moments
x f ( x; ) = f ( x; , ) =
1

exp(( x / ) )

E ( X ) = (1 + 1 / )

V ( X ) = 2 ((1 + 2 / ) (1 + 1 / ) 2 )

Exemples

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 15

Exemple : ajustement dune Weibull


La vraisemblance est trop complexe, on ne peut rsoudre le problme analytiquement !
Fonction de vraisemblance minimiser l()
> vraisweib function (par,x) mu=par[1] sig2=par[2] n=length(x) logvrais=n*log(a)-n*a*log(b)+(a-1)*sum(log(x))-sum((x/b)^a) return(-logvrais)}

Appel de la fonction de minimisation


nlm(vraisweib,par=c(10,21),x=x)

Rsultat
$minimum [1] 788.5652 $estimate [1] 1.718531 26.501480 $gradient [1] 1.203332e-04 -1.139379e-05 $code [1] 1 $iterations [1] 39

Weib(1.73, 26.5)

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 16

Infrence sur les paramtres de la lognormale (1)


Matrice de variance covariance des paramtres
2 n 1 1 ) = )) = ( H ( )) = V ( log( f ( x ; )) ( I ( i ' i =1 1

Calcul de la matrice Hessienne : analytiquement ou numriquement


>res=nlm(vraislogn,par=c(1,1),x=x,hessian=T)
>res$hessian
[,1] [,2] [1,] 596.4673409 -0.2631740 [2,] -0.2631740 888.3756777

Calcul de la matrice de variance covariance des paramtres


> solve(res$hessian) [,1] [,2] [1,] 1.676538e-03 4.966605e-07 [2,] 4.966605e-07 1.125650e-03 Attention, comme on minimise log vraisemblance, on ne doit plus mettre un signe - devant la matrice Hessienne donne par R avant de linverser.

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 17

Infrence sur les paramtres de la lognormale (2)


Intervalle de confiance asymptotique sur un paramtre
) ( i z1 / 2 V i Exemple : IC 95% sur :

2.99 1.96 0.00167 = [2.91,3.07]

Intervalle de confiance asymptotique sur une fonction =g() dun paramtre


i z1 / 2
g ( ) g ( ) V ( ) ' =

Exemple : IC 95% sur (X) :

) = exp( ( X ) = g ( + 2 / 2) = 23.49 E g ( , 2 ) = exp( + 2 / 2) g ( , 2 ) 1 + 2 / 2) = exp( 2 2

23.49 1.96 1.077 = [21.46,25.52]

g ( , 2 ) ) , 2 ) g ( , 2 ) g ( , 2 ) V ( cov( V ( E ( X )) = 2 2 2 2 , ) ) g ( , ) V ( cov( 2 0.00167 0.000 23.49 = (23.49 11.745) 0.0000 0.00113 = 1.077 11.745
Page 18

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance