Estimation par maximum de vraisemblance

Approche numrique

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 1

But de lestimation en statistique

X : Variable ou vecteur alatoire dintrt

X1, X2, . Xn
chantillon de donnes

f(x;)
Densit de probabilit sur X
f() est connu, inconnu

Lestimation a pour but de trouver les valeurs possibles de telles

que la densit f(x;) sajuste le mieux aux donnes disponibles
Diffrentes mthodes possibles : mthode des moments, du
maximum de vraisemblance ou des moindres carrs.
B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 2

Exemple : ajustement dun loi des donnes

chantillon de donnes :
200 donnes de mesures de rsistance de verre la rupture.

But : trouver une densit de probabilit qui sajuste bien aux donnes et en
estimer les paramtres. Densit proposes : Normale, logNormale,
Weibull
B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 3

Estimation par maximum de vraisemblance

Fonction de vraisemblance
Soit X une variable alatoire de densit de probabilit f(x;) o est un vecteur de k
paramtres : =(1, 2,... k)
Soit X1,X2 Xn un chantillon de donnes indpendantes.
La fonction de vraisemblance associe est dfinie par :
n

L( ) = f ( xi ; )
i =1

Estimateur de maximum de vraisemblance (EMV)

Lestimateur de maximum de vraisemblance de est la valeur de qui maximise la
fonction de vraisemblance L().
En pratique on maximise le logarithme de la fonction de vraisemblance :
n

l ( ) = log( L( )) = log( f ( xi ; ))
i =1

Si une approche analytique par drivation ne fonctionne pas, on procde

numriquement.

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 4

Proprits des EMV

Un estimateur de maximum de vraisemblance est
asymptotiquement sans biais, de distribution Normale et de
variance minimale :

dist
N ( , I 1 ( ))
I() est la matrice dinformation de Fischer dfinie par :
n
2
2
I ( ) =
l ( ) =
log( f ( xi ; )) = H ( )
'
i =1 '

matrice Hessienne
B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 5

Proprit dinvariance des estimateurs de MV

Soit =g() un paramtre fonction du vecteur des paramtres
estims par maximum de vraisemblance. La proprit
dinvariance assure que lestimateur de maximum de
vraisemblance de vaut :

= g ()

o est l' estimateur de MV de

Les proprits asymptotiques de cet estimateur sont similaires aux

proprits de lEMV :

dist
N ( , G ( )' I 1 ( )G ( ))

o G ( ) =
g ( )

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 6

Ajustement dun distribution Normale : approche analytique

( x )2
f ( x; ) = f ( x; , ) =
exp(
)
2
2
2
2

Densit normale

Fonction de vraisemblance
Log vraisemblance
Minimisation

i =1

i =1

L( ) = f ( xi ; ) =

( xi ) 2
exp(
)
2
2
2
2
1

n
( xi ) 2
n
n
2
l ( ) = log( f ( xi ; )) = log( ) log(2 )
2
2
2 2
i =1
i =1
n

( xi )
1 n
l ( ) = 2
= 0 = xi = X
2

2
n i =1
i =1

( xi ) 2
1 n
2
2

l
(

)
=

+
=
0

=
(
x

i
2
2 2 i =1 2 4
n i =1

Estimateurs de maximum de vraisemblance

= X
B. Govaerts - Institut de Statistique - UCL

1 n
= ( xi X ) 2
n i =1
2

STAT2430 Estimation par maximum de vraisemblance

Page 7

Exemple : ajustement dune Normale

Estimateurs de MV
1 n
= X = 23.46 = ( xi X ) 2 = 222.75
n i =1
2

Valeur de la log vraisemblance

n
( xi ) 2
n
n
2
l ( ) = log( ) log(2 )
= 824.39
2

2
2
2

i =1

N(23.46, 222.75)

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 8

Approche numrique de lEMV

Quand une solution analytique nexiste pas ou ne peut facilement tre

trouve pour les EMV, on procde numriquement.
La fonction R nlm() (nlmin() dans S+) permet de minimiser une fonction
plusieurs variables. On va donc minimiser l(). Lalgorithme utilis
est itratif et est une variante de lalgorithme de Newton.

A faire :
Ecrire une fonction qui permet de calculer l()
Minimiser cette fonction avec nlm en donnant des valeurs de dpart pour
les paramtres estimer.

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 9

Exemple : Ajustement numrique dune Normale

Fonction de vraisemblance minimiser l()
> vraisnor
function (par,x)
{mu=par[1]
sig2=par[2]
n=length(x)
logvrais=-(n/2)*log(2*pi*sig2)-sum((x-mu)^2/(2*sig2))
return(-logvrais)}

Appel de la fonction de minimisation

nlm(vraisnor,par=c(10,10),x=x)

Rsultat
$minimum
[1] 824.3943
$estimate
[1] 23.46570 222.75373
$gradient
[1] 1.717000e-05 6.512322e-07
$code
[1] 1
$iterations
[1] 19

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 10

La distribution logNormale
Un variable est logNormale si son logarithme est Normale. Elle
prend ses valeurs dans R0+ et permet dajuster des phnomnes
asymtriques.

Densit logNormale

Moments

(log( x) ) 2
f ( x; ) = f ( x; , ) =
exp(
)
2
2
2
x 2
2

E ( X ) = exp( + 2 / 2)

V ( X ) = (exp( 2 ) 1) exp(2 + 2 )

Exemples

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 11

EMV des paramtres dune distribution logNormale

(log( x) ) 2
f ( x; ) = f ( x; , ) =
exp(
)
2
2
2
x 2
2

Densit lognormale

L( ) =

Fonction de vraisemblance
Log vraisemblance
Minimisation

i =1

(log( xi ) ) 2
f ( xi ; ) =
exp(
)
2
2
2

i =1 xi 2
n

n
n
n
n
(log( xi ) ) 2
2
l ( ) = log( f ( xi ; )) = log( ) log(2 ) log( xi )
2
2
2 2
i =1
i =1
i =1
n

(log( xi ) )
1 n
l ( ) = 2
= 0 = log( xi )
2

2
n i =1
i =1

(log( xi ) ) 2
1 n
2
2

l
(

)
=

+
=
0

=
(log(
x
)

i
2
2 2 i =1
2 4
n i =1

Estimateurs de maximum de vraisemblance de E(X) et V(X)

E ( X ) = exp( + 2 / 2) V ( X ) = (exp( 2 ) 1) exp(2 + 2 )
B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 12

Exemple : ajustement dune logNormale

Estimateurs de MV
1 n
1 n
2
= log( xi ) = 2.99 = (log( xi ) ) 2 = 0.335
n i =1
n i =1
E ( X ) = exp( + 2 / 2) = 23.49
V ( X ) = (exp( 2 ) 1) exp(2 + 2 ) = 219.84

Valeur de la log vraisemblance

l () =

n
n
n
n
( xi ) 2
2

log( f ( xi ; )) = log( ) log(2 ) log( xi )

= 772.31

2
2
2
i =1
i =1
i =1
n

logN(2.99,0.335)

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 13

Exemple : Ajustement numrique dune logNormale

Fonction de vraisemblance minimiser l()
> vraislogn
function (par,x)
mu=par[1]
sig2=par[2]
n=length(x)
logvrais=-sum(log(x))-n*log(sqrt(2*pi*sig2))-sum((log(x)-mu)^2/(2*sig2))

return(-logvrais)}

Appel de la fonction de minimisation

nlm(vraislogn,par=c(1,1),x=x)

Rsultat
$minimum
[1] 772.3136
$estimate
[1] 2.9889810 0.3353075
$gradient
[1] 1.939801e-05 -2.501110e-06
$code
[1] 1
$iterations
[1] 21

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 14

La distribution Weibull
La variable alatoire de Weibull 2 paramtres prend ses valeurs
entre dans R0+ et permet dajuster des phnomnes
asymtriques.
1

Densit Weibull

Moments

x
f ( x; ) = f ( x; , ) =

E ( X ) = (1 + 1 / )

exp(( x / ) )

V ( X ) = 2 ((1 + 2 / ) (1 + 1 / ) 2 )

Exemples

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 15

Exemple : ajustement dune Weibull

La vraisemblance est trop complexe, on ne peut rsoudre le problme
analytiquement !
Fonction de vraisemblance minimiser l()

> vraisweib
function (par,x)
mu=par[1]
sig2=par[2]
n=length(x)
logvrais=n*log(a)-n*a*log(b)+(a-1)*sum(log(x))-sum((x/b)^a)
return(-logvrais)}

Appel de la fonction de minimisation

nlm(vraisweib,par=c(10,21),x=x)

Weib(1.73, 26.5)

Rsultat
$minimum
[1] 788.5652
$estimate
[1] 1.718531 26.501480
$gradient
[1] 1.203332e-04 -1.139379e-05
$code
[1] 1
$iterations
[1] 39

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 16

Infrence sur les paramtres de la lognormale (1)

Matrice de variance covariance des paramtres
2
n

1
1
V () = ( I ()) = ( H ()) =
log( f ( xi ; ))
i =1 '

Calcul de la matrice Hessienne : analytiquement ou numriquement

>res=nlm(vraislogn,par=c(1,1),x=x,hessian=T)
>res$hessian
[,1]
[,2]
[1,] 596.4673409 -0.2631740
[2,] -0.2631740 888.3756777

Calcul de la matrice de variance covariance des paramtres

> solve(res$hessian)
[,1]
[,2]
[1,] 1.676538e-03 4.966605e-07
[2,] 4.966605e-07 1.125650e-03
Attention, comme on minimise log vraisemblance, on ne doit plus mettre un signe - devant
la matrice Hessienne donne par R avant de linverser.

B. Govaerts - Institut de Statistique - UCL

STAT2430 Estimation par maximum de vraisemblance

Page 17

Infrence sur les paramtres de la lognormale (2)

Intervalle de confiance asymptotique sur un paramtre
i z1 / 2 V (i )
Exemple : IC 95% sur :

2.99 1.96 0.00167 = [2.91,3.07]

Intervalle de confiance asymptotique sur une fonction =g() dun

paramtre
i z1 / 2

g ( ) g ( )
V ( )
'
=

Exemple : IC 95% sur (X) :

E ( X ) = g () = exp( + 2 / 2) = 23.49

23.49 1.96 1.077 = [21.46,25.52]

B. Govaerts - Institut de Statistique - UCL

g ( , 2 )
= exp( + 2 / 2)

g ( , 2 ) 1
= exp( + 2 / 2)
2
2

g ( , 2 )

g ( , 2 ) g ( , 2 ) V ( )
cov( , 2 )

V ( E ( X )) =
2
2
2
2

V ( ) g ( , )

cov( , )

2
0.00167 0.000 23.49

= 1.077
= (23.49 11.745)
0.0000 0.00113 11.745

STAT2430 Estimation par maximum de vraisemblance

Page 18