Section : Recherche d'estimateurs

Prcdent : Notion de vraisemblance

Suivant : Intervalles de confiance

Pratique du maximum de vraisemblance

Dans la plupart des cas d'intrt pratique, la loi

, et donc aussi la

vraisemblance, ont une expression drivable par rapport . Pour

calculer le maximum de la vraisemblance, il faut dterminer les valeurs
pour lesquelles la drive de la vraisemblance s'annule. Or par
dfinition, la vraisemblance est un produit de probabilits ou de
densits, qui peut tre assez compliqu driver. Il est prfrable de
driver une somme, et c'est pourquoi on commence par remplacer la
vraisemblance par son logarithme. La fonction logarithme tant
croissante, il est quivalent de maximiser
ou
. Une fois dtermine une valeur de

pour laquelle la

drive s'annule, il faut s'assurer l'aide de la drive seconde que ce

point est bien un maximum. Nous traitons ci-dessous quelques familles
classiques.
Lois de Bernoulli
L'ensemble des valeurs possibles est

. Le paramtre inconnu

est .
Si

est un chantillon, la vraisemblance vaut :

Son logarithme est :

La drive par rapport

est :

Elle s'annule pour :

La drive seconde est :

Elle est strictement ngative, la valeur

est bien un maximum. Si

est un chantillon de la loi de Bernoulli de paramtre

l'estimateur du maximum de vraisemblance de

est :

savoir la frquence empirique.

Lois gomtriques
L'ensemble des valeurs possibles est
.
Si

. Le paramtre inconnu est

est un chantillon d'entiers, la vraisemblance vaut :

Son logarithme est :

La drive par rapport

est :

Elle s'annule pour :

La drive seconde est :

Elle est strictement ngative, la valeur

est bien un maximum. Si

est un chantillon de la loi gomtrique de paramtre

l'estimateur du maximum de vraisemblance de

est :

savoir l'inverse de la moyenne empirique, ce qui est cohrent avec le

fait que le paramtre est l'inverse de l'esprance.
Lois exponentielles
Le paramtre inconnu est encore . Il s'agit ici de lois continues, la
vraisemblance est donc un produit de valeurs de la densit. Pour un uplet de rels positifs
elle vaut :

Son logarithme est :

La drive par rapport

est :

Elle s'annule pour :

La drive seconde est :

Elle est strictement ngative, la valeur est bien un maximum. Si

est un chantillon de la loi exponentielle de paramtre
l'estimateur du maximum de vraisemblance de

est :

savoir l'inverse de la moyenne empirique, ce qui est cohrent avec le

fait que le paramtre est gal l'inverse de l'esprance.
Lois normales
Pour un paramtre multidimensionnel, le principe est le mme, mais
les calculs d'optimisation sont plus compliqus. Pour les lois normales,
deux paramtres sont inconnus. Afin d'viter les confusions dans les
drivations, nous noterons le paramtre de variance, habituellement
not
. Pour un -uplet de rels
la vraisemblance vaut :

Son logarithme est :

Les drives partielles par rapport aux paramtres

et

sont :

et

Elle s'annulent pour :

et

Les drives partielles secondes valent :

La matrice hessienne (matrice des drives partielles secondes) au

point
est donc :

Elle est dfinie ngative, le point

est bien un maximum. Si

est un chantillon de la loi normale de paramtres

, les estimateurs du maximum de vraisemblance de

et

et

sont

respectivement la moyenne et la variance empiriques de l'chantillon,

comme on pouvait s'y attendre.

Section : Recherche d'estimateurs

Prcdent : Notion de vraisemblance
Suivant : Intervalles de confiance