Académique Documents
Professionnel Documents
Culture Documents
Christophe Chesneau
https://chesneau.users.lmno.cnrs.fr/
1 Contexte statistique 5
2 Modélisation 7
9 Intervalles de confiance 31
10 Tests de Wald 33
14 Exercices 43
15 Solutions 49
∼ Note ∼
Ce document présente quelques éléments théoriques et pratiques concernant l’estimateur
du maximum de vraisemblance. Je vous invite à me contacter pour tout commentaire :
christophe.chesneau@gmail.com
C. Chesneau 3
1 Contexte statistique
1 Contexte statistique
Population et individus
Une population est un ensemble d’objets sur lesquels une étude se porte. Ces objets sont appelés
individus.
Caractère/variable
Toute propriété étudiée chez les individus d’une population est appelée caractère.
Dans ce document, on considèrera un seul caractère noté X. Ce qui suit est généralisable à plusieurs
caractères étudiées simultanément.
Nature d’un caractère
Un caractère est dit :
◦ quantitatif s’il mesure une quantité ou un nombre ; les valeurs que prend X sont numériques (le
nombre de personnes dans une salle, le salaire, le nombre d’items dans une liste, le temps de
travail. . . ),
◦ qualitatif/catégoriel s’il mesure une catégorie ; les valeurs que prend X sont des modalités
(la couleur des yeux, la marque de téléphone, la présence ou l’absence d’un défaut de fabrication,
le stade d’une maladie, la classe d’âges. . . ).
Dans ce document, on suppose que X prend des valeurs numériques : il peut être quantitatif, ou
qualitatif avec un codage numérique des modalités (1 pour présence, 0 pour absence. . . ).
Échantillon d’individus
En pratique, il est souvent difficile de considérer la population dans sa totalité. On choisit alors un
groupe d’individus dans la population suivant un processus de sélection précis. Ce groupe est appelé
échantillon. Le nombre d’individus dans l’échantillon est noté n.
Processus de sélection
Dans ce document, on suppose qu’un échantillon est constitué de la manière suivante :
◦ on choisit les n individus un à un, au hasard et avec remise ; il est possible qu’un même individu
soit sélectionné plusieurs fois,
C. Chesneau 5
1 Contexte statistique
C. Chesneau 6
2 Modélisation
2 Modélisation
Modélisation du caractère X
Naturellement, la valeur d’un caractère X peut varier d’un individu à un autre. On peut alors
modéliser X par une variable aléatoire réelle (var) définie sur un espace probabilisé (Ω, A, P). Cette
var est également notée X par convention. Dès lors, X est l’application qui, à tout individu choisit au
hasard dans la population, associe la valeur observée du caractère.
Les données x1 , . . . , xn sont donc des réalisations de la var X.
Nature de la var X
◦ Si les valeurs de X peuvent être énumérées, on considère la var X comme discrète.
◦ Si l’énumération des valeurs de X est fastidieuse, on considère la var X comme étant à densité.
L’ensemble des valeurs atteignables par la var X est appelé support de X. Il est noté X(Ω).
Loi (de probabilité) d’une var X
La loi de la var X est la probabilité PX définie par PX (A) = P(X ∈ A), pour tout évenement A.
Hypothèses sur la loi de la var X
A priori, la loi (exacte) de la var X est inconnue. Toutefois, on suppose qu’elle est caractérisée
par une fonction dont on ne connait pas un ou plusieurs paramètres. Ces paramètres inconnus sont
notés/symbolisés par θ. La loi de X est notée L(θ). Entre autre, θ peut-être :
◦ la valeur moyenne de X correspondant à l’espérance de la var X notée E(X),
◦ une mesure de la variabilité des valeurs de X comme l’écart-type de la var X noté σ(X),
◦ les deux : θ = (E(X), σ(X))t (noté sous la forme d’un vecteur colonne).
Fonction caractérisant la loi de la var X
La fonction caractérisant la loi L(θ) de X est définie par :
Pθ (X = x), la fonction de masse de X, si X est une var discrète,
f (x; θ) =
fθ (x),
une densité de X, si X est une var à densité.
C. Chesneau 7
2 Modélisation
L’indice θ précise que θ apparaît dans les expressions. Il sera omis dans la suite sauf pour clarifier
son apparition si besoin est. Le x est pris sur l’ensemble des valeurs atteignables par X.
Ainsi, pour tout événement A, la loi de X est caractérisée par
X
Pθ (X = x), si X est une var discrète,
P(X ∈ A) = Zx∈A
fθ (x)dx si X est une var à densité.
A
n-échantillon
Le processus de sélection des individus étant aléatoire, les données peuvent différer d’un échantillon
à l’autre. Cette variabilité peut se modéliser à l’aide de variables aléatoires réelles. Pour tout i ∈
{1, . . . , n}, on considère l’application Xi qui, à tout échantillon obtenu avec ce processus, associe la
valeur du caractère X observé sur le i-ème individu. Dès lors :
◦ les données x1 , . . . , xn sont des réalisations de X1 , . . . , Xn ,
◦ X1 , . . . , Xn sont des var indépendantes et identiquement distribuées (iid),
◦ la loi commune des var X1 , . . . , Xn est celle de la var X : Xi suit la loi L(θ).
Le vecteur aléatoire réel (X1 , . . . , Xn ) est appelé n-échantillon de X.
Ainsi le terme "échantillon" désigne tantôt un groupe d’individus, tantôt (X1 , . . . , Xn ).
Statistique
On appelle statistique une var définie comme étant une fonction d’un n-échantillon de X.
Estimateur (aléatoire) de θ
On appelle estimateur (aléatoire) de θ toute statistique dont les valeurs sont plausiblement proches
de θ. On le note θbn . On peut écrire θbn sous la forme θbn = gn (X1 , . . . , Xn ), où gn désigne une fonction
connue dépendant éventuellement de n.
Estimateur ponctuel de θ
Un estimateur ponctuel de θ est la réalisation d’un estimateur θbn de θ correspondante aux données
x1 , . . . , xn ; c’est donc un réel ou un vecteur de réels. On le note θ∗ .
Représentation
Partant d’un estimateur θbn = gn (X1 , . . . , Xn ), un estimateur ponctuel de θ est θ∗ = gn (x1 , . . . , xn ) ;
on a substitué Xi par xi pour tout i ∈ {1, . . . , n}.
C. Chesneau 8
2 Modélisation
C. Chesneau 9
3 Performance non-asymptotique d’un estimateur
Le risque quadratique est une mesure de l’erreur moyenne que commet θbn dans l’estimation de θ. Il est
un critère de performance : plus R(θbn , θ) est petit, plus l’estimateur θbn estime bien θ.
Si θbn est sans biais, alors on a R(θbn , θ) = E((θbn − E(θbn ))2 ) = V(θbn ).
Expression pratique du risque quadratique
On peut montrer que
R(θbn , θ) = V(θbn ) + (B(θbn , θ))2 .
Estimateur préférable
(1) (2) (1) (2)
Soient θbn et θbn deux estimateurs de θ. On dit que θbn est préférable à θbn si et seulement si
C. Chesneau 11
3 Performance non-asymptotique d’un estimateur
L’estimateur θbn étant sans biais, on peut aussi écrire cette inégalité avec V(θbn ) à la place de R(θbn , θ).
Cette borne est
◦ indépendante de l’expression de l’estimateur,
◦ atteignable par un ou plusieurs estimateur a priori.
Elle nous donne donc une indication précise sur la possibilité de bien estimer θ.
Sur θ : du paramètre inconnu à la variable
Ne connaissant pas la valeur du paramètre θ, on le considère parfois comme une variable réelle
définie sur l’ensemble des ses valeurs possibles. Cela nous permet d’effectuer des opérations usuelles
sur des fonctions de θ (dérivée en θ, maximisation en θ. . . ).
Information de Fisher
Sccri, on appelle information de Fisher/information de Fisher fournit par (X1 , . . . , Xn ) sur θ le
réel :
In (θ) = nI1 (θ),
avec
2 !
∂
I1 (θ) = E ln(f (X1 ; θ)) .
∂θ
∂
Dans cette expression, ln(f (x; θ)) désigne la dérivée partielle de f (x; θ) en θ. Une fois calculée, on
∂θ
∂
élève ln(f (x; θ)) au carré, on remplace x par X1 et on prend l’espérance de la nouvelle var obtenue.
∂θ
C. Chesneau 12
3 Performance non-asymptotique d’un estimateur
1
un (θ) = .
In (θ)
Par conséquent,
◦ plus In (θ) est grand, plus un (θ) est petit, plus le risque R(θbn , θ) peut être petit, plus on peut
espérer pourvoir trouver de "bons" estimateurs sans biais de θ,
◦ plus In (θ) est petit, plus un (θ) est grand, moins le risque R(θbn , θ) peut être petit,moins θ sera
bien estimé, peu importe l’estimateur considéré.
Ainsi, partant d’un n-échantillon (X1 , . . . , Xn ) de X, l’information de Fisher mesure
◦ une erreur inhérente à l’hypothèse que X suit la loi L(θ),
◦ la quantité moyenne d’information apportée par X sur θ.
Autre expression de I1 (θ)
On peut montrer que
∂2
∂
I1 (θ) = V ln(f (X1 ; θ)) , I1 (θ) = −E ln(f (X1 ; θ)) .
∂θ ∂θ2
Cette dernière expression est souvent la plus pratique dans les calculs.
Estimateur efficace
Sccri, on dit qu’un estimateur θbn de θ est efficace si et seulement si
◦ il est sans biais : E(θbn ) = θ,
◦ on a :
1
V(θbn ) = .
In (θ)
Ces deux conditions entraînent que la borne de Cramer-Rao est atteinte : R(θbn , θ) = un (θ). Ainsi, le
risque d’un estimateur efficace θbn est le plus petit possible ; il est donc préférable à tous les estimateurs
sans biais de θ. En ce sens, c’est le "meilleur" estimateur sans biais.
C. Chesneau 13
3 Performance non-asymptotique d’un estimateur
2
1 ∂
R(θbn , θ) ≥ 1+ B(θn , θ) + (B(θbn , θ))2 .
b
In (θ) ∂θ
La borne inférieure est appelée "borne minimale du risque quadratique de θbn ". Si θbn est sans biais, on
retrouve la borne de Cramer-Rao.
C. Chesneau 14
4 Performance asymptotique d’un estimateur
lim E(θbn ) = θ.
n→∞
Cela signifie que la valeur moyenne de θbn doit être proche de θ quand n est assez grand.
Un estimateur sans biais est asymptotiquement sans biais.
Estimateur faiblement consistant
On dit qu’un estimateur θbn de θ est faiblement consistant si et seulement si la suite de var (θbn )n∈N∗
converge en probabilité vers θ, i.e. pour tout > 0, on a
lim P(|θbn − θ| ≥ ) = 0.
n→∞
Cela signifie que θbn s’écarte de θ avec une faible probabilité quand n est assez grand.
Critère suffisant pour la faible consistance
Si un estimateur θbn de θ vérifie lim R(θbn , θ) = 0, alors il est faiblement consistant ; c’est une
n→∞
conséquence de l’inégalité de Markov.
Estimateur fortement consistant
On dit qu’un estimateur θbn de θ est fortement consistant de θ si et seulement si la suite de var
(θbn )n∈N∗ converge presque sûrement vers θ, i.e.
P( lim θbn = θ) = 1.
n→∞
Cela signifie que θbn est assurément proche de θ quand n est assez grand.
La convergence presque sure impliquant la convergence en probabilité, un estimateur fortement
consistant est consistant.
C. Chesneau 15
4 Performance asymptotique d’un estimateur
∞
X
P(|θbn − θ| ≥ ) < ∞,
n=1
◦ on a
lim In (θ)V(θbn ) = 1.
n→∞
Ces deux conditions entraînant que la "borne minimale du risque quadratique de θbn " est asymptoti-
quement atteinte. En ce sens, c’est le "meilleur" estimateur asymptotique sans biais.
Un estimateur efficace est asymptotiquement efficace.
Estimateur asymptotiquement normal
Un estimateur θbn de θ est dit asymptotiquement normal/asymptotiquement distribué selon une loi
normale si et seulement si il existe deux suites de réels (an (θ))n∈N∗ et (bn (θ))n∈N∗ dépendantes de θ
telles que la suite de var !
θbn − an (θ)
bn (θ)
n∈N∗
converge en loi vers une var Z suivant la loi normale N (0, 1), i.e. pour tout x ∈ R,
!
x
θbn − an (θ)
Z
1 t2
lim P ≤x = √ e− 2 dt
n→∞ bn (θ) −∞ 2π
(cette dernière fonction étant la fonction de répartition de Z, laquelle est continue pour tout x ∈ R).
Cela signifie que θbn suit approximativement la loi normale N an (θ), b2n (θ) quand n est assez grand.
C’est une propriété importante ; la loi normale étant usuelle, on peut l’utiliser pour construire des
objets statistiques permettant d’évaluer θ avec précision (intervalles de confiance, tests statistiques. . . ).
C. Chesneau 16
5 Estimateurs de la moyenne et de la variance
Estimateur de θ = E(X)
On suppose que le paramètre inconnu est θ = E(X) et on pose :
n
1X
θbn = Xi .
n
i=1
converge en loi vers une var Z suivant la loi normale N (0, 1) ; c’est une conséquence du théorème
central limite.
Selon la loi L(θ), θbn peut être efficace ou asymptotiquement efficace ou ni l’un, ni l’autre.
En particulier, si X suit la loi normale N (µ, σ 2 ) avec µ et σ inconnus, et θ = E(X) = µ, alors θbn
est un estimateur de θ sans biais, fortement consistant, asymptotiquement normal et efficace. Il est
σ2
même "exactement normal" car il suit la loi normale N µ, .
n
Un estimateur ponctuel de θ = E(X) est
n
1X
x= xi .
n
i=1
C. Chesneau 17
5 Estimateurs de la moyenne et de la variance
Estimateur de θ = V(X)
On suppose que le paramètre inconnu est θ = V(X) et on pose :
n n
!
1 X 2 1X
θbn = Xi − X n , Xn = Xi .
n−1 n
i=1 i=1
C’est n/(n − 1) fois la moyenne des carrés des écarts entre la var Xi du n-échantillon (X1 , . . . , Xn ) et
X n pour i ∈ {1, . . . , n}. Il est généralement noté Sn2 .
Alors θbn est un estimateur de θ qui est
◦ sans biais : E(θbn ) = θ, c’est même pour cela que l’on divise par n − 1 et non par n,
◦ fortement consistant : (θbn )n∈N∗ converge presque sûrement vers θ ; c’est une conséquence de la
loi forte des grands nombres et du théorème de continuité.
Selon la loi L(θ), θbn peut être efficace ou asymptotiquement efficace ou ni l’un, ni l’autre.
En particulier, si X suit la loi normale N (µ, σ 2 ) avec µ et σ inconnus, et θ = V(X) = σ 2 , alors θbn est
un estimateur de θ sans biais, fortement consistant, asymptotiquement normal et asymptotiquement
efficace. Pour ce dernier point, on peut montrer que
2σ 4 n
V(θbn ) = , In (θ) = .
n−1 2σ 4
n
2 1 X
s = (xi − x)2 .
n−1
i=1
v
u n
u 1 X
s=t (xi − x)2 .
n−1
i=1
C. Chesneau 18
6 Estimateurs du maximum de vraisemblance : première approche
C. Chesneau 19
6 Estimateurs du maximum de vraisemblance : première approche
Une telle valeur est donc solution d’un problème d’optimisation visant à maximiser une fonction de
θ caractérisant la vraisemblance d’avoir obtenu x1 , . . . , xn . Ainsi, θ∗ est un estimateur ponctuel du
paramètre inconnu θ appelé estimateur du maximum de vraisemblance (emv).
Aussi, précisons que l’on peut définir la vraisemblance des données x1 , . . . , xn par la fonction de θ :
Comme (X1 , . . . , Xn ) est un n-échantillon, par l’indépendance et la distribution identique des var
X1 , . . . , Xn , on peut aussi écrire :
n n n
!
\ Y Y
Ln (θ) = Pθ {Xi = xi } = Pθ (Xi = xi ) = Pθ (X = xi ).
i=1 i=1 i=1
L(
n
1 ,...,n )
(θ) = Pθ ((X1 , . . . , Xn ) ∈ [x1 , x1 + 1 [× . . . × [xn , xn + n [).
Z x1 +1 Z xn +n
L(
n
1 ,...,n )
(θ) = ... fθ (t1 , . . . , tn )dt1 . . . dtn ,
x1 xn
( ,...,n )
Cependant, déterminer un θ qui maximise Ln 1 (θ) n’est pas chose aisée :
( ,...,n )
◦ l’expression analytique d’une fonction intégrale comme Ln 1 (θ) n’existe pas toujours,
◦ il dépend de 1 , . . . , n dont la petitesse reste subjective.
C. Chesneau 20
6 Estimateurs du maximum de vraisemblance : première approche
( ,...,n )
Une solution est de considérer une version idéalisée de Ln 1 (θ) qui est
Ln (θ) = fθ (x1 , . . . , xn ).
Cette expression est une conséquence du résultat suivant : en notant Fθ la fonction de répartition de
(X1 , . . . , Xn ), il vient
n
Y
Ln (θ) = fθ (x1 , . . . , xn ) = fθ (xi ).
i=1
Vocabulaires
En anglais,
◦ "vraisemblance" se dit "likelihood", d’où la notation "L".
◦ "estimateur du maximum de vraisemblance" (emv) se dit "maximum likelihood estimator" (mle).
C. Chesneau 21
7 Estimateurs du maximum de vraisemblance pour (x1 , . . . , xn )
Fonction de vraisemblance
Dans ce document, on appelle fonction de vraisemblance pour (x1 , . . . , xn ) la fonction de θ :
n
Y
Ln (x1 , . . . , xn ; θ) = f (xi ; θ).
i=1
Pθ (X = x), si X est une var discrète,
On rappelle que f (x; θ) =
fθ (x),
si X est une var à densité de densité fθ .
Ln (x1 , . . . , xn ; θ) ≤ Ln (x1 , . . . , xn ; θ∗ ).
où argmax désigne l’argument du maximum qui est l’ensemble des points en lesquels une expression
atteint sa valeur maximale.
Puisqu’il dépend de x1 , . . . , xn , θ∗ est une estimation ponctuelle de θ. Un tel estimateur n’existe
pas toujours et peut ne pas être unique.
C. Chesneau 23
7 Estimateurs du maximum de vraisemblance pour (x1 , . . . , xn )
Dans ce document, pour simplifier, on suppose qu’il existe un unique emv θ∗ de θ pour (x1 , . . . , xn ).
Fonction de Log-vraisemblance
On appelle fonction de log-vraisemblance pour (x1 , . . . , xn ) la fonction de θ définie par :
Équation de vraisemblance
On appelle équation de vraisemblance l’équation en θ :
∂
`n (x1 , . . . , xn ; θ) = 0.
∂θ
Pratique de l’emv
Bien souvent, la résolution de l’équation de vraisemblance n’amène pas une expression analytique
pour l’emv θ∗ de θ pour (x1 , . . . , xn ). En tant que problème d’optimisation, on peut quand même
approcher la valeur de θ∗ avec précision à l’aide d’algorithmes itératifs efficaces.
C. Chesneau 24
7 Estimateurs du maximum de vraisemblance pour (x1 , . . . , xn )
Il y a notamment :
◦ l’algorithme de Newton-Raphson,
◦ l’algorithme de Gauss-Newton,
◦ le score de Fisher.
Par exemple, partant de l’équation de vraisemblance et d’un développement de Taylor au premier
∂
ordre de `n (x1 , . . . , xn ; θ), l’algorithme de Newton-Raphson est caractérisé par la m-ème itération :
∂θ
−1
∂2
(m+1) (m) ∂
θ =θ − `n (x1 , . . . , xn ; θ(m) ) (m)
`n (x1 , . . . , xn ; θ ) .
∂θ2 ∂θ
Dès qu’il y a stabilisation pour un m∗ , i.e. θ(m∗ +1) = θ(m∗ ) , on considère la valeur θ∗ = θ(m∗ ) .
C. Chesneau 25
8 Estimateurs du maximum de vraisemblance (aléatoire)
∂
`n (X1 , . . . , Xn ; θ) = an (θ)(θbn − θ),
∂θ
alors
◦ θbn est un estimateur sans biais : E(θbn ) = θ,
C. Chesneau 27
8 Estimateurs du maximum de vraisemblance (aléatoire)
◦ on a
1
V(θbn ) = ,
an (θ)
◦ on a
1
In (θ) = .
V(θbn )
En particulier, le premier et le troisième points entraînent que θbn est un estimateur efficace de θ.
Emv et efficacité
S’il existe un estimateur efficace de θ, alors c’est l’emv θbn de θ (en revanche, un emv n’est pas
nécessairement efficace).
Sur la normalité asymptotique de l’emv
Sccri, l’emv θbn de θ est asymptotiquement normal ; la suite de var :
p
In (θ)(θbn − θ)
n∈N∗
converge en loi vers une var Z suivant la loi normale N (0, 1).
Résultat asymptotique central
Sccri, l’emv θbn de θ vérifie : la suite de var :
q
In (θbn )(θbn − θ)
n∈N∗
converge en loi vers une var Z suivant la loi normale N (0, 1) ; on a substitué θ à θbn dans la définition
de l’information de Fisher du résultat de normalité asymptotique de θbn .
Ce dernier résultat est central pour la construction d’intervalles de confiance pour θ, de tests
statistiques simples ou complexes . . .
Lien entre l’emv et l’information de Fisher
Le lien existant entre l’emv et l’information de Fisher peut s’expliquer ainsi :
2
∂
◦ Plus les valeurs de `n (x1 , . . . , xn ; θ) sont petites, moins l’emv θ∗ de θ pour (x1 , . . . , xn )
∂θ
qui annule cette fonction ne se distingue de ses valeurs voisines. Dans ce contexte, (x1 , . . . , xn )
ne nous apportent pas assez d’information pour estimer précisément θ.
C. Chesneau 28
8 Estimateurs du maximum de vraisemblance (aléatoire)
2
∂
◦ A contrario, plus les valeurs de `n (x1 , . . . , xn ; θ) sont grandes, plus l’emv θ∗ de θ pour
∂θ
(x1 , . . . , xn ) qui annule cette fonction se singularise. Dans ce contexte, (x1 , . . . , xn ) nous apportent
suffisamment d’information pour estimer précisément θ.
Ainsi, une mesure de la quantité moyenne d’information apportée par (X1 , . . . , Xn ) sur θ est
2 !
∂
E `n (X1 , . . . , Xn ; θ) . Après calculs, celle-ci correspond à l’information de Fisher In (θ).
∂θ
Cela est en adéquation avec :
◦ les performances théoriques de l’emv θbn principalement garanties dans un cadre asymptotique :
quand n est assez grand, In (θ) = nI1 (θ) prend une large étendue de valeurs éloignées de 0,
◦ la "borne minimale du risque quadratique de θbn " :
2
1 ∂
R(θbn , θ) ≥ 1+ B(θn , θ) + (B(θbn , θ))2 ,
b
In (θ) ∂θ
qui met en lumière la difficulté d’estimer θ par θbn suivant la grandeur de In (θ) dans un cadre
non-asymptotique.
C. Chesneau 29
9 Intervalles de confiance
9 Intervalles de confiance
Intervalle de confiance
Soit α ∈]0, 1[. On appelle intervalle de confiance pour θ au niveau 100(1 − α)% un intervalle
de la forme : IC n (X1 , . . . , Xn ) = [a(X1 , . . . , Xn ), b(X1 , . . . , Xn )], où a(X1 , . . . , Xn ) et b(X1 , . . . , Xn )
désignent deux statistiques, tel que
P(θ ∈ IC n (X1 , . . . , Xn )) = 1 − α.
Avec un niveau "au moins de" 100(1 − α)%, l’intervalle doit vérifier P(θ ∈ IC n (X1 , . . . , Xn )) ≥ 1 − α.
Pour que IC n (X1 , . . . , Xn ) contienne avec une forte probabilité θ, on prend α petit : α = 0.05 . . .
Intervalle de confiance obtenu par l’inégalité de Bienaymé-Tchebychev
Soient α ∈]0, 1[ et θbn un estimateur sans biais de θ tel qu’il existe un réel an indépendant de θ
vérifiant V(θbn ) ≤ a2n . Alors un intervalle de confiance pour θ au niveau "au moins de" 100(1 − α)% est
an b an
IC n (X1 , . . . , Xn ) = θn −
b √ , θn + √ .
α α
Cela signifie que IC n (X1 , . . . , Xn ) est un intervalle de confiance de θ quand n est assez grand.
Les résultats de convergence en loi permettent la construction de tels intervalles (théorème central
limite, méthode Delta. . . ).
C. Chesneau 31
9 Intervalles de confiance
On obtient alors un intervalle de valeurs dans lequel θ a 100(1 − α)% de chances d’appartenir. Natu-
rellement, plus la longueur de cet intervalle est petite, plus il est précis.
Intervalle de confiance asymptotique et emv
Soient α ∈]0, 1[ et θbn l’emv de θ. Sccri, un intervalle de confiance asymptotique pour θ au niveau
100(1 − α)% est donné par
1 1
IC n (X1 , . . . , Xn ) = θbn − zα q , θbn + zα q ,
In (θn )
b In (θn )
b
où zα est le réel tel que P(|Z| ≥ zα ) = α avec Z désignant une var suivant la loi normale N (0, 1).
α α
Le réel zα est aussi le quantile d’ordre 1 − de la loi normale N (0, 1), i.e. P(Z ≤ zα ) = 1 − .
2 2
C’est une conséquence du "résultat asymptotique central" de θn .
b
où zα est le réel tel que P(|Z| ≥ zα ) = α avec Z désignant une var suivant la loi normale N (0, 1).
Pour simplifier, on note icθ cet intervalle ; l’indice θ précisant que l’intervalle de confiance est pour
le paramètre θ.
C. Chesneau 32
10 Tests de Wald
10 Tests de Wald
Hypothèse statistique
On appelle hypothèse statistique une hypothèse inhérente au contexte de l’étude. À la base d’un
test statistique, il y a deux hypothèses complémentaires, notées H0 et H1 ,
◦ l’hypothèse H0 formule ce que l’on souhaite rejeter/réfuter,
◦ l’hypothèse H1 formule ce que l’on souhaite montrer.
Risque de première espèce
On appelle risque de première espèce le pourcentage de chances de rejeter H0 , donc d’accepter H1 ,
alors que H0 est vraie. Il s’écrit sous la forme : 100α%, avec
C. Chesneau 33
10 Tests de Wald
Hypothèses H0 H1
bilatérale θ = θ0 θ 6= θ0
In (θ∗ )(θ∗ − θ0 ).
p
zobs =
On considère une var Z suivant la loi normale N (0, 1). Alors les p-valeurs associées aux hypothèses
considérées sont :
Les définitions de ces p-valeurs reposent sur le "résultat asymptotique central" de θbn et la théorie
des tests asymptotiques.
C. Chesneau 34
11 Complément : Estimation d’une fonction de θ
2
1 0 ∂
R(θen , h(θ)) ≥ h (θ) + B(θn , h(θ)) + (B(θen , h(θ)))2 .
e
In (θ) ∂θ
converge en loi vers une var Z suivant la loi normale N (0, 1) ; c’est une application de la méthode
Delta.
C. Chesneau 35
11 Complément : Estimation d’une fonction de θ
∂
`n (X1 , . . . , Xn ; θ) = an (θ)(θen − h(θ)),
∂θ
◦ on a
(h0 (θ))2
In (θ) = .
V(θen )
C. Chesneau 36
12 Complément : Cas de multiples paramètres
(θ
d j )n est un estimateur de θj .
Le risque de θbn devient le réel : Rp (θbn , θ) = E(kθbn − θk2 ), où k.k désigne la norme euclidienne :
kθbn − θk2 = (θbn − θ)t (θbn − θ). On a Rp (θbn , θ) = trace(Cp×p (θbn )) + kBp (θbn , θ)k2 .
La dérivée partielle première de `n (x1 , . . . , xn ; θ) en θ est un vecteur à p composantes :
t
∂ ∂ ∂
`n (x1 , . . . , xn ; θ) = `n (x1 , . . . , xn ; θ), . . . , `n (x1 , . . . , xn ; θ) .
∂θ ∂θ1 ∂θp
La dérivée partielle seconde de `n (x1 , . . . , xn ; θ) en θ est une matrice carrée à p lignes et p colonnes :
∂2 ∂2
`n (x1 , . . . , xn ; θ) = `n (x1 , . . . , xn ; θ) .
∂θ2 ∂θj ∂θk (j,k)∈{1,...,p}2
C. Chesneau 37
12 Complément : Cas de multiples paramètres
t !
∂ ∂ ∂
In (θ) = Ep `n (X1 , . . . , Xn ; θ) `n (X1 , . . . , Xn ; θ) = Cp,p `n (X1 , . . . , Xn ; θ)
∂θ ∂θ ∂θ
2
∂2
∂
= −Ep,p `n (X1 , . . . , Xn ; θ) = −E `n (X1 , . . . , Xn ; θ) .
∂θ2 ∂θj ∂θk (j,k)∈{1,...,p}2
La borne de Cramer-Rao devient : Sccri, pour tout estimateur θbn de θ sans biais, on a
où In−1 (θ) désigne l’inverse de la matrice In (θ) et le symbole ≥ désigne une inégalité matricielle : pour
toutes matrices A et B à p lignes et p colonnes, A ≥ B signifie que la matrice A − B est positive, i.e.
pour tout vecteur colonne v à p composantes réels, v t (A − B)v ≥ 0. Ainsi, pour tout vecteur colonne
v à p composantes réels, v t Cp,p (θbn ) − In−1 (θ) v ≥ 0. En particulier, pour tout j ∈ {1, . . . , p}, on a
−1
R (θ j n j ≥ [In (θ)]j,j ,
) , θ
d
H0 : θ = θ0 contre H1 : θ 6= θ0 .
C. Chesneau 38
12 Complément : Cas de multiples paramètres
On considère une var K suivant la loi du Chi-deux χ2 (p). Alors la p-valeurs associée est
p-valeur = P(K ≥ χ2obs ).
◦ le test de rapport de vraisemblance : on calcule
On considère une var K suivant la loi du Chi-deux χ2 (p). Alors la p-valeurs associée est
p-valeur = P(K ≥ χ2obs ).
Le test de rapport de vraisemblance est très utilisé dans de nombreuses modélisations avec θ0 =
(0, . . . , 0)t .
C. Chesneau 39
13 Complément : Définitions générales
Ln (y1 , . . . , yn ; θ) =
Pθ ((Y1 , . . . , Yn ) = (y1 , . . . , yn )), si Y1 , . . . , Yn sont discrètes,
fθ (y1 , . . . , yn ),
une densité de (Y1 , . . . , Yn ), si Y1 , . . . , Yn sont à densité.
Ainsi, les var Y1 , . . . , Yn ne sont pas nécessairement iid. Une version "loi conditionnelle" existe aussi.
Ces fonctions de vraisemblance sont utilisées dans le cadre de l’estimation paramétrique pour des
modélisations avancées (modèles de régression, séries temporelles. . . ).
On appelle estimateur du maximum de vraisemblance de θ (emv) pour (y1 , . . . , yn ) un réel θ∗ qui
maximise la fonction de vraisemblance Ln (y1 , . . . , yn ; θ) en θ, i.e.
2 !
∂
In (θ) = E `n (Y1 , . . . , Yn ; θ) .
∂θ
C. Chesneau 41
14 Exercices
14 Exercices
Exercice 1. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X suivant la loi de Poisson P(λ) avec λ > 0 :
λk
Pλ (X = k) = e−λ , k ∈ N.
k!
4. Calculer E(λ
bn ), V(λ
bn ) et R(λ
bn , λ). Vérifier que λ
bn est fortement consistant.
6. Est-ce que λ
bn est efficace ?
1 Pn
7. On suppose désormais que n = 3500 (soit "assez grand") et que xi = 3.50.
n i=1
(a) Proposer un intervalle de confiance pour λ correspondant à (x1 , . . . , xn ) au niveau 95%.
Exercice 2. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X suivant la loi de Bernoulli B(θ) avec θ ∈]0, 1[ :
Pλ (X = 0) = 1 − θ, Pλ (X = 1) = θ.
C. Chesneau 43
14 Exercices
Exercice 3. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X de densité :
θ
2θ−1
x 1−θ si x ∈ [0, 1],
fθ (x) = 1−θ
0 sinon.
1
Le paramètre θ est inconnu avec θ ∈ 2, 1 .
Déterminer un emv θ∗ de θ pour (x1 , . . . , xn ),
Exercice 4. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X de densité :
θ+1
(1 − |x|)θ si x ∈ [−1, 1],
fθ (x) = 2
0 sinon.
a λak
Pλ (X = k) = e−λ , k ∈ N.
k!
C. Chesneau 44
14 Exercices
Exercice 7. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X suivant la loi exponentielle E 1θ avec θ > 0 :
1 1
e− θ x si x ≥ 0,
fθ (x) = θ
0 sinon.
4. Calculer E(θbn ), V(θbn ) et R(θbn , θ). Vérifier que θbn est fortement consistant.
7. Déterminer : " #!
θbn θbn
lim P θ ∈ θbn − 1.96 √ , θbn + 1.96 √ .
n→∞ n n
Exercice 8. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X suivant la loi uniforme U([0, θ]) avec θ > 0 :
1
si x ∈ [0, θ],
fθ (x) = θ
0 sinon.
3. Calculer le biais de θbn . Est-il sans biais ? Est-il asymptotiquement sans biais ?
C. Chesneau 45
14 Exercices
Exercice 9. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X de densité :
3
si x ≥ 1 + θ,
(x − θ)4
fθ (x) =
0
sinon.
4. Calculer le biais de θbn . Est-il sans biais ? Est-il asymptotiquement sans biais ?
6. En utilisant θbn , construire un estimateur θbn∗ sans biais de θ. Est-ce que θbn∗ est préférable à θbn ?
Exercice 10. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X de densité :
θx−(θ+1) si x ≥ 1,
fθ (x) =
0
sinon.
n
1X
Tn = ln(Xi ).
n
i=1
1
1. Utiliser le théorème général sur l’efficacité pour montrer que Tn est un estimateur efficace de ,
θ
puis calculer E (Tn ), V (Tn ) et In (θ).
√
2. Étudier la convergence en loi de ( n (θTn − 1))n∈N∗ .
Exercice 11. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X de densité :
θ+1
(1 − |x|)θ si x ∈ [−1, 1],
fθ (x) = 2
0 sinon.
C. Chesneau 46
14 Exercices
n
1X
Tn = ln(1 − |Xi |).
n
i=1
1. Utiliser le théorème général sur l’efficacité pour montrer que Tn est un estimateur efficace de
1
− , puis calculer E (Tn ), V (Tn ) et In (θ).
θ+1
√
1
2. Étudier la convergence en loi de (θ + 1) n Tn + .
θ+1 n∈N∗
Exercice 12. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X de densité :
e−(x−θ) si x ≥ θ,
fθ (x) =
0
sinon.
Exercice 13. Soient n ∈ N∗ et x1 , . . . , xn n observations d’un caractère pouvant être modélisé par une
var X suivant la loi uniforme U([θ, θ + 1]) avec θ ∈ R, i.e. de densité :
1 si x ∈ [θ, θ + 1],
fθ (x) =
0 sinon.
C. Chesneau 47
15 Solutions
15 Solutions
Solution 1.
1. La fonction de vraisemblance pour (x1 , . . . , xn ) est
n
P
n n xi xi
Y Y λ −λ −nλ λi=1
Ln (x1 , . . . , xn ; λ) = Pλ (X = xi ) = e =e n .
xi ! Q
i=1 i=1 (xi !)
i=1
Par le résultat de la question 2, `n (x1 , . . . , xn ; λ) est dérivable en λ avec λ > 0. Par conséquent,
∂
λ∗ est solution de l’équation de vraisemblance : `n (x1 , . . . , xn ; λ) = 0. Il vient
∂λ
n n
∂ 1 X 1X
`n (x1 , . . . , xn ; λ∗ ) = 0 ⇔ −n + xi = 0 ⇔ λ∗ = xi .
∂λ λ∗ n
i=1 i=1
De plus, λ∗ est bien un maximum pour `n (x1 , . . . , xn ; λ) (et aussi pour Ln (x1 , . . . , xn ; λ)) car :
∂
◦ si λ < λ∗ , alors `n (x1 , . . . , xn ; λ) > 0,
∂λ
∂
◦ si λ > λ∗ , alors `n (x1 , . . . , xn ; λ) < 0.
∂λ
C. Chesneau 49
15 Solutions
1 Pn
Donc λ∗ = xi est bien un emv de λ pour (x1 , . . . , xn ). L’emv λ
bn de λ associé est
n i=1
n
bn = 1
X
λ Xi .
n
i=1
n n
!
1X 1X 1
E(λ
bn ) = E Xi = E(Xi ) = nE(X1 ) = λ.
n n n
i=1 i=1
On en déduit que λ
bn est un estimateur sans biais de λ.
n n n
! !
1X 1 X 1 X 1 1
V(λ
bn ) = V Xi = 2V Xi = 2
V(Xi ) = 2 nV(X1 ) = λ.
n n n n n
i=1 i=1 i=1
Comme λ
bn est un estimateur sans biais de λ, on a
R(λ bn ) = λ .
bn , λ) = V(λ
n
Comme les var X1 , . . . , Xn sont iid et admettent un moment d’ordre 2, la loi forte des grands
n
1 P
nombres nous assure que (λn )n∈N∗ =
b Xi converge presque sûrement vers E(X1 ) = λ.
n i=1 n∈N∗
Ainsi, λ
bn est fortement consistant.
∂2
In (λ) = nI1 (λ), I1 (λ) = −E ln(Pλ (X = X1 )) ,
∂λ2
On a
x
−λ λ
ln(Pλ (X = x)) = ln e = −λ + ln(λ)x − ln(x!),
x!
donc
∂ 1 ∂2 1
ln(Pλ (X = x)) = −1 + x, ln(Pλ (X = x)) = − 2 x.
∂λ λ ∂λ2 λ
C. Chesneau 50
15 Solutions
∂2
1 1 1
I1 (λ) = −E ln(Pλ (X = X1 )) = −E − 2 X1 = 2 E(X1 ) = .
∂λ2 λ λ λ
On en déduit que
n
In (λ) = nI1 (λ) = .
λ
◦ on a V(λbn ) = λ = 1 .
n In (λ)
On en déduit que λn est un estimateur efficace de λ.
b
H0 : λ = λ0 contre H1 : λ 6= λ0 ,
avec λ0 = 3.42. Nous allons utiliser le test de Wald associé à l’emv λ bn . On a n "assez grand",
1 Pn
un emv de λ pour (x1 , . . . , xn ) est λ∗ = xi = 3.50 et, par le résultat de la question 5,
n i=1
n 3500
In (λ∗ ) = ∗ = = 1000. On calcule :
λ 3.50
√
In (λ∗ )(λ∗ − λ0 ) = 1000(3.50 − 3.42) = 2.529822.
p
zobs =
C. Chesneau 51
15 Solutions
On considère une var Z suivant la loi normale N (0, 1). Alors la p-valeur associée est
Comme p-valeur < 0.05, on rejette H0 au risque 5%. Comme p-valeur ∈ [0.01, 0.05[, le rejet
de H0 est (seulement) significatif ?.
Solution 2. Dans un premier temps, notons que la loi de X peut s’écrire sous la forme analytique :
Pθ (X = x) = θx (1 − θ)1−x , x ∈ {0, 1}. Un emv θ∗ de θ pour (x1 , . . . , xn ) est défini par
n n
n n P P
Y Y xi n− xi
xi 1−xi
Ln (x1 , . . . , xn ; θ) = Pθ (X = xi ) = θ (1 − θ) = θi=1 (1 − θ) i=1 .
i=1 i=1
n
P n
P !
xi n− xi
`n (x1 , . . . , xn ; θ) = ln(Ln (x1 , . . . , xn ; θ)) = ln θi=1 (1 − θ) i=1
n n
!
X X
= ln(θ) xi + ln(1 − θ) n − xi .
i=1 i=1
Comme `n (x1 , . . . , xn ; θ) est dérivable en θ avec θ ∈]0, 1[, θ∗ est solution de l’équation de vraisem-
∂
blance : `n (x1 , . . . , xn ; θ) = 0. Il vient
∂θ
n n
!
∂ 1 X 1 X
`n (x1 , . . . , xn ; θ∗ ) = 0 ⇔ ∗
xi − n− xi =0 ⇔
∂θ θ 1 − θ∗
i=1 i=1
n n n n
!
∗
X
∗
X X 1X
(1 − θ ) xi − θ n− xi =0 ⇔ −θ∗ n + xi = 0 ⇔ θ∗ = xi .
n
i=1 i=1 i=1 i=1
C. Chesneau 52
15 Solutions
De plus, θ∗ est bien un maximum pour `n (x1 , . . . , xn ; θ) (et aussi pour Ln (x1 , . . . , xn ; θ)) car :
∂
◦ si θ < θ∗ , alors `n (x1 , . . . , xn ; θ) > 0,
∂θ
∂
◦ si θ > θ∗ , alors `n (x1 , . . . , xn ; θ) < 0.
∂θ
1 Pn
Donc θ∗ = xi est bien un emv de θ pour (x1 , . . . , xn ).
n i=1
n n n
!
θn
Y Y θ 2θ−1
1−θ 2θ − 1 X
Ln (x1 , . . . , xn ; θ) = fθ (xi ) = xi = exp ln(xi ) .
1−θ (1 − θ)n 1−θ
i=1 i=1 i=1
n
!!
θn 2θ − 1 X
`n (x1 , . . . , xn ; θ) = ln(Ln (x1 , . . . , xn ; θ)) = ln exp ln(xi )
(1 − θ)n 1−θ
i=1
n
2θ − 1 X
= n ln(θ) − n ln(1 − θ) + ln(xi ).
1−θ
i=1
n
∂ 1 1 1 X
`n (x1 , . . . , xn ; θ∗ ) = 0 ⇔ n − n + ln(xi ) = 0 ⇔
∂θ θ∗ 1 − θ∗ (1 − θ∗ )2
i=1
n
X n
X
n(1 − θ∗ )2 − nθ∗ (1 − θ∗ ) + θ∗ ln(xi ) = 0 ⇔ n(1 − θ∗ ) + θ∗ ln(xi ) = 0 ⇔
i=1 i=1
n
θ∗ = n .
P
n− ln(xi )
i=1
C. Chesneau 53
15 Solutions
De plus, θ∗ est bien un maximum pour `n (x1 , . . . , xn ; θ) (et aussi pour Ln (x1 , . . . , xn ; θ)) car :
∂
◦ si θ < θ∗ , alors `n (x1 , . . . , xn ; θ) > 0,
∂θ
∂
◦ si θ > θ∗ , alors `n (x1 , . . . , xn ; θ) < 0.
∂θ
Donc θ∗ = Pn
n
est bien un emv de θ pour (x1 , . . . , xn ).
n− ln(xi )
i=1
n n n
!
(θ + 1)n
Y Y θ+1 θ
X
Ln (x1 , . . . , xn ; θ) = fθ (xi ) = (1 − |xi |) = exp θ ln(1 − |xi |) .
2 2n
i=1 i=1 i=1
n
!!
(θ + 1)n X
`n (x1 , . . . , xn ; θ) = ln(Ln (x1 , . . . , xn ; θ)) = ln exp θ ln(1 − |xi |)
2n
i=1
n
X
= n ln(θ + 1) − n ln(2) + θ ln(1 − |xi |).
i=1
Comme `n (x1 , . . . , xn ; θ) est dérivable en θ avec θ > −1, θ∗ est solution de l’équation de vraisem-
∂
blance : `n (x1 , . . . , xn ; θ) = 0. Il vient
∂θ
n
∂ 1 X
`n (x1 , . . . , xn ; θ∗ ) = 0 ⇔ n ∗
+ ln(xi ) = 0 ⇔
∂θ θ +1
i=1
n
X n
n + (θ∗ + 1) ln(1 − |xi |) = 0 ⇔ θ∗ = − n − 1.
P
i=1 ln(1 − |xi |)
i=1
De plus, θ∗ est bien un maximum pour `n (x1 , . . . , xn ; θ) (et aussi pour Ln (x1 , . . . , xn ; θ)) car :
∂
◦ si θ < θ∗ , alors `n (x1 , . . . , xn ; θ) > 0,
∂θ
∂
◦ si θ > θ∗ , alors `n (x1 , . . . , xn ; θ) < 0.
∂θ
C. Chesneau 54
15 Solutions
Donc θ∗ = − P
n
n
− 1 est bien un emv de θ pour (x1 , . . . , xn ).
ln(1−|xi |)
i=1
Solution 5. On a
∂2
In (λ) = nI1 (λ), I1 (λ) = −E ln(P λ (X = X1 )) .
∂λ2
∂ ax ∂2 ax
ln(Pλ (X = x)) = −aλa−1 + , 2
ln(Pλ (X = x)) = −a(a − 1)λa−2 − 2 .
∂λ λ ∂λ λ
∂2
a
E 2
ln(Pλ (X = X1 )) = −a(a − 1)λa−2 − 2 E(X1 )
∂λ λ
a−2 a
= −a(a − 1)λ − 2 × λa = −a2 λa−2 .
λ
Donc
∂2
2 a−2
= a2 λa−2 .
I1 (λ) = −E ln(P λ (X = X1 )) = − −a λ
∂λ2
Au final, il vient
In (λ) = nI1 (λ) = n × a2 λa−2 = na2 λa−2 .
Solution 6. On a
∂2
In (θ) = nI1 (θ), I1 (θ) = −E ln(fθ (X1 )) .
∂θ2
1+θ
On a ln(fθ (x)) = ln = ln(1 + θ) − 2 ln(x + θ), donc
(x + θ)2
∂ 1 2 ∂2 1 2
ln(fθ (x)) = − , 2
ln(fθ (x)) = − 2
+ .
∂θ 1+θ x+θ ∂θ (1 + θ) (x + θ)2
On en déduit que
∂2
1 2 1 1
I1 (θ) = −E ln(fθ (X1 )) = −E − + = − 2E .
∂θ2 (1 + θ)2 (X1 + θ)2 (1 + θ)2 (X1 + θ)2
C. Chesneau 55
15 Solutions
On a
Z ∞ Z ∞
1 1 1 1+θ
E = f (x)dx =
2 θ
× dx
(X1 + θ)2 −∞ (x + θ) 1 (x + θ)2 (x + θ)2
Z ∞ ∞
1 1
= (1 + θ) dx = (1 + θ) −
(x + θ)4 3(x + θ)3 1
1
1 1
= (1 + θ) 3
= .
3(1 + θ) 3(1 + θ)2
D’où
1 1 1
I1 (θ) = −2× = .
(1 + θ)2 3(1 + θ)2 3(1 + θ)2
Il s’ensuit
1 n
In (θ) = nI1 (θ) = n × 2
= .
3(1 + θ) 3(1 + θ)2
Solution 7.
n n n
!
Y Y 1 − θ1 xi 1 1X
Ln (x1 , . . . , xn ; θ) = fθ (xi ) = e = n exp − xi .
θ θ θ
i=1 i=1 i=1
n n
!!
1 1X 1X
`n (x1 , . . . , xn ; θ) = ln(Ln (x1 , . . . , xn ; θ)) = ln exp − xi = −n ln(θ) − xi .
θn θ θ
i=1 i=1
Par le résultat de la question 2, `n (x1 , . . . , xn ; θ) est dérivable en θ avec θ > 0. Par conséquent,
∂
θ∗ est solution de l’équation de vraisemblance : `n (x1 , . . . , xn ; θ) = 0.
∂θ
C. Chesneau 56
15 Solutions
Il vient
n n
∂ 1 1 X 1X
`n (x1 , . . . , xn ; θ∗ ) = 0 ⇔ −n ∗ + ∗ 2 xi = 0 ⇔ ∗
θ = xi .
∂θ θ (θ ) n
i=1 i=1
De plus, θ∗ est bien un maximum pour `n (x1 , . . . , xn ; θ) (et aussi pour Ln (x1 , . . . , xn ; θ)) car :
∂
◦ si θ < θ∗ , alors `n (x1 , . . . , xn ; θ) > 0,
∂θ
∂
◦ si θ > θ∗ , alors `n (x1 , . . . , xn ; θ) < 0.
∂θ
1 Pn
Donc θ∗ = xi est bien un emv de θ pour (x1 , . . . , xn ). L’emv θbn de θ associé est
n i=1
n
1X
θbn = Xi .
n
i=1
1
4. La loi commune des var X1 , . . . , Xn et l’égalité E(X1 ) = 1 = θ entraînent
θ
n n
!
1X 1X 1
E(θbn ) = E Xi = E(Xi ) = nE(X1 ) = θ.
n n n
i=1 i=1
n n n
! !
1X 1 X 1 X 1 1
V(θbn ) = V Xi = 2V Xi = 2
V(Xi ) = 2 nV(X1 ) = θ2 .
n n n n n
i=1 i=1 i=1
θ2
R(θbn , θ) = V(θbn ) = .
n
Comme les var X1 , . . . , Xn sont iid et admettent un moment d’ordre 2, la loi forte des grands
n
1 P
nombres nous assure que (θn )n∈N∗ =
b Xi converge presque sûrement vers E(X1 ) = θ.
n i=1 n∈N∗
Ainsi, θbn est fortement consistant.
C. Chesneau 57
15 Solutions
∂
In (θ) = nI1 (θ), I1 (θ) = V ln(fθ (X1 )) ,
∂θ
1 −1x 1 ∂ 1 1
ln(fθ (x)) = ln e θ = − ln(θ) − x, ln(fθ (x)) = − + 2 x.
θ θ ∂θ θ θ
∂ 1 1 1 1 1
I1 (θ) = V ln(fθ (X1 )) = V − + 2 X1 = V 2
X1 = 4 V(X1 ) = 2 .
∂θ θ θ θ θ θ
On en déduit que
n
In (θ) = nI1 (θ) = .
θ2
D’autre part, le résultat asymptotique central nous assure que la suite de var :
q
In (θn )(θn − θ)
b b
n∈N∗
converge en loi vers une var Z suivant la loi normale N (0, 1).
C. Chesneau 58
15 Solutions
On en déduit que
" #! q
θbn θbn
lim P θ ∈ θbn − 1.96 √ , θbn + 1.96 √ = lim P In (θn )(θn − θ) ≤ 1.96
b b
n→∞ n n n→∞
Solution 8.
n
Y
Ln (x1 , . . . , xn ; θ) = fθ (xi ).
i=1
Vu l’expression de fθ (xi ), celle-ci est non-nulle si et seulement si, pour tout i ∈ {1, . . . , n},
xi ∈ [0, θ], donc sup(x1 , . . . , xn ) ≤ θ. Dans ce cas, on a
1
Ln (x1 , . . . , xn ; θ) = .
θn
1
θ∗ ∈ argmax Ln (x1 , . . . , xn ; θ) = argmax n
= {sup(x1 , . . . , xn )}.
θ θ∈[sup(x1 ,...,xn ),∞[ θ
On en déduit qu’un emv θ∗ de θ pour (x1 , . . . , xn ) est θ∗ = sup(x1 , . . . , xn ). Un emv θbn de θ est
θbn = sup(X1 , . . . , Xn ).
2. Comme X(Ω) = [0, θ], on a θbn (Ω) = (sup(X1 , . . . , Xn )) (Ω) = [0, θ]. Par conséquent, pour tout
x < 0, on a Fθbn (x) = P(θbn ≤ x) = 0 et pour tout x > θ, on a Fθbn (x) = P(θbn ≤ x) = 1. Pour tout
x ∈ [0, θ], l’indépendance et la loi commune des var X1 , . . . , Xn entraînent
n n
!
\ Y
Fθbn (x) = P(θbn ≤ x) = P (sup(X1 , . . . , Xn ) ≤ x) = P {Xi ≤ x} = P (Xi ≤ x)
i=1 i=1
x n x n
xn
Z Z
n 1
= (P (X1 ≤ x)) = fθ (t)dt = dt = n.
−∞ 0 θ θ
C. Chesneau 59
15 Solutions
n
x
n si x ∈ [0, θ],
Fθbn (x) = θ
0 sinon.
n−1
x
n
si x ∈ [0, θ],
fθbn (x) = θn
0 sinon.
3. Le biais de θbn est B(θbn , θ) = E(θbn ) − θ. En utilisant la densité de θbn déterminée au résultat de
la question 2, il vient
∞ θ θ θ
xn−1 n xn+1
Z Z Z
n n n
E(θbn ) = xfθbn (x)dx = x × n n dx = n x dx = n = θ.
−∞ 0 θ θ 0 θ n+1 0 n+1
Donc
n 1
B(θbn , θ) = θ−θ =− θ.
n+1 n+1
1
Comme B(θbn , θ) 6= 0, θbn n’est pas sans biais. Comme lim B(θbn , θ) = lim − θ = 0, θbn est
n→∞ n→∞ n+1
asymptotiquement sans biais.
On a V(θbn ) = E(θbn2 )−(E(θbn ))2 . En utilisant la densité de θbn déterminée au résultat de la question
2, il vient
∞ θ θ θ
xn−1 n xn+2
Z Z Z
n
E(θbn2 ) = 2
x fθbn (x)dx = 2
x × n n dx = n x n+1
dx = n
−∞ 0 θ θ 0 θ n+2 0
n θn+2 nθ2
= × = .
θn n + 2 n+2
C. Chesneau 60
15 Solutions
D’où
2
nθ2 nθ2
nθ
V(θbn ) = − = .
n+2 n+1 (n + 1)2 (n + 2)
On en déduit que
2
nθ2 nθ2 + θ2 (n + 2) 2θ2
θ
R(θbn , θ) = + − = = .
(n + 1)2 (n + 2) n+1 (n + 1)2 (n + 2) (n + 1)(n + 2)
∞
P ∞
P 2θ2
5. Par le résultat de la question 4, on a R(θbn , θ) = < ∞, Cela entraîne la
n=1 n=1 (n + 1)(n + 2)
convergence presque sûre de (θbn )n∈N∗ vers θ ; θbn est fortement consistant.
Solution 9.
1. On a
Z ∞ ∞ Z
3
E(X − θ) = (x − θ)fθ (x)dx = (x − θ) × dx
−∞ 1+θ (x − θ)4
Z ∞ ∞
3 1 3
= 3
dx = 3 − 2
= .
1+θ (x − θ) 2(x − θ) 1+θ 2
On a
Z ∞ ∞ Z
2 2 3
E((X − θ) ) = (x − θ) fθ (x)dx = (x − θ)2 × dx
−∞ 1+θ (x − θ)4
Z ∞ ∞
3 1
= 2
dx = 3 − = 3.
1+θ (x − θ) x − θ 1+θ
On en déduit que
3
E(X) = E(X − θ) + θ = + θ.
2
On a
2
2 3 3 2
V(X) = V(X − θ) = E((X − θ) ) − (E(X − θ)) = 3 − = .
2 4
n
Y
Ln (x1 , . . . , xn ; θ) = fθ (xi ).
i=1
C. Chesneau 61
15 Solutions
Vu l’expression de fθ (xi ), celle-ci est non-nulle si et seulement si, pour tout i ∈ {1, . . . , n},
xi ≥ 1 + θ, donc inf(x1 , . . . , xn ) ≥ 1 + θ, soit θ ≤ inf(x1 , . . . , xn ) − 1. Dans ce cas, on a
n
Y 3
Ln (x1 , . . . , xn ; θ) = .
(xi − θ)4
i=1
n
∗
Y 3
θ ∈ argmax Ln (x1 , . . . , xn ; θ) = argmax = {inf(x1 , . . . , xn ) − 1}.
θ θ∈]0,inf(x1 ,...,xn )−1] i=1 (xi − θ)4
3. Comme X(Ω) = [1 + θ, ∞[, on a (θbn − θ)(Ω) = (inf(X1 , . . . , Xn ) − 1 − θ) (Ω) = [0, ∞[. Par
conséquent, pour tout x < 0, on a Fθbn −θ (x) = P(θbn −θ ≤ x) = 0. Pour tout x ≥ 0, l’indépendance
et la loi commune des var X1 , . . . , Xn entraînent
C. Chesneau 62
15 Solutions
Z ∞ Z ∞
3n
B(θn , θ) = E(θn − θ) =
b b xfθbn −θ (x)dx = x× dx
−∞ (x + 1)3n+1
Z ∞ Z ∞ 0 Z ∞
x+1−1 1 1
= 3n 3n+1
dx = 3n 3n
dx − 3n dx
0 (x + 1) 0 (x + 1) 0 (x + 1)3n+1
∞ ∞
1 1
= 3n − − 3n −
(3n − 1)(x + 1)3n−1 0 3n(x + 1)3n 0
3n 1 1
= − 3n × = .
3n − 1 3n 3n − 1
1
Comme B(θbn , θ) 6= 0, θbn n’est pas sans biais. Comme lim B(θbn , θ) = lim = 0, θbn est
n→∞ n→∞ 3n − 1
asymptotiquement sans biais.
Z ∞ Z ∞
3n
R(θbn , θ) = E((θbn − θ)2 ) = x2 fθbn −θ (x)dx = x2 × dx
−∞ 0 (x + 1)3n+1
Z ∞ Z ∞
x2 (x + 1)2 − 2(x + 1) + 1
= 3n = 3n dx
0 (x + 1)3n+1 0 (x + 1)3n+1
Z ∞ Z ∞ Z ∞
1 1 1
= 3n 3n−1
dx − 6n 3n
dx + 3n 3n+1
dx
0 (x + 1) 0 (x + 1) 0 (x + 1)
∞ ∞
1 1
= 3n − − 6n −
(3n − 2)(x + 1)3n−2 0 (3n − 1)(x + 1)3n−1 0
∞
1 1 1 1
+ 3n − 3n
= 3n × − 6n × + 3n ×
3n(x + 1) 0 3n − 2 3n − 1 3n
3n(3n − 1) − 6n(3n − 2) + (3n − 1)(3n − 2) 2
= = .
(3n − 1)(3n − 2) (3n − 1)(3n − 2)
Ainsi, on a
2
R(θbn , θ) = .
(3n − 1)(3n − 2)
C. Chesneau 63
15 Solutions
1
6. Par le résultat de la question 4, on a B(θbn , θ) = . Par conséquent, un estimateur sans biais
3n − 1
de θ est
1
θbn∗ = θbn − .
3n − 1
On a
1
R(θbn , θ) = V(θbn ) + (B(θbn , θ)) = V 2
+ θbn∗
+ (B(θbn , θ))2
3n − 1
= V(θbn∗ ) + (B(θbn , θ))2 = R(θbn∗ , θ) + (B(θbn , θ))2 > R(θbn∗ , θ).
Solution 10.
n n n
!
−(θ+1)
Y Y X
n
Ln (x1 , . . . , xn ; θ) = fθ (xi ) = θxi = θ exp −(θ + 1) ln(xi ) .
i=1 i=1 i=1
n
!!
X
`n (x1 , . . . , xn ; θ) = ln(Ln (x1 , . . . , xn ; θ)) = ln θn exp −(θ + 1) ln(xi )
i=1
n
X
= n ln(θ) − (θ + 1) ln(xi ).
i=1
∂ 1 Pn
On a `n (x1 , . . . , xn ; θ) = n − ln(xi ). Donc, en substituant xi par Xi pour tout i ∈
∂θ θ i=1
{1, . . . , n}, on peut écrire
n
!
∂ 1X 1
`n (X1 , . . . , Xn ; θ) = −n ln(Xi ) − = an (θ) (Tn − h (θ)) ,
∂θ n θ
i=1
avec
n
1X 1
Tn = ln(Xi ), an (θ) = −n, h (θ) = .
n θ
i=1
C. Chesneau 64
15 Solutions
1
Le théorème général sur l’efficacité nous assure que Tn est un estimateur efficace de h(θ) = .
θ
En particulier et plus, on a
1 1
◦ Tn est sans biais de h(θ) = : E (Tn ) = h(θ) = ,
θ θ
1
h0 (θ) − 2 1
◦ V (Tn ) = = θ = 2 ,
an (θ) −n θ n
2
1
0 2
(h (θ)) θ2 n
◦ In (θ) = = = 2.
V (Tn ) 1 θ
θ2 n
2. En utilisant le résultat de la question 1, on a
1 n
P
1
ln(Xi ) − E (ln(X1 ))
√ √ Tn − θ √ n i=1
n (θTn − 1) = n = n .
1 σ (ln(X1 ))
θ
Comme les var (ln(Xn ))n∈N∗ sont iid et admettent un moment d’ordre 2,le théorème central
1 P
n
√ ln(Xi )−E(ln(X1 ))
√ n i=1
limite nous assure que ( n (θT − 1)) ∗ = n converge en
n n∈N σ(ln(X1 ))
n∈N∗
loi vers une var Z suivant la loi normale N (0, 1).
Solution 11.
n n n
!
(θ + 1)n
Y Y θ+1 θ
X
Ln (x1 , . . . , xn ; θ) = fθ (xi ) = (1 − |xi |) = exp θ ln(1 − |xi |) .
2 2n
i=1 i=1 i=1
n
!!
(θ + 1)n X
`n (x1 , . . . , xn ; θ) = ln(Ln (x1 , . . . , xn ; θ)) = ln exp θ ln(1 − |xi |)
2n
i=1
n
X
= n ln(θ + 1) − n ln(2) + θ ln(1 − |xi |).
i=1
∂ 1 n
P
On a `n (x1 , . . . , xn ; θ) = n + ln(1 − |xi |).
∂θ θ + 1 i=1
C. Chesneau 65
15 Solutions
n !
∂ 1X 1
`n (X1 , . . . , Xn ; θ) = n ln(1 − |Xi |) − − = an (θ) (Tn − h (θ)) ,
∂θ n θ+1
i=1
avec
n
1X 1
Tn = ln(1 − |Xi |), an (θ) = n, h (θ) = − .
n θ+1
i=1
Le théorème général sur l’efficacité nous assure que Tn est un estimateur efficace de h(θ) =
1
− . En particulier et plus, on a
θ+1
1 1
◦ Tn est sans biais de h(θ) = − : E (Tn ) = h(θ) = − ,
θ+1 θ+1
1
0
h (θ) (θ + 1)2 1
◦ V (Tn ) = = = ,
an (θ) n (θ + 1)2 n
2
1
(h0 (θ))2 (θ + 1)2 n
◦ In (θ) = = = .
V (Tn ) 1 (θ + 1)2
(θ + 1)2 n
2. En utilisant le résultat de la question 1, on a
1
T − −
√ √ n
1 θ+1
(θ + 1) n Tn + = n
θ+1 1
θ+1
1
P n
ln(1 − |Xi |) − E (ln(1 − |X1 |))
√ n i=1
= n .
σ (ln(1 − |X1 |))
n
Y
Ln (x1 , . . . , xn ; θ) = fθ (xi ).
i=1
C. Chesneau 66
15 Solutions
Vu l’expression de fθ (xi ), celle-ci est non-nulle si et seulement si, pour tout i ∈ {1, . . . , n}, xi ≥ θ, soit
inf(x1 , . . . , xn ) ≥ θ. Dans ce cas, on a
n
n P
Y nθ− xi
−(xi −θ)
Ln (x1 , . . . , xn ; θ) = e =e i=1 .
i=1
n
P
nθ− xi
∗
θ ∈ argmax Ln (x1 , . . . , xn ; θ) = argmax e i=1 = {inf(x1 , . . . , xn )}.
θ θ∈]0,inf(x1 ,...,xn )]
n
Y
Ln (x1 , . . . , xn ; θ) = fθ (xi ).
i=1
Vu l’expression de fθ (xi ), celle-ci est non-nulle si et seulement si, pour tout i ∈ {1, . . . , n},
◦ xi ≥ θ, soit inf(x1 , . . . , xn ) ≥ θ,
◦ xi ≤ θ + 1, soit sup(x1 , . . . , xn ) ≤ θ + 1 ⇔ θ ≥ sup(x1 , . . . , xn ) − 1,
donc θ ∈ [sup(x1 , . . . , xn ) − 1, inf(x1 , . . . , xn )]. Dans ce cas, on a
Ln (x1 , . . . , xn ; θ) = 1.
C. Chesneau 67