Académique Documents
Professionnel Documents
Culture Documents
1 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1 Introduction 5
1.2 Estimateur et propriétés d’un estimateur 5
1.2.1 Estimateur et estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 Propriétés d’un estimateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.3 Trois exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.4 Vraisemblance d’un échantillon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.5 Statistique exhaustive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.6 Information de Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3 Estimateurs ponctuelles 11
1.3.1 Méthode du maximum de vraisemblance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.2 Méthode des moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.4 Estimation par intervalle de confiance 14
1.4.1 Exemple introductif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.2 Principe de construcion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.4.3 Estimation usuels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.5 Estimation d’une proportion 18
A. Ghazdali USMS-ENSAK
1. Estimation
1.1 Introduction
L’estimation consiste à donner des valeurs approchées aux paramètres d’une population
(p, µ, σ 2 ) ou (proportion, moyenne, variance) à partir des données de l’échantillon ( f , X, S2 ).
On supposera vérifiée l’hypothèse d’échantillonnage aléatoire simple. La statistique inférentielle
peut se résumer par le schéma suivant :
A. Ghazdali USMS-ENSAK
6 Chapitre 1. Estimation
Estimer un paramètre θ , c’est donner une valeur approchée de θ , à partir des résultats obtenus sur
un échantillon aléatoire extrait de la population.
R
À priori l’estimateur θbn est à valeurs dans un ensemble Θ, contenant l’ensemble des
valeurs possibles du paramètre θ .
θbn est une v.a. de loi de probabilité qui dépend du paramètre θ .
θbn peut être univarié ou multivarié.
Estimation
Une fois l’échantillon prélevé, nous disposons de n valeurs observées x1 , . . . , xn , ce qui nous fournit
une valeur hn (x1 , . . . , xn ) qui est une réalisation de θbn et que nous appelons estimation.
R
Nous distinguons la variable aléatoire θbn de sa valeur observée, notée θbn (x1 , . . . , xn ).
Nous utiliserons les notations suivantes :
[(i)] (X1 , . . . , Xn ) désigne l’échantillon aléatoire de taille n et les n observations ne
sont pas encore à disposition.
[(ii)] (x1 , . . . , xn ) désigne une réalisation de l’échantillon aléatoire et les n observa-
tions sont à disposition
Il faut systématiquement se demander : suis-je entrain de manipuler une variable
aléatoire ou l’une de ses réalisations ?
R Si θbn est un estimateur sans biais, c’est-à-dire si b(n, θ ) = 0, alors :EQM (θbn ) = V (θbn )
Proposition 1.2.1 Entre deux estimateurs de θ , nous choisissons celui dont l’écart quadra-
tique moyen ou le risque est le plus faible.
A. Ghazdali USMS-ENSAK
1.2 Estimateur et propriétés d’un estimateur 7
En effet :
On a
1 n
Sn2 = ∑ (Xi − X n )2
n i=1
1 n 2 2
= ∑ (Xi − 2Xi X n + X n )
n i=1
1 n 2 Xn n 1 n 2
= ∑ Xi − 2 ∑ Xi + ∑ X n
n i=1 n i=1 n i=1
1 n 2 Xn 1 2
= ∑ Xi − 2 n X n + nX n
n i=1 n n
1 n 2 2
= ∑ Xi − X n
n i=1
A. Ghazdali USMS-ENSAK
8 Chapitre 1. Estimation
d’autre part
E(X 2 ) = V (X) + (E(X))2
donc !
n
1 2
E(Sn2 ) = E ∑ Xi2 − X n
n i=1
1 n 2
2
= ∑ iE X − E Xn
n i=1
1 n h 2
i 2
= ∑ V (Xi ) + (E(X i )) − V (X n ) + E(X n )
n i=1
1
= V (X) + (E(X))2 − V (X) + (E(X))2
n
1 1
= V (X) − V (X) = σ 2 − σ 2
n n
Estimateur corrigé de la variance
L’estimateur corrigé de la variance Snc 2 est égal à
n
2 n Sn2 1
Snc = =
n − 1 n − 1 i=1 ∑ (Xi − X n )2
Proposition 1.2.5 Pour un échantillon aléatoire dont la loi parente admet une espérance
notée µ et une variance notée σ 2 , Sn,c
2 est un estimateur sans biais de la variance σ 2 .
En effet
1
E(Sn2 ) = σ 2 − σ 2
n
n 2 2
E(Sn ) = σ
n−1
n 2
E S = σ2
n−1 n
2
= σ2
E Snc
R Les expressions des vraisemblances ci-dessus ne sont valables que parce que les variables
aléatoires X1 , . . . , Xn sont indépendantes par définition d’un échantillon aléatoire.
En fait, vu la forme des densités des lois usuelles de probabilité, il est aussi aisé d’utiliser le
logarithme de la vraisemblance, log L(x1 , . . . , xn |θ ), si f (x, θ ) > 0, pour tout x ∈ Rn , pour tout
A. Ghazdali USMS-ENSAK
1.2 Estimateur et propriétés d’un estimateur 9
θ ∈Θ:
!
n
log L(x1 , . . . , xn |θ ) = log ∏ f (xi , θ )
i=1
n
= ∑ log ( f (xi , θ ))
i=1
Evidement, que le log(L(x|θ )) soit défini et dérivable par rapport à θ . Si de plus cette fonction est
deux fois dérivables, on a la propriété suivante :
Proposition 1.2.6 Si le domaine de définition de la densité de probalité f (x, θ ) de la variable X
est indépendante deθ , alors :
∂ 2 log(L(x|θ ))
In (θ ) = −E si cette dernière expression existe,
∂θ2
In (θ ) = nI1 (θ ) où I1 (θ ) est l’information relative à un xi .
Exemple 1.1 Soit X une variable aléatoire de loi exponentielle de paramètre 1/θ avec θ > 0, de
densité pour x > 0 :
1 −x/θ
f (x, θ ) = e
θ
la vraisemblance admet ici pour expression :
!
n
1 1 n
L(x1 , . . . , xn |θ ) = ∏ f (xi , θ ) = n exp − ∑ xi
i=1 θ θ i=1
A. Ghazdali USMS-ENSAK
10 Chapitre 1. Estimation
∂ 2 log L n 2 n
= − ∑ xi
∂θ2 θ 2 θ 3 i=1
Le théorème suivant va préciser la borne inférieure pour la variance des estimateurs sans biais,
sous certaines hypothèsess de régularités de la loi de probabilité de X et que nous appellerons hypo-
thèses de Cramer-Rao. Nous ne donnerons pas le détail de ces hypothèses qui sont essentiellement
des conditions techniques sur la densité f de X.
) 2
1+ ∂ b(n,θ
∂θ
La quantité BF (θ ) = In (θ ) est la borne inférieure de Fréchet-Darmois-Cramer-Rao
(FDCR en abrégé).
La variance d’un estimateur sans biais est minorée par une quantité indépendante de cet
estimateur, elle ne peut donc pas être inférieure à une certaine borne.
R Si on estime g(θ ) au lieu de θ , ou g est une fonction supposé connue est dérivable, et si la
statistique T est l’estimateur de g(θ ), alors l’inégalité précédente de FDCR devient :
) 2
g0 (θ ) + ∂ b(n,θ
∂θ
E (T − g(θ ))2 ≥
In (θ )
∂ b(n,θ ) 2
g0 (θ )+ ∂ θ
et BF (θ ) = In (θ )
Définition 1.2.3 — Estimateur efficace. Un estimateur sans biais θbn est dit efficace si sa
A. Ghazdali USMS-ENSAK
1.3 Estimateurs ponctuelles 11
V (X) θ 2 1
V (θbn ) = V (X n ) = = =
n n In (θ )
θbn : DnX → Θ
x = (x1 , . . . , xn ) 7→ θbn (x1 , . . . , xn )
R
L(x|θ ) n’a aucune raison d’être différentiable en θ .
L(x|θ ) étant une densité de probabilité, cette méthode revient à supposer que l’événe-
ment qui s’est produit était le plus probable.
Il n’y a aucune raison pour qu’un EMV soit sans biais.
Un EMV n’a aucune raison d’être unique.
A. Ghazdali USMS-ENSAK
12 Chapitre 1. Estimation
Ainsi, on préfère souvant travailler avec la fonction Logarithme qui est rappelons le strictement
croissante, par conséquent notre système d’équations devient
∂ log L
(1) ⇔ (x|θ ) = 0
∂θ
et
∂ 2 log L
(2) ⇔ (x|θ ) < 0
∂θ2
Exemple 1.3 Soit X une variable aléatoire de loi exponentielle de paramètre 1/θ avec θ > 0, de
densité pour x > 0 :
1 −x/θ
f (x, θ ) = e
θ
la vraisemblance admet ici pour expression :
!
n
1 1 n
L(x1 , . . . , xn |θ ) = ∏ f (xi , θ ) = n exp − ∑ xi
i=1 θ θ i=1
1 n
log L(x1 , . . . , xn |θ ) = −n log θ − ∑ xi
θ i=1
∂ log L n 1 n
= − + 2 ∑ xi
∂θ θ θ i=1
∂ 2 log L n 2 n n
= − ∑ xi = θ 3 (θ − 2xn )
∂θ2 θ 2 θ 3 i=1
soit pour θ = xn :
2
∂ log L n
= − <0
∂θ2 θ =xn x2n
Proposition 1.3.1
propriété d’invariance fonctionnelle : Si θbn est l’estimateur de θ par la méthode du maxi-
mum de vraisemblance, f (θbn ) est l’estimateur de f (θ ) par la méthode du maximum de
vraisemblance.
Si un estimateur θbn de θ est efficace et sans biais alors nécessairement il est donné par la
méthode du maximum de vraisemblance.
propriété asymptotique de l’EMV : Si θbn est l’estimateur
p de θ par la méthode du maximum
de vraisemblance, La variable aléatoire θn − θ
b In (θ ) suit la loi normal centrée et réduite
N (0, 1), quand n tend vers l’infini.
A. Ghazdali USMS-ENSAK
1.3 Estimateurs ponctuelles 13
1 n k 1 n
mkn = ∑ Xi = mk (θ ) ou
n i=1
µkn = ∑ (Xi − X n )k = µk (θ )
n i=1
La solution de l’équation, si elle existe et est unique, sera appelée estimateur obtenu par la
méthode des moments. Dans les exemples introductifs où θ = E(X) et θ = V (X), les équations à
résoudre s’écrivaient sous sous forme résolue θ = X n et θ = Sn2 .
Exemple 1.4 Si X suit une loi exponentielle de paramètre θ , on sait que E(X) = 1/θ et l’équation
à résoudre s’écrit X n = 1/θ , de solution immédiate θ = 1/X n qui correspond à l’estimateur obtenu
par la méthode des moments :
1
θbn =
Xn
Bien entendu, on pourrait utiliser cette méthode avec des moments d’ordres plus élevés et obtenir
ainsi d’autres estimateurs. En utisant par exemple la variance V (X) = 1/θ 2 on obtient le nouvel
estimateur θbn = 1/Sn .
Cette méthode intuitive se justifie par les propriétés de convergence des moments empiriques
vers les moments théoriques correspondants au chapitre précédent (les deux théorèmes fondamen-
taux de la statistique asymptotique : la loi des grands nombres et le central limite).
D’une manière générale, pour construire des estimateurs θb = (θb1 , θb2 , . . . , θbK ) relatifs aux paramètres
θ = (θ1 , θ2 , . . . , θK ) en utilisant la méthode des moments, on est amené à résoudre un système à K
équations et K inconnus :
1 n
1. m1 = E(X) = ∑ Xi = m1n
n i=1
1 n
2. m2 = E(X 2 ) = ∑ Xi2 = m2n
n i=1
3. . . . . . .
1 n
K. mK = E(X K ) = ∑ XiK = mKn
n i=1
Ainsi, à partir de ces K équations et K inconnus θ1 , θ2 , . . . , θK on trouve les solutions θb1 , θb2 , . . . , θbK
qui forment les estimateurs, suivant la méthode des moments, des paramètres θ1 , θ2 , . . . , θK .
Exemple 1.5 Soit (X1 , . . . , Xn ) un échantillon d’une v.a. X de loi gamma γ(p, θ ). On sait que :
p p
E(X) = et V (X) =
θ θ2
On voit clairement qu’aucun des paramètres p et θ ne représente un moment de la variable X,
cependant les deux paramètres apparaissent dans la moyenne et la variance de cette variable. Ainsi,
la méthode des moments nous donne le systèm suivant :
p
= Xn
θ
A. Ghazdali USMS-ENSAK
14 Chapitre 1. Estimation
p
2 = Sn2
θ
se qui donne facilement la solution :
(X n )2 Xn
pb = et θb = 2
Sn2 Sn
A. Ghazdali USMS-ENSAK
1.4 Estimation par intervalle de confiance 15
a) Variance σ 2 connu :
La moyenne empirique X n est le meilleur estimateur de m et on sait que X n suit pour tout n
√
exactement la loi normale N (m, √σn ). Donc la statistique T = n X nσ−m suit la loi normale centrée
et réduite N (0, 1). Dés lors pour α donnée on peut trouver u = uα/2 telle :
√ X n − m
P n <u = 1−α
σ
qui est équivalente à :
σ σ
P Xn − √ u < m < Xn + √ u = 1−α
n n
Par conséquent, l’intervalle de confiance cherché est le suivant :
σ σ
X n − √ u, X n + √ u
n n
A. Ghazdali USMS-ENSAK
16 Chapitre 1. Estimation
b) Variance σ 2 inconnue :
√
La statistique T = n X nσ−m utilisée dans la situatuion précédente, et dont la loi était connue,
était la variable centrée et réduite. Elle ne peut convenir ici puisque le paramètre σ est inconnu et
va donc devoir être remplacé par un estimateur, basé sur la variance empirique modifiée qui est un
estimateur sans biais de la variance théorique σ 2 .
2 1 n
Snc = ∑ (Xi − X n )2
n − 1 i=1
R Pour n > 30, et grâce au théorème central-limite, les deux procédures précédentes restent
encore valables même si l’échantillon n’est pas nécessairement extrait d’une loi normale.
Exemple 1.6 Sur un échantillon de n = 30 durées de vie d’un certain modèle de lampe on a
obtenu comme moments empiriques x30 = 2000h et s30 = 300h. L’intervalle de confiance de niveau
0.95 pour la durée de vie moyenne m est donc :
s30 s30
x30 − t √ < m < x30 + t √
30 30
où t est défini par P(−t < T29 < t) = 0.95 ou P(T29 < t) = 0.975 soit t = 2.045 d’où l’intervalle :
de longueur l = 224h observé sur cet échantillon. Si σ avait été connu, de même valeur que celle
observée sur l’échantillon, soit σ = 300, l’intervalle correspondant aurait été :
σ σ
x30 − u √ < m < x30 + u √
30 30
avec u = F −1 (0.975) = 1.96 soit l’intervalle 1893 < m < 2107, de longueur l = 214h, inferieure
à la précédente. Ainsi, la connaissance du paramètre σ conduit logiquement à un intervalle plus
précis.
A. Ghazdali USMS-ENSAK
1.4 Estimation par intervalle de confiance 17
est de loi connue χn2 à n degrés de liberté. Dès lors pour α donnée on peut déterminer les valeurs de
a et b telles que :
σbn2
P a<n 2 <b = 1−α
σ
ce qui conduit à l’intervalle de confiance défini par :
2
σbn2
σ
bn 2
P n <σ <n = 1−α
b a
Par conséquent l’intervalle de confiance cherché est le suivant :
2
b2
σb σ
n n ,n n
b a
Cependant, il n’y a qu’une seule condition pour déterminer les deux valeurs a et b et il reste
2 < a et
à un degré d’incertitude puisque loi utilisé n’est pas symétrique. si on pose α 1 = P χn
α2 = P χn2 > b , la soule contrainte dans le choix de α1 et α2 est α1 + α2 = α.
Exemple 1.7 Pour estimer la précision d’un thermomètre, on réalise 15 mesures independantes
de la température d’un liquide qui maintenu à température constante, égale à 20 degrés celsius.
Compte tenu des erreurs de mesure, la valeur indiquée par le thermomètre peut être considérée
comme une v.a normale dont la moyenne m est la valeur exacte de la température, soit ici m = 20,
et dont l’écart type σ est inconnu et caractérise la précision du thermomètre. On a observé sur
l’échantillion de taille 15 la valeur σ 2 = 18 et qu’on retient un intervalle à erreurs symétriques
b15
(choix le moins arbitraire), pour un niveau de confiance 1 − α = 0, 99 on lit dans la table des
fonction de répartition de la loi χn2 les valeurs a = 4, 60 et b = 32, 8 d’où l’intervalle :
Mais compte tenu de l’interprétation du paramètre qui mesure ici un degré d’imprécision, on
souhaite qu’il soit le plus faible possible et on retient plus logiquement un intervalle unilatéral à
gauche, de la forme σ 2 < constante, ce qui corresppond au choix α1 = α = 0, 01 et α2 = 0, soit
a = 5, 23 et l’intervalle :
σ 2 < 51, 63
b) La moyenne m inconnue :
bn2 , ainsi l’estimateur
On a m est inconnue donc on va la remplacer par son estimateur X n dans σ
sans biais et convergent de qu’il faut retenir est :
2 1 n
Snc = ∑ (Xi − X n )2
n − 1 i=1
Or on sait que la statistique
2
Snc
T = (n − 1)
σ2
A. Ghazdali USMS-ENSAK
18 Chapitre 1. Estimation
2
suit une distribution de χn−1 à n − 1 degrés de liberté, et on doit donc déterminer les valeurs de a et
b telles que :
2
Snc
P a < (n − 1) <b = 1−α
σ
2 2
Snc Snc
(n − 1) , (n − 1)
b a
a = 6, 26 et b = 27, 49 d’où l’intervalle 39, 59 < σ < 173, 79. Si on fait le choix d’un intervalle
unilatéral à gauche, soit α = α1 = 0, 05 et α2 = 0 on obtient a = 7, 26 et l’intervalle σ 2 < 149, 86
qui est de longueur plus grande que le précédent.
Selon les valeurs de n et de p, cette loi admet différentes lois limites qui sont utilisées pour
déterminer un intervalle de confiance. Dans la pratique, on peut :
utiliser les tables statistiques qui donnent les limites inférieures et supérieures d’un intervalle
de confiance calculées pour différents seuils et différentes valeurs de n et k,
utiliser et justifier l’approximation normale.
A. Ghazdali USMS-ENSAK
1.5 Estimation d’une proportion 19
Intervalle de confiance d’une proportion calculée avec l’approximation normale : si n ≥ 50, np > 5
et n(1 − p) > 5, la loi de la variable aléatoire f (fréquence des succès) peut être approchée par la
loi normale : r !
p(1 − p)
N p,
n
Donc la statistique T = q f −p suit asymptotiquement une loi normale centrée réduite N (0, 1)
f (1− f )
n
(théorème de Stutsky).
Un intervalle bilatéral à risques symétriques ( f est la fréquence observée sur l’échantillon) est
donné par :
f −p
P −t < q < t = 1 − α
f (1− f )
n
Exemple 1.9 Soit un échantillon de taille n = 100 et une proportion estimée f = 0.6. Quel
A. Ghazdali USMS-ENSAK