Vous êtes sur la page 1sur 7

5.

Estimation ponctuelle de paramètres

Date : February 26, 2022


5.1 Objectifs du cours
Dans ce chapitre, nous observons un ensemble d’unités (ou individus) qu’on appelle population.
Nous étudions un caractère mesurable (ou plusieurs caractères) de cette population. On associe
à chaque caractère (qualitatif ou quantitatif) un modèle de probabilité paramétrique ç-à-d qu’on
suppose que ce carcatère est la réalisation d’une v.a. X qui suit une loi de probabilité donnée (fixée
ou quelconque) de moyenne notée m et variance notée σ 2 .
L’objectif de ce cours est l’estimation des paramètres relatifs à la loi X associée au caractère étudié
de la population. Ces paramètres de deux types :
1. Paramètres généraux (loi de X inconnue) : On cherche à estimer :
• La moyenne m et la variance σ 2 pour les caractères quantitatifs.
Exemple : On considère une population composée des salariés du secteur public. On
s’intéresse au caractère "Salaire" (quantitatif) dans cette poulation. Notre objectif est
d’estimer la moyenne des salaires dans le secteur public.
• La proportion ou le pourcentage pour les caractères qualitatifs ou quantitatifs.
Exemple : On considère la population d’un pays donné et on observe le caractère :
"Fumeur/Non Fumeur" (qualitatif) dans cette population. On se donne comme objectif
l’estimation du pourcentage de fumeurs dans le pays.
2. Paramètres particuliers relatifs à une loi de X fixée.
Exemple : On s’intéresse à la population d’ampoules LED fabriquées par une société. On
s’intéresse au caractère : "durée de vie T d’une ampoule (en heures) avant de tomber en
panne". On émet l’hypothèse que T suit une loi de exponentielle de paramètre inconnu λ .
1
L’objectif ici est d’estimer le paramètre λ (sachant qu’il vérifie λ = E(T ) ).

5.2 Stratégie adoptée pour l’estimation des paramètres


La récolte des données dans une population est souvent coûteuse en moyens (matériels, logistiques,
personnel) et en temps. C’est pour cette raison que l’on adopte la stratégie suivante :
36 Chapter 5. Estimation ponctuelle de paramètres

1. Échantillonnage : On récolte les données seulement sur un échantillon c-à-d un sous-


ensemble de la population étudiée. L’échantillon doit être bien choisi dans le sens qu’il doit
reflèter la diversité de la population avec les bonnes proportions.
2. Calcul des statistiques de l’échantillon : Statistique descriptive
Les mesures que l’on utilise pour décrire un ou plusieurs caractères de l’échantillon sont
appelées des statistiques. Exemples : moyenne empirique Xn , variance empirique σn2 et
fréquence empirique fn
3. Estimation des paramètres de la population : Statistique inférentielle
On utilise les statistiques obtenus sur l’échantillon pour estimer (ou approcher) les paramètres
de la population.
Dans ce cours, nous allons voir comment utiliser les statistiques (de l’échantillon) pour estimer les
paramètres (de la population).
Nous allons étudier deux types d’estimation :
• Estimation ponctuelle (ce chapitre) : L’estimation se fait par une seule valeur
• Estimation par intervalle de confiance (chapitre suivant) : L’estimation se fait par un intervalle
de valeurs

5.3 Modèle paramétrique, Statistiques et Estimateurs


Definition 5.3.1

• Soit X : Ω 7→ F ⊂ R une variable aléatoire. Un échantillon de X de taille n est la donnée


de n− uplet (X1 , . . . , Xn ) de variables aléatoires indépendantes de même loi que X. Une
réalisation de cet échantillon est un n−uplet de réels x = (x1 , . . . , xn ) où Xi (w) = xi .
• Un modèle paramétrique est la donnée de la loi commune des (Xi )1≤i≤n notée P = P(θ )
et donc l’ensemble
P = {Pθ , θ ∈ Θ ⊂ Rd }

But : Estimer (approcher) le bon paramètre θ .


Exemples :
• Modèle de Bernouilli :
On suppose que l’état de n pièces mécaniques (bonne pièce ou pièce défectueuse) suit la loi
de Bernouilli. On adopte donc un modèle de Bernouilli de paramètre p là où l’on affecte 1
à un pièce defectueuse et 0 à une bonne pièce. Dans ce cas, θ = p et Θ =]0, 1[ et on veut
estimer la probabilité p qu’une pièce soit défectueuse.
• Modèle Gaussien : le paramètre est θ = (m, σ 2 ) et Θ = R × R+

Definition 5.3.2 — Statistique.
On appelle statistique toute variable aléatoire S qui s’écrit comme fonction de l’échantillon
(X1 , . . . , Xn ) et qui ne fait pas intervenir θ .

Exemples de statistiques :
1
• ∑ni=1 Xi , X1 .Xn , n−1 ∑ni=1 (Xi − Xn )2 sont des statistiques.
• La moyenne empririque Xn := 1n ∑ni=1 Xi est une statistique
1
• La variance empirique σn2 := n−1 ∑ni=1 (Xi − Xn )2 est une statistique
• Si la moyenne m est connue alors la v.a. Sn2 := 1n ∑ni=1 (Xi − m)2 est une statistique
• La proportion (fréquence empirique) fn d’unités possèdant un caractère donné C est une
statistique qui s’ecrit : fn := 1n ∑ni=1 1{Xi =C}
• θ X1 n’est pas une statistique.
5.4 Propriétés des estimateurs 37

Definition 5.3.3 — Estimateurs à valeurs réelles.


Soit g : Θ ⊂ Rd 7→ R. On appelle estimateur à valeurs réelles de g(θ ) toute statistique Z
construite à partir de l’échantillon (X1 , . . . , Xn ) à valeurs dans g(Θ).

R En pratique, lorsque θ est un réel, on estime g(θ ) = θ .

Exemples d’estimateurs :
• Modèle de Bernouilli θ = p. Dans ce cas, les v.a. X13+1 et Xn sont des estimateurs de p.
• Modèle Gaussien.
1. Cas où la moyenne m est connnue : θ = σ 2
– Les v. a. σn2 et Sn2 sont des estimateurs de θ = σ 2 .
2. Cas où θ = (m, σ 2 )
– Si on prend g(θ1 , θ2 ) = θ1 , Xn est un estimateur de θ1 = m
– Si on prend g(θ1 , θ2 ) = θ2 :
-La v. a. Sn2 n’est plus une statistique car elle dépend du paramètre inconnu m.
-La v.a σn2 est toujours un estimateur de θ2 = σ 2 .

5.4 Propriétés des estimateurs


Definition 5.4.1

• On dit qu’une suite de variables aléatoires (Xn )n≥1 converge presque sûrement (ou
presque partout) (p.s. (ou p.p.) vers une variable aléatoire X ssi pour presque tout
w ∈ Ω,
lim X( w) = X(w) .
n→+∞

• On dit qu’une suite de variables aléatoires (Xn )n≥1 converge en loi vers une variable
aléatoire X ssi
∀A ⊂ R, lim PXn (A) = PX (A) .
n→+∞

Proposition 5.4.1 La convergence presque sûre implique la convergence en loi.

Proposition 5.4.2 (Convergence en loi)


La suite de variables aléatoires (Xn )n≥1 converge en loi vers la variable aléatoire X ssi l’on a l’une
des assertions équivalentes suivantes :
• Si les v.a. Xn et X possèdent respectivement les fonctions de répartition FXn , FX , on a alors :
FXn (t) converge vers FX (t) ∀t ∈ R.
• Pour toute fonction h continue et bornée presque partout sur R, on a

E(h(Xn )) → E(h(X)) lorsque n tend vers l’infini .

Proposition 5.4.3
On considère deux suites de variables aléatoires (Xn )n≥1 et (Yn )n ge1 telles que :
• La suite (Xn )n≥1 converge en loi vers une variable aléatoire X,
• la suite (Yn )n≥1 converge en loi ou en presque tout point dans R vers une variable aléatoire Y .
On a alors : Xn + a et a.Xn convergent en loi respectivement vers X + a et a.X.
38 Chapter 5. Estimation ponctuelle de paramètres

Dans la définition suivante, on donne les propriétés des estimateurs.


Definition 5.4.2

• Un estimateur Z de g(θ ) est dit sans biais ssi :

∀θ ∈ Θ, Eθ (Z) = g(θ ) .

Sinon, on dit que l’estimateur est biaisé ou avec biais.


• Une suite d’estimateurs (Zn ) de g(θ ) avec Zn construit à partir de (X1 , . . . , Xn ) est dite
fortement convergente ssi pour tout θ ∈ Θ, et pour presque tout w ∈ Ω,

lim Zn (w) = g(θ ) .


n→+∞

De manière équivalente, on a : Pθ (Zn → g(θ )) = 1. On dit que la suite converge presque


sûrement vers g(θ ).
• Une suite d’estimateurs (Zn ) de g(θ ) est dite asymptotiquement normale ssi pour tout
θ ∈ Θ ⊂ Rd , il existe une variance σ 2 (θ ) > 0 telle que sous Pθ , la v.a. Un (θ ) :=

n(Zn − g(θ )) converge en loi vers la normale N (0, σ 2 (θ )) :

lim FUn (θ ) = FN (0,σ 2 (θ )) .


n→+∞

Definition 5.4.3 On appelle risque quadratique de l’estimateur Z la fonction :


h i
∀θ ∈ Θ 7→ R(Z, θ ) := Eθ (Z − g(θ ))2 .

L’estimateur Z1 est dit préférable à Z2 ssi :

∀θ ∈ Θ, R(Z1 , θ ) ≤ R(Z2 , θ ) .

Proposition 5.4.4 On a la décomposition suivante du risque quadratique :

R(Z, θ ) = [g(θ ) − Eθ (Z)]2 +Varθ (Z) .

Ainsi, si Z est sans biais alors R(Z, θ ) = Varθ (Z).


Exercice (Exercice 2 du TD) :
On considère le modèle Gaussien de paramètres m et σ 2 .
1. Montrer que X1 et Xn sont des estimateurs sans biais de m.
2. Calculer les risques de X1 et de Xn . Déduire que Xn est préférable à X1 .
2
3. Montrer que Xn est un estimateur biaisé de m2 .

5.5 Estimation par la méthode du maximum de vraisemblance


Exemple introductif :
La police est entrain de chercher une personne. Si cette personne est de taille 1.5 m, on cherche
plutôt une femme. Si elle est de taille 1.8 m, on cherche plutôt un homme. La notion de maximum
de vraisemblance formalise cette intuition. De point de vue mathématique, on supposera que
les distributions des tailles des hommes et des femmes suivent chacune des lois Gaussiennes de
paramètres respectifs (µH , σH ) et (µF , σF ).
5.6 Estimateurs de la moyenne et de la variance 39

Quand on observe la taille t d’un individu, on estime son sexe en choisissant le θ ∈ Θ = {F, H} qui
(t−µθ )2

1 2σ 2
maximise a vraisemblance θ 7→ √
σθ 2π
e . θ

On formalise dans la définition suivante la notion de la fonction de vraisemblance associée à un


échantillon.
Definition 5.5.1
Soient θ ∈ Θ, (X1 , . . . , Xn ) un échantillon et x = (x1 , . . . , xn ) ∈ F n une réalisation de cet échantil-
lon. La fonction vraisemblance de θ pour la réalisation (x1 , . . . , xn ) est l’application L(x1 , . . . , xn ; .) :
R 7→ R∗+ définie par :
• Si les Xi sont discrètes :
n
L(x1 , . . . , xn ; θ ) = ∏ Pθ (Xi = xi ) .
i=1

• Si les Xi sont continues de densité commune notée fθ :


n
L(x1 , . . . , xn ; θ ) = ∏ fθ (xi ) .
i=1

Exercice (Exercice 1 du TD) :


Donner F, θ , Θ et la vraisemblance L dans chacun de cas suivants :
Un modèle de Bernouilli de paramètre p.
Un modèle Gaussien de paramètre (m, σ 2 ).
L’estimateur de maximum de vraisemblance est celui qui maximise la fonction de vraisemblance
L. Comme la vraisemblance est un produit, alors il devient plus commode de maximiser une somme
qu’un produit en passant à la fonction logarithme de la vraisemblance.
Definition 5.5.2 Soit θ 7→ Ln (x, θ ) la fonction de vraisemblance associée à la réalisation x =
(x1 , . . . , xn ) de l’échantillon (X1 , . . . , Xn ). On appelle estimateur du maximum de vraisemblance
(E.M.V) de θ la statistique θˆn (x) pour laquelle la fonction de vraisemblance (et de façon
équivalent log de la vraisemblance) atteint son maximum :

L(x1 , . . . , xn , θˆn (x)) = max(x1 , . . . , xn , θ ) .


θ ∈Θ

Exercise 5.1 1. On adopte le modèle Gaussien.


a. Calculer les EMV de µ et de σ 2 .
b. Donner les propriétés de ces estimateurs.
2. On adopte le modèle de Bernouilli.
a. Calculer l’EMV de p.
b. Donner les propriétés de cet estimateur.


5.6 Estimateurs de la moyenne et de la variance


Par la suite, on énonce deux théorèmes qui nous permettront de montrer que, sous certaines
1
conditions, la moyenne emprique (Xn )n et la variance empirique σn2 := n−1 ∑ni=1 (Xi − Xn )2 sont des
estimateurs, sans biais et fortement convergents de la moyenne commune µ des Xi et la variance
σ 2 des Xi . De plus (Xn )n est un estimateur asymptotiquement normal de la moyenne m.

Theorem 5.6.1 — Loi forte des grands nombres (LGN).


40 Chapter 5. Estimation ponctuelle de paramètres

La moyenne empirique (Xn )n = n1 ∑ni=1 Xi d’une suite (Xi )i≤1 de variables aléatoires réelles
indépendantes et identiquement distribués (i.i.d.) intégrables converge presque sûrement vers
l’espérance commune des Xi lorsque n tend vers l’infini, i.e.,

lim Xn (w) = E(X1 ) ,


n→+∞

pour (presque) tout w ∈ Ω.


De plus, on a :  
lim E Xn (w) − E(X1 ) = 0 .
n→+∞

Theorem 5.6.2 — Théorème de la limite centrale dans R (TLC).


p
Soit (Xi )i≥1 une suite de v.a.r, i.i.d telles que E(X12 ) < +∞ et σ = Var(X1 ) > 0. On a

lim F√n (X = FN (0,1) .


n→+∞ σ n −E(X1 ))


n
Autrement dit, la v.a. σ (Xn − E(X1 )) converge en loi vers la loi normale centrée réduite
N (0, 1).
p
Pour toute suite (Xi )i≥1 de v.a.r. , i.i.d. , telles que E(X12 ) < +∞ et σ = Var(X1 ) > 0,
soit (X1 , . . . , Xn ) un n-échantillon de moyenne commune m = E(X1 ) et de variance commune
0 < σ 2 = Var(X1 ) < +∞. Nous obtenons, à partir de la LGN et du TLC, les résultats suivants.

Corollary 5.6.3 — Estimation de la moyenne.


La suite de statistiques (Xn )n est une suite d’estimateurs sans biais, fortement convergente et
asymptotiquement normale de la moyenne inconnue m = E(X1 ).

Corollary 5.6.4 — Estimation de la variance.


• La variance empririque
1 n 2
σn2 = ∑ Xi − Xn
n − 1 i=1
est un estimateur sans biais et fortement convergent de σ 2 = Var(X1 ).
• Si la moyenne m est connue, alors la v.a.

1 n
Sn2 := ∑ (Xi − m)2
n i=1

est un estimateur sans biais et fortement convergent de la variance σ 2 .

Exercice :
Traiter l’exercice 3 du TD.

5.7 Estimation d’une proportion


Dans une population donnée, nous nous proposons d’estimer la proportion inconnue p ∈ [0, 1]
d’unités possèdent un caractère donné C.
Soit X la v. a. à valeurs dans {0, 1}: X = 1 si l’unité possède le caractère C et 0 sinon.
On suppose que X ∼ B(p).
Soit fn la fréquence empirique c-à-d la proportion d’individus ayant le caractère C dans un n-
5.7 Estimation d’une proportion 41

échantillon. Nous avons le théorème suivant :


Theorem 5.7.1
On a fn = Xn donc c’est un estimateur sans biais, fortement convergent et asymptotiquement
normale de p = E(X1 ).

Exemple : Observation des états Xi de n pièces mécaniques :


• Xi = 0 si la pièce i est bonne
• Xi = 1 si la pièce i est défectueuse
Hypothèse : les (Xi ) sont i.i.d et suivent la loi de Bernouilli B(p)
=⇒ fn est un estimateur sans biais, fortement convergent et asymptotiquement normale de la
proportion p des pièces défectueuses.

Vous aimerez peut-être aussi