Vous êtes sur la page 1sur 36

Estimation paramètrique III

Skander HACHICHA

skander.hachicha@ipeit.rnu.tn

Université de Tunis El Manar


Ecole nationale d’ingénieurs de Tunis

Estimation paramètrique III 1 / 36


Skander HACHICHA 1 / 36
Echantillons gaussiens

Définition
Soit (X1 , · · · , Xn ) un échantillon de la loi normale N (0, 1).
On appelle loi du "Khi-deux" à n degrés de libertés, la loi de la
variable aléatoire réelle

Un = X12 + · · · + Xn2 .

On la note χ2 (n). Elle est aussi la loi Gamma de paramètres ( n2 , 12 ) et


admet pour densité
 n
1 2
2 1 n
f n , 1 (x) = e− 2 x x 2 −1 IR∗+ (x).
2 2 Γ( n2 )

Estimation paramètrique III 2 / 36


Skander HACHICHA 2 / 36
Echantillons gaussiens

Définition
Soit (X1 , · · · , Xn ) un échantillon de la loi normale N (0, 1).
On appelle loi de Student à n degrés de libertés, la loi de

nY
τn = q
X12 + · · · + Xn2

où X1 , · · · , Xn , Y sont des variables aléatoires indépendantes de


même loi N (0, 1). On la note t(n). Sa densité est donnée par
!− n+1
Γ( n+1
2 ) x2 2
fτn (x) = n √ 1+ .
Γ( 2 ) nπ n

Estimation paramètrique III 3 / 36


Skander HACHICHA 3 / 36
Echantillons gaussiens

Définition
On appelle loi de Fisher à n et m degrés de libertés, notée F (n, m),
la loi de la variable aléatoire réelle
Un /n mUn
F = =
Vm /m nVm

où Un et Vm sont des variables aléatoires indépendantes de loi


respectivement χ2 (n) et χ2 (m). Sa densité est donnée par
n m n
Γ( n+m
2 )n m
2 2 x 2 −1
f (x) = n+m IR+ (x).

Γ( n2 )Γ( m
2 ) (m + nx) 2

Estimation paramètrique III 4 / 36


Skander HACHICHA 4 / 36
Echantillons gaussiens

Remarque
1 La loi de χ2 (n) est la loi Gamma de paramètres ( n2 , 21 ), on a
ainsi
E(Un ) = n et V(Un ) = 2n
Il y a des tables de la loi χ2 (n) pour
√ n ≤ 30.√Dans les
applications on peut admettre que 2Un − 2n − 1 suit
approximativement la loi N (0, 1).
2 Soit la variable aléatoire tn de loi de student à n degrés de
libertés, on a alors
n
E(tn ) = 0, ∀n ≥ 2 et V(tn ) = , ∀n ≥ 3.
n−2

Estimation paramètrique III 5 / 36


Skander HACHICHA 5 / 36
Echantillons gaussiens

Remarque
La densité de la loi de Student tend vers la densité de la loi normale
N (0, 1) lorsque n tend vers +∞. Il y a des tables de la loi de Student
pour n ≤ 30 ; pour n > 30, dans les applications, on peut admettre
que tn suit approximativement la loi N (0, 1).

Estimation paramètrique III 6 / 36


Skander HACHICHA 6 / 36
Echantillons gaussiens
Proposition
Soit (X1 , · · · , Xn ) un échantillon de la loi normale N (m, σ) et soient
n n
1X 2 1 X
Xn = Xk , Sn = (Xk − X n )2 .
n k=1 n − 1 k=1

Alors, on a
Pn
1 La variable X n = 1
n k=1 Xk suit la loi normale N (m, √σn ) ou

n
encore σ (X n − m) suit la loi normale N (0, 1).
1 Pn
2 La variable n−1 S 2 = n−1
σ2 n σ 2 n−1 k=1 (Xk − X n )
2 suit la loi du
χ2 (n − 1).
3 Les variables aléatoires X n et Sn2 sont indépendantes.

 
X√n −m
4 La variable aléatoire Tn = n 2
suit la loi de Student à
Sn
(n − 1) degrés de liberté.
Estimation paramètrique III 7 / 36
Skander HACHICHA 7 / 36
Echantillons gaussiens

Démonstration
1) Le vecteur X = (X1 , · · · , Xn ) est gaussien puisque ses
composantes sont de loi normales et indépendantes, donc X n qui est
une combinaison linéaire des composantes de X est une variable
2
aléatoire de loi normale de paramètres E(X n ) = m et V(X n ) = σn .
2)On pose Xk = σYk + m où Yk est de loi normale N (0, 1) et donc
Z = √1n nk=1 Yk est aussi de loi normale. Ainsi, on a
P

σ
Xn = √ Z + m
n
n
n−1 2 X
S n = Yk2 − Z 2 .
σ2 k=1

Estimation paramètrique III 8 / 36


Skander HACHICHA 8 / 36
Echantillons gaussiens

Démonstration
Soit maintenant A la matrice orthogonale n × n dont les éléments de
la première ligne sont tous égaux à √1n et soit U = AY où Y est le
vecteur gaussien de composantes Yk .
Le vecteur U est gaussien et sa première composant U1 vaut Z.
Puisque A est orthogonale, on a ||Y ||2 = ||U ||2 et donc
Pn 2 Pn 2
k=1 Yk = k=1 Uk . Ainsi,

n
n−1 2 2 2
X
Sn = ||Y || − Z = Uk2 .
σ2 k=2

Enfin ΣU = ΣAY = AΣY At = AIAt = I où I est la matrice


identité. Les composantes de U sont donc indépendantes et de loi
N (0, 1). Cela entraîne que n−1 S 2 = nk=2 Uk2 suit la loi χ2 (n − 1),
P
σ2 n √
et que cette variables est indépendantes de X n = nU1 .

Estimation paramètrique III 9 / 36


Skander HACHICHA 9 / 36
Echantillons gaussiens

Démonstration
3) On a
√ Xn − m 1
Tn = n−1 .
√σ
q
n−1 2
n S
σ2 n

Tn suit donc la loi tn−1 d’après 1), 2) et 3).

Estimation paramètrique III 10 / 36


Skander HACHICHA 10 / 36
Intervalle de confiance

Soit (X1 , · · · , Xn ) un n−échantillon de loi Pθ sur R où θ ∈ Θ. On


suppose que Θ ⊂ R mais tout ce qui va suivre peut être généralisée
dans le cas Θ ⊂ Rk . On estime le paramètre réel inconnu θ par
l’estimateur T (X1 , · · · , Xn ) dont pour une réalisation (x1 , · · · , xn )
de l’échantillon (X1 , · · · , Xn ) fournit une estimation ponctuelle
T (x1 , · · · , xn ) de θ. Cette estimation n’est pas reproductible (puisque
pour une autre réalisation (x01 , · · · , x0n ) de l’échantillon on obtient
une autre estimation T (x01 , · · · , x0n ) du paramètre θ) et on n’a pas
aucune idée de sa précision et l’erreur T (X1 , · · · , Xn ) − θ commise
en remplaçant θ par T est à la fois aléatoire et dépendante du
paramètre inconnu θ.

Estimation paramètrique III 11 / 36


Skander HACHICHA 11 / 36
Intervalle de confiance

Le risque quadratique est une mesure "deterministe" de cette erreur


(ou plutôt de son carré), mais il dépend encore de la valeur inconnue
θ. Donc plutôt que d’estimer θ par une seule valeur T (x1 , · · · , xn ),
on préfère donner un ensemble de valeurs vraisemblable de θ. On
utilise pour cela, la notion de "fourchette d’estimation" ou encore la
notion d’intervalle de confiance qui a une forte probabilité de contenir
la vraie valeur du paramètre θ. Cet intervalle est choisi de manière à
contrôler par un niveau de confiance, les chances que le résultat aurait
d’être confirmé si on renouvelait l’expérience.

Estimation paramètrique III 12 / 36


Skander HACHICHA 12 / 36
Intervalle de confiance

Définition
Soit α ∈ [0, 1] donné. On appelle intervalle de confiance de niveau de
confiance (1 − α) pour le paramètre θ un intervalle Iα (dépendant de
l’observation) qui a la probabilité 1 − α de contenir la vraie valeur
du paramètre θ
Pθ (θ ∈ Iα ) = 1 − α

Remarque
La probabilité (1 − α) est appelée niveau de confiance ou seuil de
confiance (le plus souvent fixé à 0.9, 0.95,0.99 ou 0.999).

Estimation paramètrique III 13 / 36


Skander HACHICHA 13 / 36
Construction pratique

Soit (X1 , · · · , Xn ) un n−échantillon de loi µθ et Tn un estimateur de


θ, on prendra le meilleur estimateur possible. On cherche à déterminer
(si possible) des fonctions t1 et t2 de θ telles que

P (t1 (θ) ≤ Tn ≤ t2 (θ)) = 1 − α

Or cette démarche ne va pas toujours aboutir car le calcul de t1 (θ) et


t2 (θ) est très complexe. Le probléme est que la loi de Tn dépend de
du paramètre θ, alors que α est un réel fixé à l’avance qui ne doit pas
dépendre de θ. Donc on ne peut déterminer t1 (θ) et t2 (θ) ne
dépendant que des observations que si la loi de Tn ne dépend pas de θ,
ce qui n’est pas toujours le cas. Ainsi, pour trouver un intervalle de
confiance, la méthode la plus efficace consiste à chercher une fonction
pivotale φ(Tn , θ), c’est à dire une variable aléatoire fonction à la fois
du paramètre θ et des observations (X1 , · · · , Xn ), dont la loi qu’on
espère connue ne dépend pas de θ.
Estimation paramètrique III 14 / 36
Skander HACHICHA 14 / 36
Construction pratique

Ainsi la détermination de l’intervalle de confiance de θ consiste à


déterminer les réels aα et bα telles que

P (aα ≤ φ(Tn , θ) ≤ bα ) = 1 − α

Le problème revient à inverser cet intervalle et donc à déterminer les


valeurs a = a(Tn ) et b = b(Tn ) telles que

P (a(Tn ) ≤ θ ≤ b(Tn )) = 1 − α

Mais le choix de aα et bα reste arbitraire puisque seule une équation


permet de les déterminer soit P (aα ≤ φ(Tn , θ) ≤ bα ) = 1 − α ou
encore par passage au compémentaire

P ((φ(Tn , θ) < aα ) ∪ (φ(Tn , θ) > bα )) = 1 − (1 − α) = α

Estimation paramètrique III 15 / 36


Skander HACHICHA 15 / 36
Construction pratique

ou encore

P(φ(Tn , θ) < aα ) + P(φ(Tn , θ) > bα ) = α

ou P(b(Tn ) < θ) + P(a(Tn ) > θ) = α


Posons α1 = P(b(Tn ) < θ) et α2 = P(a(Tn ) > θ). Ainsi, si α1 et α2
sont non nuls, l’intervalle est bilatéral.

Estimation paramètrique III 16 / 36


Skander HACHICHA 16 / 36
Construction pratique

Remarque
En raison de la signification concrète du paramètre θ, on peut être
amené à construire un intervalle unilatéral de la forme

(a(Tn ) > θ) avec α1 = 0 et α2 = α

(b(Tn ) < θ) avec α1 = α et α2 = 0.


Dans le cas d’une loi symétrique, on construira un intervalle bilatéral
symétrique
α
α1 = α2 = .
2

Estimation paramètrique III 17 / 36


Skander HACHICHA 17 / 36
Construction pratique

Exemple
Etant donné un n−échantillon (X1 , · · · , Xn ), on peut construire des
intervalles de confiances à niveau 1 − α donné de la moyenne et de la
variance à l’aide de la moyenne empirique X n et de la variance
empirique Sn2 . La loi de l’échantillon est la loi de Bernoulli B(θ) avec
θ ∈]0, 1[. On se propose de déterminer un intervalle de confiance de
niveau 1 − α pour le paramétre θ qui est l’Espérance de la loi B(θ).

Estimation paramètrique III 18 / 36


Skander HACHICHA 18 / 36
Construction pratique

Exemple
1 En appliquant l’inégalité de Bienaymé-Chebytchev :
  θ(1 − θ) 1
Pθ |X n − θ| > a ≤ 2
≤ =α
na 4na2
d’où
1
 
Pθ |X n − θ| ≤ √ ≥1−α
4nα
1 1
ainsi l’intervalle [X n − √4nα , X n + √4nα ] est donc un
intervalle de confiance au moin 1 − α pour θ.
2 En appliquant le théorème central limite, (ce qui fournit un
intervalle meilleur (à un niveau donné):

pour n suffisamment
n(X n −θ)
grand (nθ ≥ 5 et n(1 − θ) ≥ 5 ), √ suit
θ(1−θ)
approximativement la loi normale N (0, 1)
Estimation paramètrique III 19 / 36
Skander HACHICHA 19 / 36
Construction pratique

Exemple
d’où √ !
n(X n − θ)
P | p | ≤ bα =1−α
θ(1 − θ)
or
√ !
n(X n − θ)
P | p | ≤ bα ' φN (0,1) (bα ) − φN (0,1) (−bα )
θ(1 − θ)

= 2φN (0,1) (bα ) − 1


où φN (0,1) est la fonction de répartition de la loi N (0, 1).
Ainsi φN (0,1) (bα ) = 1 − α2 et on en déduit la valeur de bα à l’aide de
la table de la loi N (0, 1).

Estimation paramètrique III 20 / 36


Skander HACHICHA 20 / 36
Construction pratique

Exemple
Pour obtenir l’intervalle de confiance, on résoud en θ l’inégalité
suivante
θ(1 − θ)
(X n − θ)2 ≤ b2α
n
! !
b2 b2 2
ou encore 1+ α θ2 − 2X n + α θ + Xn ≤ 0
n n

Estimation paramètrique III 21 / 36


Skander HACHICHA 21 / 36
Construction pratique

Exemple
or le discriminant
!2 !
b2 2 b2
∆= 2X n + α − 4X n 1+ α =
n n
!
b2α b2α
+ 4X n (1 − X n ) >0
n n
l’équation admet donc deux solutions distinctes et l’intervalle de
confiance de niveau
" 1 − α pour θ est défini par ces deux solutions
#
b2 b2
p 2
p 2
nX n + α −b b2α /4+nX n −nX n nX n + α +b b2α /4+nX n −nX n
α α
2
n+b2α
, 2
n+b2α

Estimation paramètrique III 22 / 36


Skander HACHICHA 22 / 36
Construction pratique

Exemple
p 2
2bα b2α /4+nX n −nX n
La longueur de cet intervalle est L = n+b2α
.
2 2
On peut vérifier que L ≤ n+b bα 2
2 , car bα /4 + nX n − nX n ≤ bα4+n
et
α
ainsi calculer la valeur minimale de n permettant d’obtenir des
intervalles de longueur inférieure à une constante donnée.
Pour simplifier les calculs on procède à une nouvelle approximation

Estimation paramètrique III 23 / 36


Skander HACHICHA 23 / 36
Construction pratique

Exemple
1 On remplace θ(1 − θ) par sa valeur maximale 41 , ainsi on a


 
P |X n − θ| ≤ √ ≥1−α
2 n

et l’intervalle de confiance de niveau 1 − α pour θ est donc


bα bα
 
Xn − √ , Xn + √ .
2 n 2 n

2 On remplace θ(1 − θ) par X n (1 − X n ) et on obtient l’intervalle


de confiance de niveau 1 − α pour θ
 s s 
X n − bα
X n (1 − X n ) X n (1 − X n ) 
, X n + bα .
n n

Estimation paramètrique III 24 / 36


Skander HACHICHA 24 / 36
Intervalle de confiance pour les paramètres de loi
normale

Soit (X1 , · · · , Xn ) n−échantillon de loi normale N (m, σ), on peut


construire des intervalles de confiances à niveau 1 − α donné de la
moyenne et de la variance à l’aide des estimateurs X n et Sn2 de m et
de la variance σ 2 dont les lois explicites sont connues et caculables .

Estimation paramètrique III 25 / 36


Skander HACHICHA 25 / 36
Intervalle de confiance pour les paramètres de loi
normale
La loi de l’échantillon est la loi normale N (m, σ) où σ est connu. On
se propose de déterminer un intervalle de confiance pour m
connaisant σ. On estime θ par l’estimateur de la moyenne

empirique
σ n
X n de loi N (m, √n ). Ainsi la fonction pivotale est σ (X n − m) et
suit la loi symétrique normale N (0, 1). Ce qui permet de déterminer
un intervalle de confiance tel que
√ !
n
P | (X n − m)| ≤ bα = 1 − α
σ
or
√ !
n
P | (X n − m)| ≤ bα ' FN (0,1) (bα ) − FN (0,1) (−bα )
σ

= 2FN (0,1) (bα ) − 1


Estimation paramètrique III 26 / 36
Skander HACHICHA 26 / 36
Intervalle de confiance pour les paramètres de loi
normale

Ainsi FN (0,1) (bα ) = 1 − α2 et on en déduit la valeur de bα à l’aide de


la table de la loi N (0, 1). Par suite

σ σ
 
X n − bα √ , X n + bα √
n n

est un intervalle de confiance de niveau (1 − α) pour m.

Estimation paramètrique III 27 / 36


Skander HACHICHA 27 / 36
Intervalle de confiance pour les paramètres de loi
normale

La loi de l’échantillon est la loi normale N (m, σ) où σ est inconnu.


On se propose de déterminer un intervalle de confiance pour m. On
estime m par l’estimateur de la moyenne empirique X n et σ 2 par
l’estimateur
n
1 X
Sn2 = (Xi − X n )2 .
n − 1 i=1
√ 2
Les statistiques σn (X n − m) et (n − 1) Sσn2 sont indépendantes et de
lois respectives normale N (0, 1) et Khi-deux χ2 (n − 1) à (n − 1)
degrè de liberté . Ainsi la fonction pivotale
!
√ Xn − m
n p
Sn2

suit la loi symétrique de student à n − 1 degrés de liberté.


Estimation paramètrique III 28 / 36
Skander HACHICHA 28 / 36
Intervalle de confiance pour les paramètres de loi
normale

Ce qui permet de déterminer un intervalle de confiance tel que


!
√ (X n − m)
P | n p 2 | ≤ cα =1−α
Sn

et on en déduit la valeur de cα à l’aide des tables de la loi t(n − 1) (ou


de la loi N (0, 1) si n > 30). Par suite
" p p #
S2 S2
X n − cα √ n , X n + cα √ n
n n

est un intervalle de confiance de m de niveau 1 − α.

Estimation paramètrique III 29 / 36


Skander HACHICHA 29 / 36
Intervalle de confiance pour les paramètres de loi
normale
La loi de l’échantillon est la loi normale N (m, σ) où m est connu. On
se propose de déterminer un intervalle de confiance pour σ 2
connaissant m. On estime σ 2 par l’estimateur sans biais
n
1X
σn2 = (Xi − m)2 .
n i=1

La fonction pivotale
nσn2
σ2
suit la loi de χ2 (n) qui n’est pas symétrique, ce qui permet de
déterminer un intervalle
!
nσ 2
P aα ≤ 2n ≤ bα =1−α
σ
Estimation paramètrique III 30 / 36
Skander HACHICHA 30 / 36
Intervalle de confiance pour les paramètres de loi
normale

par passage au compémentaire on a


!
nσ 2 nσ 2
P (aα ≥ 2n ) ∪ ( 2n ≥ bα ) =α
σ σ
ou encore
! !
nσn2 nσn2
P ≤ a α + P ≥ bα =α
σ2 σ2

Il y a une infinité defaçon de choisir aα et bα de sorte que


2
P aα ≤ nσ σ2
n
≤ bα soit égale à 1 − α.

Estimation paramètrique III 31 / 36


Skander HACHICHA 31 / 36
Intervalle de confiance pour les paramètres de loi
normale

On montre que les valeurs pour lesquelles bα − aα est minimum (on


cherche à obtenir l’intervalle de confiance le plus étroit possible) sont
telles que
! !
nσn2 α nσn2 α
P ≤ aα = et P ≥ bα = .
σ2 2 σ2 2

Les tables de la loi de χ2 (n) permettent de déterminer aα et bα . Par


suite " #
nσn2 nσn2
,
bα aα
est un intervalle de confiance de σ 2 de niveau 1 − α.

Estimation paramètrique III 32 / 36


Skander HACHICHA 32 / 36
Intervalle de confiance pour les paramètres de loi
normale
La loi de l’échantillon est la loi normale N (m, σ) où m est inconnu.
On se propose de déterminer un intervalle de confiance pour σ 2 . On
estime σ 2 l’estimateur sans biais
n
1 X
Sn2 = (Xi − X n )2 .
n − 1 i=1
2
De plus (n−1)S
σ2
n
suit la loi de χ2 (n − 1) ce qui permet de déterminer
un intervalle
!
(n − 1)Sn2
P aα ≤ ≤ bα =1−α
σ2
par passage au compémentaire on a
!
(n − 1)Sn2 (n − 1)Sn2
P (aα ≥ ) ∪ ( ≥ bα ) =α
σ2 σ2
Estimation paramètrique III 33 / 36
Skander HACHICHA 33 / 36
Intervalle de confiance pour les paramètres de loi
normale

ou encore
! !
(n − 1)Sn2 (n − 1)Sn2
P ≤ a α + P ≥ bα =α
σ2 σ2

Soient α1 , α2 tels que α1 + α2 = α, les tables de la loi de χ2 (n − 1)


permettent de déterminer aα et bα tels que
! !
(n − 1)Sn2 (n − 1)Sn2
P ≤ aα = α1 et P ≥ bα = α2 .
σ2 σ2

Par suite " #


(n − 1)Sn2 (n − 1)Sn2
,
bα aα
est un intervalle de confiance de σ 2 de niveau 1 − α.
Estimation paramètrique III 34 / 36
Skander HACHICHA 34 / 36
Intervalle de confiance pour les paramètres de loi
normale

Pour la variance σ 2 de la loi normale N (m, σ) avec


θ = (m, σ) ∈ R × R∗+ (moyenne et variance inconnues), la variable
aléatoire (n−1)
σ2
Sn2 suit la loi du
χ2 (n − 1), les tables de la loi χ2 (n − 1) permettent de déterminer
aα/2 et a1−α/2 tels que
α α
P(χ2n−1 < aα/2 ) = et P(χ2n−1 < a1−α/2 ) = 1 −
2 2
h i
et d’en déduire l’intervalle a(n−1) Sn2 , (n−1) 2
aα/2 Sn , (lorsque n > 30, on
p √ 1−α/2

utilise que 2χ2n − 2n − 1 suit approximativement la loi N (0, 1)).

Estimation paramètrique III 35 / 36


Skander HACHICHA 35 / 36
Merci

Estimation paramètrique III 36 / 36


Skander HACHICHA 36 / 36

Vous aimerez peut-être aussi