Académique Documents
Professionnel Documents
Culture Documents
Samy Tindel
Nancy-Universit
Samy T. (IECN)
Module MAP
1 / 50
Plan
1
Introduction
Dfinitions
Samy T. (IECN)
Module MAP
2 / 50
Plan
1
Introduction
Dfinitions
Samy T. (IECN)
Module MAP
3 / 50
Samy T. (IECN)
Module MAP
4 / 50
Exemple
Tirage de d: On souhaite savoir si un d est pip.
Pour cela, on sintresse la proba dobtenir 6 avec ce d.
Exprience: on lance 10 fois le d.
On pose xi = 1 si le 6 est obtenu au i me lancer, 0 sinon
, (x1 , . . . , xn ) avec n = 10.
Exemple dobservation:
(x1 , . . . , x10 ) = (0, 0, 1, 0, 0, 0, 1, 0, 0, 0)
Hypothse: (x1 , . . . , xn ) est la ralisation dun n-chantillon
(X1 , . . . , Xn ) de loi {B(p); p ]0, 1[}.
But: A partir de (x1 , . . . , xn ), donner une estimation de p
afin de savoir si p = 1/6.
Samy T. (IECN)
Module MAP
5 / 50
Samy T. (IECN)
Module MAP
6 / 50
Plan
1
Introduction
Dfinitions
Samy T. (IECN)
Module MAP
7 / 50
Loi de Bernoulli
Notation: B(p) pour p ]0, 1[
Ensemble des valeurs: E = {0, 1}
Loi:
P(X = 0) = 1 p,
P(X = 1) = p
Utilisation:
(i) Succs dans un jeu binaire
Exemple 1: pile/face. X = 1 si pile, X = 0 sinon X B(1/2)
Exemple 2: jeu de d. X = 1 si rsultat = 3, X = 0 sinon
X B(1/6)
(ii) Rponse oui/non dans un sondage
Exemple: X = 1 si une personne approuve la loi Pcresse,
X = 0 sinon X B(p), avec p inconnu
Samy T. (IECN)
Module MAP
8 / 50
Loi Binomiale
Notation: Bin(n, p), pour n N , p ]0, 1[
Ensemble des valeurs: E = {0, 1, . . . , n}
Loi:
!
n k
P(X = k) =
p (1 p)nk ,
k
0kn
Utilisation:
(i) Nombre de succs dans une preuve de Bernoulli
rpte n fois indpendemment
Exemple: On lance un d 9 fois. X = nombre de 3 obtenus
X Bin(9, 1/6), P(X = 2) = 0.28
(ii) Comptage dun caractre dans un tirage avec remise
Exemple: lot de 1000 pantalons dont 10% dfectueux
On tire 15 pantalons avec remise.
X = nombre de pantalons dfectueux obtenus X Bin(15, 1/10)
Samy T. (IECN)
Module MAP
9 / 50
Loi gomtrique
Notation: G(p) pour p ]0, 1[
Ensemble des valeurs: E = N
Loi:
P(X = k) = p (1 p)k1 ,
k1
Utilisation:
Instant de 1er succs dans un jeu binaire
Exemple 2: jeu de d.
X = 1er jancer pour lequel rsultat = 6
X G(1/6), P(X = 5) = 0.08
Samy T. (IECN)
Module MAP
10 / 50
Loi de Poisson
Samy T. (IECN)
k
,
k!
k0
Module MAP
11 / 50
Rgle empirique:
Si n , p 0 et np , on approche Bin(n, p) par P().
En pratique, cette rgle est applique pour
p 0.1 et np 5
Samy T. (IECN)
Module MAP
12 / 50
Loi Exponentielle
Notation: E(), pour > 0
Ensemble des valeurs: E = R+
Densit:
fX (x ) = e x 1R+ (x )
e z dz = e x
x
Samy T. (IECN)
Module MAP
13 / 50
Module MAP
14 / 50
1
1
E()
2
N (, 2 )
Samy T. (IECN)
Module MAP
15 / 50
Plan
1
Introduction
Dfinitions
Samy T. (IECN)
Module MAP
16 / 50
Modle statistique
Dfinition
On appelle modle statistique ou exprience la famille
(, A, X , E , (P ) ), o
X , E : ralisation de la v.a. X dfinie sur (, A)
ensemble des paramtres
P est une loi de proba pour tout .
Samy T. (IECN)
Module MAP
17 / 50
Modle dchantillonnage
Dfinition
On appelle modle dchantillonnage bas sur le modle statistique
A,
), o
Xn , E n , P
prcdent une famille (,
Xn , E n : ralisation de la v.a. Xn := (X1 , . . . , Xn )
A)
dfinie sur (,
ensemble des paramtres
est une loi de proba sur E n pour tout
P
, correspond un n-chantillon (X1 , . . . , Xn ) de loi P
Notation: lesprance sous la proba P se note E .
Samy T. (IECN)
Module MAP
18 / 50
Exemple
Tirage de d: on a
= {1, . . . , 6}
= {1, . . . , 6}n
E = {0, 1}
Xn = (X1 , . . . , Xn ), o (X1 , . . . , Xn ) est un n-ch. de loi B(p)
=]0, 1[
Samy T. (IECN)
Module MAP
19 / 50
Estimateur
Dfinition
Soit un modle dchantillonnage de loi { ; }.
n est un estimateur de sil existe une fonction mesurable
dn : E n telle que
n () = dn (X1 (), . . . , Xn ())
Remarques:
(1) A priori, nimporte quelle fonction de lchantillon est un
estimateur. Il faut donc reprer les fonction utiles.
(2) Un estimateur est une variable alatoire.
Samy T. (IECN)
Module MAP
20 / 50
Exemple
Tirage de d: on a n = 10, =]0, 1[ et
(X1 , . . . , Xn ) est un n-ch. de loi B(p).
Observation: (x1 , . . . , x10 ) = (0, 0, 1, 0, 0, 0, 1, 0, 0, 0).
(1) Estimateur raisonnable:
d 1 : {0, 1}n [0, 1],
(x1 , . . . , xn ) 7 xn =
n
1X
xi
n i=1
Samy T. (IECN)
Module MAP
21 / 50
Exemple (2)
(2) Estimateur fantme: pour n 5,
d 2 : {0, 1}n [0, 1],
1
(x1 , . . . , xn ) 7 e x5
2
1
pn2 (
) = e 1 = 0.18.
2
Donc
Lestimation dpend de lobservation.
Lestimateur est une variable alatoire.
Samy T. (IECN)
Module MAP
22 / 50
Forte consistance
Dfinition
Soit un modle dchantillonnage de loi { ; }.
Soit n un estimateur de .
On dit que n est fortement consistant si P -presque srement,
lim n () = ,
pour tout .
Samy T. (IECN)
Module MAP
23 / 50
Biais
Dfinition
Soit un modle dchantillonnage de loi { ; }.
Soit n un estimateur de .
Le biais est une fonction
bn : R,
bn () = E [n ] .
Module MAP
24 / 50
Plan
1
Introduction
Dfinitions
Samy T. (IECN)
Module MAP
25 / 50
Dfinition
La convergence pour tout ci-dessus se nomme
convergence presque sre.
Samy T. (IECN)
Module MAP
26 / 50
Samy T. (IECN)
Module MAP
27 / 50
Dmonstration
Dmonstration (biais): pour ,
n
X
n ] = E 1
Xi
E [n ] = E [X
n i=1
"
n
1X
n
=
E [Xi ] = = .
n i=1
n
Donc
bn () := E [n ] = 0,
Samy T. (IECN)
Module MAP
28 / 50
Exemple
Tirage de d: on a n = 10, =]0, 1[ et
(X1 , . . . , Xn ) est un n-ch. de loi B(p).
Application: si X1 B(p), on a bien Ep [X1 ] = p.
On est bien dans les conditions dapplication de la proposition.
n est f.c.s.b.
Estimateur raisonnable: pn1 = X
Estimateur fantme:
pn2 = 12 e X5 nest ni f.c. ni s.b., ni asymptotiquement s.b.
Dmonstration:
On a limn pn2 = 12 e X5 , qui nest pas dterministe
De plus,
i
1 h
1
Ep [
pn2 ] = Ep e X5 =
(1 p) + pe 1 .
2
2
Donc Ep [
pn2 ] 6= p si p 6= 1/[3 1/e].
Samy T. (IECN)
Module MAP
29 / 50
Exemple (2)
Donnes: x1 , . . . , xn avec n = 12. Unit: M.
, Chiffre daffaire journalier dune entreprise sur 12 jours ouvrables.
5.02 4.87 4.95 4.88 5.09 4.93 4.91 5.09 4.96 4.89 5.06 4.85
Modlisation: (x1 , . . . , xn ) = (X1 (), . . . , Xn ()) pour un
n-chantillon (X1 , . . . , Xn ) de loi N (, 2 )
, E = R et = R R+ . On note = (, 2 ).
Application: si X1 N (, 2 ), on a E [X1 ] = .
On est bien dans les conditions dapplication de la proposition.
n est un estimateur f.c.s.b. de
Conclusion:
n = X
n () = xn = 4.95 M.
Application numrique:
n () = X
Samy T. (IECN)
Module MAP
30 / 50
Samy T. (IECN)
Module MAP
31 / 50
Exemples
Donnes: Chiffre daffaire entreprise, n = 12.
5.02 4.87 4.95 4.88 5.09 4.93 4.91 5.09 4.96 4.89 5.06 4.85
Modlisation: (x1 , . . . , xn ) = (X1 (), . . . , Xn ()) pour un
n-chantillon (X1 , . . . , Xn ) de loi N (, 2 )
, E = R et = R R+ . On note = ( 2 ).
Application: si X1 N (, 2 ), on a Var [X1 ] = 2 .
On est bien dans les conditions dapplication de la proposition.
Samy T. (IECN)
Module MAP
32 / 50
Exemples (2)
Conclusion:
n2 = Sn2 est un estimateur f.c.s.b. de 2
Application numrique:
1 P11
2
3
2
n2 () = Sn2 () = 11
i=1 (xi 4.95) = 6.10 10 (M) .
Remarque: Physiquement, il est prfrable de considrer Sn =
Ici, sn := Sn () = 0.078M entreprise rgulire.
Samy T. (IECN)
Module MAP
Sn2 .
33 / 50
Exemples (3)
Donnes: Nombre daccidents sur une anne pour n = 500 chauffeurs
de bus.
0
1
2 3 4 5+
Nbe. Accidents
Nbe. Chauffeurs 122 253 87 35 2 1
Modlisation: (x1 , . . . , xn ) = (X1 (), . . . , Xn ()) pour un
n-chantillon (X1 , . . . , Xn ) de loi P()
, E = N et = R+ .
Application 1: si X1 P(), on a E [X1 ] = .
On est dans les conditions dapplication de la premire proposition.
Application 2: si X1 P(), on a Var [X1 ] = .
On est dans les conditions dapplication de la deuxime proposition.
Samy T. (IECN)
Module MAP
34 / 50
Exemples (4)
(1)
n = Xn ,
2
(1)
et
n = Sn
(1)
(2)
Application numrique:
n () = 1.09 et n () = 0.71
Question: Comment choisir entre ces deux estimateurs?
Samy T. (IECN)
Module MAP
35 / 50
Samy T. (IECN)
Module MAP
36 / 50
Exemple
Donnes: Dure de vie de n = 20 ampoules identiques (heures)
0.57 0.41 0.31 1.61 0.60 1.46 1.46 1.53 0.12 0.42
1.17 0.06 1.53 1.16 1.01 1.23 0.56 0.72 1.16 0.52
Modlisation: (x1 , . . . , xn ) = (X1 (), . . . , Xn ()) pour un
n-chantillon (X1 , . . . , Xn ) de loi E()
, E = R+ et = R+ .
Application 1: si X1 E(), on a E [X1 ] = 1/.
Donc = F1 (E [X1 ]) avec F1 (u) = 1/u pour u > 0.
F1 continue sur R+ Thorme sapplique
Application 2: si X1 E(), on a Var (X1 ) = 1/2 .
Donc = F2 (Var (X1 )) avec F2 (u) = 1/u 1/2 pour u > 0.
F2 continue sur R+ Thorme sapplique
Samy T. (IECN)
Module MAP
37 / 50
Exemple (2)
Conclusion: on a exhib deux estimateurs f.c. de :
1
(1)
n = ,
Xn
1
(1)
et
n =
Sn
(1)
(2)
Application numrique:
n () = 0.96 et n () = 1.01
Question: Comment choisir entre ces deux estimateurs?
, ncessit dautres critres de choix.
n
(1)
(1)
Remarque: on peut montrer que E [
n ] = n1 bn () =
(1)
Donc
n est asymptotiquement sans biais.
n1 (1)
(3)
De plus
n = n n est un estimateur f.c.s.b de .
Samy T. (IECN)
n1
Module MAP
38 / 50
Plan
1
Introduction
Dfinitions
Samy T. (IECN)
Module MAP
39 / 50
Vraisemblance
Dfinition
Soit (X1 , . . . , Xn ) un n-chantillon de loi { ; }.
On suppose X1 E , et soit (x1 , . . . , xn ) E n .
Si X1 est une variable alatoire discrte, on pose
L (x1 , . . . , xn ) =
n
Y
P (Xi = xi ).
i=1
n
Y
f (xi ).
i=1
Module MAP
40 / 50
Log-vraisemblance
Dfinition
Soit (X1 , . . . , Xn ) un n-chantillon de loi { ; }.
On suppose X1 E , et soit (x1 , . . . , xn ) E n .
Soit L la vraisemblance de lchantillon (x1 , . . . , xn ).
On pose
` (x1 , . . . , xn ) = ln (L (x1 , . . . , xn )) .
La fonction ` se nomme log-vraisemblance de lchantillon
(x1 , . . . , xn ).
Samy T. (IECN)
Module MAP
41 / 50
n
Y
p xi (1 p)1xi = p
Pn
x
i=1 i
(1 p)
Pn
i=1
(1xi )
i=1
Samy T. (IECN)
Module MAP
42 / 50
n
X
ln(xi !) + ln()
i=1
Loi E():
` (x1 , . . . , xn ) =
n
X
xi n .
i=1
n
X
xi + n ln().
i=1
Loi N (, 2 ):
n
` (x1 , . . . , xn ) = ln(2 2 )
2
Samy T. (IECN)
Pn
i=1 (xi
)2
2 2
Module MAP
43 / 50
Samy T. (IECN)
Module MAP
44 / 50
EMV: dfinition
Dfinition
Soit un modle dchantillonnage de loi { ; }.
On dit que est un
estimateur du maximum de vraisemblance (EMV) si
L(x1 , . . . , xn ) = sup L (x1 , . . . , xn ).
Samy T. (IECN)
Module MAP
45 / 50
EMV: caractrisation
Proposition
Soit un modle dchantillonnage de loi { ; }.
Pour tout (x1 , . . . , xn ) E n , supposons
L(x1 , . . . , xn ) : R+ diffrentiable et > 0.
Soit lEMV de . Alors
`
(x1 , . . . , xn ) = 0.
Samy T. (IECN)
Module MAP
46 / 50
Dmonstration
(i) 7 L (x1 , . . . , xn ) diffrentiable.
lEMV satisfait
L(x1 , . . . , xn ) = 0.
(ii) Si de plus L (x1 , . . . , xn ) est > 0, on a
` (x1 , . . . , xn ) =
L (x1 , . . . , xn )
.
L (x1 , . . . , xn )
Donc
` (x1 , . . . , xn ) = 0
et lEMV satisfait
Samy T. (IECN)
L (x1 , . . . , xn ) = 0,
`(x1 , . . . , xn ) = 0.
ESIAL - Estimation ponctuelle
Module MAP
47 / 50
n .
LEMV est pn = X
Loi P():
` (x1 , . . . , xn ) =
n
X
ln(xi !) + ln()
i=1
n
X
xi n .
i=1
n = X
n .
LEMV est
Samy T. (IECN)
Module MAP
48 / 50
n
X
xi + n ln().
i=1
n = 1/X
n .
LEMV est
Loi N (, 2 ):
n
` (x1 , . . . , xn ) = ln(2 2 )
2
Pn
i=1 (xi
)2
2 2
n
Si 2 est connue: LEMV est
n = X
P
2
Si est connue: LEMV est
n = 2n = n1 ni=1 (Xi )2
n , B
n2 ),
Si , 2 inconnus: LEMV est (
n ,
n2 ) = (X
P
n
1
n2 =
2
avec B
i=1 (Xi Xn )
n
Samy T. (IECN)
Module MAP
49 / 50
N (, ), connue
Xn
Xn
2
2
N (, ), connue
Sn
2n
n , Sn2 )
n , Bn2 )
N (, 2 )
(X
(X
Remarque: lEMV permet de choisir entre les estimateurs
dans le cas P() ou E()
n plutt que Sn2
, pour P(): X
n plutt que 1/Sn
pour E(): 1/X
Samy T. (IECN)
Module MAP
50 / 50