Vous êtes sur la page 1sur 35

Rappel sur la thorie de lestimation

Philippe Ciblat
cole Nationale Suprieure des Tlcommunications, Paris, France
Gnralits Approche dterministe Approche baysienne
Plan
1
Gnralits
2
Approche dterministe
Notion destimateurs
Bornes de Cramer-Rao
Analyse asymptotique
Maximum de vraisemblance
3
Approche alatoire
Estimateur optimal
Bornes de Cramer-Rao baysienne
Philippe Ciblat Rappel sur la thorie de lestimation 2 / 30
Gnralits Approche dterministe Approche baysienne
Partie 1 : Gnralits
Philippe Ciblat Rappel sur la thorie de lestimation 3 / 30
Gnralits Approche dterministe Approche baysienne
Introduction
Soit un processus alatoire X
N
= {X
1
, . . . , X
N
}
on en connait partiellement la densit de probabilit.
par ex., une gaussienne de moyenne et variance inconnues
on considre une ralisation x
N
= {x
1
, . . . , x
N
} de ce processus
Objectif
A la donne dune ralisation, retrouver de linformation sur la densit
de probabilit
Trois cas de gure :
1
Non paramtrique
2
Semi-paramtrique
3
Paramtrique
Philippe Ciblat Rappel sur la thorie de lestimation 3 / 30
Gnralits Approche dterministe Approche baysienne
Estimation paramtrique
Hypothse
La densit de probabilit de X
N
dpend dun paramtre dintrt .
Deux cas de gure :
1
est vu comme un paramtre xe
p
X
(x
N
|)
On parle alors dapproche dterministe
2
est vu comme un paramtre alatoire
p
X,
(x
N
, ) ou p
X
(x
N
|) et p

()
On parle alors dapproche baysienne (car admet une densit
de probabilit a priori )
Philippe Ciblat Rappel sur la thorie de lestimation 4 / 30
Gnralits Approche dterministe Approche baysienne
Dtection/Estimation
Dtection
admet un nombre
dnombrable/ni de valeurs
Critre
Probabilit derreur
P
e
= Prob(

= )
Dtecteur optimal ?
Maximum A Posteriori
(MAP)
Maximum de Vraisemblance
(ML) si quiprobable
Estimation
admet un nombre
non-dnombrable de valeurs
Critre
Erreur quadratique moyenne
E = E[|

|
2
]
Estimateur optimal ?
Mean A Posteriori (MAP) (si
alatoire)
ML parfois asymptotiquement
(si dterministe)
Philippe Ciblat Rappel sur la thorie de lestimation 5 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Partie 2 : Approche dterministe
Philippe Ciblat Rappel sur la thorie de lestimation 6 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Notion de statistiques
Soit x
N
= {x
1
, . . . , x
N
} une observation du processus alatoire X
N
On appelle statistique une fonction quelconque T dpendant de
lobservation
T(x
1
, . . . , x
N
)
On appelle estimateur une statistique qui, lon espre, approche
la valeur du paramtre dintrt

N
=

(x
1
, . . . , x
N
)
Remarques
Toute statistique est une variable alatoire
La thorie de lestimation a pour objet de trouver des bons
estimateurs par rapport des critres mesurant lcart entre la
vraie valeur et la valeur estime
A chaque critre correspond des bons et des mauvais
estimateurs
Philippe Ciblat Rappel sur la thorie de lestimation 6 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Statistiques exhaustives
Une statistique est dite exhaustive par rapport p
X
(x
N
|) ssi
p
X
(x
N
|) = g

(T(x
N
))h(x
N
)
Cela signie, en pratique, que la seule connaissance de T ne fait
perdre aucune connaissance sur .
Exemple
Soit X
N
un vecteur gaussien rel dont les composantes sont i.i.d. de
moyenne m et variance v. Soit = [m, v]. On a
p
X
(x
N
|) e

1
2v
P
N
n=1
(x
n
m)
2
= e

N
2v
(

v
N
+(

m
N
m)
2
)
avec

m
N
=

N
n=1
x
n
/N : la moyenne empirique

v
N
=

N
n=1
(x
n


m
N
)
2
/N : la variance empirique
Philippe Ciblat Rappel sur la thorie de lestimation 7 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Risque
Une fonction de cot, note C(,

), mesure lcart entre et



:
1(

) : cot uniforme


L
1 : cot uniforme (norme L
1
)


2
: cot quadratique (norme L
2
)
Risque
On moyenne la fonction de cot sur les valeurs possibles de x
N
R(,

) = E
X
[C(,

)]
=
_
C(,

(x
N
))p
X
(x
N
|)dx
N
Philippe Ciblat Rappel sur la thorie de lestimation 8 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Biais et Erreur quadratique
Le biais est dni de la manire suivante
b(,

) = E
X
[

(x
N
)]
L erreur quadratique moyenne (EQM/MSE) est le risque suivant
EQM(,

) = E
X
[

(x
N
)
2
]
La variance dun estimateur vaut
var(,

) = E
X
[

(x
N
) E
X
[

(x
N
)]
2
]
Remarques
Un estimateur est dit sans biais ssi b(,

) = 0
Le lien entre les trois mesures est
EQM(,

) = b(,

)
2
+ var(,

)
Philippe Ciblat Rappel sur la thorie de lestimation 9 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Exemple
Soit X
N
un vecteur gaussien rel dont les composantes sont i.i.d.
de moyenne m et variance v
Soit lestimateur empirique de la moyenne

m
N
=
1
N
N

n=1
x
n
Cet estimateur est
sans biais
de variance
var(m,

m
N
) =
v
N
Philippe Ciblat Rappel sur la thorie de lestimation 10 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Performances

1
sera dit meilleur estimateur que

2
par rapport au risque R ssi
R(,

1
) R(,

2
)
Question
Y-a-t-il une valeur minimale du risque?
Si le risque est quadratique
Si le problme est sufsamment rgulier
Si on restreint la classe des estimateurs
alors la rponse est afrmative borne de Cramer-Rao (BCR/CRB)
Philippe Ciblat Rappel sur la thorie de lestimation 11 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Bornes de Cramer-Rao (I)
Un modle est dit rgulier si
p
X
(x
N
|)/ existe pout tout x
N
et tout .
p
X
(x
N
|) a le mme support par rapport x
N
pour tout
Soit X lespace dobservation
_
X

p
X
(x
N
|)dx
N
=

_
X
p
X
(x
N
|)dx
N
= 0
Exemple
Soit X un scalaire gaussien rel de moyenne = m et variance 1
p
X
(x|) =
1

2
e
(x)
2
/2
p

X
(x|) = (x )p
X
(x|)
le support est R pour tout
_
R
p
X
(x|)dx = 1
Philippe Ciblat Rappel sur la thorie de lestimation 12 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Bornes de Cramer-Rao (II)
Proposition 1
Un estimateur sans biais vrie lingalit suivante
E
X
_
_


__


_
T
_
F()
1
= CRB()
Remarques
EQM(,

) trace(F()
1
)
La matrice F() se nomme matrice dinformation de Fisher (FIM)
F() = E
X
_
_
ln p
X
(x
N
|)

__
lnp
X
(x
N
|)

_
T
_
Une version tendue de la CRB au cas biais existe
Un estimateur sans biais atteignant la CRB est dit efcace
Philippe Ciblat Rappel sur la thorie de lestimation 13 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Bornes de Cramer-Rao (III)
Proposition 2
Si la fonction ln p
X
(x
N
|) admet une drive seconde, alors
F() = E
X
_

2
lnp
X
(x
N
|)
()
2
_
Remarques
La formule prcdente est une variante de la CRB
p
X
(x
N
|) est la vraisemblance
ln p
X
(x
N
|) est la log-vraisemblance
Philippe Ciblat Rappel sur la thorie de lestimation 14 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Preuve de la proposition 1
Nous nous limitons, par souci de lgret, au cas scalaire
E
X
_
(

lnp
X
(x|)
_
=
_
(

ln p
X
(x|)p
X
(x|)dx
=
_
(

p
X
(x|)dx
=

E
X
[

]
= 1
Utilisation, ensuite, de lingalit de Cauchy-Schwartz
Philippe Ciblat Rappel sur la thorie de lestimation 15 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Preuve de la proposition 2
Nous nous limitons, par souci de lgret, au cas scalaire
E
X
_

2
()
2
lnp
X
(x|)
_
= E
X
_
1
p
X
(x|)

p
X
(x|)
1
p
X
(x|)

p
X
(x|)
_
+ E
X
_
1
p
X
(x|)

2
()
2
p
X
(x|)
_
= E
X
_
1
p
X
(x|)

p
X
(x|)
1
p
X
(x|)

p
X
(x|)
_
= E
X
_
_

ln p
X
(x|)
_
2
_
Philippe Ciblat Rappel sur la thorie de lestimation 16 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Exemple
Soit X un scalaire gaussien rel de moyenne m et variance 1
p
X
(x|m) =
1

2
e
(xm)
2
/2
Rsultat
La matrice dinformation de Fisher (pour lestimation de m) est tel que
F
1
=
1
N
Remarques
Considrons lestimateur empirique de la moyenne
Cet estimateur est sans biais et derreur quadratique 1/N
Cet estimateur est donc efcace
Philippe Ciblat Rappel sur la thorie de lestimation 17 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Analyse asymptotique
Objectif
Etude des performances de lestimateur

N
lorsque N
Ex. : estimation dune moyenne nulle
1.5 1 0.5 0 0.5 1 1.5
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
Moyenne estime
N
o
m
b
r
e

d
e

v
a
l
e
u
r
s

t
r
o
u
v

e
s

p
a
r

r
e
c
t
a
n
g
l
e

(
p
o
u
r

1
0
0
0

t
e
s
t
s
)
10 chantillons
Notion de convergence
Notion de dispersion
Allure de la
distribution
Variance
Philippe Ciblat Rappel sur la thorie de lestimation 18 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Analyse asymptotique
Objectif
Etude des performances de lestimateur

N
lorsque N
Ex. : estimation dune moyenne nulle
1.5 1 0.5 0 0.5 1 1.5
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
Moyenne estime
N
o
m
b
r
e

d
e

v
a
l
e
u
r
s

t
r
o
u
v

e
s

p
a
r

r
e
c
t
a
n
g
l
e

(
p
o
u
r

1
0
0
0

t
e
s
t
s
)
100 chantillons
Notion de convergence
Notion de dispersion
Allure de la
distribution
Variance
Philippe Ciblat Rappel sur la thorie de lestimation 18 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Analyse asymptotique
Objectif
Etude des performances de lestimateur

N
lorsque N
Ex. : estimation dune moyenne nulle
1.5 1 0.5 0 0.5 1 1.5
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
0.5
Moyenne estime
N
o
m
b
r
e

d
e

v
a
l
e
u
r
s

t
r
o
u
v

e
s

p
a
r

r
e
c
t
a
n
g
l
e

(
p
o
u
r

1
0
0
0

t
e
s
t
s
)
1000 chantillons
Notion de convergence
Notion de dispersion
Allure de la
distribution
Variance
Philippe Ciblat Rappel sur la thorie de lestimation 18 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Consistance
Dnition

N

p.s.
0
avec la convergence presque sre dnie de la manire suivante
Prob
_
: lim
N

N
() =
_
= 1
Dmarche classique :
Loi forte des grands nombres
Lemme de Borel-Cantelli
> 0,

nN
Prob(

n
> ) < +Prob( lim
N

N
= ) = 1
Ingalit de Markov/Tchebitchev
Prob(

N
> )
E[

N

p
L
p
]

p
, p 2
Philippe Ciblat Rappel sur la thorie de lestimation 19 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Normalit asymptotique
Dnition
Un estimateur est dit asymptotiquement normal ssi
N
p/2
(

N
)
L
N(0, )
o
p est la vitesse de convergence (convergence dite en 1/N
p
)
est la matrice de covariance (asymptotique)
Convergence en loi : x
n
L
x
Pour toute fonction continue borne : lim
N
E[f (x
n
)] = E[f (x)]
Pour tout w, lim
N
E[e
iwx
n
] = E[e
iwx
]
les ralisations des v.a. peuvent tre totalement diffrentes, elles
ont juste la mme loi asymptotiquement
Philippe Ciblat Rappel sur la thorie de lestimation 20 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Remarques
Origine de la normalit asymptotique :
Thorme central-limite
Dmonstration classique par les fonctions caractristiques de
deuxime espce
Calcul de la covariance asymptotique :
EQM = E[

N

2
] trace()/N
p
Dmarche classique du calcul de la covariance par
dveloppement en srie de Taylor lordre deux du processus
de contraste autour de
Quelques proprits supplmentaires :
Un estimateur est dit asymptotiquement sans biais si
lim
N
E
X
[

N
] =
Un estimateur est dit asymptotiquement efcace si il est
asymptotiquement normal et que
EQM(N)
trace(CRB(N))
1, quand N
Philippe Ciblat Rappel sur la thorie de lestimation 21 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Estimateur du maximum de vraisemblance (I)
Dnition
Soit p
X
(.|) une densit de probabilit paramtre par

ML,N
= argmax

p(x
N
|

)
On parle destimateur MV ou ML (Maximum Likelihood)
Remarque :
Supposons, pour simplier, que les x
n
sont i.i.d.

J(,

) = D(p
X
(.|)||p
X
(.|

)) H(p
X
(.|))
= E
X
[lnp
X
(.|

)]

J
N
(,

) =
1
N
N

n=1
ln p(x
n
|

)
lnp(x
N
|

)
Philippe Ciblat Rappel sur la thorie de lestimation 22 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Estimateur du maximum de vraisemblance (II)
Equations de vraisemblance :
Si p
X
(.|) est diffrentiable par rapport , alors
p
X
(x
N
|)

ML,N
= 0
Performances asymptotiques
Si la suite x
n
est i.i.d. et p
X
(x
n
|) vrie des conditions techniques
peu restrictives, alors lestimateur ML est
consistant
asymptotiquement sans biais
asymptotiquement normal avec p = 1
asymptotiquement efcace
Contre-exemple : estimation de frquence (variables non i.d.)
Philippe Ciblat Rappel sur la thorie de lestimation 23 / 30
Gnralits Approche dterministe Approche baysienne Gnralits Bornes de Cramer-Rao Analyse asymptotique
Estimateur du maximum de vraisemblance (III)
Soit
x
n
= f
n
() + b
n
, pour n = 1, . . . , N
avec
f
n
(.) des fonctions dterministes
une suite b
n
i.i.d gaussienne de moyenne nulle et de variance v
Estimateur ML

ML,N
= argmin

n=1
|x
n
f
n
(

)|
2
Cest donc lestimateur des moindres carrs (LS pour Least Square)
Exemple :
Lestimateur empirique de la moyenne est le LS/ML.
Philippe Ciblat Rappel sur la thorie de lestimation 24 / 30
Gnralits Approche dterministe Approche baysienne
Partie 3 : Approche baysienne
Philippe Ciblat Rappel sur la thorie de lestimation 25 / 30
Gnralits Approche dterministe Approche baysienne
Critre quadratique
Considrons comme une variable alatoire admettant une
densit de probabilit a priori p

().
Considrons la densit conjointe entre les observations et la
paramtre inconnu. La loi de Bayes indique que
p
X,
(x
N
, ) = p
X|
(x
N
|)p

()
Risque quadratique
EQM(

N
) = E
X,
[

N

2
]
=
_

N

2
p
X,
(x
N
, )dx
N
d
= E

[E
X|
[

N

2
]]
= E

[EQM(

N
, )]
Philippe Ciblat Rappel sur la thorie de lestimation 25 / 30
Gnralits Approche dterministe Approche baysienne
Estimateur optimal
Rsultat fondamental
Lestimateur non biais optimal par rapport au critre MSE existe et
scrit

MMSE,N
= E
|X
[] =
_
p
|X
(|x
N
)d
Cet estimateur est dit MMSE et correspond la moyenne de la
densit a posteriori du paramtre dintrt
Remarque :
Lestimateur optimal est la moyenne a posteriori et non le
maximum a posteriori (MAP) dni de la manire suivante

MAP,N
= argmax

p
|X
(

|x
N
)
Dans lapproche dterministe, lestimateur non biais optimal par
rapport au MSE existe rarement. Il existe souvent, en rgime
asymptotique, via lestimateur ML.
Philippe Ciblat Rappel sur la thorie de lestimation 26 / 30
Gnralits Approche dterministe Approche baysienne
Preuve
Nous nous limitons, par souci de lgret, au cas scalaire
EQM(

N
) =
_ __
(

N
)
2
p
|X
(|x
N
)d
_
p
X
(x
N
)dx
N
Comme lintgrale interne et p
X
(x
N
) sont positifs, EQM(

N
) est
minimale si pour chaque vecteur x
N
, lintgrale interne est elle-mme
minimale.
Ainsi nous cherchons

N
tel que
d
d

N
_
(

N
)
2
p
|X
(|x
N
)d = 0
ce qui conduit

N
_
p
|X
(|x
N
)d
. .
1
=
_
p
|X
(|x
N
)d
Philippe Ciblat Rappel sur la thorie de lestimation 27 / 30
Gnralits Approche dterministe Approche baysienne
Exemple
Soit
x
n
= m + b
n
, pour n = 1, . . . , N
avec
m une variable gaussienne de moyenne nulle et de variance
2
m
une suite b
n
i.i.d gaussienne de moyenne nulle et de variance
2
b
p
m,X
(m|x
N
) = p
X,m
(x
N
|m)p
m
(m)/p
X
(x
N
)
e

m

2
m

2
m
+
2
b
/N
1
N
P
N
n=1
x
n

2
/2
2

m
MMSE,N
=

m
MAP,N
=

2
m

2
m
+
2
b
/N
_
1
N
N

n=1
x
n
_
Remarque :
Si
2
m

2
b
,

m
MMSE,N
proche de la moyenne a priori (0)
Si
2
m

2
b
,

m
MMSE,N
proche de la moyenne empirique
Philippe Ciblat Rappel sur la thorie de lestimation 28 / 30
Gnralits Approche dterministe Approche baysienne
Borne de Cramer-Rao baysienne
Soit

un estimateur sans-biais de , alors
EQM(

) F
1
= BCRB
avec
F = E
X,
_
_
lnp
X,
(x
N
, )

__
lnp
X,
(x
N
, )

_
T
_
Remarque :
Egalement appele Borne de Cramer-Rao de Van Trees ou
Borne de Cramer-Rao stochastique
On a aussi F = E
X,
_

2
ln p
X,
(x
N
,)
()
2
_
Pas de liens triviaux entre BCRB et E

[CRB()]
Philippe Ciblat Rappel sur la thorie de lestimation 29 / 30
Gnralits Approche dterministe Approche baysienne
Bibliographie
H. Cramer, "Mathematical Methods of Statistics", 1946.
H.L. Van Trees, "Detection, Estimation, and Modulation Theory", Partie 1, 1968.
E. Moulines, "Estimation statistique", Polycopi ENST.
B. Porat, "Digital Processing of Random Signals : Theory and Methods", 1994.
Philippe Ciblat Rappel sur la thorie de lestimation 30 / 30