Vous êtes sur la page 1sur 16

Quelques rappels de

la théorie de l’estimation
Hugues GARNIER

hugues.garnier@univ-lorraine.fr

TNS 1 H. Garnier
Estimation statistique – formulation du problème
•  On considère un processus aléatoire X ∈ RN qui est fonction d’un autre
vecteur θ ∈ Rp :
X = h(θ)
•  Le problème de l’estimation peut être énoncé de façon très générale de
la manière suivante :
–  Si j’observe une réalisation x ∈ RN de X, que puis-je en tirer
comme information sur θ ?
–  De manière plus précise, on souhaite construire un estimateur de θ

•  Définition : un estimateur deθ est une fonction déterministe g(x)


qui a toute réalisation x du processus X fait correspondre une
valeur particulière, appelée estimée, notée θ̂

θ̂ = g( x )

TNS 2 H. Garnier
Les 3 familles traditionnelles d’estimateurs
•  On distingue les trois situations suivantes :

①  X et θ sont des vecteurs aléatoires ayant des densités de probabilité :


l’estimateur appartiendra à la famille des estimateurs de Bayes.
§  On parle de méthodes bayésiennes

②  θ est déterministe (dans le sens fixe mais inconnu) ; X est un vecteur


aléatoire ayant une densité de probabilité : l’estimateur appartiendra à la
famille des estimateurs de Fisher

③  θ est déterministe ; X est une fonction bruitée mais non probabiliste de θ.


Dans ce cas, on peut encore définir un estimateur en dehors de tout cadre
probabiliste

Dans la suite, on se limite à l’étude des estimateurs de Fisher

TNS 3 H. Garnier
Estimateurs de Fisher - Exemple
•  Supposons que l’on dispose de N échantillons x={x(1), x(2), …, x(N)} d’un
signal aléatoire gaussien de moyenne m et de variance σ2

•  A partir de ces N échantillons, on souhaite construire un estimateur de la


moyenne et de la variance du signal. Dans ce cas, on a

⎛ m ⎞
x={x(1), x(2), …, x(N)} θ =⎜ 2 ⎟
⎝ σ ⎠
•  On pourrait, par exemple, considérer les estimateurs suivants :
N N
1 1
2 2
m̂ = ∑ x( k )
N k=1 N k=1
(
ο̂ = ∑ x( k ) − m̂ )
Ici θ est déterministe (inconnu mais fixe) et X est aléatoire ayant une densité
de probabilité (gaussienne) : l’estimateur appartiendra bien à la famille des
estimateurs de Fisher

TNS 4 H. Garnier
Estimation statistique
•  L’estimation concerne donc une quantité théorique dont le calcul
est irréalisable en pratique car nous ne disposons que de N
échantillons du signal

•  Notez que les statisticiens ont la manie de mettre un chapeau sur


les quantités qu’ils estiment ou prévoient

θ̂N : estimée du vecteur θ à partir de N données

ŷ( k ) : prévision du signal y à l’instant k

•  Un estimateur est une expression qui approche une fonction


théorique de la façon la plus exacte possible, au sens d’un certain
critère

TNS 5 H. Garnier
Propriétés des estimateurs
Pour juger de la qualité d’un estimateur, on vérifie s’il a certaines
propriétés jugées intéressantes

•  Biais d’un estimateur

•  Variance d’un estimateur

•  Estimateur à variance minimale

TNS 6 H. Garnier
Biais d’un estimateur

•  On dira qu’un estimateur est sans biais si

mθ̂ = E {θ̂ } = θ

•  Si l’estimateur est biaisé, on définit le biais de l’estimateur :

bθ̂ = E {θ̂ } − θ

TNS 7 H. Garnier
Illustration du biais d’un estimateur

Estimateur A Estimateur B
Supposons que l’on dispose de Nexp réalisations d’un processus aléatoire
X = h(θ) avec θ scalaire. Pour chaque réalisation, on réalise une estimée de
θ que l’on place sur une cible (le centre représente la valeur vraie de θ).
§  La moyenne des estimées pour l’estimateur A n’est pas au cœur de la cible :
estimateur biaisé (biais=erreur systématique)
§  La moyenne des estimées pour l’estimateur B est au centre de la cible :
estimateur sans biais

• 8
TNS 8 H. Garnier
Variance d’un estimateur

•  La matrice de covariance d’un estimateur est définie comme


pour n’importe quel vecteur aléatoire :

⎧ T⎫


(
Pθ̂ = E ⎨ θ̂ − E θ̂{ }) (θ̂ − E {θ̂ }) ⎬

–  La matrice de covariance est symétrique semi-positive

•  Si θ est scalaire, on parle de variance de l’estimateur

⎧ 2⎫
σ θ̂2 ( { })
= E ⎨ θ̂ − E θ̂ ⎬
⎩ ⎭
–  La variance est positive

TNS 9 H. Garnier
Illustration de la variance d’un estimateur

Estimateur A Estimateur B

Les deux estimateurs sont sans biais (moyenne des estimées au cœur de la
cible)
L’estimateur B est plus précis (variance plus faible) que l’estimateur A

• 10
TNS 10 H. Garnier
Estimateur à variance minimale

•  Soit θ̂ un estimateur non-biaisé de θ. On dira que θ̂ est un


estimateur à variance minimale, si pour tout autre estimateur
*
non-biaisé θ̂ , on a :

Pθ̂ ≤ P *
θ̂
•  Autrement dit, un estimateur non-biaisé est à variance minimale
si sa matrice de covariance (sa variance dans le cas scalaire) est plus
petite que celle de n’importe quel autre estimateur non-biaisé

•  Un estimateur à variance minimale est aussi appelé estimateur


efficace

TNS 11 H. Garnier
Propriétés statistiques d’un estimateur
•  A cause du caractère aléatoire du signal, la quantité estimée
est aussi une variable aléatoire (décrit par une densité de probabilité)

•  L’estimée θ̂ est donc différente d’une réalisation à l’autre du


signal aléatoire

•  Soit θO la valeur vraie de la quantité. L’estimateur recherché doit


posséder les propriétés suivantes :
–  Sans biais avec une matrice de covariance Pθ la plus faible possible
(variance minimale si possible)

θ̂ ~ N( θo ,Pθ )
–  Convergent (en probabilité)

p lim θ̂ = θo
N→∞

• 12
TNS 12 H. Garnier
Propriétés statistiques d’un estimateur
•  Il est, hélas, en général très difficile d’établir très précisément les
propriétés statistiques d’un estimateur
–  Les calculs analytiques sont limités aux cas les plus simples
(espérance, variance, fonction d’auto-corrélation)

•  On se contentera souvent de donner les propriétés asymptotiques


de θ̂N lorsque le nombre de données N tend vers l’infini
–  Nécessite cependant une certaine virtuosité en calcul analytique !

•  Les simulations de Monte Carlo représentent une alternative utile


–  Cela revient à simuler le processus aléatoire. On génère donc un ensemble de
réalisations du processus aléatoire.
–  Pour chaque réalisation, on estime les paramètres du modèle
–  Cela permet d’estimer l’histogramme, le biais et la variance des paramètres
estimés, etc.

• 13
TNS 13 H. Garnier
Estimateur de la moyenne et de la variance
à partir de N données
N
1
m = E {x( k )} = lim ∑ x( k )
N→+∞ 2N +1 k=−N

N
⎧ 2⎫ 1 2
σ x2 ( )
= E ⎨ x( k ) − E {x( k )} ⎬ = lim (
∑ x( k ) − m )
⎩ ⎭ N→+∞ 2N +1 k=−N

N
1
•  Estimateur de la moyenne m̂ = ∑ x( k )
N k=1

N
1 2
•  Estimateur biaisé de la variance ο̂ x2 = ∑ x( k ) − m̂
( )
N k=1

N
1 2
•  Estimateur non biaisé de la variance ο̂ x2 = ∑ (
x( k ) − m̂ )
N −1 k=1

TNS 14 H. Garnier
Estimateur de la fonction d’auto-corrélation
N
1
Rx ( τ ) = Ε{x(k )x(k + τ )} = lim
N→+∞ 2N +1

x(k )x(k + τ )
k=−N

•  Estimateur biaisé ⎧
b 1
N−τ −1
⎪ R̂ ( τ ) =
⎨ x

N k=0
x(k )x(k + τ ) τ = 0,1,...,N −1
⎪ b
⎩ R̂x ( τ ) = R̂x (−τ ) τ = −N +1,...,−1

•  Estimateur non biaisé ⎧ N−τ −1


nb 1
⎪ R̂ ( τ ) =
⎨ x N − τ k=0
∑ x(k )x(k + τ ) τ = 0,1,...,N −1
⎪ nb
⎩ R̂x ( τ ) = R̂x (−τ ) τ = −N +1,...,−1

•  Exemple :
–  Soit x = [0 1 1 1 0]. Calculer R̂xb ( τ ) R̂xnb ( τ )

TNS 15 H. Garnier
Estimateur de la fonction d’auto-corrélation - Exemple
x = [0 1 1 1 0] N=5
⎧ 4−τ ⎧ 4−τ
⎪ R̂ b ( τ ) = 1 x(k )x(k + τ ) τ = 0,1,2,3,4
∑ nb 1
⎨ x 5 k=0
⎪ R̂ ( τ ) =
⎨ x 5 − τ k=0
∑ x(k )x(k + τ ) τ = 0,1,2,3,4
⎪ b ⎪
⎩ R̂x ( τ ) = R̂x (−τ ) τ = −4,−3,−2,−1 ⎩ R̂xnb ( τ ) = R̂x (−τ ) τ = −4,−3,−2,−1
4 4
1 3 1 3
τ = 0, R̂xb (0) = ∑ x 2 (k ) = τ = 0, R̂xnb (0) = ∑ x 2 (k ) =
5 k=0 5 5 k=0 5
3 3
1 2 1 1
τ = 1, R̂xb (1) = ∑ x(k )x(k +1) = τ = 1, R̂xnb (1) = ∑ x(k )x(k +1) =
5 k=0 5 4 k=0 2
2 2
1 1 1 1
τ = 2, R̂xb ( 2) = ∑ x(k )x(k + 2) = τ = 2, R̂xnb ( 2) = ∑ x(k )x(k + 2) =
5 k=0 5 3 k=0 3
1 1
1 1
τ = 3, R̂xb (3) = ∑ x(k )x(k + 3) =0 τ = 3, R̂xnb (3) = ∑ x(k )x(k + 3) =0
5 k=0 2 k=0
0 0
1 1
τ = 4, R̂xb ( 4) = ∑ x(k )x(k + 4) =0 τ = 4, R̂xnb ( 4) = ∑ x(k )x(k + 4) =0
5 k=0 1 k=0
Sous Matlab : x=[0 1 1 1 0];
[Rx_b,tau]=xcorr(x,’biased’) [Rx_nb,tau]=xcorr(x,’unbiased’)

TNS 16 H. Garnier