Samedi, le 23 mars 2024

Chapitre 3 : MINIMUM VARIANCE UNBIASED ESTIMATION

Pour définir un estimateur efficace, on a besoin de trois notions :

- L’estimateur MVU, un estimateur qui admet un minimum de variance et qui est non
biaisé ;
- La matrice d’information de Fischer ;
- La borne de Cramer Rao.

Pour l’estimateur MVU, on recherche un estimateur sans biais et à variance minimale.

Notion d’information :

L’idée est de définir mathématiquement une mesure quantitative de la quantité

d’information apportée par le symbole Si pour un message donné. On attribue à un symbole Si
de probabilité p(Si) la quantité d’information log(p(Si)).

 Matrice d’information de Fischer

Le but est de mesurer la quantité d’information apportée par l’échantillon de taille N sur le
paramètre θ.

 Borne de Cramer Rao

La variance d’un estimateur ne peut être inférieure qu’à une certaine borne qui s’exprime
en fonction de la matrice d’information de Fischer et qui est appelée borne de Cramer Rao
(BCR). Pour tout estimateur

[ ]
2
^
∂ E ( θ)
∂θ
var ( θ^ ) ≥ BCR=
I (θ)

Plus il y a d’information apportée par les échantillons x(n), plus petite est la plage de
variation de la variance, plus précis est l’estimateur.

Estimateur efficace :

Un estimateur est dit efficace s’il est sans biais et s’il touche la BCR.

var ( θ^ eff ) =BCR

 Il n’existe pas toujours, s’il existe alors il est unique et correspond à l’estimateur MVU (
θ^ MVU ).

⇒
var ( θ^ eff ) =BCR❑ θ^ eff =θ^ MVU

On aura par conséquent cette expression :

∂ ln p ( x ; θ)
=I (θ) ( g (x)−θ )
∂ θ2

avec
θ^ eff =g(x )

Exercice :

Soient x [ 0 ] =A +w ( 0 ) avec w ( 0 ) qui suit une loi normale centrée de variance σ 2 et

1 −1 2
pi ( x [ 0 ] , A ) = exp ⁡[ ( x [ 0 ] −A ) ]
√2 π σ 2
i
2
2 σi

1- Calcul de ln ( p i ( x [ 0 ] , A ) ) :

1 −1 2
ln ( p i ( x [ 0 ] , A ) ) =ln[ exp ⁡[ ( x [ 0 ] −A ) ]]
√2 π σ 2
i
2
2 σi
⇒
1 −1 2
❑ ln ( pi ( x [ 0 ] , A ) )=ln( )+ ln [exp ⁡[ ( x [ 0 ] −A ) ]]
√2 π σ 2
i
2
2 σi
⇒
1 1 2
❑ ln ( pi ( x [ 0 ] , A ) )=ln( )−¿ ( x [ 0 ]− A ) ¿
√2 π σ 2
i
2
2 σi
⇒
1
❑ ln ( pi ( x [ 0 ] , A ) )=−ln ( √2 π σ i )−¿
2
2
2
( x [ 0]− A ) ¿
2 σi

2-

∂ ln ( pi ( x [ 0 ] , A ) ) −1 ∂ [ ( x [ 0 ] − A ) ]
2
∂ ln ( pi ( x [ 0 ] , A ) ) ⇒
=∂¿ ¿❑ = 2
∂A ∂A 2 σi ∂A

⇒ ∂ ln ( pi ( x [ 0 ] , A ) ) −1 ∂ ( x [ 0 ]− A )
❑ = 2
× 2 ( x [ 0 ]− A ) ×
∂A 2 σi ∂A

∂ ( x [ 0 ]− A )
Or =−1
∂A
Donc,

∂ ln ( pi ( x [ 0 ] , A ) ) 1
= 2(
x [ 0 ]− A )
∂A σi

3-

[
∂ ∂ ln ( pi ( x [ 0 ] , A ) )
= ] [ ∂
1
2
σi ❑
∂A
] [ ∂A ]
( x [ 0 ] −A ) ⇒ ∂ ∂ ln ( p i ( x [ 0 ] , A ) ) −1
= 2 <0
σi
∂A ∂A ∂A

Considérons ^
A=x [ 0 ]; on a :

⇒
var ( ^
A)=var (x [ 0 ] )❑ var ( ^
A)=σ
2

Donc,

⇒
−1
∂ ln ( pi ( x [ 0 ] , A ) )
2
−1 ❑ var ( ^
A )= 2
= ∂ ln ( pi ( x [ 0 ] , A ) )
var ( ^
2
∂A A)
∂ A2

La densité de probabilité doit satisfaire la condition de régularité suivante afin que

l’estimateur atteigne la BCR :

E
[ ∂ ln p ( x ; θ )
∂θ
2 ]
= 0pour tout θ .

Ainsi la variance de tout estimateurθ^ non biaisé s’exprime comme suit :

1
var ( θ^ ) ≥

[ ]
2
∂ ln p ( x ; θ )
−E
∂ θ2

Cette expression nous renseigne sur θ^ eff et qui admet un minimum de variance 1/ I (θ).
θ^ eff =g(x )

Exemple :

Soient x [ n ] =A +w ( n )

Déterminons la borne de Cramer Rao :

 1 −1 2
p ( xi , A )= exp ⁡[ ( x [ i ] −A ) ]
√2 π σ 2
i
2
2 σi

N −1 N −1
1 −1
p ( x , A ) =∏ p ( x , A )= 2 ∑
2
N
exp ⁡[ ( x [ n ] −A ) ]
n=0 2 σ i n=0
(2 π σ ) 2 2

i-

[ [ ]]
N−1
1 −1
2 ∑
2
ln ( p ( x , A ) )=ln N
exp ( x [ n ] −A )
2 σ n=0
(2 π σ2) 2
N N−1
⇒
1
2 ∑
2
❑ ln ( p ( x , A ) )=−ln( ( 2 π σ i ) )− ( x [ n ] −A )
2 2

2 σ n =0

ii-
∂ ln ( p ( x , A ) ) 1
N−1 ⇒ ∂ ln ( p ( x , A ) )
1
N −1
= 2 ∑ 2 ( x [ n ]− A )❑ = 2 ∑ ( x [ n ]− A )
∂A 2 σ n=0 ∂A σ n=0
iii-

∂A [
∂ ∂ ln ( p ( x , A ) ) −1
∂A
= 2N
σ ]
D’où la BCR,

1
BCR=
I ( A)

( ∂ ln ( p ( x , A ))
) ( )
2
−N N
Or I ( A )=E 2
=−E 2
= 2
∂A σ σ

Donc
2
σ
BCR= =var ( ^
A)
N

Identifions g(x) :

On a :

∂ ln ( p ( x , A ) ) 1
= 2 [ ( x [ 0 ] − A ) + ( x [ 1 ] − A )+ …+ ( x [ N −1 ] − A ) ]
∂A σ
 ∂ ln ( p ( x , A ) ) 1
= 2 [ x [ 0 ] + x [ 1 ] + …−NA ]
∂A σ

∂ ln ( p ( x , A ) ) N
= 2 [ x− A ]
∂A σ

Par identification,

g ( x )=x

Travail dirigé : à faire à la maison

On considère le modèle d’observation suivant : x n= A r n + wn où r est un paramètre positif

connu, A, un paramètre réel inconnu et w n, une réalisation d’un bruit blanc gaussien suivant
une loi normale centrée en 0 et avec pour variance connue σ 2 .

1- Donner l’expression de la log-vraisemblance (ln(p(x,θ)).

2- Montrer que les conditions de régularité sont vérifiées.
3- Calculer la BCR.
4- Montrer que cette borne est atteinte.
 Samedi, le 30 mars 2024

CHAPITRE 5 : LES MODELES LINEAIRES

Introduction

La détermination du MVU est une tâche assez difficile (il faut trouver la BCR et vérifier
l’existence du MVU). Une borne partie des problèmes d’estimation en ce qui concerne le
traitement de signal peut être modélisé par un modèle linéaire qui permet de déterminer
facilement θ ; où : x [ n ] =A + Bn+ w ( n ) avec n=1 ,2 , ... , N −1.

Si les mesures suivent un modèle linéaire comme celui ci-dessous, on pourra facilement
retrouver l’estimateur.

x [ n ] =H θ +w

( )( )
w (0) x (0)
w(¿1) x(¿1)
. .

( )
1 0
w= . x= .
Où , , H= ⋮ ⋮
. .
1 N −1
. .
. .
w (N−1) x ( N−1)

H est la matrice d’observation, les données x sont les données observées.

Il est possible donc d’exprimer sous forme de matrice, le bruit qui suit une loi normale, si
c’est un bruit blanc gaussien, centrée en 0 et de variance σ 2 I .

Si l’estimateur MVU existe, alors :

∂ ln p ( x ; θ)
=I (θ) ( g (x)−θ )
∂θ

[ ]
N
∂ ln p ( x ; θ) ∂ 1
− ln ( 2 π σ 2) 2 − 2 ( x −H θ ) ( x−H θ )
T
=
∂θ ∂θ 2σ

∂ ln p ( x ; θ) ∂ −1 T
∂θ
=
[
∂ θ 2 σ2
( x −( H θ )T ) ( x−H θ ) ]
∂θ
=
[
∂ ln p ( x ; θ) ∂ −1 T T T
∂ θ 2 σ2
( x −θ H ) ( x −H θ )
]
 ∂ ln p ( x ; θ) ∂ −1 T
∂θ
=
∂θ 2σ[2
( x x−x T H θ−θ T H T x−θT H T H θ )
]
Utilisant les identités :

T
∂b θ
=b
∂θ
T
∂ θ Aθ
=2 Aθ
∂θ
T
∂θ b
=b
∂θ

Pour une matrice symétrique A :

∂ ln p ( x ; θ) −1
= 2 (−H T x−H T x −2 H T H θ )
∂θ 2σ

∂ ln p ( x ; θ) 1 T
= 2 [ H x−H T H θ ]
∂θ σ

Supposons H T H inversible :

∂ ln p ( x ; θ) H T H
= 2 [ ( H H ) H x −θ ]
T −1 T
∂θ σ

Avec ^ ( H T H )−1 H T x
θ=

T
H H
I ( θ )= 2
σ

^ ( H T H )−1 H T x et sa matrice de covariance est

L’estimateur MVU de θ est donné par θ=
−1
C ^θ=I −1 ( θ ) ¿ σ 2 ( H T H ) .

L’estimateur MVU pour un modèle linéaire est efficient s’il atteint la BCR.

Le seul détail qui requiert l’attention est l’inversibilité de H T H .

Théorème

Un modèle observé peut être modélisé : x [ n ] =H θ +w .

^ ( H T H )−1 H T x et la matrice de covariance de θ^ est C ^θ=σ 2 ( H T H )−1.

L’estimateur MVU est θ=
Pour un modèle linéaire l’estimateur MVU est efficient lorsqu’il atteint la BCR en suivant une
−1
loi normale centrée en 0 et de variance σ 2 ( H T H ) .

Cette nature gaussienne de l’estimateur MVU pour le modèle linéaire nous permet de
déterminer l’exacte performance statistique si désiré.

Exemple
CHAPITRE 6 : MAXIMUM LIKEHOOD ESTIMATION

Nous cherchons une alternative à l’alternative MVU pour des cas où le MVU n’existe pas ou
ne pas être trouvé même s’il existe.

Cet estimateur basé sur le principe du maximum de vraisemblance est de loin la meilleure
approche pour obtenir des estimateurs pratiques.

Il est implémenté pour des problèmes d’estimation compliqués.

C’est approximativement l’estimateur MVU dû à son efficacité approximative.

Tous les estimateurs pratiques sont basés sur le principe de maximum de vraisemblance.