Chap 4 : Estimateur Bayésien

L’inconnu : θ ∈ Rp est aléatoire

Fatma ABDELKEFI

29 septembre 2021

Fatma ABDELKEFI (Sup’Com) Estimation 29 septembre 2021 1/7

Problèmatique (1)
x1
 
 .. 
On dispose d’une réalisation x =  .  du de l’échantillon
xN
X1
 
 .. 
X =  . . On suppose que les Xk sont des variables aléatoires i.i.d.
XN
θ1
 
 .. 
On cherche à estimer θ =  . , un vecteur alétatoire, à partir de x
θp
et d’une information a priori sur θ : Pθ . L’approche bayésienne
suppose qu’on connaît les paramètres suivants :
La densité a priori de θ : Pθ .
N
Y
La densité PX |θ=θ0 ( x1 , . . . , xN ) = PXk |θ=θ0 (xk ).
| {z }
k=1
Les N observations

Fatma ABDELKEFI (Sup’Com) Estimation 29 septembre 2021 2/7

Problèmatique (2)
On déduit la densité a posteriori Pθ|X =x de θ à partir du théorème
de Bayes :
Pθ|X =x PX = PX |θ=θ0 Pθ .
Les estimateurs bayésiens du paramètre θ sont construits à partir de
la loi a posteriori Pθ|X =x et d’une fonction coût appropriée
C (θ, θ̂( x1 , . . . , xN )).
| {z }
Les N observations
C (θ, θ̂(x )) dépend de θ̂(x1 , . . . , xN ), de x et de la valeur prise par θ :



 coût quadratique : ∥θ − θ̂(x )∥2


 XN
 coût en valeur absolue : |θk − θ̂k |

C (θ, θ̂(x )) = k=1
 (
si ∥θ − θ̂∥ ≤ ϵ alors C (θ, θ̂) = 0



 coût tout ou rien :


sinon C (θ, θ̂) = 1.


Fatma ABDELKEFI (Sup’Com) Estimation 29 septembre 2021 3/7

Critère bayésien et risque bayésien
Principe d’un estimateur bayésien : D’abord, il faut définir un
risque bayésien puis un critère bayésien à minimiser en tenant
compte d’une fonction coût C (θ, θ̂(x )). Ce crisque ne dépend que de
 
θ̂ et qu’on note Rθ̂ (x ) Rθ̂ = EX ,θ C (θ, θ̂(x ))

Z Z
Rθ̂ = C (θ, θ̂(x ))PX ,θ (x , θ)dx dθ
p N
ZR ZR
= C (θ, θ̂(x ))Pθ|X=x (θ) dθ PX (x ) dx (Th Bayes)
RN p
|R {z }
Gθ̂(x ) dépend de Pθ|X =x
Z
= Gθ̂ (x )Px (x ) dx . Comme PX (x ) ≥ 0
RN

Le critère bayésien : θ̂bay = arg min Gθ̂ (x) = arg min Rθ̂ .
θ̂(x) θ̂∈Rp

Fatma ABDELKEFI (Sup’Com) Estimation 29 septembre 2021 4/7

Estimateur bayésien à coût quadratique

Coût quadratique : C (θ, θ̂(x )) = ∥θ − θ̂(x )∥2 = (θ − θ̂(x ))T (θ − θ̂(x )).
Notre objectif est de trouver l’expression de θ̂bay (x1 , . . . , xN ).
Z
θ̂bay (x ) = arg min Gθ̂ (x ) = arg min C (θ, θ̂(x ))Pθ|X =x (θ) dθ
θ̂(x) θ̂(x) Rp
Z
= arg min (θT θ − 2θ̂T θ + θ̂T θ̂)Pθ|X =x (θ)dθ.
θ̂(x ) Rp

Z
θ̂bay (x1 , . . . , xN ) = θPθ|X =x (θ)dθ = Eθ|X =x (θ).
Rp
Z
∂2
∂θ2
2Pθ|X =x (θ) dθ = 2 > 0 : il s’agit bien d’un minimum.
Rp

Fatma ABDELKEFI (Sup’Com) Estimation 29 septembre 2021 5/7

Performances : Biais et Erreur quadratique moyenne
•L’estimateur bayésien est sans biais : bθ̂bay = E(θ − θ̂bay (x )) = 0.
Z Z
E(θ̂bay (x )) = θPθ|X =x (θ)PX (x )dθdx
N Rp
ZR Z 
= θ Pθ|X =x (θ)PX (x )dx dθ
Rp N
Z ZR  Z
= θ PX ,θ (θ, x )dx dθ = θPθ (θ)dθ = E(θ).
Rp RN Rp

•EQM(θ̂bay ) = EX ,θ (∥θ − θ̂bay (x )∥2 )

Z Z
= ∥θ − θ̂bay (x )∥2 PX ,θ (x , θ)dθdx
RN Rp
Z Z 
= ∥θ − θ̂bay (x )∥2 Pθ|X (θ)dθ PX (x )dx
RN Rp
| {z }
=Gθ̂
bay
(x ): qui correspond à un minimum
= Rθ̂bay
Fatma ABDELKEFI (Sup’Com) Estimation 29 septembre 2021 6/7
Techniques de calcul
Z
On veut calculer : θ̂bay (x1 , . . . , xN ) = Eθ|X =x (θ) = θPθ|X =x (θ)dθ.
Rp
Données : L’échantillon x , PX |θ et Pθ .
1 Calcul de la loi marginale Pθ|X :
P (θ,x )
Pθ|X =x (θ) = θ,x Z PX |θ (x )Pθ (θ) ⇒ Calcul lourd ! !
PX (x ) =
PX |θ (x )Pθ (θ)dθ
Rp Z
2 Calcul de l’espérance : θ̂bay = Eθ|X =x (θ) = θPθ|X =x (θ)dθ.
Rp
Pour éviter la charge calculatoire importante, on utilise un estimateur
au sens de maximum a posterior (MAP) ou bien l’estimateur linéaire
en moyenne quadratique (ELMQ).
MAP = arg max P
Estimateur MAP : θ̂bay θ|X=x (θ),
θ
PX |θ (x )Pθ (θ)
avec Pθ|X =x (θ) = PX (x )

Fatma ABDELKEFI (Sup’Com) Estimation 29 septembre 2021 7/7