Corrigé TD1 : Introduction aux Statistiques Bayésiennes

Yann Traonmilin
Janvier 2018

Rappel On rappelle les définitions des lois usuelles :

1. La loi normale N (m, σ 2 ) sur R est définie par sa densité :

1 (x−m)2
f (x) = √ e− 2σ2
2πσ

2. La loi Beta de paramètres α et β et B(α, β) a pour densité

Γ(α + β) α−1
f(α,β) (x) = x (1 − x)(β−1) χ[0,1] (x).
Γ(α)Γ(β)
Z 1
Γ(α + β)
où la constante = u(α−1) (1 − u)(β−1) du est une constante de renormalisation.
Γ(α)Γ(β) 0
On peut remarquer que la loi de densité uniforme sur [0, 1] est un cas particulier de la loi
Beta pour les paramètres α = β = 1.

Exercice 1. Dans ces deux cas:

1. Cas 1 :
L(θ, k) = Cnk λk (1 − λ)n−k (1)
Cas 2 :
ki
−λ λ
Y Y 1
L(λ, k1 , k2 , · · · , kn ) = e = e−nλ λs (2)
i=1,n
ki ! k!
i=1,n i

2. cas 1 : on retombe sur la calcul de la loi Bernouilli

3. cas 2 : On prend le log de L, ce qui revient à calculer

λ̂ = arg max+ −nλ + slog(λ) + C = arg max G(λ) (3)

λ∈R θ∈R

On cherche λ̂ tel que G0 (λ̂) = 0, ce qui donne s

λ̂
= n et θ̂ = s
n

1
Exercice 2.
1. Formule de Bayes avec proba totales :
P(Xi = a|θ = θ1 )P(θ = θ1 )
P(θ = θ1 |Xi = a) =
P(Xi = a|θ = θ1 )P(θ = θ1 ) + P(Xi = a|θ = θ2 )P(θ = θ2 )
(4)
θ 1 p1
=
θ1 p1 + θ2 (1 − p1 )
2. Formule de Bayes avec proba totales + indépendance (conditionnelle) :
P((X1 = a, X2 = b)|θ = θ2 )P(θ = θ2 )
P(θ = θ2 |(X1 = a, X2 = b)) =
P((X1 = a, X2 = b)|θ = θ2 )P(θ = θ2 ) + P((X1 = a, X2 = b)|θ = θ1 )P(θ = θ
θ2 (1 − θ2 )(1 − p1 )
=
θ2 (1 − θ2 )(1 − p1 ) + θ1 (1 − θ1 )p1
(5)
3. La fonction p1 /(1 − p1 ) est croissante sur [0, 1]. Ainsi P(θ = θ2 |(X1 = a, X2 = b)) décroit en
fonction de p1 . Plus l’a priori sur θ2 est fort, plus la probabilité a postériori sur θ2 est forte.
4. Soit k le nombre de a. Formule de Bayes avec proba totales :
θ1k (1 − θ1 )n−k (1 − p1 )
P(θ = θ1 |X = x) = (6)
θ1k (1 − θ1 )n−k (1 − p1 ) + θ2k (1 − θ2 )n−k (1 − p1 )
Exercice 3.
1.
π(θ|(X1 = a, X2 = a, X3 = b) ∝ θ2 (1 − θ)χ[0,1] (7)
Pour déterminer la constante, on remarque que c’est une loi Beta B(3, 2)
2. on dérive f (θ) = θ2 (1 − θ) f 0 (θ̂) = 0 = 2θ̂ − 3θ̂2 ce qui donne θ̂ = 2/3
3. on note k le nombre de a
π(θ|X = x) ∝ θk (1 − θ)n−k χ[0,1] (8)
Pour déterminer la constante, on remarque que c’est une loi Beta B(k + 1, n − k + 1)

1/n−k
4. on dérive f (θ) = θk (1 − θ)n−k f 0 (θ̂) = 0 = k θ̂k−1 − nθ̂n−1 ce qui donne θ̂ = nk

Exercice 4.
1.
π(θ|(X1 = a, X2 = a, X3 = b) ∝ θ2 (1 − θ)θα−1 (1 − θ)β−1 = θα+1 (1 − θ)β (9)
Pour déterminer la constante, on remarque que c’est une loi Beta B(α + 2, β + 1)
 1/(β+1−α)
2. on dérive f (θ) = θα+1 (1 − θ)β f 0 (θ̂) = 0 = (α + 1)θ̂α − β θ̂β+1 ce qui donne θ̂ = α+1
β

3. on note k le nombre de a
π(θ|X = x) ∝ θα+k−1 (1 − θ)β+n−k−1 χ[0,1] (10)
Pour déterminer la constante, on remarque que c’est une loi Beta B(α + k, β + k)
 1/(n−k+β−α)
α+k−1
4. on dérive f (θ) = θα+k−1 (1 − θ)β+n−k−1 χ[0,1] , ce qui donne θ̂ = β+n−k−1

2
Exercice 5.

1. Comme la constante de normalisation d’une Gaussienne ne dépend pas de la moyenne, on a

(X1 −θ1 )2 )
e− 2σ 2 p1
P(θ = θ1 |X1 ) = (X −θ )2 ) (X −θ )2 )
(11)
− 1 21 − 1 22
e 2σ p1 + e 2σ (1 − p1 )

2. P 2
− i (Xi −θ1 ) )
e 2σ 2 p1
P(θ = θ1 |X) = P
(X −θ )2 )
P 2 (12)
− i i21 i (X1 −θ1 ) )
e 2σ p1 + e− 2σ 2 (1 − p1 )

Exercice 6.
2 2 2 2
1. π(θ|x) = N ( σ σθ20+τ
+τ x σ τ
2 , σ 2 +τ 2 ).

1
σ 2 θ0 +τ 2 i xi σ 2 θ0 +τ 2 n( n
P P
2τ 2 xi ) 2 2
2. π(θ|x) = N ( σ +τ 2
2 , σ2σ+nτ 2) = N( σ +τ 2
2
i
, σ2σ+nτ
τ
2 ).

3. Etude en fonction de n. Le max est la moyenne qui est une pondération entre la moyenne
empirique et l’a priori