ENS Paris-Saclay Statistique mathématique et appentissage

Master Jacques Hadamard 2022-2023

Devoir à la maison
Identifiabilité des mélanges gaussiens
A rendre pour le 7 Février 2023

Problème. Pour p ≥ 1, on considère

˚ p−1 × {((µk , Γk ))1≤k≤p ∈ (Rd × Sym+ (d))p | (µk , Γk ) 6= (µl , Γl ) ∀1 ≤ k < l ≤ p }
Θp = ∆
où
• Sym+ (d) est le cône des matrices d × d symétriques définies positives
˚ p−1 = {(πk )1≤k≤p ∈ (R∗ )p | Pk πk = 1 } est l’intérieur du simplexe de dimension
• ∆ + i=1
p − 1 ou encore l’ensemble des distributions de probabilités sur {1, · · · , p} telles que
les πk > 0.
On note Θ = ∪p≥0 Θp et pour tout θ = ((πi )1≤i≤k≤p , ((µk , Γk ))1≤k≤p ) ∈ Θp on définit µθ = fθ λd
où
p
X πk −1
fθ (x) = d 1/2
e−hΓk (x−µk ),(x−µk )i/2 .
i=1
((2π) det(Γk ))
(1) Comment simuler un n-échantillon de loi µθ à partir de la donnée de θ ?
On veut montrer maintenant l’identifiabilité des distributions µθ = fθ λd à permutation près
des éléments du mélange c’est-à-dire que µθ = µ0θ ssi il existe p ≥ 1 et σ ∈ Sp tels que
θ, θ0 ∈ Θp et σ · θ = θ0 où
σ · θ = ((πσ(k) )1≤k≤p , ((µσ(k) , Γσ(k) ))1≤k≤p )
On note alors θ ∼ θ0 .
(2) On suppose ici d = 1. On notera σk2 = Γk .
2
(a) Montrer que la famille F = {x ∈ R 7→ exp(− (x−µ)
2σ 2
) ∈ R | (µ, σ 2 ) ∈ R × R∗+ }
est une famille libre de C(R, R).
(b) En déduire le résultat d’identifiabilité.
On suppose maintenant que d > 1 et on considère (θ, θ0 ) ∈ Θp × Θp0 tels que µθ = µθ0 .
On note Iθ,θ0 = {(k, l) ∈ {1, · · · , p} × {1, · · · , p0 } | (µk , Γk ) = (µ0l , Γ0l )} l’ensemble des paires
d’indices de composantes identiques sur θ et θ0 .
(3) On veut montrer ici par l’absurde que Iθ,θ0 6= ∅. On suppose donc que Iθ,θ0 = ∅.
(a) Montrer que λd -p.p. en u ∈ Rd on a
 [ 
# (hu, µk i, uT Γk u), k ∈ J1, pK (hu, µ0l i, uT Γ0l u), l ∈ J1, p0 K = p + p0 .

1
 (b) Montrer que pour tout u ∈ Rd , et tout t ∈ R, on a
p p0
2 t2
ithu,µk i− t2 uT Γk u 0 T Γ0 u
X X
πk e = πl0 eithu,µl i− 2 u l

k=1 l=1

(c) En déduire une contradiction en utilisant le résultat d’identifiabilité pour d = 1.

(4) On définit
X X
fθ,θ0 = (πk ∧ πl0 )gµk ,Γk = (πk ∧ πl0 )gµ0 ,Σ0 2
l l
(k,l)∈Iθ,θ0 (k,l)∈Iθ,θ0

où gµ,Γ est la densité de la loi gaussienne N(µ, Γ).

(a) Montrer que si α = 1 − fθ,θ0 (x)dx > 0, alors il existe θ̃ ∈ Θp̃ et θ̃0 ∈ Θp̃0 tels
R

que fθ = fθ,θ0 + αfθ̃ = fθ0 = fθ,θ0 + αfθ̃0 et Iθ̃,θ̃0 = ∅.

(b) En déduire que α = 0 et fθ = fθ,θ0 = fθ0 puis que θ ∼ θ0 .