Probabilité 2

Liste 1 – chapitres 1 et 2
Tribus, mesures, probabilités
Exercice 1. Démontrer les affirmations suivantes.
1. Toute 𝜎-algèbre est une algèbre mais l’inverse n’est pas vrai.
2. Une intersection dénombrable de tribus est encore une tribu.
3. Une union de tribus n’est pas nécessairement une tribu.
4. Si F1 ⊂ F2 ⊂ · · · ⊂ F𝑛 sont des tribus alors ∪𝑖=1
𝑛 F est une tribu.
𝑖
5. Si F1 ⊂ F2 ⊂ · · · sont des tribus alors ∪𝑖 ≥1 F𝑖 n’est pas nécessairement une tribu.

Exercice 2. Soit (𝐸, A, 𝜇) un espace mesuré. Tous les ensembles mentionnés appartiennent à A. Dé-
montrer les affirmations suivantes.
𝑁 𝐴 ) = Í 𝑁 𝜇( 𝐴 ) pour tout 𝑁 ∈ N.
1. Si ( 𝐴𝑛 ) 𝑛∈N sont disjoints alors 𝜇(∪𝑛=1 𝑛 𝑛=1 𝑛
2. 𝐴 ⊂ 𝐵 alors 𝜇( 𝐴) ≤ 𝜇(𝐵) et si 𝜇( 𝐴) < ∞ alors 𝜇(𝐵 \ 𝐴) = 𝜇(𝐵) − 𝜇( 𝐴).
3. 𝜇( 𝐴 ∪ 𝐵) + 𝜇( 𝐴 ∩ 𝐵) = 𝜇( 𝐴) + 𝜇(𝐵).
4. Soit (𝐶𝑛 ) 𝑛∈N une suite croissante d’ensembles mesurables (i.e. 𝐶𝑛 ⊂ 𝐶𝑛+1 pour tout 𝑛). Alors
(𝜇(𝐶𝑛 )) 𝑛 est une suite croissante de nombres réels et 𝜇 (∪𝑛∈N𝐶𝑛 ) = lim𝑛→∞ 𝜇(𝐶𝑛 ).
5. Soit (𝐷 𝑛 ) 𝑛∈N une suite décroissante d’ensembles mesurables (i.e. 𝐷 𝑛 ⊃ 𝐷 𝑛+1 pour tout 𝑛) telle que
𝜇(𝐷 𝑚 ) < ∞ pour un 𝑚. Alors (𝜇(𝐷 𝑛 )) 𝑛 est une suite décroissante de nombres réels et 𝜇 (∩𝑛∈N 𝐷 𝑛 ) =
lim𝑛→∞ 𝜇(𝐷 𝑛 ).


6. (sous-additivité dénombrable) Si ( 𝐴𝑛 ) 𝑛 est une suite quelconque d’événements alors 𝜇 ∪𝑛=1 𝑁 𝐴
𝑛 ≤
Í𝑁 Í
𝑛=1 𝜇( 𝐴𝑛 ) pour tout 𝑁 ∈ N et 𝜇 (∪𝑛∈N 𝐴𝑛 ) ≤ 𝑛∈N 𝜇( 𝐴𝑛 ).
7. (continuité des mesures) si lim𝑛→∞ 𝐴𝑛 existe alors lim𝑛→∞ 𝜇( 𝐴𝑛 ) = 𝜇 (lim𝑛→∞ 𝐴𝑛 ) .

Exercice 3. Démontrer que pour tous 𝑏 1 , . . . , 𝑏 𝑛 positifs on a

1
(𝑏 1 · · · 𝑏 𝑛 ) 1/𝑛 ≤ (𝑏 1 + · · · + 𝑏 𝑛 ).
𝑛
Aide : remarquer que exp(E[ 𝑓 (𝑋)]) ≤ E[exp( 𝑓 (𝑋))] et appliquer ce fait à la mesure uniforme sur un
ensemble bien choisi.

Exercice 4. Soit 𝑁 : R → R une fonction différentiable convexe. Soient 𝑓 , 𝑔 deux fonctions boréliennes
sur un espace mesurable (Ω, A, 𝜇).
∫ ∫ ∫ ∫
1. Démontrer que si 𝑁 (𝑔)d𝜇 ≤ 𝑁 ( 𝑓 )d𝜇 alors 𝑁 ′ ( 𝑓 )𝑔d𝜇 ≤ 𝑁 ′ ( 𝑓 ) 𝑓 d𝜇 (pour autant que les
intégrales existent). Aide : (1) il suffit de prouver le résultat∫ pour 𝑓 , 𝑔 bornées et 𝜇 une mesure
∫ ; (2) pour ∫commencer, considérer les fonctions 𝜓1 (𝑡) = 𝑁 ((1 − 𝑡) 𝑓 + 𝑡𝑔)𝑑𝜇 et 𝜓2 (𝑡) = (1 −
finie
𝑡) 𝑁 ( 𝑓 )𝑑𝜇 + 𝑡 𝑁 (𝑔)𝑑𝜇 puis argumenter par convexité.
2. Soit 𝑝 > 1, ∥ · ∥ 𝑝 la norme 𝐿 𝑝 par rapport à 𝜇, et 𝑞 = 𝑝/( 𝑝 − 1). Soient 𝑢, 𝑣 des fonctions∫mesurables
positives telles que ∥𝑢∥ 𝑞 = ∥𝑣∥ 𝑝 = 1. Utiliser le résultat précédent pour démontrer que 𝑢𝑣d𝜇 ≤ 1.
Aide : considérer 𝑁 (𝑥) = |𝑥| 𝑝 , 𝑓 (𝑥) = 𝑢(𝑥) 1/( 𝑝−1) et 𝑔(𝑥) = 𝑣(𝑥).
3. Déduire l’inégalité de Hölder : si 𝑓 , 𝑔 sont mesurables avec 𝑓 ∈ 𝐿 𝑝 et 𝑔 ∈ 𝐿 𝑞 où 𝑝, 𝑞 sont conjugués,
alors
∥ 𝑓 𝑔∥ 1 ≤ ∥ 𝑓 ∥ 𝑝 ∥𝑔∥ 𝑞 .

1
Exercice
∫ 5. ∫Sur un espace mesuré (Ω, A, 𝜇) soient 𝑓 et 𝑔 deux fonctions intégrables non négatives telles
que 𝑓 𝑑𝜇 = 𝑔𝑑𝜇 = 1. Définissons les mesures (de probabilité) P et Q de densités 𝑓 et 𝑔 par rapport à
𝜇. Introduisons
∥P − Q∥ TV = sup |P[ 𝐴] − Q[ 𝐴] |.
𝐴∈ A

On appelle l’application (P, Q) ↦→ ∥P − Q∥ TV la distance en variation totale entre P et Q.

1. Montrer que la distance en variation totale est effectivement une distance sur l’espace des mesures
de probabilité à densité par rapport à 𝜇.
∫
2. Notons ∥ 𝑓 − 𝑔∥ 1 = | 𝑓 − 𝑔|𝑑𝜇. Supposons, pour simplifier, que 𝜇 est la mesure de Lebesgue. Nous
allons démontrer que
1
∥P − Q∥ TV = ∥ 𝑓 − 𝑔∥ 1 .
2
Nous utilisons pour cela les étapes intermédiaires suivantes :
∫ ∫
(a) Soit 𝐼 ± = {𝑥 : ±( 𝑓 (𝑥) − 𝑔(𝑥)) ≥ 0}. Démontrer que | 𝑓 (𝑥) − 𝑔(𝑥)|𝑑𝑥 = 2 𝐼 + | 𝑓 (𝑥) − 𝑔(𝑥)|𝑑𝑥.
(b) Démontrer que ∥P − Q∥ TV ≥ 12 ∥ 𝑓 − 𝑔∥ 1 Aide : remplacer 𝐴 par 𝐼 + dans le supremum et utiliser
le (a).
∫
(c) Démontrer que ∥P−Q∥ TV ≤ 12 ∥ 𝑓 −𝑔∥ 1 . Aide : remarquer que |P[ 𝐴]−Q[ 𝐴] | = 𝐴 ( 𝑓 (𝑥)−𝑔(𝑥))𝑑𝑥 =
∫ ∫
𝐴∩𝐼 +
| 𝑓 (𝑥) − 𝑔(𝑥)|𝑑𝑥 − 𝐴∩𝐼 − | 𝑓 (𝑥) − 𝑔(𝑥)|𝑑𝑥 puis utiliser |𝑥 − 𝑦| ≤ max{𝑥, 𝑦} lorsque 𝑥, 𝑦 ≥ 0 et
conclure grâce au premier point.

Exercice 6. Soient P, Q deux mesures de probabilité sur un espace (Ω, A) et supposons que P ≪ Q. Pour
simplifier, supposons P et Q toutes les deux absolument continues par rapport à la mesure de Lebesgue
et notons 𝑝, 𝑞 les densités respectives que nous supposerons toutes les deux strictement positives sur R.
On définit l’entropie relative de Q à P comme
∫  
𝑝(𝑥)
𝐷 KL (P | Q) = log 𝑝(𝑥)𝑑𝑥
𝑞(𝑥)

(en réalité on peut remplacer le ratio 𝑞𝑝 (( 𝑥𝑥 )) par Q(𝑑

P(𝑑 𝑥 )
𝑥 ) , la dérivée de Radon-Nikodym de P par rapport à
Q ; de même l’hypothèse de positivité sur R est dispensable).
1. Démontrer l’inégalité de Gibbs : 𝐷 KL (P | Q) ≥ 0 avec égalité si et seulement si P = Q.
2. Calculer l’entropie relatives entre une gaussienne standard et une gaussienne de paramètres 𝜇, 𝜎 2
avec 𝜎 2 > 0.
3. Nous allons démontrer l’inégalité de Pinsker

2∥P − Q∥ 2TV ≤ 𝐷 KL (P | Q).

Nous utilisons pour cela les étapes intermédiaires suivantes :

(a) Soit 𝑟 (𝑥) = 𝑝(𝑥)/𝑞(𝑥) − 1. Alors 𝑟 (𝑥) ≥ −1 et EQ [𝑟 (𝑋)] = 0 (où E𝑄 [ 𝑓 (𝑋)] indique l’espérance
de 𝑓 sous la loi 𝑋 ∼ Q).
(b) On a 𝐷 KL (P | Q) = EQ [𝜓(𝑟 (𝑋))] avec 𝜓(𝑥) = (𝑥 + 1) log(𝑥 + 1) − 𝑥.
(c) Fait que vous pouvez utiliser sans preuve : 𝜓(𝑥) ≥ 𝑥 2 /(2 + 2𝑥/3) pour tout 𝑥 ∈ R.
(d) Inégalité de Sedrakyan : si 𝑋, 𝑌 sont des variables aléatoires et 𝑌 ≥ 0 alors E[𝑋 2 /𝑌 ] ≥
E[|𝑋 |] 2 /E[𝑌 ].
(e) On déduit 𝐷 KL (P | Q) ≥ 1/2EQ [|𝑟 (𝑋)|] 2 et donc le résultat.