Université de Rennes 1 Master 1 Mathématique

Martingales et chaînes de Markov année 2014-2015

Éléments de correction de la feuille de révision

Exercice 1 Sur les espérances et les loi conditionnelles

1. Soit (X, Y ) un vecteur gaussien centré de covariance Γ := 11 12 . Calculer E(X|Y ) et
donner la loi conditionnelle L(X|Y = y).
Solution : D’après le cours, E(X|Y ) = αY avec α = E[XY ]/E[Y 2 ] = 1/2. Toujours d’après
le cours, le vecteur (X, Y ) admet la densité suivante par rapport à la mesure de Lebesgue
sur R2 :  
1 1 −1 ∗
f(X,Y ) (x, y) = p exp − (x, y)Γ (x, y) .
2π det(Γ) 2
La densité f(X|Y =y) de la loi conditionnelle L(X|Y = y) est alors obtenue par la formule
usuelle :
f(X,Y ) (x, y)
f(X|Y =y) (x) = R
X f(X,Y ) (x, y)dx

Remarque : de façon plus générale, si X est un vecteur gaussien de moyenne m ∈ Rd et de

matrice de covariance Γ ∈ Md (R), alors la densité fX du vecteur X par rapport à la mesure
de Lebesgue sur Rd est :
 
1 1 ∗ −1
fX (x) = p exp − ((x − m) Γ (x − m) ,
(2π)d/2 det(Γ) 2

où x est un vecteur colonne dans Rd . La fonction caractéristique φX (u) est quant à elle
donnée par :  
ihu,Xi 1 ∗
φX (u) := E[e ] = exp ihu, mi − u Γu .
2
où u est également un vecteur colonne dans Rd .
2. Soient X et Y deux variables aléatoires de carré intégrable telles que E(X|Y ) = Y et
E(Y |X) = X presque sûrement. Montrer que X = Y presque sûrement.
Solution : À partir des égalités presque sûres E(X|Y ) = Y et E(Y |X) = X, on obtient
facilement que E(X 2 ) = E(Y 2 ) = E(XY ). Dès lors, on a

E[(X − Y )2 ] = E[X 2 ] + E(Y 2 ) − 2E(XY ) = 0

d’où le résultat.
3. Soient X1 , . . . , Xn des variables aléatoires réelles indépendantes de même densité f continue,
d’espérance finie et soit X(1) < . . . < X(n) leur statistique d’ordre. DéterminerR x la loi de X1
sachant X(n) en fonction de la densité f et fonction de répartition F (x) = −∞ f (u)du.
Solution : Deux cas peuvent se produire, soit X1 = X(n) ce qui arrive avec proba 1/n, soit
X1 < X(n) ce qui arrive avec proba 1 − 1/n. Dans le second cas, la loi de X1 est simplement
la loi initiale conditionnée à être dans l’intervalle ] − ∞, X(n) ]. Au final, la loi L(X1 |X(n) )
s’écrit donc :
1 f (u)1]−∞,X(n) ]
 
1
L(X1 |X(n) )(u) = δX(n) (u) + 1 − .
n n F (X(n) )
Exercice 2 Identités de martingales de carré intégrable
Soient (Xn )n≥0 et (Yn )n≥0 deux (Fn )n≥0 martingales de carré intégrable. Démontrer les assertions
suivantes :
1. Pour m ≤ n, E[Xn Ym |Fm ] = Xm Ym presque sûrement ;
Solution : E[Xn Ym |Fm ] = Ym E[Xn |Fm ] = Ym Xm presque sûrement. En particulier, en
prenant l’espérance, on obtient

E[Xn Ym ] = E[Xm Ym ].

2. E[Xn Yn ] − E[X0 Y0 ] = nk=1 E[(Xk − Xk−1 )(Yk − Yk−1 )] ;

P
Solution : On développe le terme de droite et on utilise la question précédente :
Pn Pn Pn
k=1 E[(Xk − Xk−1 )(Yk − Yk−1 )] = P k=1 E[Xk Yk ] + k=1 E[Xk−1 Yk−1 ]
− nk=1 E[Xk Yk−1 ] − nk=1 E[Xk−1 Yk ]
P

Pn Pn
= k=1 E[Xk Yk ] − k=1 E[Xk−1 Yk−1 ]

= E[Xn Yn ] − E[X0 Y0 ]

3. Var(Xn ) = Var(X0 ) + nk=1 Var(Xk − Xk−1 ) ;

P
Solution : C’est le théorème de Pythagore, en vertu de la question suivante.
4. Les variables aléatoires X0 , (Xk − Xk−1 ), k ≥ 1, sont deux à deux orthogonales dans L2 .
Solution : Voir le cours.

Exercice 3 Différence de martingale

Soit (Mn )n≥0 une martingale réelle telle que pour tout n ≥ 0, |Mn | ≤ K. On pose
n
X (Mk − Mk−1 )
Xn := , n ≥ 0.
k
k=1

Montrer que (Xn )n≥0 est une martingale qui converge presque sûrement et dans L2 .
Solution : On vérifie aisément que (Xn ) est une martingale de carré intégrable. D’après la dernière
question de l’exercice précédent, on a alors
n n +∞
X E[(Mk − Mk−1 )2 ] X 1 X 1
E[Xn2 ] = ≤ 4K 2 ≤ 4K 2
.
k2 k 2 k2
k=1 k=1 k=1

En particuler supn≥1 E[Xn2 ] < +∞ i.e. la suite (Xn ) est bornée dans L2 , et d’après le cours elle
converge presque sûrement et dans L2

Exercice 4 Une martingale exponentielle

Soit (Yn )n≥0 une suite de variables aléatoires indépendantes et identiquement distribuées de loi
normale N (0, σ 2 ). On pose Fn := σ(Y1 , ..., Yn ) et Xn := Y1 + ... + Yn pour n ≥ 0. Enfin, pour
u ∈ R et n ≥ 0, on pose
Znu := exp(uXn − nu2 σ 2 /2).
Montrer que Znu est une martingale et qu’elle converge presque sûrement. Identifier la limite.
Solution : On vérifie aisément que la suite Znu est adaptée et intégrable. Par ailleurs
2 σ 2 /2 2 σ 2 /2
u
E[Zn+1 |Fn ] = Znu × E[euYn+1 −u ] = Znu , car E[euY1 ] = eu .
La suite (Znu ) est donc une martingale positive et d’après le cours, elle converge presque sûrement.
D’après la loi forte des grands nombres, on sait que Xn /n = o(1) presque sûrement, on en déduit
que si u 6= 0, presque sûrement lorsque n tend vers l’infini :
2 σ 2 /2 2 σ 2 /2) 2 σ 2 /2+o(1))
Znu = euXn −nu = en×(uXn /n−u = e−n(u −→ 0.

Exercice 5 Martingale produit

Soit (Xn )n≥1 une suite de variables aléatoires indépendantes et de même loi µ = 1/2(δ0 + δ2 ). On
pose Yn := X1 × . . . × Xn .
1. La suite (Yn )n≥1 est-elle une martingale ?
Solution : Oui car les Xi sont indépendantes et E[X1 ] = 1.
2. La suite (Yn )n≥1 est-elle bornée dans L1 ?
Solution : On remarque que Yn ne prend que 2 valeurs, 0 si l’un des Xi est nul, ou 2n si
tous les Xi sont non nuls. On a donc P(Yn = 2n ) = P(∀i ∈ {1, . . . , n}, Xi = 2) = 2−n et
P(Yn = 0) = 1 − 2−n . On en déduit que E[Yn ] = 2n P(Yn = 2n ) = 1, et la suite (positive) est
bien bornée dans L1 .
3. La suite (Yn )n≥1 converge-t-elle ? Si oui, identifier sa limite.
Solution : D’après le cours, la martingale (Yn ) converge P presque sûrement.
P Sa limite est
−n
nulle presque sûrement. En effet, pour tout ε > 0, on a n P(|Yn | > ε) = n 2 < +∞ et
d’après le lemme de Borel-Cantelli P(lim sup{|Yn | > ε}) = 0 i.e. presque sûrement, à partir
d’un certain rang |Yn | ≤ ε et donc |Yn | = 0.

Exercice 6 Suites extraites d’une chaîne de Markov

On considère (Xn )n≥0 une chaîne de Markov de matrice de transition Q. Les suites ci-dessous
sont-elles des chaînes de Markov ? Dans l’affirmative, préciser leur matrice de transition.
1. (Yn )n≥0 := (Xn+k )n≥0 , où k ∈ N est fixé.
Solution : la suite (Yn )n≥0 est bien une chaîne de Markov. Par exemple, on peut écrire :

Yn+1 = Xn+1+k = f (Xn+k , Un+1+k ) = f (Yn , U

en+1 ), avec U
en := Un+k i.i.d.

La matrice de transition de Y n’est autre que la matrice Q :

M arkov
P(Yn+1 = j|Yn = i) = P(Xn+k+1 = j|Xn+k = i) = Pi (X1 = j) = Q(i, j).

2. (Zn )n≥0 := (X2n )n≥0 .

Solution : ici encore (Zn )n≥0 est bien une chaîne de Markov. Par exemple, on peut écrire :

Zn+1 = X2n+2 = f (X2n+1 , U2n+2 ) = f (f (X2n , U2n+1 ), U2n+2 )

= g(Zn , U
en+1 ) avec Uen := (U2n−1 , U2n ) i.i.d.

La matrice de transition de Z est la matrice Q2 :

M arkov
P(Zn+1 = j|Zn = i) = P(X2n+2 = j|X2n = i) = Pi (X2 = j) = Q2 (i, j).

Exercice 7 Chaîne pressée

Soient E un ensemble au plus dénombrable, Q une matrice de transition sur E et (Xn )n≥0 la
chaîne de Markov canonique associée. On suppose que pour tout x ∈ E, on a Q(x, x) < 1. On
définit alors une suite de variables aléatoires à valeurs entières τ0 := 0, τ1 := inf{n ≥ 1, Xn 6= X0 }
et pour n ≥ 1, τn+1 := τn + τ1 ◦ θτn .
1. Montrer que τ1 est un temps d’arrêt et que pour tout x ∈ E, τ1 est fini Px −presque sûrement.
Calculer la loi de τ1 ainsi que celle de Xτ1 .
Solution : Sous Px , τ1 est le temps d’atteinte du complémentaire de x, c’est donc bien un
temps d’arrêt. Il est fini presque sûrement car
N∞
Px (τ1 = +∞) = Px (Xn = x, ∀n ≥ 0) ≤ Px (Xn = x, ∀0 ≤ n ≤ N ) = Q(x, x)N −→ 0.

Le temps τ1 est de loi géométrique :

Px (τ1 = k) = Px (X1 = x, . . . , Xk−1 = x, Xk 6= x) = Q(x, x)k−1 (1 − Q(x, x)).

La loi de Xτ1 est donnée par Px (Xτ1 = x) = 0 et pour y 6= x :

X X
Px (Xτ1 = y) = Px (Xτ1 = y, τ1 = k) = Px (X1 = x, . . . , Xk−1 = x, Xk = y)
k≥1 k≥1
X Q(x, y)
= Q(x, x)k−1 Q(x, y) = =: Q(x,
e y).
1 − Q(x, x)
k≥1

2. Donner une autre façon de définir la suite (τn )n≥0 et montrer que les τn sont des temps
d’arrêt.
Solution : on a τn+1 = inf{k > τn , Xk 6= Xτn }. par ailleurs, pour N ≥ 1, on a
[
{τn+1 = N } = {Xτn = Xτn +1 = . . . XN −1 = i, XN 6= i} ∈ FN .
i∈E

3. Montrer que la suite (Yn )n≥0 := (Xτn )n≥0 est une chaîne de Markov par rapport à la filtration
(Fτn ). Quelle est sa matrice de transition ?
Solution : on rappelle que τn+1 := τn + τ1 ◦ θτn , en appliquant la propriété de Markov au
temps τn , on a alors

Px (Yn+1 = xn+1 |Y1 = x1 , . . . , Yn = xn ) = Px (Xτn+1 = xn+1 |Xτ1 = x1 , . . . , Xτn = xn )

= Pxn (Xτ = xn+1 ) = Q(x
1
e n , xn+1 ).

Autrement dit, la suite Yn est une chaîne de Markov de probabilité de transition Q.

e
4. On suppose que (Xn ) est irréductible récurrente de mesure invariante µ. Montrer que la
chaîne (Yn ) est également irréductible récurrente et que π(y) := (1 − Q(y, y))µ(y) est une
mesure invariante pour cette dernière.
Solution : comme Q(y,
e y) = 0 et comme µ est Q−invariante, on a

X X X Q(x, y)
π(x)Q(x,
e y) = π(x)Q(x,
e y) = (1 − Q(x, x))µ(x) ×
1 − Q(x, x)
x∈E x∈E,x6=y x∈E,x6=y
X X
= µ(x)Q(x, y) = µ(x)Q(x, y) − µ(y)Q(y, y)
x∈E,x6=y x∈E

= µ(y) − Q(y, y)µ(y)

= π(y).