Université Paris Nanterre Année 2023-2024

L3 MIASHS - MI-Probabilités et Simulation S6

Introduction aux chaı̂nes de Markov

Exercice 1 (Markov, pas Markov) On considère un processus (Xn )n⩾0 . On dira que (Xn )n⩾0
est constant presque sûrement si X0 = X1 = . . . avec probabilité 1. On dira que (Xn )n⩾1
est déterministe si P ((Xn )n⩾0 = (xn )n⩾0 ) = 1, pour une certaine suite (xn )n⩾0 . Construire des
exemples de chaı̂nes de Markov (Xn )n⩾0 les plus simple possibles où
1. (Xn )n⩾0 est constante, déterministe,
2. (Xn )n⩾0 est constante, mais pas déterministe,
3. (Xn )n⩾0 est déterministe, mais pas constante,
4. (Xn )n⩾0 n’est ni déterministe, ni constante.
Construire des exemples de processus (Xn )n⩾0 les plus simple possibles, qui ne sont PAS des
chaı̂nes de Markov et où
1. (Xn )n⩾0 est déterministe,
2. les variables X0 , X1 , X2 , . . . ont la même loi,
3. (Xn )n⩾0 n’est ni déterministe, ni constante.

Exercice 2 On dispose dans une maison individuelle de deux systèmes de chauffage, l’un de
base et l’autre d’appoint. On dira qu’on est dans l’état 1 si seul le chauffage de base fonctionne,
dans l’état 2 si les deux systèmes fonctionnent. Si un jour on est dans l’état 1, on estime qu’on
y reste le lendemain avec probabilité 1/2, tandis que si l’on est dans l’état 2, le lendemain la
maison est chaude et l’on passe à l’état 1 avec probabilité 3/4. Soit Xn l’état du système au
jour numéro n. On admet que (Xn )n∈N est une chaı̂ne de Markov.
1. Déterminer sa matrice de transition et son diagramme.
2. On pose pn = P(Xn = 1). Déterminer une relation de récurrence entre pn et pn+1 , puis
exprimer pn en fonction de p0 . Que vaut limn→+∞ pn ?
3. Montrer que si un jour on se trouve dans l’état 1 avec probabilité 3/5, alors il en est de
même pour tous les jours qui suivent.

Exercice 3 Pour déjeuner, un étudiant a le choix entre trois restaurants. Chaque midi, il
choisit avec probabilité 1/2 un des restaurants où il n’a pas déjeuné la veille. On note Xn la
variable aléatoire égale au numéro du restaurant où déjeune cet étudiant le n-ième jour.
1. Déterminer sa matrice de transition M et tracer son diagramme.
2. Calculer M n en diagonalisant la matrice M .
3. En déduire la loi de Xn si la loi initiale est que l’étudiant va au premier restaurant avec
probabilité 1 au jour 0.
4. Qu’observe-t-on lorsque n tend vers +∞ ?

1
Exercice 4 Soit (Xk )k⩾0 une chaı̂ne de Markov d’espace d’états S. Montrer que pour tout
x0 , x1 , . . . , xn , xn+1 ∈ S on a
P(Xn+1 = xn+1 , Xn = xn | Xn−1 = xn−1 , . . . , X0 = x0 ) = P(Xn+1 = xn+1 , Xn = xn | Xn−1 = xn−1 ) .
Exercice 5 (Examen partiel de mars 2014) Soit (Xk )k⩾0 une chaı̂ne de Markov sur E de
loi initiale λ et de matrice de transition P .
1. Montrer que la suite (Xk+2 )k⩾0 est une chaı̂ne de Markov sur E et donner sa loi initiale
et sa matrice de transition.
2. Montrer que la suite (X2k )k⩾0 est une chaı̂ne de Markov sur E et donner sa loi initiale
et sa matrice de transition.
3. Soit F ⊂ E non vide. On considère la variable aléatoire T = inf{n ⩾ 0 : Xn ∈ F }.
On pose Yn = Xmin(n,T ) . Montrer que (Yn )n⩾0 est une chaı̂ne de Markov sur E et donner
sa matrice de transition.
4. Soit E = {1; 2; 3}, F = {0; 1} et f : E → F par f (1) = f (2) = 0 et f (3) = 1. On
suppose que  
0 0 1
P = 0 1 0 .
1 0 0
On pose Yn = f (Xn ). En considérant l’événement {Y0 = 0 ; Y1 = 0 ; Y2 = 1}, montrer
que (Yn )n⩾0 n’est pas une chaı̂ne de Markov sur F .
Exercice 6 Soit (Xn )n∈N une chaı̂ne de Markov à valeurs dans un ensemble fini S ⊂ R et
P matrice de transition P . On suppose qu’il existe a, b ∈ R tels que pour tout x ∈ S on ait
de
y∈ S yPx,y = ax + b. Calculer Ex [Xn ].

Exercice 7 Soient S un ensemble fini ou dénombrable, T un sous-ensemble de R et f : S ×T →

S une application. On considère une v.a. X0 à valeurs dans S, indépendante d’une suite i.i.d.
(Un )n∈N à valeurs dans T et de loi µ. On définit une suite (Xn )n∈N par la formule de récurrence
suivante :
Xn+1 = f (Xn , Un+1 ), n ∈ N.
1. Montrer que la suite (Xn )n∈N est une chaı̂ne de Markov de matrice de transition P
donnée par
Px,y = P(f (x, U0 ) = y).
2. Dans cette question, on suppose que T = {1, 2, . . . , N }. Montrer que
N
X
Px,y = 1{f (x,k)=y} µk .
k=1

3. Dans cette question, on suppose que S = {1, . . . , n}, T = [0, 1[ et que µ est la loi
uniforme sur [0, 1[. On se donne Q une matrice de transition sur S.
(a) Montrer que l’on définit bien une application f : S × T → S en posant
y−1 y
X X
2
∀(x, y) ∈ S , ∀ u ∈ [0, 1[, f (x, u) = y ⇐⇒ Q(x, z) ⩽ u < Q(x, z).
z=1 z=1

(b) Calculer la matrice de transition P . Que remarque-t-on ? Comment utiliser ce résultat ?