École Supérieure Privée d’Ingénierie et de Technologies

Markov Decision Process

Série d’exercices №2 : Classification des états et distributions stationaires et limites
pour les chaı̂nes de Markov homogènes

Niveau : 4ème année IA Année universitaire : 2023-2024

Exercice 1 :
On lance une pièce équilibrée les des lancers sont des v.a indépandantes Y0 , Y1 , . . . à valeurs 0
ou 1. Pour n ≥ 1, on note Xn = Yn + Yn−1 .
1. Calculer P(X3 = 0|X1 = 0, X2 = 1) et P(X3 = 0|X2 = 1)
2. Est ce que Xn est une chaı̂ne de Markov ?

Exercice 2 :
On considère 4 boules numérotées de 1 à 4, réparties en deux urnes A et B. A chaque instant,
on tire un nombre k au hasard entre 1 et 4, on enlève la boule numéro k de l’urne dans laquelle
elle se trouve et on la remet au hasard dans l’une des deux urnes. On note Xn le nombre de boules
dans l’urne A à l’instant n.
1. Justifier que Xn est une chaı̂ne de markov
2. Donner la matrice et le graphe de transition de Xn
3. La chaı̂ne est elle irréductible ? apériodique ?
4. Lois stationnaire ?

Exercice 3 :
Considérons une matrice des probabilités de transition d’une chaı̂ne de Markov avec espace
d’états E = {1, 2, 3, 4, 5}  
0 0 0 0 1
0 2 1
0 3 0 3
2 1

P=  02 0 0 3 3
1

3 0 0 0 3
0 1 0 0 0
1. Tracer le graphe de transition correspondant à la chaı̂ne.
2. Donner les classes de communication de la chaı̂ne.

1
3. Soit π = (8x, y, 18x, 12x, 27x) le vecteur de la distribution stationnaire pour la matrice P,
déterminer les valeurs de x et y.
4. Si la chaı̂ne commence de l’état 1 quel est le nombre moyen d’étapes pour retourner à l’état
1?