Enseignant : Rahma Bouaziz TD2- Chaînes de Markov à Temps Discret Section : MRIR1

Exercice 1 :
Dans un pays, il ne fait jamais beau deux jours de suite. Si un jour il fait beau, le lendemain il
peut neiger ou pleuvoir avec autant de chances. Si un jour il pleut ou il neige, il y a une
chance sur deux qu’il y ait changement de temps de lendemain, et s’il y a changement, il y a
une chance sur deux que ce soit pour du beau temps.
1. Peut-on modéliser cette situation avec une chaîne de Markov ? Si oui donner sa matrice de
probabilités de transition.
2. Si un jour il fait beau, quel est le temps le plus probable pour le surlendemain ?
3. Supposons que nous n’avons que deux états (beau temps et mauvais temps), déterminer la
matrice de transition de la nouvelle chaîne ainsi obtenue.
Exercice 2 :
On considère 4 boules numérotées de 1 à 4 ; réparties en deux urnes A et B. A chaqueinstant,
on tire un nombre k au hasard entre 1 et 4 ; on enlève la boule numéro k de l’urne
danslaquelle elle se trouve et on la remet au hasard dans l’une des deux urnes. On note Xn le
nombrede boules dans l’urne A à l’instant n:
1. Justifier que (Xn) est une chaîne de Markov.
2. Donner la matrice et le graphe de transition de (Xn) :
3. La chaîne est-elle irréductible ? apériodique ?
4. Lois stationnaires ?
Exercice 3 :
Considérons une matrice des probabilités de transition d’une chaine de Markov avec espace
d’États E = {1; 2; 3; 4; 5} ;

1. Tracer le graphe de transition correspondant à la chaine

2. Donner les classes de communication de la chaine.
3. Soit π = (8x; y; 18x; 12x; 27x) le vecteur de la distribution stationnaire pour la matrice P,
déterminer les valeurs de x et y:
4. Si la chaine commence de l’État 1, quel est le nombre moyen d’étapes pour retourner à
l’état 1?