TD 5: Les chaines de Markov

Exo 1. Représenter graphiquement les chaines de Markov données par les matrices
de transition suivantes:
0.3 0.6 0.1
a. 𝑃 = ( 0 1 0)
1 0 0
0.3 0.6 0.1
b. 𝑃 = (0.5 0.5 0 )
0.7 0.3 0
0.5 0.5 0 0 0
0.5 0.5 0 0 0
c. 𝑃 = 0 0 0.5 0.5 0
0 0 0.5 0.5 0
(0.25 0.25 0 0 0.5)
Exo 2. Déterminer les états transients et les classes récurrentes des chaines de
Markov de matrices de transition suivantes :
0.4 0.3 0.3 0 0
0 0.5 0 0.5 0
a. 𝑃 = 0.5 0 0.5 0 0 .
0 0.5 0 0.5 0
( 0 0.3 0 0.3 05.)
0.5 0.5 0 0 0
0.5 0.5 0 0 0
b. 𝑃 = 0 0 0.5 0.5 0 .
0 0 0.5 0.5 0
(0.25 0.25 0 0 0.5)

Exo 3. Marche Aléatoire

[Dépenses énergétiques, d’après le livre “Exercices de probabilité” Cottrel & al.]
On dispose dans une maison individuelle de deux systèmes de chauffage, l’un de
base l’autre d’appoint. On dira que l’on est dans l’état 1 si seul le chauffage de
base fonctionne, dans l’état 2 si les deux systèmes fonctionnent. Si un jour on est
dans l’état 1, on estime qu’on y reste le lendemain avec probabilité 1/ 2 ;
cependant, si l’on est dans l’état 2, le lendemain la maison est chaude et l’on passe
à l’état 1 avec probabilité 3/ 4. Soit 𝑋𝑛 l’état du système au jour numéro n ; on
admet que (𝑋𝑛 )𝑛≥0 est une chaîne de Markov.
1. Déterminer la matrice de transition et son graphe.
2. On pose 𝑝𝑛 = ℙ(𝑋𝑛 = 1). Déterminer une relation de récurrence entre 𝑝𝑛 et
𝑝𝑛+1, puis exprimer 𝑝𝑛 en fonction de 𝑝0 . Que vaut lim 𝑝𝑛 ?
𝑛→∞
3. On suppose que l’on est dans l’état 1 un dimanche, trouver la probabilité d’être
dans le même état le dimanche suivant.
4. Montrer que si un jour on se retrouve dans l’état 1 avec probabilité 3/5 alors il
en est de même les jours qui suivent.

Exo 4.
Parmi les matrices suivantes, lesquelles sont régulières ? Representer
graphiquement les chaines correspondantes.
0.5 0.2 0.3
a. 𝑃 = ( 0 0.2 0.8).
0.1 0.9 0
0 1 0
b. 𝑃 = ( 0 0.2 0.8).
0.7 0.3 0
0 1 0
c. 𝑃 = (0 0.3 0.7).
1 0 0
0 0.5 0.5
d. 𝑃 = (0 1 0 ).
1 0 0

Exo 5. En sociologie, il est commode de classer les gens par revenu comme classe
inférieure, classe moyenne et classe supérieure. Les sociologues ont constaté que le
déterminant le plus fort de la classe de revenu d'un individu est la classe de revenu
des parents de l'individu. Un individu appartenant à la classe à faible revenu est dit
être dans l'état 1, un individu de la classe moyenne est dans l'état 2, et un individu
de la classe de revenu supérieure se trouve dans l'état 3, alors les probabilités
suivantes de changement de classe de revenu d'une génération à l’autre sont
données par le tableau suivant.
 Tableau 1
Etats Génération suivante
1 0.65 0.28 0.07
Génération 2 0.15 0.67 0.18
courante 3 0.12 0.36 0.52

Par exemple, le tableau 1 montre que si un individu est dans l'état 1 (classe de
revenu inférieure), alors il y a une probabilité de 0,65 que toute sa progéniture
appartienne à la classe à faible revenu, une probabilité de 0,28 que la progéniture
appartienne à la classe des revenus moyens et une probabilité de 0,07 que la
progéniture appartienne à la classe des revenus supérieurs. En supposant que ce
processus suit une chaine de Markov, répondez aux questions suivantes.
a. Représenter graphiquement la chaine de Markov.
b. Si la probabilité de distribution de la génération courante est
𝜋(0) = (𝜋1 (0), 𝜋2 (0), 𝜋3 (0) ) = (0.6, 0.2, 0.2), quelle est la distribution
après deux générations ?
c. La matrice de transition de la chaine est-t-elle régulière ? Si oui calculer la
probabilité stationnaire. Faire un commentaire socio-économique sur vos résultats.

Exo 6. Les données recueillies dans certaines grandes régions métropolitaines

de l'est des États-Unis montrent que 2% des individus vivant dans les limites
de la ville se déplacent vers la banlieue au cours d'une année alors que 1 %
des individus vivant en banlieue s'installent en ville au cours d'une période
d'un an. Répondez aux questions suivantes en supposant que ce processus est
modélisé par une chaine de Markov.
a. Donner la matrice des probabilités de transition.
b. Est-ce que cette matrice est régulière ? Si oui, calculer les probabilités en
régime permanent (stationnaire).
c. Dans une aire métropolitaine donnée, 40 % de la population vit en ville et
60 % de la population vit en banlieue. Quels changements de population futur
votre état d'équilibre prédit pour cette aire métropolitaine ?

Exo 7. Considérons la matrice de transition de la chaine de Markov suivante

1 0 0 0
1 2 0 0
𝑃= 3 3
0 0 1 0
1 1 1 1
(4 4 4 4)

a. Calculer le nombre moyen de périodes que la chaine passera avant de joindre

un état absorbant en partant de chaque état transient.
b. Calculer la probabilité que chaque état transient joigne chacun des états
absorbants.