TD 5: les chaines de Markov

Exo 1. Représenter graphiquement les chaines de Markov données par les matrices
de transition :
0.3 0.6 0.1
a. 𝑃 = ( 0 1 0)
1 0 0
0.3 0.6 0.1
b. 𝑃 = (0.5 0.5 0 )
0.7 0.3 0
0.5 0.5 0 0 0
0.5 0.5 0 0 0
c. 𝑃 = 0 0 0.5 0.5 0
0 0 0.5 0.5 0
(0.25 0.25 0 0 0.5)
Exo 2. Rappel : un état est récurrent si on est sûr d’y revenir si la chaine part de
cet état, i.e. 𝑃(𝑇𝑖 < +∞) = 1. Un état est transient si on est pas sûr d’y revenir
si la chaine part de cet état, i.e. 𝑃(𝑇𝑖 < +∞) < 1, c-à-d 𝑃(𝑇𝑖 = +∞) > 0, où
𝑇𝑖 est le premier temps de retour en l’état i si la chaine part de i. Déterminer les
états transients et les classes récurrentes des chaines de Markov des matrices de
matrices de transition suivantes :
0.4 0.3 0.3 0 0
0 0.5 0 0.5 0
a. 𝑃 = 0.5 0 0.5 0 0 , les classes sont :
0 0.5 0 0.5 0
( 0 0.3 0 0.3 0.5)
{𝐴, 𝐶}, {𝐵, 𝐷} 𝑒𝑡 {𝐸}. Les états 𝐵, 𝐷 sont récurrents ; A, C et E sont
transients.
0.5 0.5 0 0 0
0.5 0.5 0 0 0
b. 𝑃 = 0 0 0.5 0.5 0 , il y a deux classes d’états récurrents
0 0 0.5 0.5 0
( 0.25 0.25 0 0 0.5)
{1, 2} et {3, 4}. Il y une classe avec un état transient, {5}.
Exo 3. Marche Aléatoire
On dispose dans une maison individuelle de deux systèmes de chauffage, l’un de
base l’autre d’appoint. On dira que l’on est dans l’état 1 si seul le chauffage de
base fonctionne, dans l’état 2 si les deux systèmes fonctionnent. Si un jour on est
dans l’état 1, on estime qu’on y reste le lendemain avec probabilité 1/ 2 ;
cependant, si l’on est dans l’état 2, le lendemain la maison est chaude et l’on passe
à l’état 1 avec probabilité 3/ 4. Soit 𝑋𝑛 l’état du système au jour numéro n ; on
admet que (𝑋𝑛 )𝑛≥0 est une chaîne de Markov.
1. Déterminer la matrice de transition et son graphe.
2. On pose 𝑝𝑛 = ℙ(𝑋𝑛 = 1). Déterminer une relation de récurrence entre 𝑝𝑛 et
𝑝𝑛+1 , puis exprimer 𝑝𝑛 en fonction de 𝑝0 . Que vaut lim 𝑝𝑛 ?
𝑛→∞
3. On suppose que l’on est dans l’état 1 un dimanche, trouver la probabilité d’être
dans le même état le dimanche suivant.
4. Montrer que si un jour on se retrouve dans l’état 1 avec probabilité 3/5 alors il
en est de même les jours qui suivent.

Réponse.
1. Matrice de transition et graph
1/2 1/2
𝑃=( )
3/4 1/4

L’espace des états est 𝑆 = {1, 2}.

2. Soit 𝑝𝑛 = ℙ(𝑋𝑛 = 1), on a

𝑝𝑛+1 = ℙ(𝑋𝑛+1 = 1) = ℙ(𝑋𝑛+1 = 1|𝑋𝑛 = 1)ℙ(𝑋𝑛 = 1) + ℙ(𝑋𝑛+1 =
1 3
1|𝑋𝑛 = 2)ℙ(𝑋𝑛 = 2) = 𝑝𝑛 + (1 − 𝑝𝑛 ),
2 2
1 3 3 1 1
Ainsi, 𝑝𝑛+1 = 𝑝𝑛 + (1 − 𝑝𝑛 ) = − 𝑝𝑛 = (3 − 𝑝𝑛 )
2 4 4 4 4

On a
3 1
𝑝1 = − 𝑝
4 4 0
 3 1 3 1 3 1 3 3 1
𝑝2 = − 𝑝1 = − ( − 𝑝0 ) = − 2 + 2 𝑝0
4 4 4 4 4 4 4 4 4
3 1 3 1 3 3 1 3 3 3 1
𝑝3 = − 𝑝2 = − ( − 2 + 2 𝑝0 ) = − 2 + 3 − 3 𝑝0
4 4 4 4 4 4 4 4 4 4 4
3 1 3 1 3 3 3 1
𝑝4 = − 𝑝3 = − ( − 2 + 3 − 3 𝑝0 ) =
4 4 4 4 4 4 4 4
3
3 3 3 3 1 1 (−1)𝑠−1
= − 2 + 3 − 4 + 4 𝑝0 = 4 𝑝0 + 3(∑ )
4 4 4 4 4 4 4𝑠
𝑠=1
𝑛 𝑛
1 (−1)𝑠 1 −1 𝑠
𝑝𝑛+1 = 𝑛+1 𝑝0 − 3 (∑ ) = 𝑛+1 𝑝0 − 3 (∑ ( ) ) + 3
4 4𝑠 4 4
𝑠=1 𝑠=0
𝑛+1
−1
1 1−( )
𝑝𝑛+1 = 𝑛+1 𝑝0 + 3 − 3 4
4 −1
1−( )
4
Par conséquent,
−1 𝑛
1 1 − ( ) 1−0 3
lim 𝑝𝑛 = lim 𝑛 𝑝0 + 3 − 3 4 =0+3−3 =
𝑛→∞ 𝑛→∞ 4 −1 1 5
1−( ) 1+
4 4
3
lim 𝑝𝑛 = .
𝑛→∞ 5

3. On cherche ℙ(𝑋𝑛+7 = 1|𝑋𝑛 = 1). La propriété de Markov donne

ℙ(𝑋𝑛+7 = 1|𝑋𝑛 = 1)=ℙ(𝑋7 = 1|𝑋0 = 1).
Comme le system commence avec le system de chauffage 1, on a la
distribution initiale 𝑝0 = ℙ(𝑋0 = 1)=1 et ℙ(𝑋0 = 2) = 0. Nous pouvons
déduire que
𝑝7 = ℙ(𝑋7 = 1)
= ℙ(𝑋7 = 1|𝑋0 = 1)ℙ(𝑋0 = 1) + ℙ(𝑋7 = 1|𝑋0 = 2)ℙ(𝑋0 = 2)
= ℙ(𝑋7 = 1|𝑋0 = 1)
D’après la question 2,
−1 7
1 1−( 4 )
𝑝7 = ℙ(𝑋7 = 1) = 7 𝑝0 + 3 − 3 −1 = 0.599975 ≈ 0.6.
4 1−( 4 )

Donc ℙ(𝑋𝑛+7 = 1|𝑋𝑛 = 1) = 0.6.

 4. Si à un certain jour 𝑛, la probabilité de se trouver en l’état 1 est 3/5, c.-à-d.
3
ℙ(𝑋𝑛 = 1) = , de la question 3, on a
5
1
𝑝𝑛+1 = (3 − 𝑝𝑛 )
4
donc si
3
𝑝𝑛 = ℙ(𝑋𝑛 = 1) = , alors
5
1 1 3 3
𝑝𝑛+1 = (3 − 𝑝𝑛 ) = (3 − ) =
4 4 5 5
de même
1 1 3 3
𝑝𝑛+2 = (3 − 𝑝𝑛+1 ) = (3 − ) =
4 4 5 5
Par récurrence,
3
𝑝𝑛+𝑠 = pour tout nombre entier 𝑠.
5

Exo 4.
1. Parmi les matrices suivantes, lesquelles sont régulières ?
0.5 0.2 0.3 0.28 0.41 0.31
a. 𝑃 = ( 0 0.2 0.8). On a 𝑃2 = (0.08 0.76 0.16). Tous les éléments de
0.1 0.9 0 0.05 0.2 0.75
2
𝑃 sont positifs, la matrice P est reguliere.
0 1 0 0 0.2 0.8
b. 𝑃 = ( 0 0.2 0.8). On a 𝑃2 = (0.56 0.28 0.16),
0.7 0.3 0 0 0.76 0.24
0.56 0.28 0.16
3
𝑃 = (0.112 0.664 0.224). Par conséquent, P est régulière.
0.168 0.224 0.608
0 1 0 0 0.3 0.7
c. 𝑃 = (0 0.3 0.7). On a 𝑃2 = (0.7 0.09 0.21),
1 0 0 0 1 0
0.7 0.09 0.21 0.21 0.727 0.063
3 4
𝑃 = (0.21 0.727 0.063), 𝑃 = (0.063 0.4281 0.5089),
0 0.3 0.7 0.7 0.09 0.21
 0.063 0.4281 0.5089
𝑃 = (0.5089 0.19143 0.29967). Tous les éléments de 𝑃5 sont positifs, donc
5

0.21 0.727 0.063

P est régulière.
0 0.5 0.5 0.5 0.5 0 0 0.75 0.25
2 3
d. 𝑃 = (0 1 0 ), 𝑃 = ( 0 1 0 ), 𝑃 = ( 0 1 0 ),
1 0 0 0 0.5 0.5 0.5 0.5 0
0.25 0.75 0 0.03125 0.96875 0
4 10
𝑃 =( 0 1 0 ),𝑃 = ( 0 1 0 ) , ..
0 0.75 0.25, 0 0.96875 0.03125
On voit bien que les zéros de la ligne 2 apparaissent dans 𝑃2 et 𝑃3 , ils vont
continuer à apparaitre supérieures comme on le voit dans 𝑃10 , donc P est non
régulière.

Exo 5. En sociologie, il est commode de classer les gens par revenu comme classe
inférieure, classe moyenne et classe supérieure. Les sociologues ont constaté que le
déterminant le plus fort de la classe de revenu d'un individu est la classe de revenu
des parents de l'individu. Un individu appartenant à la classe à faible revenu est dit
être dans l'état 1, un individu de la classe moyenne est dans l'état 2, et un individu
de la classe de revenu supérieure se trouve dans l'état 3, alors les probabilités
suivantes de changement de classe de revenu d'une génération à l’autre sont
données par le tableau suivant.
Etats Génération suivante
1 0.65 0.28 0.07
Génération 2 0.15 0.67 0.18
courante 3 0.12 0.36 0.52
Par exemple, le tableau 1 montre que si un individu est dans l'état 1 (classe de
revenu inférieure) alors il y a une probabilité de 0,65 que toute progéniture
appartienne à la classe à faible revenu, une probabilité de 0,28 que la progéniture
appartienne à la classe des revenus moyens et une probabilité de 0,07 que la
progéniture appartienne à la classe des revenus supérieurs. En supposant que ce
processus suit une chaine de Markov, répondez aux questions suivantes.
a. Représenter graphiquement la chaine de Markov.
b. Si la probabilité de distribution de la génération courante est
𝜋(0) = (𝜋1 (0), 𝜋2 (0), 𝜋3 (0) ) = (0.6, 0.2, 0.2), quelle est la distribution
après deux générations ?

c. La matrice de transition de la chaine est-t-elle régulière ? Si oui calculer la

probabilité stationnaire. Faire un commentaire socio-économique sur vos résultats.

Exo 6. (Anderson Page 778, pb 6). Les données recueillies dans certaines
grandes régions métropolitaines de l'est des États-Unis montrent que 2% des
individus vivant dans les limites de la ville se déplacent vers la banlieue au
cours d'une année alors que 1 % des individus vivant en banlieue s'installent
en ville au cours d'une période d'un an. Répondez aux questions suivantes en
supposant que ce processus est modélisé par une chaine de Markov.

a. Donner la matrice des probabilités de transition.

b. Est-ce que cette matrice est régulière ? Si oui, calculer les probabilités en
régime permanent (stationnaire).
c. Dans une aire métropolitaine donnée, 40 % de la population vit en ville et
60 % de la population vit en banlieue. Quels changements de population futur
votre état d'équilibre prédit pour cette aire métropolitaine ?

Exo 7. Considérons la matrice de transition d’une chaine de Markov suivante

1 0 0 0
1 2 0 0
𝑃= 3 3
0 0 1 1
1 1 1 1
(4 4 4 4)
a. Calculer le nombre moyen de périodes que la chaine passera avant de joindre
un état absorbant en partant de chaque état transient.
b. Calculer la probabilité que chaque état transient joigne chacun des états
absorbants.