Devoir TD1

Exercice 1  :
Comme l’espace d’état 𝐸 = {1,2,3,4} est fini alors la chaîne admet au moins une
distribution stationnaire. En revanche, la chaîne n’est pas irréductible (tous les états ne
communiquent pas entre eux par exemple l’état 1 et l’état 2 ne communiquent pas) donc
on peut s’attendre à ce qu’il ait plus d’une distribution stationnaire. Résolvons le système
suivant :

Ce système admet une infinité de solutions (une infinité de distributions stationnaires),

donnée par : 𝜋 = ( 1/ 2 − 7 /8 𝜋2 𝜋2 1/ 2 − 7 /8 𝜋2 3 /4 𝜋2) avec 𝜋2 ≤ 4/7
Parmi les solutions (distributions stationnaires) on peut avoir :

Pour la chaîne de Markov restreinte aux états 1 et 3, on définit sa matrice de transition

comme suit :

La chaîne est irréductible car tous les états communiquent entre eux :
1 ⟷ 3 car 𝑝13 > 0 𝑒𝑡 𝑝31 > 0
La chaîne est apériodique car : 𝑑(1) = 𝑃𝐺(1,2,3,4,5, … ) = 1
L’état 1 est apériodique, comme la chaîne est irréductible l’état 3 est apériodique aussi La
chaîne est irréductible et apériodique donc elle admet une distribution stationnaire unique
𝜋 = (𝜋1, 𝜋2) qui vérifie le système d’équation suivant :
Ce qui nous donne 𝜋 = (1/ 2 1 /2)

Exercice 2  :
1) Pour que P soit une matrice de transition il faut que la somme de chaque ligne soit
égale à 1 et 0 ≤ 𝑝 ≤ 1, 0 ≤ 𝑞 ≤ 1, ce qui nous donne 𝑝 = 2/ 3 , 𝑞 = 1/ 3

2) L’espace d’état E est fini, donc la chaîne admet au mois une distribution
stationnaire. La chaîne est irréductible car tous les états communiquent entre eux :
1 ⟷ 2 car 𝑝12 > 0 𝑒𝑡 𝑝21 > 0
1 ⟷ 3 car 𝑝13(2) > 0 𝑒𝑡 𝑝31(2) > 0
1 ⟷ 4 car 𝑝14(3) > 0 𝑒𝑡 𝑝41(3) > 0
1 ⟷ 5 car 𝑝15 > 0 𝑒𝑡 𝑝51 > 0
2 ⟷ 3 car 𝑝23 > 0 𝑒𝑡 𝑝32 > 0
2 ⟷ 4 car 𝑝24(2) > 0 𝑒𝑡 𝑝42(2) > 0
2 ⟷ 5 car 𝑝25(3) > 0 𝑒𝑡 𝑝52(2) > 0
3 ⟷ 4 car 𝑝34 > 0 𝑒𝑡 𝑝43 > 0
3 ⟷ 5 car 𝑝35(2) > 0 𝑒𝑡 𝑝53(3) > 0
4 ⟷ 5 car 𝑝45 > 0 𝑒𝑡 𝑝54(4) > 0
La chaîne est apériodique car : 𝑑(1) = 𝑃𝐺𝐶(1,2,3,4,5, … . ) = 1
L’état 1 est apériodique, donc la chaîne est apériodique La chaîne est irréductible et
apériodique donc elle admet une distribution stationnaire unique qui vérifie le système
d’équation suivant :
La résolution du système donne π = (45 /119 21 /119 18 /119 12 /119 23 /119)
3) La chaîne est irréductible et apériodique alors 𝜋𝑗 = 1 𝑀𝑗 donc
𝑀1 = 1 𝜋1 = 2.64
Si on démarre de l’état 1, il nous faut en moyenne 2.64 étapes pour y revenir
𝑀4 = 1 𝜋4 = 9.92
4) (𝑛) = 𝜋(0)𝑃^n mais sur le long terme (lorsque n tend vers l’infini), la distribution
initiale n’a pas d’influence sur le vecteur 𝜋(𝑛) et nous avons
lim𝑛→∞ (𝑛) = 𝜋 = ( 45/ 119 21 /119 18 /119 12/ 119 23 /119) ∀ 𝜋(0)