Université Lyon 1

UE MPB
6 juillet 2021
Chaı̂nes de Markov
Tous documents et ordinateurs autorisés.

On considère le processus de Markov défini par le générateur suivant :

 1 2 3 4 5 
1 −0.3 0 0 0.225 0.075
2  0 −1.5 0.9 0 0.6 
Q=
 
3 
 0 0.45 −0.65 0.2 0 
4  0.225 0 0.1 −0.65 0.325 
5 0.15 0.3 0 0.65 −1.1

1. Dessinez le graphe de transition du générateur Q.

2. Quelle est la distribution stationnaire de Q ?
(0.3077, 0.0769, 0.1538, 0.3077, 0.1538)
3. On appelle temps de séjour la durée pendant laquelle le processus ne
change pas d’état.
Si le processus est dans l’état 1, quel est son temps de séjour moyen ?
3.33
4. Après un très long temps, quel va être en moyenne le temps de séjour du
processus ?
1.93
5. Depuis Q, calculer la matrice M des probabilités de transition en 3 unités
de temps.
 
0.521 0.032 0.052 0.276 0.119
 0.128 0.142 0.302 0.259 0.17 
M=
 
 0.104 0.151 0.358 0.24 0.147 

 0.276 0.065 0.12 0.37 0.169 
0.238 0.085 0.147 0.339 0.191
6. Dans M, quelle est la probabilitité à partir de l’état 1 d’aller successive-
ment dans les états 2, 3 et 4 ?
0.00232
7. Dans M, quelle est la probabilitité à partir de l’état 1, de revenir dans
l’état 1 en exactement 4 pas de temps ?
0.32
8. Si on est dans l’état 1 au temps 0, quelle est la probabilité de repasser
dans l’état 1 dans les 3 pas de temps suivants ?
0.713