Vous êtes sur la page 1sur 6

Les chanes de Markov

Exercices solutionns
Genevive Gauthier
dernire mise jour : 16 octobre 2000
Problme 1 (30 points). partir des trois graphes de transition suiv-
ants, reconstituez les chanes de Markov qui leur sont associes (espace dtats
et matrice de transition). Pour chacune de ces chanes de Markov, faites-en
lanalyse en rpondant aux questions suivantes:
i) La chane de Markov comporte combien de classes et quelles sont-
elles?;
ii) Quelles sont les caractristiques de chacune de ces classes (stable ou
instable, absorbante, rcurrente ou transitoire, la priode)?;
iii) Existe-t-il une loi stationnaire? Si oui, quelle est-elle? Sinon, pourquoi?
iv) Dterminez, sil y a lieu, les probabilits dabsorbtion dans les classes
stables.
v) Dterminez, sil y a lieu, les temps moyens dabsorbtion dans les
classes stables.
x1 x2
x3 x4
1
x1 x2
x3 x4
0,5
0,5
x3
x1 x2
x4
0,75
0,25
0,75
0,25
2
1 Premier graphe de transition
1.1 Classication des tats
E
X
= fr
1
. r
2
. r
3
. r
4
g et P
X
=
0
B
B
@
0 1 0 0
0 0 1 0
0 0 0 1
1 0 0 0
1
C
C
A
.
Il ny a quune seule classe forcment stable et rcurrente. Par consquent,
tous les tats de la chane ont mme priode, soit
d(1) = 1GC1f: 2 f1. 2. ...g : (P
n
X
)
11
0g = 1GC1f4. 8. 12. 16. ...g = 4.
1.2 Loi stationnaire
Rsolvant le systme

1
0
1

!
: =
!
0 en y ajoutant la contrainte :
1
+:
2
+
:
3
+ :
4
= 1, nous obtenons
0
B
B
B
B
@
1 0 0 1
1 1 0 0
0 1 1 0
0 0 1 1
1 1 1 1
1
C
C
C
C
A
0
B
B
@
:
1
:
2
:
3
:
4
1
C
C
A
=
0
B
B
B
B
@
0
0
0
0
1
1
C
C
C
C
A
)
0
B
B
@
:
1
:
2
:
3
:
4
1
C
C
A
=
0
B
B
B
@
1
4
1
4
1
4
1
4
1
C
C
C
A
.
Comme la chane nest pas apriodique, nous savons que la loi de A
n
ne
converge pas vers la distribution stationnaire lorsque : crot vers linni o
A
n
reprsente ltat dans lequel se trouve la chane la : ime tape.
1.3 Probabilits dabsorption
Comme il existe une seule classe et que cette dernire est stable alors le calcul
des probabilits dabsorbtion ne prsente aucun intrt puisque la probabilit
dtre absorb dans cette unique classe, partant de nimporte quel tat, est
de 1.
3
2 Deuxieme graphe de transition
2.1 Classication des tats
E
X
= fr
1
. r
2
. r
3
. r
4
g et P
X
=
0
B
B
@
1
2
1
2
0 0
0 0 1 0
0 0 0 1
1 0 0 0
1
C
C
A
.
Il ny a quune seule classe forcment stable et rcurrente. Par consquent,
tous les tats de la chane ont mme priode, soit
d(1) = 1GC1f: 2 f1. 2. ...g : (P
n
X
)
11
0g = 1GC1f1. 2. 3. 4. ...g = 1.
2.2 Loi stationnaire
Rsolvant le systme

1
0
1

!
: =
!
0 en y ajoutant la contrainte :
1
+:
2
+
:
3
+ :
4
= 1, nous obtenons
0
B
B
B
B
@

1
2
0 0 1
1
2
1 0 0
0 1 1 0
0 0 1 1
1 1 1 1
1
C
C
C
C
A
0
B
B
@
:
1
:
2
:
3
:
4
1
C
C
A
=
0
B
B
B
B
@
0
0
0
0
1
1
C
C
C
C
A
)
0
B
B
@
:
1
:
2
:
3
:
4
1
C
C
A
=
0
B
B
B
@
2
5
1
5
1
5
1
5
1
C
C
C
A
.
Comme la chane st irrductible et apriodique, nous savons que la loi de A
n
converge vers la distribution stationnaire lorsque : crot vers linni o A
n
reprsente ltat dans lequel se trouve la chane la : ime tape.
2.3 Probabilits dabsoption
Comme il existe une seule classe et que cette dernire est stable alors le calcul
des probabilits dabsorbtion ne prsente aucun intrt puisque la probabilit
dtre absorb dans cette unique classe, partant de nimporte quel tat, est
de 1.
4
3 Troisieme graphe de transition
3.1 Classication des tats
E
X
= fr
1
. r
2
. r
3
. r
4
g et P
X
=
0
B
B
B
B
@
0
1
4
0
3
4
0 1 0 0
0
1
4
0
3
4
0 0 0 1
1
C
C
C
C
A
.
Il y a quatre classes
fr
1
g instable transitoire d (1) = 0
fr
2
g stable absorbante donc rcurrente d (2) = 1
fr
3
g instable transitoire d (3) = 0
fr
4
g stable absorbante donc rcurrente d (4) = 1
3.2 Loi stationnaire
Rsolvant le systme

1
0
1

!
: =
!
0 en y ajoutant la contrainte :
1
+:
2
+
:
3
+ :
4
= 1, nous obtenons
0
B
B
B
B
@
1 0 0 0
1
4
0
1
4
0
0 0 1 0
3
4
0
3
4
0
1 1 1 1
1
C
C
C
C
A
0
B
B
@
:
1
:
2
:
3
:
4
1
C
C
A
=
0
B
B
B
B
@
0
0
0
0
1
1
C
C
C
C
A
)
0
B
B
@
:
1
:
2
:
3
:
4
1
C
C
A
=
0
B
B
@
0
1 c
0
c
1
C
C
A
o la contrainte 8i 2 f1. 2. 3. 4g . :
i
0 entrane que 0 c 1. Il existe
donc une innit de distributions stationnaires. Comme la chane nest pas
irrductible, nous savons que la loi de A
n
ne converge pas vers la distribution
stationnaire lorsque : crot vers linni o A
n
reprsente ltat dans lequel
se trouve la chane la : ime tape.
5
3.3 Probabilits dabsorptions
Les probabilits dabsorbtion semblent beaucoup plus intressantes dans ce
cas-ci. Posons
o
i
= 1 [la chane est ventuellement absorbe en r
2
jA
0
= r
i
] .
videmment, o
2
= 1 et o
4
= 0. Il est aussi clair que o
1
=
1
4
et o
3
=
1
4
.
Eectuons tout de mme le calcul: rsolvant le systme (1 1)
!
o =
!
0
auquel nous ajoutons les deux contraintes o
2
= 1 et o
4
= 0, nous obtenons
0
B
B
B
B
B
B
B
B
@
1
1
4
0
3
4
0 0 0 0
0
1
4
1
3
4
0 0 0 0
0 1 0 0
0 0 0 1
1
C
C
C
C
C
C
C
C
A
0
B
B
@
o
1
o
2
o
3
o
3
1
C
C
A
=
0
B
B
B
B
B
B
@
0
0
0
0
1
0
1
C
C
C
C
C
C
A
)
0
B
B
@
o
1
o
2
o
3
o
3
1
C
C
A
=
0
B
B
B
@
1
4
1
1
4
0
1
C
C
C
A
.
Posons

i
= 1 [la chane est ventuellement absorbe en r
4
jA
0
= r
i
] .
videmment,
2
= 0 et
4
= 1. Il est aussi clair que
1
=
3
4
et
3
=
3
4
.
Eectuons tout de mme le calcul: rsolvant le systme (1 1)
!
=
!
0
auquel nous ajoutons les deux contraintes
2
= 0 et
4
= 1, nous obtenons
0
B
B
B
B
B
B
B
B
@
1
1
4
0
3
4
0 0 0 0
0
1
4
1
3
4
0 0 0 0
0 1 0 0
0 0 0 1
1
C
C
C
C
C
C
C
C
A
0
B
B
@

3
1
C
C
A
=
0
B
B
B
B
B
B
@
0
0
0
0
0
1
1
C
C
C
C
C
C
A
)
0
B
B
@

3
1
C
C
A
=
0
B
B
B
@
3
4
0
3
4
1
1
C
C
C
A
.
3.4 Temps moyens dabsorption
Dterminons maintenant les temps moyen dabsorption. Puisque r
2
et r
4
sont des classes stables, j
2
= j
4
= 0.
j
1
= 1 +
1
4
j
2
+
3
4
j
4
= 1
j
3
= 1 +
1
4
j
2
+
3
4
j
4
= 1
6