UNIVERSITÉ OUAGA 3S

MASTER 1 : Proba Approfondie

Travaux dirigés 4

Exercice 1 – Soit la chaîne de Markov de matrice de transition :

 
p0 p1 p2 · · · pm
 p m p 0 p 1 · · · p m−1 
 
 ..
P = .. .. .. 
 . . . .


p1 p2 p3 ··· p0

avec 0 < p 0 < 1 et p 0 + p 1 + · · · + p m = 1.

Déterminer lim p(n)
ij
, la loi stationnaire (Voir exercice 4 TD 2).
n→∞

Exercice 2 – Soit la chaîne de Markov de matrice de transition :

1/2 1/2 0 0
 
 1/4 3/4 0 0 
 
 1/4 1/4 1/4 1/4 
 
0 0 0 1

On se propose d’étudier le comportement asymptotique de cette chaîne.

1. Décrire la chaîne (graphe, classes, nature et périodicité)

2. La chaîne admet-elle une loi stationnaire ?

3. Calculer les lim p(n)

ij
pour tous les couples i, j.
n→+∞

Exercice 3 – On considère une chaîne de Markov dont la matrice de transition est définie par :

1/2 1/2 0 0 0 0
 

 1/3 2/3 0 0 0 0 
 1/3 0 0 1/3 1/6 1/6 
P = .
 
 1/6 1/6 1/6 0 1/3 1/6 
0 0 0 0 0 1 
 

0 0 0 0 1 0

1. Faire le graphe. Déterminer les classes d’équivalence et leur nature.

2. La chaîne admet-elle une loi stationnaire ?

3. Calculer lim p ni, j pour tous les couples i, j.

n→+∞

1
Proba approfondie – TD 4

Exercice 4 – Pour les chaînes de Markov dont les matrices de transition sont données ci-dessous,
trouver les classes d’équivalence et calculer la loi stationnaire.

1/3 2/3 0 0 0 0 1 0 0 0 0 0
   
 2/3 1/3 0 0 0 0   0 3/4 1/4 0 0 0 
1/2 1/2 0
     
 0 0 1/4 3/4 0 0   0 1/8 7/8 0 0 0 
(a)  0 1/2 1/2  , (b)   , (c)  .
   
 0 0 1/5 4/5 0 0  1/4 1/4 0 1/8 3/8 0
1/3 1/3 1/3
 
 1/4 0 1/4 0 1/4 1/4  1/3 0 1/6 1/6 1/3 0
   
 
1/6 1/6 1/6 1/6 1/6 1/6 0 0 0 0 0 1

Exercice 5 – Soit la chaîne de Markov dont la matrice de transition est :

0 1/2 1/2
 
 1/2 1/2 0 
1/2 1/2 0

1. Déterminer les classes et la périodicité des états de cette chaîne.

2. Existe-t-il une loi stationnaire ? Si oui, calculez-la .

Exercice 6 – Soit la chaîne de Markov dont la matrice de transition est :

1/2 1/2 0
 

P =  0 1/2 1/2 
0 0 1

Déterminer les classes et la périodicité des états de cette chaîne. En déduire son comportement
asymptotique. (On pourra chercher à calculer P n en écrivant P sous forme d’un demi fois l’identité I plus
une certaine matrice A.)

Exercice 7 – Soit la chaîne de Markov dont la matrice de transition est :

1/2 0 0 1/2
 
 1 0 0 0 
P =
 
 0 1/2 1/3 1/6 

0 0 1 0

1. Décrire la chaîne (graphe, classes, périodicité).

2. Existe-t-il une loi stationnaire ? Si oui, la calculer.

Exercice 8 – Soit la chaîne de Markov de matrice de transition :

. 2/3 1/3 0 0 0
 
 1/4 . 0 0 1/5 2/5 
 
 0 0 . 1/2 0 0 
P =
 
 0 0 2/3 . 0 0 

 0 0 0 0 . 1/2 
 

0 0 0 0 1/2 .

1. Déterminer les termes diagonaux de la matrice de transition P

2. Faire le graphe. Décrire les classes d’équivalence et commenter.
3. Calculer les lim p nij pour tous les couples i, j.
n→+∞