Mat 2717 automne 2020 devoir 1, à remettre le 30 septembre en classe ( ou avant )

1. Soit S = {1, 2, 3} et P une matrice stochastique donnée par

 
1/2 1/2 0
P = 0 1 0
 

1/2 0 1/2

1. Tracez le graphe associé à P ,

2. Partionnez S en classes regroupant les états qui communiquent entre eux.

3. Trouvez les périodes pour chacun des états.

4. Trouvez une loi stationnaire. A-t’on une solution unique?

5. Trouvez les fij , i, j ∈ S.

6. Soit τij : le nombre de transitions moyen pour atteindre une première fois j en partant de i.
Déterminez τ12 et τ32 . Sachant τ12 et τ32 , que pouvez-vous dire de τ31 ?

7. Trouvez une formule qui donne P n explicitement pour tout n ≥ 1 et déterminez limn→∞ P n .

Indication: La matrice P n’est pas diagonalisable mais on peut factoriser P de la façon suivante,
   
1 0 2 1 0 0 0 1 0
P = V ΛV −1 =  1 0 0   0 1/2 1   0 −1 1 
   
1 1 0 0 0 1/2 1/2 −1/2 0

Montrez par induction que

 n    
1 0 0 1 0 0 1 0 0
Λn =  0 1/2 1  =  0 1/2n 2n/2n  −−−−→  0 0 0 
     
n→∞
0 0 1/2 0 0 1/2n 0 0 0

2. ( Marche aléatoire sur un cercle ) Soit S = {0, . . . , N − 1}. Considérons un cercle. Sur le cercle
il y a les positions 0, . . . , N − 1 et, en partant de la position 0 et en tournant dans le sens horaire,
on atteint les positions 1, 2, . . . , N − 1 dans l’ordre. Soit
N
X −1
α = (α0 , . . . , αN −1 ) avec αi ≥ 0, i = 0, . . . , N − 1, et αi = 1.
i=0

À chaque unité de temps on se déplace de k positions vers la droite avec probabilité αk , k ∈ S.

En particulier, pour N = 3 et α0 , α1 , α2 > 0 on a le graphe suivant,

α1
α0 0 1 α0
α2
α2 α2

α1 α1

α0

1
1. Montrez que les probabilités de transitions sont données par
(
α(j−i) si j ≥ i,
pij = α{(j−i) mod N } = , i, j ∈ S.
αN +(j−i) si j < i,

2. Pour N = 3 trouvez deux choix de α tels que la chaı̂ne devienne périodique de période 3.
Les chaı̂nes sont-elles irréductibles?

3. Pour N = 3 montrez que la chaı̂ne ne peut jamais être périodique de période 2.

4. Pour N = 4 trouvez un choix de α tel que la chaı̂ne devienne périodique de période 2 et

irréductible.

5. Pour N = 4 trouvez un choix de α tel que la chaı̂ne devienne périodique de période 2 sans
être irréductible.

6. Pour N fixé montrez qu’il existe une loi stationnaire, toujours la même, qui est valide peu
importe le choix de α.

7. ( Bonus ) Pour N un nombre premier et α0 < 1 la chaı̂ne devient irréductible. ( indication:

si, en paratant de 0, on se déplace toujours de k positions vers la droite alors après n
déplacements on va occuper la position kn mod N ).

8. ( Bonus ) Montrez que s’il existe {i, i + 1} ⊂ S avec αi , αi+1 > 0 alors la chaı̂ne est
nécessairement apériodique et irréductible.

2
 Solutionnaire

1. On a
1 1/2 1/2

2 1 3
1/2 1/2
Ici S = C1 ∪ C2 ∪ C3 = {1} ∪ {2} ∪ {3}. Les états dans les classes C1 et C3 sont transitoires.
L’état dans la classe C2 est récurrent. Chacun des états est apériodique car, dans tous les cas, il
est possible de revenir en une transition.
Pour trouver les lois stationnaires on écrit le système d’équations
3
X
πj = πi pij , j = 1, 2, 3, π1 + π2 + π3 = 1
i=1

π1 = (π1 + π3 )/2
π2 = π1 /2 + π2
π3 = π3 /2
1 = π1 + π2 + π3

Ce système a une seule solution,

π = (0, 1, 0).

En regardant le graphe on peut tout de suite déduire que

f21 = f23 = f13 = 0

f22 = f12 = f31 = f32 = 1
f11 = f33 = 1/2

Pour trouver τ12 , τ32 on doit résoudre le système

1 1
τ12 = 1 + (1 + τ12
2 2
1 1
τ31 = (1 + τ12 ) + (1 + τ32 )
2 2
et la solution est
(τ12 , τ32 ) = (2, 4)

Sachant τ12 , en regardant le graphe, on se rend compte que le problème de trouver τ31 est pareil
à celui de trouver τ12 donc τ31 = 2. Sachant τ12 , τ32 , en regardant le graphe, on comprend
que pour paritir de 3 et se rendre à 2 il faut nécessairement passer premièrement par 1 donc
τ31 = τ32 − τ12 = 2.
La preuve par induction pour la formule de Λn est directe. La formule est bonne pour n = 1.
En supposant la formule bonne pour un n quelconque on vérifie en calculant que si on prend Λn

3
de la formule et on fait Λn Λ alors on trouve le Λn+1 de la formule. Maintenant,
n −1
Pn = V
Λ V   
1 0 2 1 0 0 0 1 0
=  1 0 0  0 1/2n 2n/2n   0 −1 1 
   
1 1 0 0 0 1/2n 1/2 −1/2 0
   
1
n 1 − 21n 0 0 1 0
 2
=  0 1 0  −−−−→  0 1 0 
  
n→∞
n
2n 1 − n+1
2n
1
2n 0 1 0

On peut aussi trouver P n de fao̧n directe. On sait que P n est une matrice stochastique. Il y a
un seul chemin en partant de 1 pour aboutir à 1 en n transitions, il faut rester toujours en 1 donc
(n)
p11 = (1/2)n .

En partant de 1 on ne peut pas aller à 2 donc

(n)
p13 = 0

et
(n) (n) (n)
p12 = 1 − p11 − p13 = 1 − (1/2)n .
On a aussi
(n) (n) (n)
(p21 , p22 , p23 ) = (0, 1, 0).
Pour les mêmes raisons que précédemment
(n)
p33 = (1/2)n .

Si on passe de 3 à 1 en n transitions alors il y a n façons de le faire. On reste en 3 k fois consécutives

puis on passe à 1 et on y reste (n − k − 1) fois consécutives, k = 0, . . . , n − 1 d’où
(n)
p31 = n(1/2)n

et
(n) (n) (n)
p32 = 1 − p31 − p33 = 1 − (n + 1)(1/2)n .

2. Soit i, j ∈ S.

1. Si j ≥ i alors, partant de l’état i pour se rendre à l’état j il faut se déplacer de j − i positions

par la droite. Comme i, j ∈ S et j ≥ i on obtient j − i ∈ S et la transition se fait avec
probabilité αj−i .

2. Si j < i alors se rendre à j par la droite c’est comme faire un tour complet par la droite ( N
déplacements ) puir revenir de i − j positions par la gauche donc faire N − (i − j) = N + j − i
déplacements par la droite et la transition se fait avec probabilité αN +j−i .

Pour N = 2 on peut choisir

α = (0, 1, 0) ou α = (0, 0, 1)

On obtient des périodes de trois. Les chaı̂nes sont irréductible car on fait 0 → 1 → 2 → 0 ou
0 → 2 → 1 → 0.

4
 Pour N = 2 la chaı̂ne est apériodique si α0 > 0, ou α0 = 0 avec α1 , α2 > 0. Elle est périodique
de période 3 sinon comme on a vu précédemment.
Pour N = 3 il suffit de poser

α = (0, p, 0, q), q = 1 − p, p ∈ (0, 1)

afin d’obtenir une chaı̂ne périodique de période deux et irréductible.

Pour N = 3 en posant

α = (0, 0, 1, 0), q = 1 − p, p ∈ (0, 1)

on obtient une chaı̂ne de période 2 et S se partitionne en S = {0, 2} ∪ {1, 3}.

La matrice des transitions est toujours doublement stochastiques donc la loi uniforme est une
loi stationnaire.
Si N est premier et α0 > 1 alors il existe k ∈ {1, . . . , N − 1} tel que αk > 0. Comme N est
premier
nk mod N 6= 0, n = 1, . . . , N − 1.

De la fao̧n dont la chaı̂ne est définie,

p0k pk2k mod N p2k mod N,3k mod N · · · p(N −2)k mod N,(N −1)k mod N p(N −1)k mod N,0 = pN
0k > 0.

Le parcours 0 → k → 2k mod N → · · · → (N − 1)k mod N → visite tous les points de S sinon,

ce serait possible de partir d’un point i bouger de k positions par la droite à chaque transition
et revenir au point i en moins de N transitions mais si on le faire de i, par symétrie, on peut le
faire de 0 ce qui est absurde. Quand on peut faire une boucle avec tous les états la chaı̂ne est
irréductible.
Si αi , αi+1 > 0 et d est la période alors d doit diviser i et i + 1. Un entier plus grand que un
ne peut pas diviser deux entiers consécutifs ce qui montre que la période est de 1.
Si αi , αi+1 > 0 alors p0i , p0i+1 > 0. Notez que
(k)
p0 ki mod N ≥ pk0i > 0 pour tout k > 0.

De plus, pour j ∈ S on a

j = (j + N i) mod N
= {j(i + 1) + (N − j)i} mod N
(N ) N −j j
p0j ≥ p0i p0i+1
> 0