Mat 2717 automne 2021 devoir 2, à remettre le 14 octobre

# 1 Soit P une matrice stochastique avec S = {1, . . . , N } qui est associée à une chaı̂ne irréductible.
Souvent, pour des raisons de convergence, on veut que la chaı̂ne de Markov soit apériodique.
Cependant, en simulation, on veut que la chaı̂ne explore l’espace rapidement. Pour ces raisons on
modifie la chaı̂ne en introduisant un paramètre α. Posons
m
m = min (pii ) et a= .
1≤i≤N 1−m
La nouvelle matrice stochastique devient,

(1 − α)P + αI, −a ≤ α < 1, I est la matrice identité ,

1. Lorsque α > 0 on dit que la modification rend la chaı̂ne paresseuse ( favorise le surplace ).

2. Lorsque α < 0 on dit que la modification rend la chaı̂ne vaillante ( favorise les déplacements
).

Montrez les résultats suivants,

1. La matrice (1 − α)P + αI est une matrice stochastique pour tout α ∈ [−a, 1].

2. La chaı̂ne modifiée est apériodique pour tout α ∈ (0, 1].

3. La chaı̂ne modifiée est irréductible pour tout α ∈ [−a, 1).

4. On peut conserver la même loi stationnaire pour tout α ∈ [−a, 1].

5. Posons N = 3 et  
0 1/2 1/2
P =  1/3 1/3 1/3 
 
1/4 1/4 1/2
Que vaut (1 − α)P + αI pour α = 1/2?

6. Soit τij le temps moyen d’attente pour visiter l’état j sur les temps 1, 2, . . . en partant de
l’état i au temps 0, i, j ∈ S. Trouvez les temps moyens d’attente avec la matrice P qu’on
vient juste de donner et la matrice (1/2)P + (1/2)I.

7. Notez que τjj , j = 1, 2, 3 reste le même pour les deux matrices. Expliquez pourquoi ce n’est
pas un effet du hasard en trouvant le lien entre ce résultat et la loi stationnaire. Notez
comment se comportent les autres temps d’attente.

8. Considérez maintenant une matrice P qui produit une chaı̂ne de Markov irréductible sur
{1, 2, 3}. Montrez que les temps d’attente autres que τjj , j = 1, 2, 3 sont croissants en α.

9. Considérez le problème de le ruine du parieur à deux joueurs ( voir les notes de cours ). On
sait qu’une partie ne peut pas durer éternellement, un moment donné un des deux joueurs
sera ruiné. Soit Ti le temps d’attente pour que l’un des deux joueurs devienne ruiné lorsque
le premier joueur a une fortune de i au départ, i = 0, . . . , N . On cherche τi le temps moyen
pour que la partie arrête. Construisez les équations de récurrence sur τ0 , . . . , τN . ( Note:
Sabin Lessard résoud le problème dans son livre à la page 21 pour p = 1/2 ). Trouvez la
solution pour tout p ∈ (0, 1) et aussi pour une modification de la matrice de transition avec
un parmètre α ∈ (0, 1). Intuitivement on s’attend à ce que le temps croisse avec α.

1
 10. Montrez aussi que la modification avec α ne change pas la probabilité que le premier joueur
soit ruiné. ( La modification s’interprète comme si des parties nulles étaient possibles et,
pour une partie nulle, les deux joueurs conservent la même fortune )

# 2 ( Algorithme de simulation de Metropolis-Hastings ) Soit π une fonction de masse sur N.

Supposons que πi > 0 pour tout i ∈ N et adoptons la convention que π−1 = 0. On veut créer
un chaı̂ne irréductible et apériodique qui a π comme loi stationnaire. On se donne la matrice P
suivante, 
 min(1, πj /πi )/2
 si j ∈ {i − 1, i + 1}
pij = 1 − {pi i−1 + pi i+1 } si j = i , i ∈ N.

 0 si j ∈
/ {i − 1, i, i + 1}
Montrez les résultats suivants,

1. La matrice P est une matrice stochastique.

2. La chaı̂ne est apériodique.

3. La chaı̂ne est irréductible.

4. La chaı̂ne est réversible par rapport à π.

2
 Solutionnaire

1.1) On pose u le vecteur colonne de dimension N avec tous des 1. On a

h i
(1 − α)P + αI u = (1 − α)P u + αIu = (1 − α)u + αu = u, pour tout α ∈ R.

Posons Q = (1 − α)P + αI. On doit vérifier que qij ≥ 0, i, j = 1, . . . , N . Par hypothèse la chaı̂ne
est irréductible donc pjj < 1 pour tout j, j = 1, . . . , N . On a
(
α + (1 − α)pjj = pjj + α(1 − pjj ) si i = j,
qij = i, j = 1, . . . , N.
(1 − α)pij si i 6= j,
qjj ≥ 0 si α ≥ −pjj /(1 − pjj ), j = 1, . . . , N
qij ≥ 0 pour tout i 6= j, i, j = 1, . . . , N, α ≤ 1.

Lorque α = 1 on obtient Q = I qui est une matrice stochastique. L’application x 7→ x/(1 − x) est
croissante sur [0, 1) donc la condition nécessaire et suffisante sur α pour que Q soit une matrice
stochastique devient α ≥ −m/(1 − m).
1.2) Lorsque α ∈ (0, 1] on obtient qjj ≥ α > 0 ce qui montre qu’en partant de j on peut
(n)
revenir en j avec probabilité strictement positive en un pas donc pjj > 0 pour tout ≥ 1 et j est
apériodique, j = 1, . . . , N .
1.3) Pour tout α ∈ [−a, 1) on a pjj > 0 si et seulement si qjj > 0. Pour tout i, j ∈ {1, . . . , n}
(n)
il existe n ≥ 1 tel que pij > 0 car la chaı̂ne initiale est irréductible. Cela signifie qu’il existe
i1 .i2 , . . . , in−1 tel que
pi i1 pi1 i2 · · · pin−1 j > 0

ce qui entraı̂ne
(n)
qi i1 qi1 i2 · · · qin−1 j > 0, et qij > 0.

1.4) Soit π une loi stationnaire pour la chaı̂ne initiale. On a πP = π. Ainsi,

h i
πQ = π (1 − α)P + αI = (1 − α)πP + απ = (1 − α)π + απ = π.

1.5) On utilise le résultat en 1.1. On obtient,

 
1/2 1/4 1/4
Q =  2/3 1/6 1/6  .
 
5/8 1/8 2/8

1.6) On utilise le résultat général de 1.8) avec α = 1/2. Pour la chaı̂ne initiale on trouve

(τ11 , τ21 , τ31 ) = (9/2, 10/3, 11/3)

(τ12 , τ22 , τ32 ) = (8/3, 3, 10/3)
(τ13 , τ23 , τ33 ) = (7/3, 8/3, 9/4)

0
Notons que τij les temps d’attente pour la chaı̂ne modifiée. On obtient,
(
0 τij si i=j
τij =
2τij si i 6= j

3
 1.7) La chaı̂ne initiale et la chaı̂ne modifiée ont la même loi stationnaire, elles sont irréductible
0 0
et apériodique donc τjj = τjj = 1/πj , j = 1, 2, 3. De façon générale, pour trouver les τij , on utilise
les équations X
0
τij =1+ qik τkj , i, j = 1, 2, 3.
k6=j
0
Cherchons τi1 ,i = 1, 2, 3. On obtient,
3
( P3 0
0
X
0 1 + (1 − α) k=2 p1k τk1 si i = 1,
τi1 =1+ qik τkj = P3 0
(0.0.1)
k=2
1 + (1 − α) k=2 pik τk1 + ατi1 si i = 2, 3

On peut voir immédiatement que si τi1 , i = 1, 2, 3 sont des solutions pour la chaı̂ne initiale alors
0 0
τ11 = τ11 , τi1 = τi1 /(1 − α), i = 2, 3 seront des solutions pour la chaı̂ne modifiée. En fait, on peut
réécrie les équations en (0.0.1) pour obtenir

0 0 0
τ11 = 1 + p12 (1 − α)τ21 + p13 (1 − α)τ31
0 0 0
(1 − α)τi1 = 1 + pi2 (1 − α)τ21 + pi3 (1 − α)τ31 , si i = 2, 3.

Ainsi, (
0 τij si i=j
τij =
τij /(1 − α) si i 6= j
0
1.8) Revenons au problème de départ, celui de trouver τi1 pour i = 1, 2, 3. En reprenant les
équations (0.0.1) ceci nous amène à résoudre ce système d’équations,
    
0
1 −(1 − α)p12 −(1 − α)p13 τ11 1
 0   
 0 (1 − α)(1 − p22 ) −(1 − α)p23   τ21  =  1 

0
0 −(1 − α)p32 (1 − α)(1 − p33 ) τ31 1

En effectuant l’opération L3 7→ p32 L2 + (1 − p22 )L3 il en revient à résoudre ce nouveau système,

    
0
1 −(1 − α)p12 −(1 − α)p13 τ11 1
 0  
 0 (1 − α)(1 − p22 ) −(1 − α)p23   τ21  =  1
 

0
 
0 0 (1 − α) (1 − p22 )(1 − p33 ) − p23 p32 τ31 p21 + p23 + p32

On a (1 − p22 )(1 − p33 ) > p23 p32 car la chaı̂ne est irréductible. En fait

(1 − p22 )(1 − p33 ) − p23 p32 = (p21 + p23 )(p31 + p32 ) − p23 p32
= p21 p31 + p21 p32 + p23 p31

Maintenant,

1. Si p21 , p31 = 0 alors on n’a pas accès à 1 des états 2 et 3 ce qui est absurde, la chaı̂ne étant
irréductible.

2. Si p21 = 0 et p31 > 0 alors p23 > 0 ( car p22 < 1 ) ce qui implique que p23 p31 > 0..

3. Si p21 > 0 et p31 = 0 alors p32 > 0 ( car p33 < 1 ) et p21 p32 > 0.

4. Si p21 > 0 et p31 > 0 alors p21 p31 > 0.

4
 En solutionnant le dernier système on obtient
0 1 p21 + p23 + p32
τ31 = de L3
1 − α (1 − p22 )(1 − p33 ) − p23 p32
0 1 p31 + p32 + p23
τ21 = par symétrie, on interchange les indices 2 ↔ 3
1 − α (1 − p22 )(1 − p33 ) − p23 p32
0 0 0
τ11 = 1 + (1 − α)(p12 τ21 + p13 τ31 ) de L1
Par symétrie ( on interchange les indices ) on trouve
0 1 p12 + p13 + p31
τ32 =
1 − α (1 − p11 )(1 − p33 ) − p13 p31
0 1 p32 + p31 + p13
τ12 =
1 − α (1 − p11 )(1 − p33 ) − p13 p31
0 0 0
τ22 = 1 + (1 − α)(p21 τ12 + p23 τ32 )
et
0 1 p23 + p21 + p12
τ13 =
1 − α (1 − p22 )(1 − p11 ) − p21 p12
0 1 p13 + p12 + p21
τ23 =
1 − α (1 − p22 )(1 − p11 ) − p21 p12
0 0 0
τ33 = 1 + (1 − α)(p32 τ23 + p31 τ13 )
1.10) Soit pij les probabilités de transition pour la chaı̂ne initiale et qij les probabilités de
transition pour la chaı̂ne modifiée, i, j = 1, . . . , N . Posons fi0 la probabilité que le premier joueur
0
sorte ruiné avec la chaı̂ne initiale en partant d’une fortune de i et fi0 l’équivalent pour la chaı̂ne
modifiée. On a


 1 si i = 0, N, j = i

 (1 − α)q si i 6= 0, N, j = i − 1
qij =

 α si i 6= 0, N, j = i

(1 − α)p si i 6= 0, N, j = i + 1

0
f00 = 1
0 0 0 0
fi0 = (1 − α)qfi−1 0 + αfi0 + (1 − α)pfi+1 0 si i ∈ {1, . . . , N − 1}
0
fN N = 0
On obtient,
0
f00 = 1
0 0 0
(1 − α)fi0 = (1 − α)qfi−1 0 + (1 − α)pfi+1 0 si i ∈ {1, . . . , N − 1}
0
fN N = 0
0
Les équations à résoudre en fi0 , i = 0, . . . , N sont les mêmes que celles qu’on aurait à résoudre en
fi0 , i = 0, . . . , N pour le problème initial donc les solutions sont aussi les mêmes.
1.9) Posons τi le temps moyen pour qu’une partie se termine quand le premier joueur part
d’une fortune de i pour la chaı̂ne initiale et τi0 l’équivalent pour la chaı̂ne modifiée. On a un
systéme d’équations,
(
0 0 si i = 0, N
τi = 0
1 + (1 − α)qτi−1 + ατi0 + (1 − α)τi+1
0
si i =∈ {1, . . . , N − 1}
(
0 si i = 0, N
(1 − α)τi0 = 0 0
1 + (1 − α)qτi−1 + (1 − α)τi+1 si i =∈ {1, . . . , N − 1}

5
On voit que τi0 = τi /(1 − α). Solutionnons le problème pour α = 0. Posons di = τi+1 − τi ,
i = 0, . . . , N − 1 et r = q/p. Des équations précédentes on tire

(p + q)τi = qτi−1 + pτi+1 , i = 1, . . . , N − 1,

qdi−1 = 1 + pdi , i = 1, . . . , N − 1,
1
di = rdi−1 − = rdi−1 − (1 + r), i = 1, . . . , N − 1,
p
i−1
X
= ri d0 − (1 + r) ri
k=0
( i
r d0 − (1 + r) 1−r
i
1−r si r 6= 1,
= i = 0, . . . , N − 1
d0 − 2i si r = 1,
0 = τN − τ0
N
X −1
= dk
k=0
   
 1−rN d0 + 1+r − N 1+r si r 6= 1,
= 1−r 1−r
 1−r
 N d0 − (N + 1) si r = 1,
(  
N 1
(1 + r) 1−r N − 1−r si r 6= 1,
d0 =
N +1 si r = 1,
i−1
X
τi = τ0 + di
k=0
   
 1−ri d0 + 1+r − i 1+r si r = 6 1,
= 1−r 1−r 1−r
 i d0 − (i + 1) si r = 1,
(   
1+r 1−r i
1−r N 1−r N − i si r 6= 1,
=
i(N − i) si r = 1,

2.1) On a

p01 ∈ (0, 1/2]

p00 = 1 − p01 ∈ [1/2, 1)
p0j = 0 si j > 1
∞
X
p0j = p00 + p01
j=0
= 1

Aussi, pour i ∈ N \ {0},

pi i−1 , pi i+1 ∈ (0, 1/2]

p00 = 1 − pi i−1 − pi i+1 ∈ [0, 1)
p0j = 0 si j ∈
/ {i − 1, i, i + 1}
∞
X
p0j = pi i−1 + pii + pi i+1
j=0
= 1

6
 2.2) On a p00 ≥ 1/2 donc 0 est un état apériodique. Si j > 0 alors

pj j−1 , pj−1 j−2 , . . . , p10 > 0

p01 , p12 , . . . , pj−1 j > 0
p(2j+k) > 0 pour tout k ≥ 0

ce qui montre que j est apériodique, j ≥ 0.

2.3) Au point 2.2 on a montré que tous les états communiquent avec 0 donc la chaı̂ne est
irréductible.
2.4) Pour voir si la chaı̂ne est réversible par rapport à π is suffit de vérifier

πi pi i+1 = πi+1 pi+1 i . i∈N

mais

2πi pi i+1 = πi min(1, πi+1 /πi )

= min(πi , πi+1 )
= πi+1 min(1, πi /πi+1 )
= 2πi+1 pi+1 i