Mat 2717 automne 2021 tp 2

1. Montrez les résultats suivants,

k
1. P (N (j) ≥ k | X0 = j) = fjj , k ≥ 1,
k−1
2. P (N (j) ≥ k | X0 = i) = fij fjj , k > 1.

2. Montrez que la partition de S qui consiste à poser i, j sont dans une même classe si et seulement
si i ↔ j forme des classes d’équivalence. Pour les matrices de transition P1 et P2 qui vont suivre

1. Tracez le graphe associé à P1 sur S1 = {1, . . . , 5} et P2 sur S2 = {1, . . . , 7},

2. Partitionnez Si , i = 1, 2 en considérant les états qui communiquent entre eux. Dans chacune
des classes de la partition dites si les états sont récurrents ou transitoires et identifiez la
période.
 
0 1/3 1/3 0 1/3
 1/2 0 0 1/2 0 
 
P1 =  0 0 0 1 0 
 
 
 0 0 0 0 1 
0 0 1/2 1/2 0
et  
0 1/4 0 0 1/4 1/4 1/4

 0 0 1 0 0 0 0 
 
 1/3 0 0 1/3 0 0 1/3 
 
P2 = 
 1/2 0 0 0 1/2 0 0 

 0 0 0 0 0 1 0 
 
 0 0 0 0 1/2 0 1/2 
0 0 0 0 0 1/2 1/2

1
3. Deux joueurs se partagent une fortune de N jetons. On pose S = {0, . . . , N } et l’événement
{Xn = j} correspond à le premier joueur dispose de j jetons à la ne partie. On commence de façon
déterministe, le premier joueur dispose de i jetons à la partie 0. À chacune des parties suivantes
la fortune que les deux joueurs partagent reste la même, le premier joeur augmente sa fortune
de 1 jeton avec probabilité p et diminue sa fortune de 1 jeton avec probabilité q = 1 − p lorsque
chacun des joueurs dispose d’au moins un jeton avant de jouer. Sinon, la fortune de chacun des
joueurs reste inchangée. Ainsi, dès qu’un joueur se retrouve avec aucun jeton il reste avec aucun
jeton par la suite. Par exemple, considérons une excurcions possible; le premier joueur part avec
1 jeton ( X0 = 1 ), il gagne la première partie, il se retrouve avec deux jetons, ( X1 = 2 ), il perd
les deux parties suivantes, ( X2 = 1, X3 = 0 ) il se retrouve avec 0 jeton et il reste avec 0 jetons
pour toutes les parties à venir ( Xn = 0 pour n > 3 ). Pour limiter les calculs supposons à partir
de maintenant que N = 3.

1. Trouvez P , la matrice des transitions,

2. Tracez le graphe associé à P ,

3. Trouvez les états récurrents et les états transitoires,

4. Déterminez les valeurs des fij , i, j ∈ S,

5. En principe le jeu arrête dès qu’un des deux joueurs se trouve avec aucun jeton. Dans ce
cas, ce joueur est le perdant et l’autre joueur est le gagnant. Quelle est la probabilité que le
jeu prenne fin en un temps fini?

6. Justifiez que si la probabilité que le jeu prenne fin en un temps fini est de 1 alors on peut
dire que f10 + f13 = 1 sans avoir à calculer f10 et f13 .

7. Déterminez la probabilité que le premier joueur gagne sachant qu’il débute la partie avec i
jetons, i ∈ S. Donnez les valeurs numériques lorsque p = 1/2.

2
 Solutionnaire

1. On pose
fij (n) = P (X1 6= j, . . . , Xn−1 6= j, Xn = j | X0 = i)

qui représente la probabilité de se rendre une première fois à l’état j en n pas sachant qu’on part
de l’état i. Notez que
∞
X
fij = fij (n).
n=1

Pour k = 1 on a P (N (j) ≥ 1 | X0 = j) = fjj par définition de fjj . Considérons k > 1. Le

rśultat se fait par induction sur k. On obtient,
∞
X
P (N (j) ≥ k | X0 = j) = P (N (j) ≥ k | X0 = j, X1 6= j, . . . , Xn−1 6= j, Xn = j)fjj (n)
n=1
X∞
= P (N (j) ≥ k − 1 | X0 = j)fjj (n)
n=1
= P (N (j) ≥ k − 1 | X0 = j)fjj

Notez que lorsque X1 6= j, . . . , Xn−1 6= j, Xn = j la varialbe N (j) compte le nombre d’apparitions

de l’état j aux instants n, n + 1, . . .. En particulier, elle compte l’apparition au temps n. Ainsi,
lorsque X1 6= j, . . . , Xn−1 6= j, Xn = j, on a N (j) ≥ k si et seulement si, l’état j apparait au moins
(k − 1) fois sur les temps n + 1, n + 2, . . .. Lorsque X0 = j la variable N (j) compte le nombre
d’apparitions de l’état j aux instants 1, 2, . . .. Elle ne compte pas l’apparition au temps 0.
De la même façon, P (N (j) ≥ 1 | X0 = i) = fij par définition de fij . Pour k > 1, on a
∞
X
P (N (j) ≥ k | X0 = i) = P (N (j) ≥ k | X0 = i, X1 6= j, . . . , Xn−1 6= j, Xn = j)fij (n)
n=1
X∞
= P (N (j) ≥ k − 1 | X0 = j)fij (n)
n=1
= P (N (j) ≥ k − 1 | X0 = j)fij
k−1
= fjj fij

2. On a
(0)
1. i ↔ i car pii = 1.
(r) (s) (s) (r)
2. Si i ↔ j alors il existe r, s ≥ 0 tels que pij , pji > 0 et pji , Pij > 0 d’où j ↔ i.
(r) (s) (r+s) (r) (s)
3. Si i ↔ j et Si j ↔ k alors il existe r, s ≥ 0 tels que pij , pjk > 0 et pik ≥ pij pjk > 0
donc i ↔ k.

Avec P1 on a le graphe suivant,

3
 1/3
1 2
1/2
1/3

1/3 3 1/2

1/2 1

1/2
5 4
1
On partitionne S1 en S1 = {1, 2} ∪ {3, 4, 5} = C1 ∪ C2 . Dans la classe C1 les états sont
transitoires car on peut quitter C1 et dès qu’on quitte C1 on n’y revient plus. Les états sont de
période 2 car M (1) = {2, 4, 6, . . .}. Dans la classe C2 les états sont récurrents car on ne peut pas
s’échapper de C2 . Les états sont de période 1 car M (4) = {2, 3, 4, . . .}.
Avec P2 on a le graphe suivant,
1 4
1/2

1/4 1/4
1/2
2 1/3 1/3
1/4
1/4 5
1

1/2 1
3 1/3
1/2
1/2 7 6
1/2
On partitionne S2 en S2 = {1, 2, 3, 4} ∪ {5, 6, 7} = C1 ∪ C2 . Dans la classe C1 les états sont
transitoires car on peut quitter C1 et dès qu’on quitte C1 on n’y revient plus. Les états sont de
période 1 car M (1) = {3, 4, 5, . . .}. Dans la classe C2 les états sont récurrents car on ne peut pas
s’échapper de C2 . Les états sont de période 1 car {1} ∈ M (7) donc M (7) = N \ {0}.

3. La matrice P est donnée par  

1 0 0 0
 q 0 p 0 
P =
 

 0 q 0 p 
0 0 0 1
Le graphe devient
p
p
1 0 q 1 2 3 1
q

4
 On a
∞ ∞
(n)
X X
p00 = 1=∞
n=1 n=1
∞ ∞
(n) (2k)
X X
p11 = p11 l’état 1 est de période 2
n=1 k=1
X∞
= (pq)k
k=1
pq
= <∞
1 − pq
∞
X (n) pq
p22 = <∞
n=1
1 − pq
∞ ∞
(n)
X X
p33 = 1=∞
n=1 n=1

Les états 0 et 3 sont récurrents et les états 1 et 2 sont transitoires.

Directement on peut dire ceci

1. f00 = 1, f0j = 0 pour j = 1, 2, 3. En partant de 0 on reste prisonnier de 0.

2. f12 = p. En partant de 1, au premier pas, on reste prisonnier de 0 si on va en 0, on visite 2

si on ne va pas à 0. En poussant le raisonnement plus loin on obtient f11 = pq.

3. f21 = q. En partant de 2, au premier pas, on reste prisonnier de 3 si on va en 3, on visite 1

si on ne va pas à 3. En poussant le raisonnement plus loin on obtient f22 = qp.

4. f33 = 1, f3j = 0 pour j = 0, 1, 2. En partant de 3 on reste prisonnier de 3.

Pour les calcul des autres fij on utilise la formule

X
fij = pij + pik fkj ,
k∈S : k6=j

Ceci donne,

f10 = q + pf20
f13 = pf23
f20 = qf10
f23 = p + qf13

On résoud pour obtenir

   
f00 f01 f02 f03 1 0 0 0
  q p2 
 f10 f11 f12 f13   1−pq pq p 1−pq

=
 
 q2 p
 f20 f21 f22 f23  
 1−pq q pq 1−pq


f30 f31 f32 f33 0 0 0 1

Les états 0 et 3 sont dits des états absorbants, on y reste prisonnier. Les états 1 et 2 sont
transitoires, si on visite l’un de ses états alors il y aura une dernière visite. Comme la chaı̂ne

5
produit une infinité de visites, on doit nécessairement se rendre à l’état 0 ou à l’état 3 à un certain
moment donné.
Partant de létat 1 on va se rendre dans la classe {0, 3} avec probabilité 1. Maintenant, c’est
impossible de visiter à la fois l’état 0 et l’état 3 lors d’une excursion. Dès qu’on visite l’un de ses
états on y reste prisonnier.
En suivant les raisonnements précédents on en arrive à ce que la probabilité que le joueur 1
gagne en partant avec i jetons devient fi3 . Pour p = 1/2 on obtient fi3 = i/3, i = 0, 1, 2, 3.