Mat 2717 hiver 2019 tp 3

1. Définissons fij (k) comme étant la probabilité que, partant de l’état i, la prochaine visite à
l’état j se fasse à l’instant k, k ≥ 1. En d’autres mots

fij (k) = P (X1 6= j, . . . , Xk−1 6= j, Xk = j | X0 = i).

Montrez les résultats suivants,

1. On a
∞
X
fij = fij (k)
k=1

pour tout i, j ∈ S.

2. (
fij si j est récurrent
P (N (j) = ∞ | X0 = i) =
0 si j est transitoire

(n) (n)
3. Si pjj −−−−→ 0 alors pij −−−−→ 0 pour tout i ∈ S.
n→∞ n→∞

4. Si j est transitoire alors

∞
X (n) fij
pij =
n=1
1 − fjj
pour tout i ∈ S.

5. Si j est récurrent alors

∞
(n)
X
pij = ∞
n=1

pour tout i ∈ S satisfaisant fij > 0.

6. Pour l’exemple de la marche aléatoire sur Z on a

X (n) X (n)
1 = lim pij > lim pij = 0 pour tout i ∈ S
n→∞ n→∞
j∈Z j∈Z

2. Soit | S |< ∞ et P la matrice des transitions. Supposons que P est diagonalisable. Soit
(1, m1 ), (λ2 , m2 ) . . . , (λk , mk ) les valeurs propres de P avec les multiplicités. Si m1 = 1 et | λi |< 1
pour i = 2, . . . , k alors, dans la décomposition spectrale

P = V ΛV −1 ,
Λ = diag(1, λ2 , . . . , λ2 , λ3 , . . . , λ3 , . . . , λk , . . . , λk ),
vi1 = 1 pour tout i ∈ S

les éléments qui forment la première ligne de V −1 produisent une loi stationnaire pour la chaı̂ne.
Justifiez que dans notre cas la loi stationnaire est unique.

1
3. Reprenons le numéro 1 du TP1. Soit S = {1, 2, 3}. Considérons une chaı̂ne de Markov sur S
dont la matrice des probabilités de transition est donnée par
 
0 1/2 1/2
P =  1/3 1/3 1/3 
 
1/4 1/4 1/2

1. Montrez que la chaı̂ne est irréductible,

2. Montrez que la chaı̂ne est apériodique,

3. Trouvez la loi stationnaire.

4. Considérons une chaı̂ne de Markov sur N avec probabilités de transition

1 1
pi0 = 1 − , pii+1 = , i ∈ N.
2(i + 1) 2(i + 1)

1. Montrez que la chaı̂ne est irréductible,

2. Montrez que la chaı̂ne est apériodique,

3. Trouvez la loi stationnaire.

2
 Solutionnaire

1. On a
∪∞ ∞
n=1 {Xn = j, X0 = i} = ∪k=1 {Xk = j, Xk−1 6= j, . . . , X1 6= j, X0 = i}.

La probabilité du premier evénement donne fij P (X0 = i). Dans la deuxième union les événements
sont incompatibles donc la probabilité de l’union est la somme des probabilités.
On a

{N (j) = ∞} = ∩k≥1 {N (j) ≥ k}, {N (j) ≥ k} ⊃ {N (j) ≥ k + 1}, suite emboitée

Ainsi,

P (N (j) = ∞ | X0 = i) = P (∩k≥1 {N (j) ≥ k} | X0 = i)

= lim P (N (j) ≥ k | X0 = i)
k→∞
k−1
= lim fij fjj
k→∞
(
fij si fjj = 1,
=
0 si fjj < 1.
Soit m > 0. Pour n > m on a
n
(n) (n−k)
X
pij = fij (k)pjj
k=1
m n
(n−k) (n−k)
X X
= fij (k)pjj + fij (k)pjj
k=1 k=m+1
m n
(n−k)
X X
≤ pjj + fij (k)
k=1 k=m+1
∞
(k)
X
−−−−→ fij , pour tout m > 0
n→∞
k=m+1
−−−−→ 0
m→∞
Pn
car la série k=m+1 fij (k) est à termes positifs et elle converge.
Maintenant,
∞ ∞ X
n
(n) (n−k)
X X
pij = fij (k)pjj
n=1 n=1 k=1
∞ X ∞
(n−k)
X
= fij (k)pjj
k=1 n=k
X∞ ∞
 X 
(n)
= fij (k) × pjj
k=1 n=0

Si j est transitoire alors

∞ ∞
(n) (n)
X X
pjj = 1+ pjj
n=0 n=1
fjj
= 1+
(1 − fjj )
1
=
(1 − fjj )

3
et si j est récurrent alors
∞
(n)
X
pjj = ∞
n=0
Pour la marche aléatoire sur Z on a
(2k+1)
pii = 0
−−−−→ 0
k→∞

(2k) (4pq)k
lim pii = lim √
k→∞ k→∞ πk
= 0
(n) (n)
donc pii −−−−→ 0 pour tout i ∈ Z ce qui entraı̂ne pij −−−−→ 0 pour tout i, j ∈ Z.
n→∞ n→∞
De plus P est une matrice stochastique donc P n est aussi une matrice stochastique pour tout
n ≥ 1.

2. Soit u le vecteur colonne avec tous des 1 et π le vecteur ligne donné par la première ligne de
V −1 . Dans les conditions qu’on se donne
 
1 0 0 ... 0 0 0
 0 0 0 ... 0 0 0 
 
 
 0 0 0 ... 0 0 0 
 . . . . .. ..
 
n
Λ −−−−→  .. .. .. . . . .. et P n −−−−→ uπ.

n→∞  . . 
 n→∞
 0 0 0 ... 0 0 0 
 
 
 0 0 0 ... 0 0 0 
0 0 0 ... 0 0 0
On veut montrer que πP = π. Notons que
1. π est la première ligne de V −1

2. πP est la première ligne de V −1 P .

3. V −1 P = V −1 V ΛV −1 = ΛV −1 .

4. La première ligne de Λ est (1, 0, . . . , 0),

5. La première ligne de ΛV −1 est donc la première ligne de V −1 .

Ceci montre que πP = π. Puisque V −1 V = 1 on a πu = 1 donc i∈S π = 1. Il reste à montrer
P

que πi ≥ 0 pour tout i ∈ S. Soit ν une loi initiale quelconque. Les composantes de νP n sont
toutes positives ou nulles car P n est une matrice stochastique pour tout n ≥ 1. On obtient

νP n −−−−→ νuπ = π
n→∞

donc chacune des composantes de π est la limite d’une suite de valeurs positives ou nulles. Il faut
que les composantes de π soient aussi positives ou nulles. L’unicité de la loi stationnaire vient du
fait que la valeur propre 1 est de multiplicité 1.
Voici un autre argument pour justifier l’unicité. Si ν est une loi stationnaire alors

νP n = ν pour tout n
ν = lim νP n
n→∞
= π

4
3. La chaı̂ne est irréductible car 1 → 2 → 3 → 1. La chaı̂ne est apériodique car elle est irréductible
et M (2) = 1. Du numéro 2 de ce TP et du numéro 1 tu TP1 on trouve
2 3 4
π = ( , , ).
9 9 9

4. La chaı̂ne est irréductible car i → 0 → i pour tout i ∈ S. La chaı̂ne est apériodique car elle
est irréductible et M (0) = 1. Pour trouver la loi stationnaire il faut trouver une solution en π
satisfaisant
P
1. πj = i∈S πi pij pour tout j ∈ S,

2. πi ≥ 0 pour tout i ∈ S
P
3. i∈S πi = 1.

On obtient,
1
πj = πj−1
2j
 1 j 1
= π0 , j > 0.
2 j!
∞
X 1

π0 = πi 1 −
i=0
2(i + 1)
∞
X 1

= 1− πi
i=0
2(i + 1)
∞  i+1
X 1 1
= 1 − π0
i=0
2 (i + 1)!
√

= 1 − π0 e − 1
√
0 = 1 − eπ0
√
π0 = 1/ e
 1 j 1
πj = √ , pour tout j ∈ S
2 ej!