MAT2717

Processus stochastiques
Examen intra, le jeudi 21 février 2019, de 13h30 à 15h30

Directives: aucune documentation permise. La calculatrice est autorisée.

# 1 ( 15 points ) Donnez les définitions de

1. état récurrent,

2. état apériodique,

3. loi stationnaire.

#2 ( 15 points ) Dans les notations du cours que signifient les expressions suivantes,
(n)
1. pij ,

2. fij ,

3. i → j, pour i 6= j.

#3 ( 10 points ) Soit S = {1, 2, 3} un espace d’états pour une chaı̂ne de Markov. Trouvez une
matrice stochastique et tracez le graphe correspondant pour les situations suivantes,

1. Les états 1 et 2 sont périodiques et transitoires.

2. Les états 1 et 2 sont périodiques et récurrents.

#4 ( 10 points ) Soit {Xn : n ≥ 0} une chaı̂ne de Markov irréductible à valeurs dans S. Montrez
que s’il existe i ∈ S qui est récurrent alors les états de S sont tous récurrents.

PASSEZ AU VERSO
#5 ( 50 points ) Soit Y0 , Y1 , . . . une suite de variables aléatoires indépendantes de loi uniforme sur
{1, 2, 3, 4, 5, 6}, ( P (Yn = i) = 1/6, i = 1, . . . , 6, pensez aux lancers d’un dé ). Posons

Xn = max(Y0 , . . . , Yn ), n ≥ 0.

Posons τi6 le temps d’attente moyen pour se rendre à l’état 6 en partant de l’état i, i = 1, . . . , 6.

1. Quelle est la loi initiale de la chaı̂ne?

2. Montrez que la matrice des transitions P est donnée par

 
1/6 1/6 1/6 1/6 1/6 1/6
 0 2/6 1/6 1/6 1/6 1/6 
 
 0 0 3/6 1/6 1/6 1/6 
P =  0

 0 0 4/6 1/6 1/6 

 0 0 0 0 5/6 1/6 
0 0 0 0 0 1

3. Classifiez les états.

4. Déterminez un système d’équations linéaires à résoudre pour trouver τi6 , i = 1, . . . , 6 et vérifiez

que 
6 si i = 1, . . . , 5
τi6 =
0 si i = 6
est solution de votre système d’équations linéaires. (Remarque: Notez qu’il n’est pas sur-
prenant d’obtenir τ16 = · · · = τ56 = 6 car p16 = · · · = p56 = 1/6 ).

5. Montrez comment, sans faire de calculs, on arrive à établir que


0 si 1 ≤ j < i ≤ 6
fij =
j/6 si 1 ≤ i = j ≤ 6

6. ( bonus: 10 points additionnels ) Il reste à établir que fij = 1/(7 − j) pour 1 ≤ i < j ≤ 6.
Pour y arriver montrez, dans l’ordre, les résultats suivants,

fi i+1 = 1/(6 − i), i = 1, . . . , 5

fi i+2 = 1/(5 − i), i = 1, . . . , 4
fi i+3 = 1/(4 − i), i = 1, . . . , 3
fi i+4 = 1/(3 − i), i = 1, 2
f1 6 = 1

François Perron
 Solutionnaire

1) On a
P∞
1.1 i est récurrent si n=1 P (Xn = i | X0 = i) = ∞.

1.2 i est apériodique si pgcd{n : P (Xn = i | X0 = i) > 0} = 1. La définition s’applique pour les
états i qui satisfont fii > 0.

1.3 π est une loi stationnaire si

πi ≥ 0 pour tout i ∈ S
X
πi = 1,
i∈S
X
πj = πi pij , pour tout j ∈ S.
i∈S

2) On a
(n)
2.1 pij = P (Xn = j | X0 = i).

2.2 fij = P (∪∞

n=1 {Xn = j} | X0 = i).

2.3 i → j signifie que fij > 0.

3.1) Considérons  
0 1/2 1/2
P =  1/2 0 1/2 
0 0 1
Le graphe devient
1
1/2
1/2 1/2
1/2 3 1

2
3.2) Considérons,
 
0 1/2 1/2
P =  1/2 0 1/2 
0 0 1
Le graphe devient
1 1/2
1 2 3
1/2 1
4) Soient i, j, r, s tels que
∞
X (n)
pii = ∞
n=1
(r)
pij > 0,
(s)
pji > 0.

On obtient,
∞
X ∞
X
(n) (n)
pjj ≥ pjj
n=1 n=1+r+s
X∞
(n+r+s)
= pjj
n=1
X∞
(r) (n) (s)
≥ pij pjj pji
n=1
X∞
(r) (s) (n)
= pij pji pii
n=1
= ∞.

5.1) On a X0 = Y0 donc la loi initiale est celle de Y0 , une loi uniforme sur {1, . . . , 6}.
5.2) Pour n > 0 on a

Xn = max(Y1 , . . . , Yn )
= max(max(Y1 , . . . , Yn−1 ), Yn )
= max(Xn−1 , Yn )
pij = P (max(Y0 , Y1 ) = j | Y0 = i)
= P (max(Y1 , i) = j), indépendance entre Y0 et Y1

 0 si i > j
= P (Y1 ≤ j) = j/6 si i = j i, j = 1, . . . , 6.
P (Y1 = j) = 1/6 si i < j


5.3) Les états 1, . . . , 5 sont transitoires et l’état 6 est récurrent car fii = i/6 pour i = 1, . . . , 6. En
fait, dès qu’on quitte un des états 1, . . . , 5 on ne peut plus y revenir.
5.4) Premièrement on a τ66 = 1. Le système d’équations qu’on cherche à résoudre se fait sur les
variables τi6 , i = 1, . . . , 5 et il est de la forme,
X
τi6 = 1 + pik τk6
k6=6

1 + (i/6)τi6 + 5k=i+1 (1/6)τk6 si 1 ≤ i < 5

 P
=
1 + (5/6)τ56 si i = 5
 P5
6 + k=i+1 τk6 si 1 ≤ i < 5
(6 − i)τi6 =
6 si i = 5
On vérifie directement que τi6 = 6 pour i = 1, . . . , 5 est solution du système d’équations.
Remarque: Si pi6 = 1/6 pour i = 1, . . . , 5 alors Ti6 : le temps d’attente en partant de i pour atteindre
6, est de loi Géométrique(1/6), i = 1, . . . , 5.
5.5) On a fij = 0 pour 6 ≥ i > j ≥ 1 car, partant d’un état i, il est impossible d’accéder à un état
j dans le futur si j < i. On a fii = i/6 car, partant de l’état i, la seule possibilité de revenir en i
dans le futur est de visiter i à la première transition. En fait, si on ne revient pas en i à la première
transition alors on visite un état j avec j > i et on ne revient plus jamais en i dans le futur.
5.6) On fait une démonstration par induction sur j − i, j > i. On écrit le système des équations à
résoudre. Pour j − i = 1 on a
X
fi i+1 = pi i+1 + pi k fk i+1
k6=i+1
= pi i+1 + pi i fi i+1
fi i+1 = pi i+1 /(1 − pi i )
= 1/(6 − i), i = 1, . . . , 5,

On suppose le résultat vrai pour j − i = 1, . . . , k, k < 5. On cherche à calculer fi i+k+1 pour

i = 1, . . . , k − 5, 1 ≤ k < 5. On a
i+k
X
fi i+k+1 = pi i+k+1 + pi j fj i+k+1
j=i
i+k
X
= pi i+k+1 + pi i fi i+k+1 + pi j fj i+k+1
j=i+1
 k 
= 1 + ifi i+k+1 + /6, ( hypothèse d’induction, j = i + k + 1 )
6 − (i + k)
 k 
(6 − i)fi i+k+1 = 1+
6 − (i + k)
(6 − i)
=
6 − (i + k)