École Supérieure Privée d’Ingénierie et de Technologies

Probabilité II
Correction de la série d’exercices n˚4 :Chaı̂ne de Markov à temps discret
Exercice n˚1

Niveau : 4ème année D.S Année universitaire : 2019-2020

Correction de l’exercice 1 :
Soit (Sn )n≥0 une marche aléatoire sur l’ensemble Z issue de 0.
1. Montrer que (Sn + n)n≥0 est une chaı̂ne de Markov et donner sa matrice de transition P1 .
On rappelle tout d’abord la notion d’une marche aléatoire simple :
Considérons une suite de v.a. (Xn )n≥1 i.i.d. dont la loi commune est définie par :

P (X1 = 1) = p et P (X1 = −1) = 1 − p

et une quantité initiale (déterministe ou aléatoire) X0 ∈ {+1, −1} indépendante des v.a. Xn .
On définit la marche aléatoire simple par : pour tout n ∈ N,

Sn+1 = Sn + Xn+1
= X0 + X1 + · · · + Xn + Xn+1 ,

D’après l’exemple générique du cours (Sn )n est une chaı̂ne de Markov.

Montrons que (An = Sn + n)n≥0 est une chaı̂ne de Markov :
On a

An+1 = Sn+1 + n + 1 = Sn + Xn+1 + n + 1 = An + Xn+1 + 1 = H(An , Xn+1 )

Donc (An = Sn + n)n≥0 est une chaı̂ne de Markov.

Pour sa matrice de transition :

  
P (x, y) = P An+1 = y An = x
  
= P Sn+1 + (n + 1) = y Sn + n = x
  
= P Sn+1 = y − (n + 1)Sn = x − n
   
= P Sn+1 − Sn = y − x − 1 = P Xn+1 = y − x − 1

 p, si y = x + 2,
= 1 − p, si y = x
0, sinon.


1
3. Montrer que (S2n )n≥0 est une chaı̂ne de Markov et donner sa matrice de transition P3 .
Soit (An = S2n )n≥0 . On a

An+1 = S2n+2 = X0 +X1 +· · ·+X2n +X2n+1 +X2n+2 = S2n +X2n+1 +X2n+2 = H(An , X2n+1 , X2n+2 ).

Donc (An )n≥0 est une chaı̂ne de Markov. Pour sa matrice de transition
  
P (x, y) = P An+1 = y An = x
= P(S2n+2 = y|S2n = x)
= P(S2n+2 − S2n = y − x)
= P(X2n+2 + X2n+1 = y − x)
p2 , si y = x + 2,


(1 − p)2 , si y = x − 2


=

 2p(1 − p), si y = x
0, sinon.
