2.

CHAINES DE MARKOV SUR UN ENSEMBLE DENOMBRABLE :

2.1. Marches aléatoires

2.1.1. Définition

Une marche aléatoire sur est une chaîne de Markov à valeurs dans X= , où
d *, de distribution initiale = δ0, et de probabilités de transition satisfaisant

pij  0 si i  j ou i  j  1 (2.1.1)

La marche est dite symétrique si

1
pij  pour i  j  1
2d (2.1.2)

Les trajectoires de la marche aléatoire sont des suites de points de à distance 1,

qu’on a coutume à identifier à la ligne brisée reliant ces points.

Figure 5- Une trajectoire d’une marche aléatoire en dimension d = 2.

Figure 6- Une réalisation d’une marche aléatoire unidimensionnelle.

2.1.2. Proposition

Pour la marche aléatoire symétrique sur , les variables aléatoires Xn satisfont

n
 X n  0 et cov  X n   I (2.1.3)
d
pour tout temps n.
PROCESSUS ALEATOIRES 13
 De plus, lorsque n → ∞ on a
Xn  1 

L
 N  0, I (2.1.4)
n  d 
où L désigne la convergence en loi, et N(0, Σ) dénote la loi normale centrée de

matrice de covariance Σ.
2.1.3. Théorème

Soit  0  inf n  1: X n  0 le temps du premier retour du processus en 0.

La loi de  0 est donnée par :

 0 pour n impair

Pr ob  0  n    1 (2.1.5)
 Pr ob  X n 2  0 pour n pair
n
2.1.4. Proposition

On a :

 0    (2.1.6)

2.1.5. Proposition

Soit  i  inf n  1: X n  i

La loi de  i est donnée par

i
 Pr ob  X n  i pour n  i , i  2,....
Pr ob  i  n    n (2.1.7)

 0 sin on

2.2. Récurrence, transience et période

2.2.1. Définition

Un état i ∈ X est dit récurrent si


Pr obi  i   :  Pr obi  i  n  1 (2.2.1)
n 1

Dans le cas contraire, il est dit transient. La chaîne de Markov est appelée
récurrente, respectivement transiente, si tous ses états sont récurrents,
respectivement transients.

PROCESSUS ALEATOIRES 14
 2.2.2. Proposition

Pour tout i, j ∈ X et tout temps n ∈ on a la relation

n
Pr obi  X n  j :  Pr obi  i  m Pr ob j  X n m  j (2.2.2)
m 1

2.2.3. Théorème

Les deux conditions suivantes sont équivalentes :

a) L’état i est récurrent ;
b) On a


 Pr ob  X
n 0
i n  i   (2.2.3)

2.2.4. Proposition

La marche aléatoire symétrique sur d est récurrente pour d = 1 et d = 2 et transiente

pour d ≥ 3.
2.2.5. Définition

La période d’un état i ∈ X est le nombre

di  p gcd n  1: Pr obi  X n  i  0 (2.2.4)

Si di = 1, on dit que l’état i est apériodique. Si tout i ∈ X est apériodique, on dit que la

chaîne est apériodique.

2.2.6. Remarque

Une chaîne régulière est apériodique.

2.3. Distributions stationnaires
On considère une chaîne de Markov irréductible sur un ensemble dénombrable X,

de matrice de transition P  pij  

i , jX
.

2.3.1. Définition

Une distribution de probabilité π sur X est dite stationnaire si elle satisfait

 j    i pij j  X (2.3.1)
iX

Plus généralement, une mesure µ sur X (qui n’est pas nécessairement une mesure de

probabilité) satisfaisant
 j   i pij j  X (2.3.2)
iX

est appelée une mesure invariante de la chaîne.

PROCESSUS ALEATOIRES 15
 2.3.2. Proposition

Soit  i  le nombre moyen de passages en i entre deux passages en k :

k

 k 
 i k   k   1 X n i  (2.3.3)
 n 1 
Si la chaine est une chaîne irréductible et récurrente alors on a ∀ k X

a)  k k   1 ;
b)   k  est une mesure invariante ;

c) Pour tout i X, on a 0   i    ;
k

d)   k  est l’unique mesure invariante telle que  k k   1 .

2.3.3. Théorème
Pour une chaîne de Markov irréductible, les propriétés suivantes sont équivalentes :
a) Il existe une distribution stationnaire ;
b) Il existe un état k X tel que

k : k  k   
c) La relation précédente est vérifiée pour tout k X.

De plus, si ces propriétés sont vérifiées, alors la distribution stationnaire est unique, et
donnée par

1
i  , i X (2.3.4)
i

2.3.4. Définition

Un état i X tel que

i  i   
est appelé récurrent positif. Un état récurrent i qui n’est pas récurrent positif est
appelé récurrent nul. La chaîne est dite récurrente positive si tous ses états le sont.
C’est par exemple le cas s’il existe un tel état, et que la chaîne est irréductible.
Une chaîne irréductible admet donc une distribution stationnaire si et seulement si
elle est récurrente positive.
2.3.5. Exemple

Les marches aléatoires sur d n’admettent pas de distribution stationnaire. En effet,

si π était une distribution stationnaire, l’invariance par translation impliquerait que tout

PROCESSUS ALEATOIRES 16
 translaté de π serait encore une distribution stationnaire. Mais nous savons que si une
telle distribution existait, alors elle serait unique. π devrait donc être uniforme, mais il
n’existe pas de mesure de probabilité uniforme sur d.

Par contre, toutes les mesures uniformes sont invariantes. Les fonctions pas
nécessairement positives satisfaisant la relation de la définition 2.3.1 dans le cas
d’une marche aléatoire symétrique sont appelées harmoniques. Toutes les fonctions
affines sont harmoniques, mais en dimension supérieure ou égale à 2, il y en a
beaucoup d’autres.
2.3.6. Théorème

La marche aléatoire symétrique est récurrente nulle en dimensions d = 1 et d = 2.

2.4. Convergence vers la distribution stationnaire

Dans le cas fini, nous avons montré que si la chaîne était régulière, alors la loi de Xn
convergeait vers la distribution stationnaire. Dans le cas d’un espace infini, une
chaîne de Markov ne peut jamais être régulière : les probabilités de transition étant
sommables, elles ne peuvent être minorées par une quantité strictement positive. Il
s’avère toutefois que la récurrence positive et l’apériodicité suffisent à garantir la
convergence vers la distribution stationnaire.
2.4.1. Théorème

Soit {Xn}n>0 une chaîne de Markov irréductible, apériodique et récurrente positive,

et soit π son unique distribution stationnaire. Alors pour toute distribution

initiale ν, on a lim Pr ob  X n  j   j j X (2.4.1)

n 

Bibliographie

[1] Nils Berglund, Processus aléatoires et applications. DEA. Université d’Orléans, 2010,
pp.99. ffel-00439562v2f

[2] Carl Graham, Chaînes de Markov : Cours, exercices et corrigés détaillés, Dunod,
Paris, 2008

[3] Mario Lefebvre, Processus stochastiques appliqués, Editions Hermann, 2006

[4] Sabin Lessard, Processus stochastiques : Cours et exercices corrigés, Editions Ellipses,
2014

[5] Nicolas Privault, Understanding Markov Chains : Examples and Applications,

2nd edition, Springer Nature Singapore Pte Ltd. 2018

PROCESSUS ALEATOIRES 17