CHANES DE MARKOV

Prparation lAgrgation Bordeaux 1

Anne 2012 - 2013

Jean-Jacques Ruch-Marie-Line Chabanol

 Table des Matires

Chapitre I. Chanes de Markov 5

1. Dfinition 5
2. Exemples 7
3. La relation de Chapman-Kolmogorov 9
4. Classification des tats 12
5. Priodicit 13
6. Etats rcurrents et transients 14
7. Lois de probabilits stationnaires 18
7.A. Chanes de Markov espace dtats fini : lois invariantes 19
7.B. Retour au cas gnral : tats rcurrents nuls et tats rcurrents positifs 22
7.C. Cas gnral : retour aux mesures stationnaires 23
7.D. Cas gnral : convergence, thorme ergodique 26
 CHAPITRE I

Chanes de Markov

Ce chapitre est fortement inspir des livres de Bercu (modlisation stochastique et simulation), Toulouse
(Thmes de probabilits et statistique) et Foata-Fuchs (Processus stochastiques)
Les chanes de Markov constituent un des exemples les plus simples de suites de variables alatoires
(Xn ). Les variables (Xn ) sont valeurs dans un ensemble E appel espace dtat. Certaines chanes de
Markov sont espace dtats continu, mais nous naborderons pas leur tude ici. Nous nous intresserons
uniquement aux chanes espace dtats fini ou dnombrable. Dans toute la suite E sera donc un ensemble
fini ou dnombrable (N ou un sous-ensemble), que lon munira de la tribu de toutes ses parties.

1. Dfinition

Soit (Xn )n0 une suite de variables alatoires valeurs dans un ensemble au plus dnombrable E. La loi de
la suite (Xn )n0 est une loi sur E N muni de la tribu engendre par les cylindres. En vertu dun thorme
de Carathodory, la loi de la suite (Xn )n0 est caractrise par ses lois marginales de dimension finie,
cest--dire par la loi des vecteurs alatoires (X0 , . . . , Xn ) pour tout n N. Or, E est au plus dnombrable,
et donc la loi de (X0 , . . . , Xn ) est caractrise son tour par la donne de P(Xn = xn , . . . , X0 = x0 ) pour
tout (x0 , . . . , xn ) dans E.

Dfinition 1. Une suite (Xn )n0 de variables alatoires valeurs dans un ensemble au plus
dnombrable E est une chane de Markov despace dtats E si et seulement si pour tout k N,
pour tout (x0 , . . . , xk+1 ) dans E tels que P(Xk = xk , . . . , X0 = x0 ) > 0,
P(Xk+1 = xk+1 |Xk = xk , . . . , X0 = x0 ) = P(Xk+1 = xk+1 |Xk = xk ).
Cela scrit galement
L(Xk+1 |Xk = xk , . . . , X0 = x0 ) = L(Xk+1 |Xk = xk )
pour tout k N.
La chane est dite homogne si on a de plus pour tout k N et tout x et y dans E,
P(Xk+1 = y|Xk = x) = P(X1 = y|X0 = x).

Remarque : En toute rigueur il faudrait faire attention quand les vnements par lesquels on conditionne
peuvent tre de probabilits nulles. De fait dans les problmes de modlisation, les chanes de Markov
sont donnes par la loi de X0 et par toutes les probabilits de transition et les problmes ne se posent
pas.
Lindice n de la suite (Xn )n0 est interprt comme un temps. La variable Xk reprsente la position
spatiale linstant k, la tribu (X0 , . . . , Xk1 ) reprsente son pass tandis que la tribu (Xk+1 , Xk+2 , . . . )
reprsente son futur. Les chanes de Markov sont des suites alatoires sans mmoire, en quelque sorte.
Dans lvolution au cours du temps, ltat du processus un instant futur ne dpend que de celui
linstant prsent, mais non de ses tats antrieurs.
On dit souvent que conditionnellement au prsent, pass et futur sont indpendants.
Dans toute la suite, les chanes Markov considres seront toutes homognes et espace dtats au plus
dnombrable.
6 Chapitre I. Chanes de Markov

Dfinition 2. On appelle probabilit de transition pour aller de ltat x ltat y la probabilit

px,y = P(Xk+1 = y|Xk = x) (= P(X1 = y|X0 = x)) .

Lemme 3. On note 0 la loi de X0 (0 (x0 ) = P(X0 = x0 )). On a alors pour tous (x0 , . . . , xn ) dans E
n1
Y
P(Xn = xn , . . . , X0 = x0 ) = 0 (x0 ) pxk ,xk+1 .
k=0

Dmonstration. Par conditionnements successifs :

P(Xn = xn , . . . , X0 = x0 ) = P(X0 = x0 )P(X1 = x1 |X0 = x0 )P(X2 = x2 |X1 = x1 , X0 = x0 ) . . . P(Xn =
Qn1
xn |Xn1 = xn1 , . . . , X0 = x0 ) = (x0 ) k=0 pxk ,xk+1 . 

Dfinition 4. On appelle matrice de transition la matrice P = (px,y )x,yE :

px0 ,x0 px0 ,x1 px0 ,x2
P = px1 ,x0 px1 ,x1 px1 ,x2 .

.. .. ..
. . .

Daprs le lemme prcdent, la loi dune chane de Markov est caractrise par la loi 0 de X0 et par
sa matrice de transitition.

Cest une matrice finie ou dnombrable, suivant que lensemble des tats est fini ou dnombrable.

Proposition 5. Toute matrice de transition vrifie les proprits suivantes :

de E, 0 px,y 1 ;
(1) pour tout couple (x, y) P
(2) pour tout x E, on a yE px,y = 1.

Dmonstration. Les nombres px,y sont des probabilits, donc le premier point est vident. Le
second point dcoule du fait quon somme les probabilits sur toutes les valeurs possibles dune variable
alatoire. 

Une matrice qui vrifie les deux points ci-dessus est appele matrice stochastique.

Proposition 6. Soit P une matrice stochastique. Alors

(1) P admet 1 comme valeur propre ;
(2) le vecteur V ayant toutes ses composantes gales 1 est un vecteur propre associ cette valeur
propre.

Dmonstration. Il suffit de multiplier la matrice P par le vecteur V . 

Lemme 7. On identifiera une probabilit sur E et le vecteur ligne dont la ime coordonne est
(xi ).
Soit Xn est une chane de Markov de matrice de transition P, et soit 0 la loi de X0 . Alors la loi de
X1 est 1 = 0 P, et pour tout entier n, la loi de Xn est n = 0 P n .
En particulier, si la chane part de xi , 0 = (0, . . . , 0, 1, 0 . . . , 0) et P(Xn = xj ) = P(Xn = xj |X0 =
n
xi ) = Pi,j .
 2. Exemples 7

Dmonstration.
P Pxi de E,
Pour le premier point, on a pour tout
P(X1 = xi ) = xj E P(X1 = xi |X0 = xj )P(X0 = xj ) = xj E 0 (xj )Pj,i = (0 P)i . (en posant par
convention P (A|B)P (B) = 0 si P (B) = 0).
Ensuite on peut procder par rcurrence. On note (Qn ) la proposition n = 0 P n . On vient de prouver
n
Q1 . Il reste vrifier
P lhrdit. Soit n > 0. On suppose n = P0 P . Alors pour tout xi de E,
P(Xn+1 = xi ) = xj E P(Xn+1 = xi |Xn = xj )P(Xn = xj ) = xj E n (j)Pj,i = 0 P n+1 . 

Ainsi lvolution de la loi de Xn se ramne en fait de lalgbre linaire.

A toute matrice de transition, on peut associer un graphe dirig, ventuellement infini. Les sommets du
graphe sont les diffrents tats de la chane. Il y a une flche, tiquete px,y , entre le sommet x et le
sommet y si et seulement la probabilit de transition est strictement positive : px,y > 0. La chane peut
alors sinterprter comme une marche alatoire sur le graphe.
On verra plus tard que les composantes fortement connexes du graphe joueront un grand rle, notamment
les composantes fermes.

2. Exemples

Il y a des modles classiques de chanes de Markov homognes, souvent rencontrs, avec lesquels il est
bon de se familiariser ds le dbut, en voici quelques-uns.
La chane deux tats.
Si on exclut le cas trivial, la matrice de transition correspondante est de la forme
 
1
P= 0 < , < 1.
1
Elle permet de faire des calculs explicites : pour tout n 0, on peut valuer la nime puissance P n , ainsi
que la limite limn P n (exercice), et donc dterminer explicitement la loi de Xn .
Le graphe associ est trs simple. Il a une seule composante fortement connexe, ferme.

1 1

8 Chapitre I. Chanes de Markov

Le modle de diffusion dEhrenfest

Deux urnes A et B contiennent, elles deux , a boules, numrotes de 1 a. A chaque instant, on

choisit une boule de faon uniforme, et on la change durne. Xn correspond alors au nombre de boules
contenues dans lurne A linstant n : lensemble des tats est donc lensemble E = {0, 1, . . . , a}. Dans
ces conditions, par exemple, si un instant lurne A est vide (la chane est dans ltat 0), linstant
suivant lurne contiendra 1 boule avec probabilit 1.
Si un instant A contient i boules, 0 < i < a, linstant suivant elle contiendra i 1 ou i + 1 boules,
avec probabilit respectivement ai et di
a . La matrice de transition est donc donne par

0 1 0 0 0 0 0
1/a
0 (a 1)/a 0 0 0 0


0 2/a 0 (a 2)/a 0 0 0

P= .

.. .. .. .. .. .. ..
..

. . . . . .
.
0 0 0 0 (a 1)/a 0 1/a
0 0 0 0 0 1 0

et le graphe par :

L encore il ny a quune composante fortement connexe.

Si X0 = a, le processus (Xn )n0 est une description simplifie de la diffusion dun gaz dun rcipient A
vers un rcipient B initialement vide (chaque boule reprsente une molcule).

Promenade au hasard (ou marche alatoire) sur Z

On considre une chane de Markov homogne, despace dtats E = Z = {0, 1, 2, . . .} et de matrice

de transition P = (px,y ) (x, y Z), avec pour tout (x, y) Z2 ,

p, si j = i + 1
px,y = 1 p, si j = i 1
0, dans les autres cas

o p est un nombre fix tel que 0 < p < 1. Un tel processus est appel promenade alatoire (ou marche
alatoire) sur Z. Son graphe peut tre dcrit comme suit :
 3. La relation de Chapman-Kolmogorov 9

L encore, le graphe a une seule composante fortement connexe.

Le modle de la ruine du joueur
Un joueur A joue contre un joueur B une suite de parties de pile ou face (avec une pice ventuellement
pipe), indpendantes. Au dpart, A possde a euros, et B b : la somme totale de leurs fortunes est de
a + b euros. A chaque partie on convient que le joueur A gagne 1 euro si le rsultat est pile, sinon il perd
un euro. La probabilit dobtenir pile est p avec 0 < p < 1. Le jeu sarrte ds que lun des joueurs est
ruin. Pour chaque n 1, on dsigne par Xn la fortune du joueur A lissue de la nime partie. La suite
(Xn )n0 est une chane de Markov, dont lensemble des tats est E = {0, 1, . . . , a + b}.
Sa matrice de transition est donne par

1 0 0 0 0 0 0
q 0 p
9 0 0 0
0 q 0 p . . . 0 0 0
P = . . ..

. . . .
.. .. .... .. .. .. ..


0 0 0 0 q 0 p
0 0 0 0 0 0 1
et son graphe par

Les tats 0 (ruine de A) et a + b (ruine de B) sont dits absorbants : quand on est dessus, on nen sort
plus.
Cette fois, le graphe a 3 composantes fortement connexes, dont deux seulement sont fermes.

3. La relation de Chapman-Kolmogorov

On appelle ainsi la proprit qui relie, pour une chane de Markov homogne, les probabilits de transition
en n tapes aux probabilits en une seule tape.
On note (Xn )n0 une chane de Markov homogne, dont lensemble des tats est E et la matrice de
(n)
transition P = (pi,j )(i,j)E 2 . Pour n 0 et i, j E on dsigne par pi,j la probabilit, partant de ltat i
linstant 0, dtre dans ltat j linstant n ; en dautres termes on a :
(n)
pi,j = P(Xn = j|X0 = i)
(n) n
Comme on la vu dans le lemme 7, pi,j correspond P(i,j) .
On peut facilement vrifier :

Proposition 8. Pour tout n 0 la matrice P n est stochastique.

10 Chapitre I. Chanes de Markov

Dmonstration. En effet, pour tout i E, on a :

X (n) X
pi,j = P(Xn = j|X0 = i) = 1.
jE jE

Ainsi, pour tout k 1 fix, la suite (Xkn )n0 est une chane de Markov, ayant mme ensemble dtats E
et dont la matrice de transition est P k .
La relation de Chapman-Kolmogorov qui suit peut sinterprter en disant que pour passer de i j en
m + n tapes il a bien fallu en m tapes aller de i un certain k puis en n tapes aller de k j.
Proposition 9. Relation de Chapman-Kolmogorov
Pour tout (i, j) E 2 et tout couple (m, n) dentiers positifs, on a lidentit :
X
P(Xm+n = j|X0 = i) = P(Xm = k|X0 = i)P(Xn = j|X0 = k)
kE
ou encore
(m+n) (m) (n)
X
pi,j = pi,k pk,j .
kE

Dmonstration. Cette identit rsulte immdiatement de lassociativit du produit matricielle :

P (m+n) = P m+n = P m P n = P (m) P (n) .


Les propositions suivantes sont des raccourcis de calcul souvent utiles :

Proposition 10. Soient n 0, r 1 deux entiers. Alors

P(Xn+r = jn+r ,. . . Xn+1 = jn+1 |Xn = in . . .X0 = i0 ) = P(Xn+r = jn+r ,. . . Xn+1 = jn+1 |Xn = in )
= pin ,jn+1 pjn+1 ,jn+2 . . . pjn+r1 ,jn+r

Dmonstration. Cest immdiat partir par exemple du lemme 3.



Les relations qui caractrisent les chanes de Markov peuvent scrire dune autre manire, quivalente
celles donnes prcdemment. Plus formellement, on peut gnraliser : Notons A un vnement
appartenant la tribu du pass Fn1 = (X0 , . . . , Xn1 ). Il scrit donc comme une runion dnombrable
dvnements disjoints deux deux de la forme {X0 = i0 , . . . , Xn1 = in1 }. Soit A+ un vnement
appartenant la tribu du futur (Xn+1 , Xn+2 , . . . ). On obtient alors en corollaire du rsultat prcdent :

Thorme 11.
Avec les mmes hypothses que ci-dessus, si P(A et Xn = i) > 0, alors :
P(A+ |A et Xn = i) = P(A+ |Xn = i)

2
Par exemple, P(X5 = i|X3 = j et X1 = k) = P(X5 = i|X3 = j) = Pj,i .
Par la proprit dhomognit, on peut ensuite se ramener un conditionnement par X0 ; une manire
de dire cela proprement est que conditionnellement Xn = x, la suite (Xn+m , m N) est une chane de
Markov de mme matrice de transition que (Xn ), de loi initiale x (et indpendante de (X0 , . . . , Xn1 )).
 3. La relation de Chapman-Kolmogorov 11

Notation : on notera, si A est un vnement et Z une variable alatoire, Px (A) = P(A|X0 = x) et

Ex [Z] = E[Z|X0 = x] : cela consiste travailler non pas avec (Xn ) mais avec la chane de mme matrice
de transition que (Xn ) et de loi initiale x . On lappelle aussi chane issue de x.
On va voir que la relation prcdente, dmontre pour n dterministe, est en fait vraie pour tout temps
darrt T adapt la filtration naturelle des (Xn ).
Soit T un temps darrt adapt la suite (Xn )n0 (relativement la filtration naturelle). Rappelons
quun vnement A F (tribu engendre par la runion de Fn ) appartient la tribu FT , sil a la
proprit suivante
n 0, A {T = n} Fn .

Thorme 12.
Proprit de Markov forte
Soit T un temps darrt valeurs dans [0, +] adapt la chane de Markov (Xn )n0 ,
densemble dtats E et de matrice de transition P = (pi,j )(i,j)E 2 . Soient i un lment de
E et A un lment de la tribu FT tel que P(T < +, A, XT = i) > 0. Alors on a lidentit :
P(XT +1 = j1 , . . . , XT +r = jr |T < +, A, XT = i) = P(X1 = j1 , . . . , Xr = jr |X0 = i)
= pi,j1 pj1 ,j2 . . . pjr1 ,jr .

Dmonstration. Posons A0 = {T < +, A, XT = i}, B = {XT +1 = j1 , . . . , XT +r = jr }, et

Bn = {Xn+1 = j1 , . . . , Xn+r = jr } pour n 0. Il sagit de prouver :
P(B|A0 ) = pi,j1 pj1 ,j2 . . . pjr1 ,jr .
ou encore que P(A0 B) = pi,j1 pj1 ,j2 . . . pjr1 ,jr P(A0 ). On a :
X X
P(A0 B) = P(T = n, A, XT = i, B) = P(T = n, A, Xn = i, Bn )
n0 n0
0
X
= P(Bn |T = n, A, Xn = i)P(T = n, A, Xn = i).
n0
P0
o dans la dernire somme on na gard ( ) que les termes tels que P(T = n, A, Xn = i) > 0. Pour
ces termes, puisque {T = n, A} Fn on peut appliquer la proprit de Markov (dterministe) vu
prcdemment. On a donc
P(Bn |T = n, A, Xn = i) = P(Bn |Xn = i) = P(Xn+1 = j1 , . . . , Xn+r = jr |Xn = i)
= pi,j1 pj1 ,j2 . . . pjr1 ,jr
On en dduit que
X
P(A0 B) = pi,j1 pj1 ,j2 . . . pjr1 ,jr P(T = n, A, Xn = i)
n0
= pi,j1 pj1 ,j2 . . . pjr1 ,jr P(T < +, A, XT = i)
et donc le rsultat. 

Cette formule est particulirement utile, lorsquon prend pour temps darrt le temps datteinte Ti =
inf {n 1/Xn = i} de la chane pour ltat i. Si Ti < , on a automatiquement XTi = i ; donc la formule
devient :
P(XTi +1 = j1 , . . . , XTi +r = jr |Ti < +, A) = P(X1 = j1 , . . . , Xr = jr |X0 = i)
= pi,j1 pj1 ,j2 . . . pjr1 ,jr .

On en tire le corollaire suivant, trs utile :

12 Chapitre I. Chanes de Markov

Corollaire 13. Soit Ti = inf {n 1 : Xn = i}. Conditionnellement lvnement {Ti < +}, la
suite translate (XTi +n )n0 est un chane de Markov de matrice de transition P et dtat initial i. De
plus cette suite est indpendante de la tribu FT .

4. Classification des tats

Nous allons dfinir une classification des tats et en dduire des proprits des chanes de Markov. Les
tats dune chane de Markov se rpartissent en classes que lon dfinit partir de la matrice de transition.

Dfinition 14. On dit que ltat j est accessible partir de ltat i, sil existe un entier n 0 tel que
(n)
pi,j > 0. On note i j.
Sur le graphe, si i 6= j, i j sil existe un chemin (orient) du sommet i vers le sommet j.

Proposition 15. La relation daccessibilit entre tats est rflexive et transitive.

(0)
Dmonstration. Comme pi,i = P(X0 = i|X0 = i) = 1 pour tout tat i, la relation est rflexive.
(m) (n)
Ensuite, si i j et j l, alors pi,j > 0 et pj,l > 0 pour certains entiers m, n 0. Daprs le corollaire
9, on a :
(m) (n)
X
P(Xm+n = l|X0 = i) = P(Xm = k|X0 = i)P(Xn = l|X0 = k) pi,j pj,l > 0
kE

do i l. 

Proposition 16. Soient i, j deux tats ; les deux proprits suivantes sont quivalentes :
a) ltat j est accessible partir de ltat i, soit i j
b) le processus, partant de i, passe par j avec probabilit strictement positive.

Dmonstration. Dabord, a) b) est vident. Pour lautre implication, montrons non a) non
(n)
b). On a donc pour tout n 0, pi,j = 0. Soit A lvnement le processus passe par j. On a
X X (n)
P(A|X0 = i) = P(n0 {Xn = j}|X0 = i) P(Xn = j|X0 = i) = pi,j = 0.
n0 n0

do la proprit b). 

Dfinition 17. On dit que les tat i et j communiquent et on crit i j si on a la fois i j et

j i.

Proposition 18. La relation de "communication" est une relation dquivalence.

Dmonstration. Les proprits de rflexivit et de transitivit tant dj vrifies pour la relation

daccessibilit, elles restent naturellement encore valables pour la nouvelle relation. Enfin, cette dernire
est symtrique par construction. 
 5. Priodicit 13

(0)
Comme on a toujours pi,i = 1, tout tat communique avec lui mme.

Les classes dquivalence de cette relation sont les composantes fortement connexes du graphe. On les
appelle souvent composantes irrductibles ou classes irrductibles.
Si C1 et C2 sont deux classes distinctes, on peut ventuellement aller, disons de C1 C2 , mais on ne peut
alors retourner de C2 C1 . En revanche, tous les tats dune mme classe communiquent.
Certaines classes peuvent ne comporter quun seul lment : cest par exemple le cas si i un tat absorbant
(n)
i.e. pi,i = 1 (ce qui entrane pour n 0 pi,i = 1).
Une classe C1 telle que i C1 , j
/ C1 , pi,j = 0 est une classe close : sur le graphe, cela signifie quaucune
arte ne sort de la classe.

Dfinition 19. Sil ny a quune seule classe pour la relation de communication, autrement dit, si
tous les tats communiquent entre eux, la chane est dite irrductible.

Exemple 0.
La marche alatoire sur Z est irrductible (tous les tats communiquent)
Exemple 1.
Considrons la chane de Markov, dont lensemble des tats est E = {0, 1, 2}, la matrice de transition

1/2 1/2 0
P = 1/2 1/4 1/4
0 1/3 2/3

Cette chane est irrductible. Tous les tats communiquent, mme si p0,2 = p2,0 = 0.

Exemple 2.
Considrons la chane de Markov, dont lensemble des tats est E = {0, 1, 2, 3}, la matrice de transition

1/2 1/2 0 0
1/2 1/2 0 0
P= 1/4 1/4 1/4 1/4

0 0 0 1

La chane comporte trois classe {0, 1}, {2} et {3}. Ltat 3 est absorbant, ltat 2 nest plus visit aprs
un certain temps. On va voir que les classes {0, 1} et {3} sont rcurrentes alors que la classe {2} est
transiente.

5. Priodicit

Il sagit dtudier dans quelles conditions le temps qui spare deux retours au mme tat j est ou nest
pas multiple dun temps minimum. Pour ce faire, on introduit la notion de priode.

Dfinition 20. Soit j E . On appelle priode de j, et on note d(j), le P.G.C.D. de tous les entiers
(n)
n 1 pour lesquels pj,j > 0 (par convention, pgcd() = +)
(n)
d(j) = pgcd(n 1, pj,j > 0)
Si d(j) = d 2, on dit que j est priodique de priode d. Si d(j) = 1, on dit que j est apriodique.
Une chane apriodique est une chane de dont tous les tats sont apriodiques.

En particulier, si pii > 0 (le graphe possde alors une boucle), i est apriodique.
14 Chapitre I. Chanes de Markov

Thorme 21.
Si i est priodique de priode d finie et si i j (j 6= i), alors j est aussi priodique de
priode d : la priodicit est une proprit de classe.

(n) (m)
Dmonstration. Si i j, alors il existe deux entiers n et m tels que pi,j > 0 et pj,i > 0. Comme
(s)
i est de priode d(i) = d, il existe un entier s 1 (s est un multiple de d 1) tel que pi,i > 0. On a donc
(m+s+n) (m) (s) (n) (s) (2s) (m+2s+n)
pj,j pj,i pi,i pi,j > 0. Comme pi,i > 0 entrane pi,i > 0, on a aussi pj,j > 0. La priode
de j divise donc la fois m + s + n et m + 2s + n, donc aussi leur diffrence s. En particulier elle divise
la priode d(i) de i. De la mme faon on montre que d(i) divise d(j) et donc que d(i) = d(j). 

Exemple 1.
Considrons la chane de Markov, dont lensemble des tats est E = {0, 1, 2}, la matrice de transition

0 1 0
P = p 0 1 p
1 0 0
avec 0 < p < 1.
On vrifie avec le graphe quil y a une seule classe (rcurrente), la chane est irrductible. Tous les tats
communiquent. De plus les lacets 0 1 0 et 0 1 2 0 ont pour longueur 2 et 3 ; leur P.G.C.D.
est d = 1. Ltat 0 est donc apriodique. Par consquent, les tats 1 et 2 sont aussi apriodiques.
Exemple 2.
Considrons la chane de Markov, dont lensemble des tats est E = {0, 1, 2, 3}, la matrice de transition

0 0 1/2 1/2
1 0 0 0
P= 0 1 0

0
0 1 0 0
On peut vrifier que tous les tats communiquent il y a donc une seule classe rcurrente. Il y exactement
deux lacets issus de 0 : 0 2 1 0 et 0 3 1 0 tous deux de longueur 3. La classe est donc
priodique de priode 3.
Exemple 3.
On considre la marche alatoire simple sur Z. Elle possde une seule classe, elle est donc irrductible.
(n)
De plus on voit facilement que p0,0 > 0 si et seulement si n est pair : par consquent cette chane est
priodique de priode 2.

6. Etats rcurrents et transients

Pour tout tat j, dsignons par Tj le temps datteinte de ltat j partir de linstant 1 ; autrement dit
Tj = inf {n 1, Xn = j}
Ce temps datteinte est un temps
P darrt de la chane.
On notera galement Nj = n0 1Xn =j le nombre de passages en j (en comptant le point de dpart).
On a en particulier Pj (Tj < ) = Pj (Nj > 1).

Dfinition 22. On dit que ltat j est rcurrent si, partant de ltat j, la probabilit que la chane de
Markov retourne ltat j en un temps fini est gale 1, i.e. si Pj (Tj < +) = P(Tj < +|X0 =
j) = 1.
Sinon, lorsque P(Tj < +|X0 = j) < 1, ltat j est transient ou transitoire.
 6. Etats rcurrents et transients 15

Autrement dit si j est rcurrent, la chane repasse presque srement par j en partant de j). En revanche,
un tat transitoire est tel que P(Tj = +|X0 = j) > 0. Il y a donc une probabilit strictement positive
que la chane de Markov ne repasse jamais par ltat j.

Proposition 23. Si j est rcurrent, le nombre de passages en j en partant de j est presque srement
infini : Pj (Nj = +) = 1, et a fortiori Ej [Nj ] = .
Si j est transient, le nombre de passages en j en partant de j (cest--dire Nj conditionn par X0 = j)
suit une loi gomtrique et est donc presque srement fini, et desprance finie.
De plus, si j est transient, le nombre de passages en j en partant de i est galement p.s. fini et
desprance finie.

Dmonstration. Intuitivement, si on revient presque srement au moins une fois, on peut rpter
largument une fois quon est revenu, et on revient donc au moins deux fois, etc.
Cela suggre une dmonstration laide de la proprit de Markov forte, en faisant intervenir le temps
Tj de premier retour en j.
Soit k > 1. Alors, puisque (Nj = k) (Tj < ), on a, si P(Tj < ) 6= 0,
Pj (Nj = k) = Pj (Nj = k|Tj < )Pj (Tj < ). Or
Tj 1
X X
j j
P (Nj = k|Tj < ) = P ( 1Xn =j + 1Xn =j = k|Tj < )
n=0 n=Tj

X
= Pj (1 + 1XTj +n =j = k|Tj < )
n=0

On peut alors appliquer la proprit de Markov forte : conditionnellement Tj < , la chane (XTj +n )
a mme loi que la chane partant
P de j. Ainsi,
Pj (Nj = k|Tj < ) = Pj ( n=0 1Xn =j = k 1) = Pj (Nj = k 1).
Finalement, on a pour tout k > 1, Pj (Nj = k) = Pj (Nj = k 1)Pj (Tj < ).
La suite (Pj (Nj = k))k1 est donc gomtrique.
Si j est rcurrent : on a alors Pj (Tj < ) = 1, donc cette suite est constante. Or k1 Pj (Nj = k) =
P

Pj (Nj < ). On a donc une srie de termes constants qui converge : chaque terme est donc nul, et
finalement on a bien Pj (Nj = +) = 1.

Si j est transitoire : on a alors q := Pj (Tj < ) < 1. On en dduit pour tout k

Pj (Nj = k) = Pj (Nj = 1)q k1 . On vrifie facilement Pj (Nj = 1) = Pj (Tj = ) = 1 q. Par consquent
conditionnellement Xo = j, Nj suit bien une loi gomtrique de paramtre Pj (Tj = ), et est bien
desprance finie.
Enfin, toujours si j est transitoire : si j nest pas accessible partir i E, alors le nombre de passages
en j en partant de i est p.s. nul. Si i j et i 6= j, en notant toujours Tj le temps datteinte de j, on a
grce la proprit de Markov forte pour tout k 1 :

Pi (Nj k) = Pi (Nj k|Tj < )Pi (Tj < )

X
= Pi ( 1j (Xn )|Tj < )Pi (Tj < )
nTj

= P (Nj k)Pi (Tij < ) Pj (Nj k)

j

On en dduit le corollaire trs utile :

16 Chapitre I. Chanes de Markov

P (n)
Corollaire 24. j est rcurrent si et seulement si n0 pj,j diverge.
P (n)
j est transitoire si et seulement si n0 pj,j converge.
(n)
De plus, si j est transitoire, pi,j 0 quel que soit i.

(n)
Dmonstration. Il suffit en vertu de la proposition prcdente de vrifier Ej [Nj ] = n0 pj,j .
P

Or Ej [Nj ] = E[ n0 1Xn =j |X0 = j]. On peut permuter esprance et srie (car srie termes positifs) et
P

il vient Ej [Nj ] = n0 E[1Xn =j |X0 = j] = n0 P(Xn = j|X0 = j).

P P
(n)
Or P(Xn = j|X0 = j) = pj,j .
Enfin, si j est transitoire, on a vu que le nombre de passages en j en partant de i est desprance finie :
donc on obtient de la mme manire P :
(n)
Ei [Nj ] = n0 E[1Xn =j |X0 = i] = n0 pi,j . Cette srie converge, donc son terme gnral tend vers
P
0. 

En particulier, un tat absorbant est bien entendu rcurrent.

Exemple On considre la marche alatoire sur Z, avec p = 12 . On va vrifier que 0 est rcurrent. En effet,
(n) (2m) (2m)
on voit facilement que si n est impair, p0,0 = 0, et si n = 2m est pair, p0,0 = 2m 2m . Par la formule de

Stirling, on obtient p2m 1 . On en dduit que la srie diverge, et donc que 0 est rcurrent.
0,0 m
Par contre si p > 12 , la loi forte des grands nombres implique que Xn tend p.s. vers + : par consquent
p.s., aprs un temps fini, la suite partant de 0 ne passe plus par 0 : 0 est donc transitoire.
(n)
On peut galement faire explicitement le calcul de p0,0 dans le cas de la marche alatoire non biaise
en dimension 2 : on trouve que 0 est encore rcurrent. En dimension suprieure ou gale 3, 0 devient
transitoire.

Proposition 25. La rcurrence est une proprit de classe : si i j et si i est rcurrent alors j est
rcurrent. Il en est par consquent de mme pour la transience.

(n ) (n )
Dmonstration. Comme i j, on a pi,j1 > 0 et pi,j2 > 0 pour certains entiers n1 et n2 . On en
dduit : X (n +n+n ) X (n ) (n) (n ) (n ) (n )
X (n)
pj,j1 2
pj,i2 pi,i pi,j1 = pj,i2 pi,j1 pi,i = +
n n n


On peut donc parler de classe rcurrente et de classe transiente.

Thorme 26.
Dcomposition de lespace dtats Lespace dtats se partitionne en classe dquiva-
lence pour la relation de communication.
Une classe non close est transiente.
Une classe close FINIE est rcurrente.
En particulier, pour les chanes de Markov espace dtats finis, les classes rcurrentes
sont les classes closes, les classes transientes sont les classes non closes.
On en dduit galement quune chane de Markov espace dtats fini admet au moins
un tat rcurrent.

Rappelons quune classe C est close si et seulement si pour tout i C, pour tout j
/ C, pij = 0.
 6. Etats rcurrents et transients 17

Dmonstration. Soit C une classe non close : il existe donc i C et j / C tel que pij 6= 0. Or i
et j ne communiquent pas : puisque i j, i nest donc pas accessible partir de j. Donc pour tout n,
P(Xn = i|X1 = j) = 0. On en dduit P(Ti < |X1 = j) = 0.
Finalement P(Ti = +|X0 = i) P(Ti = +|X0 = i, Xi = j)P(X1 = j|X0 = i) = pij > 0.
i est donc transient, et C est donc transitoire.
On considre maintenant une classe C close finie. On va procder par labsurde et supposer que tous les
P de C sont transitoires. Soit i C. Partant de i, la chane reste dans C. Donc
tats
Pi ( jC Nj = ) = 1.
Cette somme tant finie, on en dduit que
Pi (j C, Nj = ) = 1. Or quelque soit j C, puisquon a suppos j transitoire, on a vu que
Pi (Nj = ) = 0.
On obtient donc une contradiction.
Ainsi toute classe close dune chane espace dtats fini est rcurrente.

Une chane espace dtats fini possde au moins une classe close, elle possde donc au moins un tat
rcurrent. 

En particulier une chane de Markov espace dtats fini nayant quune seule classe est automatiquement
rcurrente.

Description de lvolution dune chane de Markov espace dtats finis

Si la chane part dun tat rcurrent, la classe de ltat initial est close et la chane y reste.
Si la chane part dun tat transitoire, au bout dun temps p.s. fini elle va sortir de la classe de cet tat,
et se trouvera dans une nouvelle classe. Au bout dun temps p.s. fini la chane aura finalement atteint
une classe rcurrente, et y restera.
En particulier, en partant dun tat transitoire on est sr datteindre en un temps fini un tat rcurrent.
En partant dun tat rcurrent on ne peut pas atteindre un tat transitoire.
Pour les chanes de Markov espace dtats infini il est facile de construire des contrexemples aux points
prcdents :
La chane sur N dfinie par Xn = n ne possde que des tats transitoires, et pas dtat rcurrent.
La marche alatoire biaise sur Z dfinie par Xn+1 = Xn + 1 avec probabilit p > 21 et Xn+1 = Xn 1
avec probabilit 1 p est irrductible. Nanmoins 0 est transitoire : en effet, la loi forte des grands
nombres implique que Xn + p.s.. Donc le nombre de passages en 0 est presque srement fini.
Nanmoins il est toujours vrai quen partant dun tat rcurrent on ne peut pas atteindre un tat
transitoire : en effet on a vu quun tat rcurrent appartient une classe close.
Exemple de la ruine du joueur On suppose que la fortune totale a + b = N est fixe. On a vu que les
seuls tats non transitoires sont 0 et N : au bout dun temps p.s. fini, la chane atteint lun de ces tats,
cest--dire que lun des joueurs finit ruin.
On note pour tout a de E paA = Pa (T0 < +) la probabilit que A finisse ruin en partant dune fortune
de a. De toute vidence si a = 0, p0A = 1 ; de mme,P pNA = 0.
a
Si 0 < a < N , on a pA = P(T0 < +|X0 = a) = kE P(T0 < +|X0 = a, X1 = k)P(X1 = k|X0 =
a) = ppa+1
A + (1 p)pa1
A .
Cest une relation de rcurrence linaire pour la suite paA ; on connat la forme gnrale des solutions, et
on peut dterminer la solution vrifiant les deux conditions limites. Dans le cas p = 21 , on a paA = c1 a + c2 ;
les conditions impliquent c2 = 1 et c1 = N1 . Finalement paA = 1 a+ba b
= a+b . On retrouve un rsultat
quon avait obtenu laide de martingales.
On peut galement sintresser lesprance du temps de jeu en partant de a m(a) : on a m(0) = m(N ) =
0, et m(a) = 1 + pm(a + 1) + (1 p)m(a 1). Si p = 12 , m(a) = a2 est solution particulire, et la solution
gnrale est m(a) = c1 a + c2 a2 . Les conditions aux limites imposent c2 = 0 et c1 = N ; finalement
m(a) = aN a2 = ab : on retrouve l encore un rsultat quon avait obtenu laide de martingales et de
thorme darrt.
18 Chapitre I. Chanes de Markov

7. Lois de probabilits stationnaires

Dans ce paragraphe, on note les lois de probabilit P sur lensemble des tats E comme des vecteurs
lignes = (0 , 1 , 2 , . . . ), o 0 i 1 et i i = 1.

Dfinition 27. Soit une loi de probabilit sur lensemble des tats. Elle est dite stationnaire, ou
invariante, si = P ou, de faon quivalente, si pour tout j E on a
X
j = i pi,j
iE

On peut aussi caractriser t comme un vecteur propre de t P associ la valeur propre 1.

Supposons quil existe une loi de probabilit stationnaire ; pour tout n 0 on a aussi
= P (n)
(0)
Il en rsulte que si on prend comme loi de probabilit initiale, i.e. i = P(X0 = i) = i , alors la loi de
probabilit de Xn qui est donne par
(n) = (0) P (n)
est indpendante de n et est gale (0) , soit P(Xn = i) = P(X0 = i) = i .
De faon gnrale, si lon prend comme loi de probabilit initiale, la chane de Markov devient un
processus stationnaire, cest--dire, pour tout n 0 et tout k 0, on a
L(Xn , . . . , Xn+k ) = L(X0 , . . . , Xk )

Dautre part, si Xn converge en loi vers une loi , on a alors 0 P n ; en considrant la suite (0 P n )P
on voit que = P, et est donc une loi invariante : les lois stationnaires sont donc trs lies au
comportement asymptotique de la chane.
Dans le cas dnombrable, il nexiste pas ncessairement de probabilit stationnaire, ou au contraire il
peut en exister une infinit.
Exemples Par exemple, la mesure de Lebesgue est invariante pour la marche alatoire non biaise sur
Z, mais il ny a pas de mesure de probabilit invariante.
Pour le processus sur N dfini par Xn = n, il nexiste pas de mesure invariante.

On peut de manire gnrale vrifier la proposition ci-dessous.

Proposition 28. Si est une loi de probabilit stationnaire et si i est un tat transitoire, (i) = 0.
En particulier, si un processus na que des tats transitoires, alors il nadmet pas de loi de probabilit
stationnaire.

Dmonstration. Soit une loi de probabilit stationnaire et i un tat transitoire. vrifie pour
tout n P n = , donc
P (n) (n)
i = j j pji . Or si i est transitoire, pji tend vers 0. On peut inverser srie et limite par convergence
(n) P
domine car |pji | 1 et j j = 1, et on en dduit i = 0.
Donc si un processus na que des tats transitoires, une loi de probabilit stationnaire vrifierait i = 0
pour tout i de E, ce qui est impossible.


La situation est assez diffrente dans les cas finis ou dnombrables. Dans un premier temps on va donc
regarder particulirement les chanes espace dtat fini.
 7. Lois de probabilits stationnaires 19

7.A. Chanes de Markov espace dtats fini : lois invariantes. Les rsultats principaux de
tout ce chapitre peuvent tre rsums dans le thorme suivant :

Thorme 29.
Soit (Xn ) une chane de Markov ensemble dtats fini. Alors elle possde au moins une
loi de probabilit stationnaire.
De plus si (Xn ) est irrductible, alors la loi de probabilit stationnaire est unique. On la
1
notera ; elle vrifie pour tout i dans E, (i) = Ei [T i]
> 0 o Ti est le temps de premier
retour en i.
Si de plus (Xn ) est irrductible et apriodique, alors P n converge vers la matrice dont
toutes les lignes sont constantes gales . En particulier, quelle que soit la loi de X0 , Xn
converge en loi vers .

Dmonstration. (La formule donnant explicitement (x) sera dmontre dans la section suivante.)
Ce sont essentiellement des rsultats dalgbre linaire.
On va donc commencer par montrer lexistence. On a vu que P admet 1 comme valeur propre, et que le
vecteur constant dont toutes les coordonnes sont gales 1 est vecteur propre ( droite). On en dduit
que t P admet galement 1 comme valeur propre. Il reste vrifier quon peut trouver un vecteur propre
dont toutes les coordonnes sont positives. Il suffit ensuite de le diviser par la somme de ses coordonnes
pour obtenir un vecteur qui corresponde bien une loi de probabilit.
Soit u un vecteur propre pour t P pour la valeur propre 1. On va vrifier que le vecteur v dfini par
vi = |ui | est galement propre de valeur propre 1. En effet on a pour tout i,
 
X X X 
 
vj pji vi = |uj |pji |ui |  uj pji  |ui | = 0
j j  j 
P P
Or on voit facilement i ( j vj pji vi ) = 0.
P
Par consquent quel que soit i, j vj pji vi = 0, et v est bien un vecteur propre : on a bien existence
dune loi de probabilit invariante.
Supposons maintenant P irrductible. On va montrer que dans ce cas, lespace propre pour P associ
la valeur propre 1 est de dimension 1, ce qui entrainera lanalogue pour t P.
En effet, soit u un vecteur propre pour P de valeur propre associe 1. On note ui0 = maxi (ui ). On
raisonne par labsurde, et on fait donc lhypothse que les composantes de u ne sont pas toutes gales :
il existe donc j0 tel que uj0 < ui0 . Pour simplifier les notations, on suppose i0 = 1 et j0 = 2. La chane
(n)
est suppose irrductible, donc il existe n tel que p1,2 > 0. u est galement vecteur propre de P n et on a
alors P
(n) (n) P (n) P (n)
u1 = j p1j uj = p12 u2 + j6=2 p1j uj < u1 j p1j .
Do u1 < u1 et la contradiction.
Supposons maintenant que de plus la chane est apriodique. La dmonstration se base alors sur un lemme
dalgbre linaire et sur le thorme de Perron Frobnius.

Lemme 30. Soit P la matrice dune chane de Markov espace dtats finis irrductible et apriodique.
(n)
Alors il existe un entier n0 tel que pour tout (i, j) E 2 , pour tout n > n0 , pij > 0.

Remarquons que, la chane tant irrductible, on sait que pour tout (i, j) il existe un tel n. Lintrt du
lemme est de garantir un n qui ne dpend pas de i et j.
La preuve du lemme se trouve par exemple dans le livre Thmes de probabilits et statistique de Paul
Toulouse. Elle se fait en trois tapes :
20 Chapitre I. Chanes de Markov

(n)
(1) On note N (i) = {n > 0, pi,i > 0}. On commence par montrer grce Bezout que N (i) contient
deux entiers conscutifs n(i) et n(i) + 1.
(n)
(2) On vrifie que pour tout n n(i)2 , pi,i > 0.
(n)
Donc il existe n1 tel que pour tout i pour tout n n1 , pi,i > 0.
(n )
(3) Si i 6= j, il existe nij tel que pi,jij > 0. Si n0 = maxi,j (nij + n1 ), on a si n n0 , pour tout
(n) (n )
(i, j), n = nij + p avec p n1 et donc pi,j pi,jij pni,i1 > 0.

Thorme 31.
Thorme de Perron Frobenius Soit A une matrice relle dont tous les coefficients sont
strictement positifs. Alors il existe une valeur propre de A de module maximal note m
qui est simple ; de plus toutes les autres valeurs propres de A sont de module strictement
infrieur m .

Supposons donc P apriodique. Commenons dans un premier temps par supposer de plus Pij > 0 pour
tout (i, j). On peut alors appliquer le thorme de Perron Frobenius P. Vrifions de plus que 1 est bien
la valeur propre de module maximal de P : en effet, soit u un vecteur propre pour P de valeur propre ,
et soit i0 tel que |ui0 |P
= max(|ui |).
On a alors |ui0 | = | j pi0 ,j uj | . Donc |ui0 | |ui0 |, par consquent || 1.
Daprs Perron Frobnius, toutes les autres valeurs propres de P sont de module strictement infrieur
1.
De manire gnrale, si on ne suppose pas P > 0. On sait quil existe un entier m tel que P m > 0 et on
peut appliquer largument prcdent P m : 1 est donc la seule valeur propre de P m de module 1, et elle
est simple ; or si u est vecteur propre de P pour la valeur propre , u est galement vecteur propre de
P m pour la valeur propre m . On en dduit l encore que 1 est lunique valeur propre de P de module 1,
quelle est simple, et que toutes les autres valeurs propres de P sont de module strictement infrieur 1.
On en dduit (par exemple par dcomposition de Jordan) quil existe une matrice inversible Q, et une
matrice A de valeurs propres toutes strictement infrieures 1 telles que :
 
1 0
P=Q Q1
0 A
De plus on sait que le vecteur dont toutes les coordonnes sont 1 est vecteur propre pour la valeur propre
1 : la premire colonne de Q est donc forme de 1.
Soit la loi de probabilit invariante : on sait quelle est vecteur propre pour t P : par consquent la
premire ligne de Q1 est gale c o c est une constante. Comme QQ1 = Id on vrifie en fait c = 1.
Puisque les valeurs propres de A sont toutes de module strictement infrieur 1, on sait que An converge
vers 0 (consquence par exemple de la dcomposition de Jordan). Par consquent,


   
1 0 1 1 0 1
Pn = Q Q Q Q =

..
0 An 0 0 .

Finalement, P n converge vers une matrice dont toutes les lignes sont gales . Donc quelle que soit la
loi initiale 0 , 0 P n converge vers : il y a quelle que soit la loi initiale, convergence en loi de Xn vers
la loi .


Remarques :
Si la matrice P est symtrique, les vecteurs propres de P et de t P sont les mmes, et la loi uniforme
sur E est donc stationnaire.
 7. Lois de probabilits stationnaires 21

Si la chane ne possde quune classe rcurrente, mais galement des tats transitoires, au bout
dun temps fini la chane aura atteint la classe rcurrente et se comportera donc comme une chane
irrductible. La chane possde donc une mesure de probabilit stationnaire unique, qui a pour support
la classe rcurrente.
Si une chane possde plusieurs classes rcurrentes, elle admet pour chaque classe une loi de probabilit
stationnaire unique ayant pour support cette classe. Toute combinaison linaire convexe de ces lois est
nouveau une loi stationnaire de la chane ; on peut montrer que ce sont les seules : la dimension de
lespace propre associ la valeur propre 1 est gale au nombre de classes rcurrentes de la chane.
Si la chane est irrductible priodique de priode 2, si la loi initiale est un Dirac 1 , on voit que
P(Xn = 1) = 0 pour tout n impair, mais P(Xn = 1) ne converge pas vers 0 puisque 1 est rcurrent : il
ny a pas convergence en loi. Evidemment, si X0 suit la loi stationnaire , Xn galement et on a alors
bien convergence en loi.
Exemple : le modle 2 tats
La matrice de transition du systme est
  (1 )1 + 2 = 1
1
La probabilit invariante (1 , 2 ) vrifie 1 + (1 )2 = 2
1
1 + 2 = 1


On obtient 1 = + et 2 = + . Si et sont strictement compris entre 0 et 1, la chane est rcurrente
apriodique, et Xn converge donc en loi vers quelle que soit la loi invariante.
On peut galement dduire du calcul prcdent que lesprance du temps de retour en 1 en partant de 1
est +
.

Exemple : le modle de diffusion dEhrenfest. Rappelons que le processus possde (a + 1) tats :

0, 1, . . . , a de plus, la matrice de transition est dfinie par

j j
pj,j1 = (1 j a); pj,j+1 = 1 (0 j a 1); pk,l = 0 : sinon
a a

Tous les tats communiquent : le processus est donc irrductible. Il est facile de voir que 0 est de priode 2,
il en est donc de mme pour tous les tats. En revanche le thorme 29 permet daffirmer que le processus
admet une et une seule loi de probabilit stationnaire = (0 , . . . , a ) avec i = 1/Ei [Ti ]. En fait, au lieu
de calculer lesprance mathmatique des temps datteinte, on peut dterminer directement partir de
= P, cest- -dire rsoudre le systme

a
X
j = i pi,j (0 j a)
i=0

dont on sait dj quil y a une solution unique lorsque les i sont positifs et de somme gale 1. On peut
donc rcrire :
a1
0 = a1 , a =

k1

a , k+1
k = 1 a k1 + a k+1 (1 k a 1)

On calcule successivement 1 = a0 , 2 = (a(a 1)/2)0 , et par rcurrence k = ka 0 . Comme par

ailleurs on doit avoir 1 = 0 + 1 + + a = 0 2a . La loi de probabilit stationnaire est donc la loi

binomiale B(a, 1/2).
k
On peut galement en dduire pour tout k Ek [Tk ] = 2a .
(k)
La chane ntant pas priodique, il ny a pas en gnral convergence en loi de la suite Xn vers la loi
binomiale. Mais si on change lgrement le processus en prenant comme matrice de transition (1)P +Id
le processus devient apriodique, et le vecteur propre pour la valeur propre 1 na pas chang.

Le premier point du thorme ci-dessous sera dmontr plus loin dans le cas gnral ; le deuxime point
est admis.
22 Chapitre I. Chanes de Markov

Thorme 32.
Thorme ergodique et thorme central limite On considre une chane de Markov
irrductible despace dtats fini. On note son unique loi de probabilit invariante. On a
alors pour toute fonction f sur E
n1 Z
1X X f (i)
lim f (Xk ) = = f d. p.s.
n Ei [Ti ]
k=0 iE
De plus,

 
f (X0 ) + + f (Xn1 )
Z
n f d converge en loi vers une loi normale centre
n

7.B. Retour au cas gnral : tats rcurrents nuls et tats rcurrents positifs. Le cas
dnombrable demande une classification des tats encore plus fine : on est amen dfinir la notion de
positivit. Rappelons que lon a vu quun tat j est dit rcurrent si P(Tj < +|X0 = j) = 1. Intressons
nous maintenant lesprance de ce temps retour.

Dfinition 33. Pour j un tat dune chane de Markov, on dfinit le temps datteinte moyen dans
j partir de i X X (n)
Mi,j = E(Tj |X0 = i) = nP(Tj = n|X0 = i) = nfi,j .
n1 n1

Dfinition 34. Pour j un tat dune chane de Markov, la quantit Mj,j est appele temps de retour
moyen dans j et 1/Mj,j est la frquence moyenne de retour en j.
On dira que j est positif si Mj,j < + sinon on dira que j est nul .

Si j est transient, alors P (Tj = +|X0 = j) > 0 et donc Mj,j = + ; un tat transient est forcment
nul.
Les tats rcurrents nuls sont donc entre les tats transients et les tats rcurrents positifs. Ils sont
rcurrents mais leur temps moyen de rcurrence est infini comme pour les tats transients.
Le critre suivant dont nous verrons une dmonstration partielle plus tard permet de caractriser la
positivit dun tat rcurrent.

Thorme 35.
Un tat rcurrent j dune chane de Markov est nul si et seulement si
(n)
lim p = 0.
n+ j,j

On en dduit le rsultat suivant.

Thorme 36.
La positivit, comme la nullit, est une proprit de classe.
 7. Lois de probabilits stationnaires 23

Dmonstration. Soit i un tat rcurrent nul et j un autre tat, appartenant la mme classe que
i. Puisque i et j communiquent, il existe des entiers n0 et n1 tels que
(n ) (n )
pi,j0 > 0 et pj,i1 > 0.

On en dduit :
(n +m+n1 ) (n ) (m) (n )
pi,i0 pi,j0 pj,j pj,i1
qui, en faisant tendre m vers linfini, que la nullit de i entrane celle de j. 

Ainsi un classe dquivalence dune chane de Markov est soit transiente, soit rcurrente nulle, soit
rcurrente positive.
Exemple
Pour la marche alatoire simple non biaise sur Z : on a vu quelle est rcurrente ; le calcul prcdent de
(n)
p0,0 1n montre quelle est en fait rcurrente nulle.

Lorsque lespace dtats est fini on peut-tre plus prcis.

Proposition 37. Si lespace des tats est fini, les tats rcurrents sont tous positifs.

Dmonstration. Soit i un tat rcurrent. Si i est absorbant (seul dans une classe) alors pour tout
(n)
n 0, pi,i = 1, et donc par le thorme 35 i est rcurrent positif. Si i nest pas seul dans sa classe, il
communique au moins avec un autre tat j. Supposons que cette classe rcurrente, note C, soit nulle.
(n )
Soit n0 , tel que pj,i0 > 0. On a lors
(n +m) (m) (n )
pi,i0 pi,j pj,i0
(m)
et donc par le thorme 35 limm+ pi,j = 0. Puisque lespace des tats est fini, la classe C lest aussi,
et par consquent
X (m)
lim pi,j = 0.
m+
jC

Comme il est impossible de quitter une classe rcurrente, ceci est en contradiction avec le fait que :
X (m) X (m)
1= pi,j = pi,j .
jE jC

On en dduit immdiatement le corollaire suivant.

Corollaire 38. Une chane de Markov irrductible sur un espace dtats fini est forcment rcurrente
positive.

7.C. Cas gnral : retour aux mesures stationnaires. Soit (Xn ) une chane irrductible
rcurrente. On va expliciter une mesure invariante (qui ne sera pas en gnral une probabilit !) ; dans
le cas o la chane est positive, on verra en particulier quelle est finie et quil existe donc une loi de
probabilit stationnaire, qui, comme on le verra dans un second temps, sera unique.
24 Chapitre I. Chanes de Markov

Thorme 39.
Soit (Xn ) une chane irrductible rcurrente avec un nombre au plus dnombrable
dtats, et soit i E. On note pour tout j de E

X
uij = E 1{Xn =j,nTi 1} |X0 = i
n0
i i
Alors la mesure dfinie par (j) = uij
est stationnaire ; elle vrifie i (i) = 1, i (j) <
pour tout j, et i (E) = E[Ti |X0 = i].
De plus, toutes les mesures stationnaires sont proportionnelles.
Ainsi, si la chane est irrductible rcurrente positive, i (E) < et il existe une
unique loi de probabilit stationnaire. Cette loi de probabilit est donne par
1 1
(i) = =
Mi,i E[Ti |X0 = i]
Si la chane est irrductible rcurrente nulle, i (E) = + et il nexiste pas de loi
de probabilit stationnaire.

uij est donc lesprance du temps que lon passe en j entre deux passages successifs en i.

Dmonstration. On peut commencer par remarquer que, la chane tant rcurrente, Ti < p.s.
Dautre part, on peut vrifier que lirrductibilit de la chane entraine ji > 0. De plus on vrifie facilement
i (i) = 1.
Montrons maintenant que i est stationnaire.
On peut crire

X X   X
uij = E 1{Xn =j,nTi 1} |X0 = i = E 1{Xn =j,nTi 1} |X0 = i = P(Xn = j, n Ti 1|X0 = i)
n0 n0 n0

Si j 6= i, on a
X X
uij = P(Xn = j, n Ti 1|X0 = i) = P(Xn = j, n Ti |X0 = i)
n1 n1

Dautre part, pour i = j, on a galement

X
uii = 1 = P(Xn = i, n Ti |X0 = i)
n1

Finalement, pour tout j :

X X
uij = P(Xn = j, n Ti |X0 = i) = P(X1 = j, 1 Ti |X0 = i) + P(Xn = j, n Ti |X0 = i)
n1 n2
X
= pi,j + P(Xn = j, n Ti |X0 = i)
n2

Maintenant pour n 2 on a :
X
P(Xn = j, n Ti |X0 = i) = P(Xn1 = k, Xn = j, n Ti |X0 = i)
k6=i
X
= P(Xn = j|Xn1 = k, n Ti , X0 = i)P(Xn1 = k, n Ti |X0 = i)
k6=i
 7. Lois de probabilits stationnaires 25

Or lvnement {n Ti } = {X1 6= i, . . . , Xn1 6= i} appartient la tribu Fn1 . Ainsi P(Xn = j|Xn1 =

k, n Ti , X0 = i) = pk,j . Par suite
XX
uij = pi,j + pk,j P(Xn1 = k, n Ti |X0 = i)
n2 k6=i
X X X X
= pi,j + pk,j P(Xn1 = k, n Ti |X0 = i) = pi,j + pk,j P(Xn = k, n Ti 1|X0 = i)
k6=i n2 k6=i n1
X X
= pi,j + pk,j uik = uik pk,j
k6=i k

i est donc bien une mesure invariante.

Par consquent i est galement invariante par P n pour tout entier n. Or si j 6= i, puisque la chane est
(m)
irrductible, il existe m tel que pj,i > 0. On a alors
(m) (m)
X
1 = uii = uik pki uij pji
k
i
On en dduit que (j) est bien fini pour tout j.
Dautre part, dans [0, +], tous les termes tant positifs on peut changer les sries et les esprances, et
on obtient :

X X X
i (E) = uij = E 1{Xn =j,nTi 1} |X0 = i
j j n0

X
= E 1{nTi 1} |X0 = i
n0

= E[Ti |X0 = i] = Mi,i

Ainsi si i est rcurrent positif, Mi,i < + et = ( i /Mi,i ) est bien une loi de probabilit stationnaire.
Il reste montrer que les mesures invariantes sont uniques coefficient multiplicatif prs. Soit donc
une mesure invariante (non nulle). On commence par montrer que charge tous les tats. En effet on
(m)
sait quil existe i tel que (i) > 0. Or pour tout tat k il existe m tel que pi,k > 0. On a alors
(m) (m)
X
(k) = (l)plk (i)pik > 0
l

Il suffit donc de vrifier que vrifie (i) = 1, est gale i et est donc bien dtermine.
, qui
(i)P
On a pour tout j (j) = pj,i + k6=i (k)pj,k .
On en dduit que pour P tout j, (j) pj,i . En reportant dans la somme de la formule prcdente, on
obtient (j) pj,i + k6=i pk,i pj,k pj,i + P(X2 = j, Ti 2|X0 = i)
On montre finalement ainsi par rcurrence que si k 6= i, on a pour tout entier n
(j) Pi (X1 = j, Ti 1) + Pi (X2 = j, Ti 2) + . . . Pi (Xn = j, Ti n)
En faisant tendre n vers linfini on obtient i .
Supposons que 6= i , cest--dire quil existe j tel que (j) < ji . Alors i est bien une mesure ;
elle est galement invariante, et vrifie (i) i (i) = 0. On a vu que cest impossible puisquune mesure
invariante pour une chane irrductible charge tous les points.
Ainsi si la suite est irrductible rcurrente positive, la loi de probabilit invariante est unique et peut
sobtenir en normalisant i par i (E) (le rsultat ne dpendant pas du point i choisi) : donc elle vrifie
pour tout i
i (i) 1 1
(i) = i = i =
(E) (E) Mi,i

26 Chapitre I. Chanes de Markov

7.D. Cas gnral : convergence, thorme ergodique. On dfinit les variables alatoires
suivantes
n1
X
Nn (j) = 1{Xn =j} ,
k=0

cest le nombre de fois que le processus sjourne dans j dans lintervalle de temps [0, n 1] ;
n1
1X 1
Fn (j) = 1{Xn =j} = Nn (j),
n n
k=0

cest la frquence de sjour dans j dans lintervalle de temps [0, n 1].

Si les Xn taient indpendantes et de mme loi, on pourrait appliquer la loi forte des grands nombres la
suite Fn . Le thorme suivant montre que cest presque le cas avec des chanes de Markov, en remplaant
la loi commune des (Xn ) de la LFGN par la loi invariante des Xn .

Thorme 40.
Si une chane de Markov est irrductible et de loi initiale quelconque, on a alors pour tout
tat j
Nn (j) 1 1
Fn (j) = = p.s.
n E[Tj |X0 = j] Mj,j

Dmonstration. Pour simplifier les notations, on oublie les dpendances en j.

Si j est transitoire, la suite (Nn ) est p.s. borne, donc Nnn tend vers 0 ; de plus on a bien E[Tj |X0 = j] = ,
donc la premire galit est vrifie.
Si j est rcurrent, la suite (Nn ) est croissante et tend vers linfini ; le temps datteinte de j est p.s. fini
quel que soit le point de dpart, et on peut donc supposer quon part de j. On considre alors la suite
T (n) des passages successifs en j (T (1) = Tj est le temps de premier retour en j). On a alors

T (Nn 1) n T (Nn )

Par consquent
T (Nn 1) n T (Nn )

Nn Nn Nn
Or T (n) est la somme des incrments T (k) T (k1) (pour k allant de 1 n, en notant T (0) = 0), et
la proprit de Markov forte entraine que ces incrments sont indpendants et de mme loi (la loi de
(n)
T (1) = Tj ). Si j est un tat positif on peut donc appliquer la loi forte des grands nombres : T n converge
p.s. vers E[Tj |X0 = j] = Mj,j . Si j est un tat nul, lesprance prcdente est infinie, mais la proprit
reste vraie par convergence monotone.
(Nn )
Comme Nn converge p.s. vers linfini, on a finalement p.s. T Nn Mj,j .
n 1
Puisque, NN n
1 p.s., on a galement
(Nn 1)
Tj
Nn Mj,j .
Nn 1
Finalement, Fn (j) = n converge p.s. vers Ej [Tj ] . 

Ce thorme possde de nombreux corollaires.

 7. Lois de probabilits stationnaires 27

Corollaire 41. Si une chane de Markov est irrductible, la suite P n converge au sens de Cesaro
1
vers la matrice dont toutes les lignes sont gales et vrifie ij = Ej [T j]
Si la chane nest pas positive, la limite est nulle.
Si la chane est irrductible rcurrente positive, toutes les lignes de la matrice limite sont gales
lunique loi de probabilit invariante.
On admettra le point suivant (vu dans le cas fini) : si la chane est irrductible rcurrente positive
apriodique, la suite P n converge (au sens usuel) vers la matrice ; par consquent quelle que soit
la loi initiale, la suite (Xn ) converge en loi vers lunique loi stationnaire.

Dmonstration. Daprs le thorme prcdent, Fn (j) converge p.s. ; de plus, 0 Fn (j) 1 : on

peut donc appliquer le thorme de convergence domine. Or quel que soit i,
(n)
Ei [1{Xn =j} ] = pi,j
donc
1 (n)
Ei [Fn (j)] = (pi,j + + pi,j ),
n
(n)
Par consquent limn n1 (pi,j + + pi,j ) = 1
Ei [Ti ] = i,j 

(n)
En particulier, si pi,j tend vers 0, i,j = 0 et on en dduit que i est un tat nul ; inversement, si i est
positif, la convergence au sens de Cesaro vers une valeur strictement positive implique lexistence dune
valeur dadhrence strictement positive : cest un cas particulier du critre de positivit 35.

Corollaire 42.Thorme ergodique Si la chane de Markov est irrductible rcurrente positive

dunique loi de probabilit invariante , on a pour toute fonction f -intgrable
n1 Z
1X X f (i)
lim f (Xk ) = = f d. p.s.
n Mi,i
k=0 iE

Dmonstration. Si f = 1j le corollaire est la rcriture du thorme prcdent. La proprit stend

aux fonctions bornes par linarit, puis aux fonctions intgrables par limite monotone. 

R que la moyenne de f temporelle (cest--dire sur une trajectoire

Ce corollaire sexprime souvent en disant
Xn ) est gale la moyenne spatiale f d. On peut aussi le voir comme une sorte de loi des grands
nombres applique la suite f (Xn ).