Chaînes de Markov

Notes de cours pour le cours processus stochastiques automne 2021
François Perron
1
0.1 Chaı̂nes de Markov
0.2 Introduction
Les chaı̂nes de Markov donnent une façon de construire une suite de variables aléatoires sans être
forcé de recourir à l’indépendance. La théorie des chaı̂nes de Markov utilise à fond les propriétés des
probabilités conditionnelles et, en particulier, l’espérance conditionnelle. Voici quelques rappels.
La probabilité conditionnelle Soient E et F deux événements avec P (F ) > 0. La probabilité
conditionnelle de E sachant ( ou étant donné ) F est donnée par
P(E ∩ F )
P(E | F ) = .
P(F )
La règle de multiplication Soient E0 , E1 , . . . , En des événements. On obtient

n
Y
P(∩nk=0 Ek ) = P(E0 ) P(Ei | ∩i−1
k=0 Ek ).
i=1
= P(E0 ) × P(E1 | E0 ) × P(E2 | E0 ∩ E1 ) × · · · × P(En | E0 ∩ E1 ∩ · · · ∩ En−1 ).
L’espérance pour une variable aléatoire à valeurs dans N Soient X et Y deux variables
aléatoires à valeurs dans N. Soient g, h des fonctions sur N à valeurs dans R. On pose
1. pk = P(X = k), k ∈ N: la fonction de masse de la loi de probabilité de X,

P∞
2. E[g(X)] = k=0 g(k)pk ( lorsque la série n’est pas indéterminée ),
3. pij = P(Y = j | X = i), i, j ∈ N, ( lorsque P(X = i) > 0 ): la fonction de masse de la loi de

probabilité conditionnelle de Y étant donné X = i,
P∞
4. E[h(Y ) | X = i] = j=0 h(j)pij , ( lorsque P(X = i) > 0 et que la série n’est pas
indétermninée ): l’espérance conditionnelle de h(Y ) étant donné X = i.
P∞
5. E[h(Y )] = E[E[h(Y ) | X]] = i=0 E[h(Y ) | X = i]pi , ( lorsque l’espérance de h(Y ) existe )
Dans l’étude des chaı̂nes de Markov on est appelé à considérer une variable aléatoire T qui
est associée au temps ( ou le nombre de pas ). Par exemple, on considère X0 , X1 , . . . une suite
de variables aléatoires et E un événement fixé. On pose T la plus petite valeur de n telle que
Xn ∈ E. En particulier, si T = 6 alors Xk ∈ / E pour k = 0, 1, . . . , 5 et X6 ∈ E. Dans le cas où
Xk ∈ / E pour tout k ∈ N on pose T = ∞. On va vouloir définir E[T ], pour une variable aléatoire
à valeurs dans N ∪ {∞}. Soit
pk = P(T = k), k ∈ N ∪ {∞}.
On obtient ( P
∞
k=0 kpk si p∞ = 0
E[T ] =
∞ si p∞ > 0
Lemme 0.2.1. Soit T une variable aléatoire à valeurs dans N ∪ {∞}. On a

∞
X ∞
X
E[T ] = P(T ≥ k) = P(T > k).
k=1 k=0
2
Proof. Lorsque p∞ = 0 on a
∞
X
E[T ] = kpk
k=0
X∞
= kpk , ( on part la somme à k = 1 car lorsque k = 0 on a kpk = 0 )
k=1
∞ X
X k
= pk
k=1 `=1
X
= pk , ( somme double )
{k,`∈N : 1≤`≤k}
∞ X
X ∞
= pk
`=1 k=`
∞
X
= P(T ≥ `)
`=1
∞
X
= P(T > `)
`=0
Lorsque p∞ > 0 on a
P (T ≥ k) ≥ p∞ , k ≥ 1
∞
X X∞
P(T ≥ k) ≥ p∞
k=1 k=1
= ∞
Exemple 1 Soit X1 , X2 , . . . une suite de variables aléatoires indépendantes de loi

Bernoulli(p), p ∈ (0, 1). Posons q = 1 − p. Soit
(
min{i ≥ 1 : Xi = 1} si {i ≥ 1 : Xi = 1} = 6 ∅
T =
∞ si {i ≥ 1 : Xi = 1} = ∅
La variable T est à valeurs dans N ∪ {∞}. Cette variable compte le nombre d’épreuves
pour un premier succès. Par convention on pose T = ∞ lorsque toutes les épruves sont
des échecs. On obtient,
{T = 1} = {X1 = 1}, P(T = 1) = p, P(T = k) = q k−1 p pour k = 1,

k−1
{T = k} = {X1 = 0, . . . , Xk−1 = 0, Xk = 1}, P(T = k) = q p pour k > 1, k ∈ N.
{T = ∞} = ∩∞
k=1 {X1 = 0, . . . , Xk = 0}, P(T = ∞) = lim q k = 0.
k→∞
Si on applique directement la définition de l’espérance alors p∞ = 0 et on trouve

∞
X
E[T ] = kq k−1 p.
k=1
3
Utilisons le lemme 0.2.1. On a
{T ≥ k} = {X1 = 0, . . . , Xk−1 = 0}, k ≥ 1,

k−1
P(T ≥ k) = q , k≥1
X∞
E[T ] = q k−1
k=1
X∞
= q` , `=k−1
`=0
= 1/(1 − q) = 1/p
Une autre façon de trouver E[T ] consiste à passer par l’espérance conditionnelle.
Comme p∞ = 0 on peut supposer que T est à valeurs dans N pour le calcul de
l’espérance. On a
P(X1 = 0) = q>0
{T = 1, X1 = 0} = ∅
P(T = 1 | X1 = 0) = 0
De plus, pour j ≥ 2, on a
{T = j, X1 = 0} = {X1 = 0} ∩ {X2 = 0, . . . , Xj−1 = 0, Xj = 1}

P (T = j | X1 = 0) = P(X2 = 0, . . . , Xj−1 = 0, Xj = 1)
= P(T = j − 1), premier succès basé sur les épreuves 2,3,. . .
Maintenant,
P(T = 1 | X1 = 1) = 1
∞
X
E[T | X1 = 0] = P(T = 1 | X1 = 0) + jP(T = j | X1 = 0)
j=2
∞
X
= 0+ jP(T = j − 1)
j=2
∞
X
= (k + 1)P(T = k), (j = k + 1)
k=1
= E[T + 1]
E[T | X1 = 1] = 1,
E[T ] = E[T | X1 = 0]P (X1 = 0) + E[T | X1 = 1]P (X = 1)
= qE[T + 1] + p
= qE[T ] + 1
pE[T ] = 1
Définition 0.2.2. ( chaı̂ne de Markov ) Une chaı̂ne de Markov homogène discrète est une suite
de variables aléatoires {Xn }n≥0 dont la loi est déterminée à partir
4
1. d’un espace des états S de cardinalité finie ou dénombrable, ( les valeurs possibles pour la
chaı̂ne )
2. d’une loi de probabilité initiale {νi }i∈S , ( une fonction de masse sur S qui donne la loi de
X0 )
3. de probabilités de transition {pij }i,j∈S .
La suite satisfait les conditions suivantes,
P(X0 = i0 , X1 = i1 , . . . , Xn = in ) = νi0 pi0 i1 · · · pin−1 in , i0 , i1 , . . . , in ∈ S.
Les probabilités de transition satisfont
1. pij ≥ 0 pour tout i, j ∈ S,

P
2. j∈S pij = 1 pour tout i ∈ S.
On dit que la matrice P = (pij )i,j∈S des probabilités de transition est une matrice stochastique.
Propriété de Markov Soit {Xn }n≥0 une chaı̂ne de Markov homogène discrète. On obtient,
P(Xn = in | Xn−1 = in−1 , . . . , X0 = i0 ) = P(Xn = in | Xn−1 = in−1 ), (0.2.1)
pour tout i0 , . . . , in−1 ∈ S satisfaisant P(X0 = i0 , . . . , Xn−1 = in−1 ) > 0, n > 1. En fait,
P(X0 = i0 , X1 = i1 , . . . , Xn = in )
P(Xn = in | Xn−1 = in−1 , . . . , X0 = i0 ) =
P(X0 = i0 , X1 = i1 , . . . , Xn−1 = in−1 )
νi0 · pi0 ,i1 · · · pin−1 ,in
=
νi0 · pi0 ,i1 · · · pin−2 ,in−1
= pin−1 ,in
P(Xn = in , Xn−1 = in−1 )
P(Xn = in | Xn−1 = in−1 ) =
P(Xn−1 = in−1 )
P
i0 ,...,in−2 ∈S νi0 · · · pin−2,n−1 · pin−1 ,in
= P
i0 ,...,in−2 ∈S νi0 · · · pin−2,in−1
= pin−1 ,in
Réciproquement, une suite de variables aléatoires {Xn }n≥0 sur S est une chaı̂ne de Markov ho-
mogène discrète si l’équation (0.2.1) est satisfaite.
Remarque 0.2.3. Dans ce qui va suivre on notera par
1. P : la matrice de transition, matrice donnée par les probabilités de transition et pij , i, j ∈ S

les éléments de la matrice P . Notez que pij = P (X1 = j | X0 = i), j ∈ S lorsque P (X0 =
i) > 0.
2. ν: le vecteur ligne qui donne les probabilités initiales,

(n)
3. P (n) : la matrice des probabilités de transition au bout de n pas et pij , i, j ∈ S les éléments
(n)
de la matrice P (n) . Notez que pij = P (Xn = j | X0 = i), j ∈ S lorsque P (X0 = i) > 0.
(n)
4. νi = P (Xn = i), ν (n) est le vecteur ligne qui donne les probabilités au temps n, ν (0) = ν.
5
On obtient directement les résultats suivants ( Équations de Chapman-Kolmogorov )
(n)
X
pij = pi0 k1 · · · pkn−1 j ,
k1 ,...,kn−1 ∈S
(n)
P = P n, l’interprétation de la ligne précédente
(n +n ) (n ) (n )
X
pij 1 2 = pik 1 pkj 2
k∈S
(n)
ν = (νP n )
Exemple 2 Pour fixer les idées supposons S = {1, 2, 3, 4, 5, 6}. On aura,

6 6 6
(4)
X X X
pij = pik1 pk1 k2 pk2 k3 pk3 j ,
k1 =1 k2 =1 k3 =1
6
(3) (3)
X
νj = νi pij
i=1
6 X
X 6 6
X
= νi pik1 pk1 k2 pk2 j ,
i=1 k1 =1 k2 =1
Exemple 3 ( indépendance ) Soit π un vecteur ligne qui représente une fonction de

masse sur S et u un vecteur colonne avec ui = 1 pour tout i ∈ S. La matrice P = uπ
est une matrice de transition. C’est une matrice idempotente ( P 2 = P ) et elle indique
que les variables de la chaı̂ne sont indépendantes. Ainsi, X0 est de loi ν et X1 , X2 , . . .
sont des variables aléatoires indépendantes et identiquement distribuées de loi π. Pour
fixer les idées prenons S = {1, 2, 3},
ν = (1/4, 1/2, 1/4), π = (1/6, 1/3, 1/2)
On obtient,
    
1 1 1 2 3
1
u= 1  P =  1  (1/6, 1/3, 1/2) =  1 2 3 
    
6
1 1 1 2 3
Exemple 4 ( S = {0, 1} ) On pose

!
1−a a
P = , a, b ∈ [0, 1].
b 1−b
Quand on travaille sur des chaı̂nes de Markov il est souvent utile de représenter la
matrice P sous la forme d’un graphe orienté. Les noeuds sont les états et les arêtes
donnent les probabilités de transition. Prenons des cas particuliers. Commençons par
les cas extrêmes. Si a = b = 0 alors on obtient le graphe suivant
1 0 1 1
6
Avec cette chaı̂ne on reste prisonnier de l’état initial duquel on est parti. Ainsi
P (Xn = 0) = ν0 , n ≥ 0,
P (Xn = 1) = ν1 , n ≥ 0,
Si a = b = 1 alors on obtient le graphe suivant
1
0 1
1
Avec cette chaı̂ne on fait des cycles, on quitte à la première transition et on revient
sur place avec la deuxième transition. On dit que la chaı̂ne est périodique de période
2. On obtient
( (
ν0 si n est pair ν1 si n est pair
P (Xn = 0) = et P (Xn = 1) =
ν1 si n est impair ν0 si n est impair
Maintenant, a = 0 et b > 0. Le graphe est donné par
1 1-b
0 1
b
On montre par induction que

! !
n 1 0 1 0
P = −−−−→
1 − (1 − b)n (1 − b)n n→∞ 1 0
On peut aussi raisonner de la façon suivante. Si on part de l’état 0 alors on retourne

(n)
toujours dans l’état 0 donc p00 = 1 pour tout n ≥ 1. De même, si on part dans l’état
1 alors il y a un seul chemin qui nous amène dans l’état 1 avec probabilité non nulle
(n)
au pas n c’est le chemin qui passe par 1 à chaque pas donc p11 = (1 − b)n pour tout
n ≥ 1.
Ainsi, comme (P(Xn = 0, P(Xn = 1)) = ν (n) = νP n on obtient,
P (Xn = 0) = ν0 + {1 − (1 − b)n }ν1 = 1 − ν1 (1 − b)n , n ≥ 0,

n
P (Xn = 1) = ν1 (1 − b) , n ≥ 0,
Lorsqu’on visite l’état 0 on y reste prisonnier. Avec cette chaı̂ne la probabilité de visiter
l’état 1 un nombre fini de fois devient 1 car dès qu’on quitte l’état 1 on n’y revient
(n)
jamais et la probabilité de quitter l’état 1 dans le temps est de 1. Aussi, p11 = (1 − b)n
P∞ (n)
et n=1 p11 = (1 − b)/b < ∞. Plus loin dans le cours on dira que l’état 0 est un état
absorbant et l’état 1 est un état transitoire.
Le cas a < 0 et b = 0 se traite de la même façon. Considérons tous les autres cas,
c’est-à-dire, a, b > 0, a + b < 2. Posons π = (b/(a + b), a/(a + b)). On a le graphe
suivant
7
a
1-a 0 1 1-b
b
Pour connaı̂tre où on sera au temps n nous allons calculer P n . Pour ce faire on passe
par la diagonalisation. Notons tout de suite que le vecteur u avec u> = (1, 1) est un
vecteur propre de P correspondant à la valeur propre 1. Maintenant
!
1−λ−a a
det(P −λI) = det = (1−λ)2 −(1−λ)(a+b) = (1−λ)(1−(a+b)−λ)
b 1−λ−b
ce qui indique que les valeurs propres sont (1, 1 − (a + b)). On sait déjà que u est le
vecteur propre associé à la valeur propre 1. Cherchons le vecteur propre associé à la
valeur propre 1 − (a + b). On cherche v non nul tel que (P − (1 − (a + b))I)v = 0. Ceci
donne ! !
b a −a
v = 0 et on choisit v =
b a b
On pose
! ! !
1 −a 1 b a 1 0
V = (u, v) = d’où V −1 = et P = V V −1
1 b a+b −1 1 0 1 − (a + b)
De plus,
!
1 0
P n
= V V −1
0 (1 − (a + b))n
1 (1 − (a + b))n
= u(b, a) + v(−1, 1)
a+b a+b
!
(1 − (a + b))n a −a
= uπ +
a+b −b b
−−−−→ uπ car a + b < 2
n→∞
n
νP −−−−→ π
n→∞
Ainsi, peu importe le choix de ν, (P (Xn = 0), P (Xn = 1)) −−−−→ π. Si a + b = 1 alors
n→∞
la convergence est immédiate mais cela n’est pas surprenant car pour a + b = 1 on
obtient P = uπ, une matrice de transition pour des variables aléatoires indépendantes.
Lorsque a + b s’éloigne de 1 la convergence devient plus lente.
Exemple 5 Considérons le lancer d’un sou. On lance le sou continuellement, la pro-

babilié d’observer pile est de p sur chacun des lancers, p ∈ (0, 1), avec indépendance.
Soit Yn le résultat du ne lancer, n ≥ 1. On s’intéresse aux résultats de lancers suc-
cessifs. On pose Xn = (Yn+1 , Yn+2 ), n ≥ 0. L’espace des états S devient S =
{P P, P F, F P, F F } que nous allons identifier aussi par {1, 2, 3, 4} selon le cas. Posons
q = 1 − p. On obtient une chaı̂ne de Markov car si on fixe Xn−1 = i alors on fixe
Yn , Yn+1 . L’événement {Xn = j} se réalise selon la valeur prise par Yn+2 alors
que l’événement {X0 = i0 , . . . , Xn−2 = in−2 } se réalise selon la valeur prise par
Y1 , . . . , Yn−1 . Comme Y1 , . . . , Yn+2 sont des variables aléatoires indépendantes Xn et
X0 , . . . , Xn−2 sont conditionnellement indépendantes étant donné Xn−1 ce qui donne
la propriété de Markov. On dit que le passé et le futur sont conditionnellement
indépendants étant donné le présent. Ceci nous donne le graphe suivant,
8
FP
3
p p
FF PP
q p q p
4 1
q q
PF
2
et la matrice de transition est donnée par

 
p q 0 0
 0 0 p q 
P = , ν = (p2 , pq, pq, q 2 ).
 
 p q 0 0 
0 0 p q
En utilisant le graphe on voit un seul chemin pour se rendre de (F F ) à (P F ) en deux

pas, soit
p q
FF FP PF
(2)
donc p42 = pq. En utilisant le graphe on voit seuleument deux chemins pour se rendre
de (F F ) à (P F ) en trois pas, soit
q p q
FF FF FP PF
p p q
FF FP PP PF
(3)
et p42 = pq 2 + p2 q = pq(q + p) = pq. Posons
 
1
 1 
u=  et π = (p2 , pq, pq, q 2 ).
 
 1 
1
Un calcul simple montre que P 2 = uπ. Comme P est une matrice de transition
P u = u et P n = uπ pour tout n ≥ 2. Ce n’est pas comme l’exemple précédent. On a
la convergence dès le deuxième pas. Comment expliquer cela? En fait,
det(P − λI) = λ3 (λ − 1).
Il y deux valeurs propres. La valeur propre 1 de multiplicité 1 et la valeur propre 0

de multiplicité 3. Par contre, la matrice P n’est pas diagonalisable. On peut toutefois
9
écrire P = V ΛV −1 avec,  
p q 0 0
 0 0 p q 
P =
 

 p q 0 0 
0 0 p q
   
1 q q 0 1 0 0 0 p2 pq pq q2
 1 −p −p 1  0 0 0 0  1 −1 −1 1 
V ΛV −1 = 
   
−1 −(1 + q)
  
 1 0 q  0 0 0 1  p q q 
1 0 −p 0 0 0 0 0 p q −p −q
Notez que  
1 0 0 0
 0 0 0 0 
Λn =   pour tout n ≥ 2.
 
 0 0 0 0 
0 0 0 0
Cherchons maintenant le nombre minimal moyen de pièces de monnaie qu’on doit

lancer pour observer l’état j une première fois, j = 1, 2, 3, 4. Posons
1. Nj : le nombre minimal de pièces de monnaie qu’on doit lancer pour observer

l’état j une première fois, j = 1, 2, 3, 4.
2. µj = E[Nj ],
3. Tj : le nombre de transitions qu’on doit faire pour visiter l’état j une première
fois, j = 1, 2, 3, 4.
4. τj = E[Tj ].
5. Tij : le nombre minimal de transitions qu’on doit faire pour visiter l’état j une
première fois lorsqu’on part de l’état i, i, j = 1, 2, 3, 4.
6. τij = E[Tj | X0 = i].
7. νi : la probabilité de visiter l’état i en premier, i = 1, 2, 3, 4.
On obtient les résultats suivants,
ν = (p2 , pq, pq, q 2 ), la loi initiale

Nj = 2 + Tj il faut deux lancers pour visiter un état au tout début
4
X
τj = νi τij , j = 1, 2, 3, 4, on conditionne sur le X0
i=1
τjj = 0, j = 1, 2, 3, 4, on est à destination dès le départ
4
X
τij = pik E[Tj | X1 = k, X0 = i] on considère la première transition i → k, k = 1, . . . , 4
k=1
4
X
= pik E[Tj + 1 | X0 = k], après une transition on repart de l’état k
k=1
4
X
= 1+ pik τkj , i ∈ {1, 2, 3, 4} \ {j}
k=1
10
Le passage de E[Tj | X1 = k, X0 = i] = E[Tj + 1 | X0 = k] vient du fait que le
comportement aléatoire de Tj sachant que X0 = i, X1 = k pour i 6= j va dépendre de
l’état qu’on visite au temps 1 peu importe de là où on était au temps 0 en autant de
ne pas avoir été sur l’état j au temps 0. Le comportement aléatoire de Tj − 1 sachant
qu’on est sur l’état k au temps 1 sans avoir été sur l’état j au temps 0 est le même que
le comportement aléatoire de Tj sachant qu’on part de l’état k au temps 0.
Pour chacune des valeurs possibles de j on vient de créer un système d’équations
linéaires en τij , i = 1, 2, 3, 4. On résoud le système pour trouver la valeur de τij ,
i = 1, 2, 3, 4.
Prenons j = 1. On sait déjà que τ11 = 0. Ceci nous laisse avec
1 + pτ31 + qτ41 = τ21

1 + qτ21 = τ31
1 + pτ31 + qτ41 = τ41 , car τ11 = 0
On peut écrire le système,

         
1 −p −q τ21 1 τ21 (1 + p)/p2
 −q 1 0  =  τ31  =  1  pour obtenir  τ31  =  1/p2
         

0 −p p τ41 1 τ41 (1 + p)/p2
Ainsi,
τ1 = ν1 × τ11 + ν2 × τ21 + ν3 × τ31 + ν4 × τ41

= p2 × 0 + pq × (1 + p) + qp × 1 + q 2 × (1 + p) /p2

= q 1 + 2p /p2
µ1 = 2 + τ1
1 1
= 1+
p p
De façon générale, en utilisant les mêmes arguments, on trouve,
1 1
µ1 = +
p p2
1 1
µ2 = +
p q
1 1
µ3 = +
q p
1 1
µ4 = + 2
q q
En particulier, pour p = 1/2 on obtient µ1 = µ4 = 6 alors que µ2 = µ3 = 4. En
moyenne on atteint plus rapidement P F que P P lorsque le sou est équilibré.
Si on se limite au calcul d’un seul des µj , j = 1, 2, 3, 4 alors les gens vont souvent
considérer une autre chaı̂ne. Par exemple, si on cherche le nombre de lancers moyen
pour atteindre P F alors on considère une chaı̂ne sur S = {0, 1, 2} avec l’association
suivante,
1. {P F } est associé à l’état 0 car de PF peut se rendre à PF en 0 transition,
11
2. {P P, F P } est associé à l’état 1 car on doit faire au moins une transition pour se
rendre à PF,
3. {F F } est associé à l’état 2 car on doit faire au moins deux transitions pour se
rendre à PF.
Ceci nous donne le graphe suivant,
PF q FF
q
0 2
p
q p
P P, F P
p
1
Comme on a fait précédemment, on pose
1. N0 : le nombre minimal de pièces de monnaie qu’on doit lancer pour observer

l’état 0 une première fois,
2. µ0 = E[N0 ],
3. T0 : le nombre de transitions qu’on doit faire pour visiter l’état 0 une première
fois,
4. τ0 = E[T0 ].
5. Ti0 : le nombre minimal de transitions qu’on doit faire pour visiter l’état 0 une
première fois lorsqu’on visite l’état i au tout début, i = 0, 1, 2.
6. τi0 = E[T0 | X0 = i].
7. νi : la probabilité de visiter l’état i en premier, i = 0, 1, 2.
On obtient les résultats suivants,
ν = (pq, p, q 2 ), la loi initiale

N0 = 2 + T0 il faut deux lancers pour visiter un état au tout début
X2
τ0 = νi τij on conditionne sur le X0
i=0
τ00 = 0, on est à destination dès le départ
X2
τi0 = pik E[T0 | X1 = k, X0 = i] on considère la première transition i → k, k = 0, . . . , 2
k=0
2
X
= pik E[T0 | X1 = k], propriété markovienne
k=0
2
X
= pik E[T0 + 1 | X0 = k], homogénéité, après une transition on repart de l’état k
k=0
2
X
= 1+ pik τk0 , i 6= 0
k=0
12
On sait déjà que τ00 = 0. Ceci nous laisse avec
1 + pτ10 = τ10 , car τ00 = 0

1 + pτ10 + qτ20 = τ20
d’où ! !
τ10 1/q
=
τ20 1/pq
et
τ0 = pq × 0 + p × 1/q + q 2 × 1/pq
p q
= +
q p
p q
µ0 = 2+ +
q p
1 1
= +
q p
0.3 Classifier les états

Ici on s’intéresse à savoir combien souvent une chaı̂ne visite les différents états. On pose
1. N (i) =| {n > 0 : Xn = i} |, N (i) est la variable aléatoire qui compte le nombre de visites
de l’état i sur toute la trajectoire de la chaı̂ne à compter de la première transition. Cette
variable pourrait prendre la valeur infini avec probabilité non nulle.
2. fij = P(N (j) > 0 | X0 = i) la probabilité que, partant de l’état i au temps 0, la chaı̂ne passe
par l’état j quelque part dans le futur.
1 − fij = P(Xn 6= j pour tout n > 1 | X0 = i) = P (N (j) = 0 | X0 = i).
3. fij (n) = P(X1 , . . . , Xn−1 6= j, Xn = j | X0 = i), n ≥ 1 la probabilité que, partant de l’état i

au temps 0, la première visite de l’état j, après le temps 0, se fasse au temps n.
On a les propriétés suivantes,

∞
X
fij = P(N (j) ≥ 1 | X0 = i) = fij (n)
n=1
k
fjj = P(N (j) ≥ k | X0 = j), k > 1, propriété de Markov
k−1
fij fjj = P(N (j) ≥ k | X0 = i), k>1
Pour justifier le résultat de P(N (j) ≥ k | X0 = i) fixons k = 2 et conditionnons sur le temps de la
13
première visite en j après le temps 0. Cette visite se fait dans un temps n, n > 0. On obtient,
∞
X
P(N (j) ≥ 2 | X0 = i) = fij (n)P(N (j) ≥ 2 | X0 = i, X1 , . . . , Xn−1 6= j, Xn = j)
n=1
X∞
= fij (n)P(N (j) ≥ 1 | X0 = j)
n=1
X∞
= fij (n)fjj
n=1
= fij fjj
Définition 0.3.1. Soit i ∈ S. L’état i est dit
1. récurrent: si P(N (i) = ∞ | X0 = i) = 1 ( en partant de l’état i, avec probabilité 1, il n’y a

jamais une dernière visite à l’état i dans le futur. )
2. transitoire: si P(N (i) < ∞ | X0 = i) = 1 ( en partant de l’état i, avec probabilité 1, il y a

soit une dernière visite ou aucune visite à l’état i dans le futur. )
Lemme 0.3.2. On a les résultats suivants,

P∞ (n)
1. L’état i est récurrent si et seulement si n=1 pii = ∞.
P∞ (n)
2. L’état i est transitoire si et seulement si n=1 pii < ∞.
Proof. On a
{N (i) = ∞} = ∩k≥1 {N (i) ≥ k}

P (N (i) = ∞ | X0 = i) = lim P (N (i) ≥ k | X0 = i)
k→∞
= lim fiik
k→∞
(
1 si fii = 1
=
0 si fii < 1
On vient d’établir qu’un état i est soit récurrent, soit transitoire. Pour le reste on va utiliser la
fonction indicatrice. Pour un ensemble E on pose
(
1 si x ∈ E
1E (x) =
0 si x ∈ /E
14
On obtient,
∞ ∞
(n)
X X
pii = P (Xn = i | X0 = i)
n=1 n=1
X∞
= E[1{i} (Xn ) | X0 = i]
n=1
∞
X
= E[ 1{i} (Xn ) | X0 = i]
n=1
= E[N (i) | X0 = i]
∞
X
= P (N (i) ≥ k | X0 = i), par le lemme 0.2.1
k=1
X∞
= fiik
k=1
(
∞ si fii = 1
=
fii /(1 − fii ) < ∞ si fii < 1
Lemme 0.3.3. On a X
fij = pij + pik fkj , i, j ∈ S.
k∈S\{j}
Proof. Ici,
fij = P(N (j) > 0 | X0 = i)

X
= P(N (j) > 0 | X1 = k, X0 = i)pik , en conditionnant sur X1
k∈S
X
= P(N (j) > 0 | X1 = j, X0 = i)pij + P(N (j) > 0 | X1 = k, X0 = i)pik
k∈S\{j}
X
= pij + fkj pik
k∈S\{j}
Remarque 0.3.4. En pratique, lorsque | S |< ∞ ( S = {1, . . . , m} disons ), on fixe j ∈ S et on

cherche f1j , f2j , . . . , fmj . On obtient un système de m équations linéaires avec m inconnues. On
résoud le système. Il y aura toujours une solution. Si la solution est unique alors elle donne la
réponse. Par exemple, pour m = 4 et j = 3 on doit résoudre
    
1 − p11 −p12 0 −p14 f13 p13
 −p 1 − p22 0 −p24    f23   p23 
   
21
=

 −p31 −p32 1 −p34   f33   p33 
  
−p41 −p42 0 1 − p44 f43 p43

Exemple 6 Soit S = {1, 2, 3, 4} avec une matrice de transitions P donnée par
 
1 0 0 0
 1/4 1/4 1/2 0 
P =
 

 0 0 2/5 3/5 
0 0 1/3 2/3
15
On obtient le graphe suivant,
1/4 2
1/2
1/4
3/5
1 1 2/5 3 4 2/3
1/3
Avec le graphe on déduit les choses suivantes,
f11 = 1 partant de 1 on y reste prisionnier

f22 = 1/4 dès qu’on quitte 2 on de peut plus jamais y revenir
f33 = f44 = 1
f1j = 0, pour j > 1 partant de 1 on ne visite jamais les autres états
f34 = f43 = 1
(f3j , f4j ) = (0, 0) pour j < 3 partant de la classe {3, 4} on y reste prisionnier
f24 = f23
(f21 , f23 ) = (1/3, 2/3) probabilités conditionnelles étant donné qu’on quitte 2
ce qui donne  
1 0 0 0
 1/3 1/4 2/3 2/3 
f =
 

 0 0 1 1 
0 0 1 1
Ici, si on essaie de trouver f13 , f23 , f33 , f43 en solutionnant le système d’équations
linéaires construit dans la remarque 0.3.4 alors on trouve plusieurs solutions. Les
solutions prennent la forme,
(f13 , f23 , f33 , f43 ) = (3t − 2, t, 1, 1), t ∈ [2/3, 1]
mais la bonne solution s’obtient avec t = 2/3.

En regardant le graphe on se convainc que
1. f11 = 1,
2. fij = 1 pour (i, j) ∈ {3, 4} × {3, 4} car on ne va pas toujours rester en 3 et quand
on va quitter 3 on ira en 4. De même on ne va pas toujours rester en 4 et quand
on va quitter 4 on ira en 3.
3. f1j = 0 pour j = 2, 3, 4.
4. fij = 0 pour (i, j) ∈ {1, 2} × {3, 4}
5. f22 = 1/4 car si on quitte 2 alors on y revient pas.
6. f23 = f24 car f34 = 1
16
Posons a = f21 et b = f23 . En utilisant le système des équations linéaires on trouve
f21 = p21 + p22 f21 + p23 f31 + p24 f41

a = 1/4 + a/4 + 0 + 0 ⇒ a = 1/3
f23 = p21 f13 + p22 f23 + p23 + p24 f43
= 0 + b/4 + 1/2 + 0 ⇒ b = 3/3
Les états 1,3,4 sont récurrents. L’état 2 est transitoire. Si on visite la classe {3, 4}
alors on y sort plus. Une fois dans la classe {3, 4} la chaı̂ne se comporte comme si
elle se faisait dans l’espace {3, 4}, une chaı̂ne à deux états. Dans ce cas, à long terme,
la probabilité de se trouver en 3 ou en 4 sera donné par la loi stationnaire pour une
chaı̂ne à deux états avec matrice de transition
!
∗ 2/5 3/5
P =
1/3 2/3
Pour cette matrice π ∗ = (5/14, 9/14) est la loi stationnaire. Si on part de l’état 2 alors
éventuellement on va quitter pour l’état 1 ou l’état 3. Ainsi,
(n)
1. p11 = 1 pour tout n ≥ 1
(n)
2. pi3 −−−−→ 5/14 pour i = 3, 4.
n→∞
(n)
3. pi4 −−−−→ 9/14 pour i = 3, 4.
n→∞
(n)
4. p23 −−−−→ f23 × 5/14
n→∞
(n)
5. p24 −−−−→ f23 × 9/14
n→∞
(n)
6. p21 −−−−→ f21
n→∞
Définition 0.3.5. Soit i, j ∈ S.

(r)
1. On dit que j est accessible à partir de i ( noté i → j ) s’il existe r ≥ 0 tel que pij > 0. (
(0)
Par convention on pose pii = 1. )
2. On dit que i et j communiquent ( noté i ↔ j ) si i → j et j → i. En d’autres mots, il

(r) (s)
existe r, s ≥ 0 avec pij > 0 et pji > 0.
3. Une chaı̂ne de Markov est dite irréductible si tous les états communiquent entre eux.
4. La période d’un état i ( notée d(i) ) est donnée par le pgcd de M (i) avec M (i) = {n >
(n)
0 : pii > 0}. On dit que d(i) n’est pas défini lorsque M (i) = ∅. Lorsque d(i) = 1 on
dit que i est apériodique. Lorsque tous les états sont apériodiques on dit que la chaı̂ne est
apériodique.
Remarque 0.3.6. Les états qui communiquent entre eux forment une classe d’équivalence car
pour i, j, k ∈ S on a
(0)
1. i ↔ i, pii = 1
17
2. Si i ↔ j alors j ↔ i,
(r+s) (r) (s)
3. Si i ↔ j et j ↔ k alors i ↔ k, pik ≥ pij pjk .
Exemple 7 Considérons le graphe suivant,

2 7 1/2
1 1
1/3
1/2
1 3 5 6 1 1/2
1/2
1/3
1
1 1
4 8
1/3
9
Ici M (1) = {4, 8, 12, 16, 20, . . .} = {4k : k > 0}. Les communs diviseurs de M (1) sont
2 et 4, d(1) = 4. On a
1. d(i) = 4, i = 1, 2, 3, 4,
2. d(i) = 3, i = 5, 6, 9,
3. d(7) = d(8) = 1, les états apériodiques.
4. {1, 2, 3, 4} forme une classe d’états récurrents, cette classe est dite finale car
lorsqu’on y rentre on n’en sort pas,
5. {7, 8} forme une autre classe d’états récurrents, une classe finale
6. {5, 6, 9} forme une classe d’états transitoires, cette classe est dite transitoire car
la probabilité de visiter la classe infiniment souvent est nulle. Dès qu’on quitte
on ne peut plus revenir et on quitte avec probabilité 1.
Dans cet exemple on voit que
1. fij = 1 pour i, j ∈ {1, 2, 3, 4} ou i, j ∈ {7, 8},

2. fij = 0 pour i ∈ {1, 2, 3, 4} et j ∈
/ {1, 2, 3, 4},
3. fij = 0 pour i ∈ {7, 8} et j ∈
/ {7, 8},
P∞ P∞ (3k+1)
4. f53 = k=0 f53 (3k + 1) = k=0 p53 = (1/2)(6/5) = 3/5
5. f5j = f53 pour j = 1, 2, 3, 4.
P∞ P∞ h (3k+2) (3k+2)
i
6. f58 = k=0 f58 (3k + 2) = k=0 p58 + p57 = (1/3)(6/5) = 2/5
7. f5j = f58 pour j = 7, 8.
8. f56 = p56 = 1/2 si on visite 6 partant de 5 alors la première visite se fait au temps
1.
(2)
9. f55 = f59 = p59 = 1/6 si on visite 9 partant de 5 alors la première visite se fait
au temps 2.
18
Lemme 0.3.7. Soit i, j ∈ S avec i 6= j. On a les résultats suivants,
1. Si i ↔ j alors i est récurrent si et seulement si j est récurrent.
2. Si i ↔ j alors d(i) = d(j).
3. Si i → j, j 6= i, et i est récurrent alors fji = 1.
4. Si i ↔ j et i est récurrent alors fki = fkj pour tout k ∈ S.
5. Si | S |< ∞ alors il existe i ∈ S tel que i est récurrent.

(r) (s)
Proof. 1. Soit r, s ≥ 0 tels que pij > 0 et pji > 0. Supposons que j est récurrent et i ↔ j.
Premièrement on a toujours
(r+n+s) (r) (n) (s)
pii ≥ pij pjj pji
car
{X0 = i, Xr+n+s = i} ⊃ {X0 = i, Xr = j, Xr+n = j, Xr+n+s = i}
Maintenant, si j est récurrent alors
∞ ∞
(k) (k)
X X
pii ≥ pii
k=1 k=1+r+s
∞
(r+n+s)
X
= pii , k =r+n+s
n=1
∞
(r) (n) (s)
X
≥ pij pjj pji
n=1
∞
(r) (s) (n)
X
= pij pji pjj
n=1
= ∞
donc i est récurrent.

2. Si i ↔ j alors M (i), M (j) 6= ∅. On a aussi
(r+s) (r) (s)
pii ≥ pij pji > 0 donc d(i) divise r + s
(r+n+s) (r) (n) (s)
pii ≥ pij pjj pji > 0 si d(j) divise n
Ainsi, si d(j) divise n alors d(i) divise r + s + n mais d(i) divise déjà r + s donc d(i) divise n lorsque
d(j) divise n ce qui implique que d(i) ≤ d(j) car d(j) est le pgcd de M (j). De façon symétrique
d(j) ≤ d(i).
3. Si i est récurrent alors fii = 1. Si i → j alors on pose
(n)
r = min{n > 0 : pij > 0}.
Par ce choix de r il y a une probabilité nulle de partir sur l’état i et aboutir sur l’état j en r pas
tout en repassant par l’état i en chemin. Pour le voir supposons le contraire, il existe 1 ≤ k < r tel
qu’on peut réaliser les l’événement {Xk = i} ∩ {Xr = j} avec probabilité non nulle. On obtient,
(k) (r−k) (r−k)
pii pij = P(Xk = i, Xr = j | X0 = i) > 0 ⇒ pii >0
mais 0 < r − k < r ce qui est impossible par la définition de r. Ainsi,
{X0 = i, Xr = j} = {X0 = i, Xk 6= i pour 0 < k < r, Xr = j}
19
et
P (N (i) > 0 | X0 = i, Xr = j) = P (N (i) > 0 | X0 = i, Xk 6= i, pour 0 < k < r, Xr = j) = fji
On obtient,
fii = P (N (i) > 0 | X0 = i)

(r) (r)
= P (N (i) > 0 | X0 = i, Xr = j)pij + P (N (i) > 0 | X0 = i, Xr 6= j)(1 − pij )
(r) (r)
= fji pij + P (N (i) > 0 | X0 = i, Xr 6= j)(1 − pij ), par le choix de r
(r) (r)
≤ fji pij + (1 − pij )
< 1 si fji < 1.
donc fji = 1 car fii = 1.

4. Si i ↔ j avec i et j qui sont récurrents alors ( de 3. ) on obtient fij = fji = 1. Ainsi, i ↔ j,
i et j sont récurrents et k ∈ S alors
fki = fki fij ( probabilité de se rendre à j en passant par i sachant qu’on part de k )
≤ fkj ( probabilité de se rendre à j sachant qu’on part de k )
= fkj fji
≤ fki
5. Supposons que | S |= m, à l’étape nm on aura effectué nm + 1 visites ( on fait une visite

aux étapes 0, 1, . . . , nm ). Par le principe des tiroirs ( de Dirichlet ), un des états doit avoir été
visité plus de n fois. Ainsi, il doit exister i ∈ S tel que P (N (i) = ∞ | X0 = i) > 0. Ceci montre
que les états ne peuvent pas tous être transitoires.
Exemple 8 ( ruine du parieur ) Soit S = {0, 1, . . . , N }. On imagine un jeu à deux

joueurs. Le jeu commence lorsque les deux joueurs se partagent une fortune de N
jetons, ( N > 1 ). Dès qu’un joueur se retrouve avec une fortune de 0 jeton il est
ruiné. Lorsqu’un joueur devient ruiné il reste ruiné par la suite. Si les deux joueurs
ne sont pas ruinés alors ils jouent une partie. Le premier joueur gagne la partie avec
probabilité p ce qui augmente sa fortune de 1, la fortune du deuxième joueur descend
de 1. Le premier joueur perd la partie avec probabilité q = 1 − p ce qui diminue sa
fortune de 1, la fortune du deuxième joueur monte de 1. Dans la chaı̂ne Xn désigne la
fortune du premier joueur à la ne partie. Les probabilités de transition deviennent,
p00 = 1
(pii−1 , pii+1 ) = (q, p) i = 1, . . . , N − 1
pN N = 1
En particulier, pour N = 4, la matrice de transition devient

 
1 0 0 0 0
 q 0 p 0 0 
 
P = 0 q 0 p 0 
 
 
 0 0 q 0 p 
0 0 0 0 1
Pour N = 5 on obtient le graphe suivant,
20
p p p
1 2 3 4
q q q
q p
0 1 1 5
Les classes d’équivalences sont {0}, {1, . . . , N − 1}, {N }. Les classes {0}, {N } sont des
classes finales alors que la classe {1, . . . , N − 1} est une classe transitoire. Les états 0,N
sont dits des états absorbants car dès qu’on les visite on y reste pour le futur. Ils sont
aussi récurrents. Les autres états sont transitoires. En fait f11 ≤ p car, en partant de
l’état 1, on se rend du premier coup à l’état 0 avec probabilité q et on ne revient jamais
en 1 d’où (1 − f11 ) ≥ q. Ceci montre que l’état 1 est transitoire. Les états 2, . . . , N − 1
communiquent avec l’état 1, ils sont donc transitoires.
On s’intéresse maintenant à fi0 , la probabilité que le premier joueur finisse ruiné en
partant d’une fortune de i. On sait déjà que f00 = 1 et fN 0 = 0. Pour trouver les fi0
avec i 6∈ {0, N } on utilise la formule
X
fi0 = pi0 + pik fk0
k6=0
(
q + pfi+10 , i = 1,
=
qfi−10 + pfi+10 , i = 2, . . . , N − 1
= qfi−10 + pfi+10 , i = 1, . . . , N − 1, car f00 = 1
21
En posant ∆fi0 = fi+10 − fi0 , i = 0, . . . , N − 1 et r = q/p on obtient
q∆fi−10 = p∆fi0 , i = 1, . . . , N − 1,
∆fi0 = r∆fi−10
..
.
= ri ∆f00
i−1
X
fi0 = f00 + ∆fk0 , ( somme téléscopique )
k=0
i−1
X
= 1 + ∆f00 rk
k=0
i−1
X .
= 1 + (fN 0 − 1) × ∆f00 rk (fN 0 − 1)
k=0
i−1
X . N
X −1
= 1 + (−1) × ∆f00 rk ∆f00 rk
k=0 k=0
i−1
X −1
. NX
= 1− rk rk
k=0 k=0
(
1 − i/N si r=1 (p = 1/2)
= i = 1, . . . , N.
1 − (1 − ri )/(1 − rN ) si r 6= 1 (p 6= 1/2)
On s’intéresse maintenant à la probabilité que le premier joueur sorte ruiné quand il

joue contre un adversaire avec des ressources inépuisables. Le joueur partant d’une
fortune de i se ruine si sa fortune atteint 0 en un temps fini. Ceci revient à dire
qu’il existe une fortune de N > i telle que le joueur atteint la fortune 0 avant de
se rendre à la fortune N . Les événements atteindre la fortune 0 avant la fortune k
sont emboités lorsque k augmente. Soit Qi la probabilité recherchée. En utilisant les
résultats précédents on en vient à
−1
i−1
(
X . NX 1 si r ≥ 1, (p ≤ 1/2)
k k
Qi = lim 1 − r r =
N →∞
k=0 k=0
ri si r < 1, (p > 1/2)
Comme les états 1,2,. . . sont tous transitoires, si le joueur ne se ruine pas alors sa
fortune n’aura pas de limite.
Exemple 9 ( marche aléatoire sur Z ) Cette fois on pose S = Z. On considère la

matrice des probabilités de transition
(pii−1 , pii+1 ) = (q, p), p ∈ (0, 1).
Ici tous les états communiquent entre eux et ils sont tous de période deux. On cherche
à savoir si les états sont récurrents ou transitoires. Pour les calculs on va utiliser
l’approximation de Stirling qui dit
.√
n! 2πn(n/e)n −−−−→ 1
n→∞
22
En partant de l’état i pour revenir à l’état i en n pas lorsque n est pair il faut faire
n/2 pas vers la droite et n/2 pas vers la gauche. Le calcul fait intervenir une variable
aléatoire Sn de loi binomiale(n, p). Ainsi, pour n > 0 on obtient
(n)
pii = P (Sn = n/2)
(
0 si n est impair
= n
n/2
n/2 (pq) si n est pair
∞ ∞
X (n)
X 2k
pii = (pq)k
n=1
k
k=1
∞
X 2k!
= (pq)k
(k!)2
k=1
Soit 0 < < 1, avec l’approximation de Sterling on peut trouver k0 tel que
2k! 1
1−< / √ 4k < 1 + pour tout k > k0 .
(k!)2 πk
Pour p = 1/2 on obtient
∞ k0 ∞
X 2k X 2k X 2k
(pq)k = (1/4)k + (1/4)k
k k k
k=1 k=1 k=k0 +1
k0 ∞
X 2k X 1
≥ (1/4)k + (1 − ) √
k πk
k=1 k=k0 +1
= ∞ ( série divergente, critère de l’intégrale )
et tous les états sont récurrents. Pour p 6= 1/2 on obtient

∞ k0 ∞
X 2k X 2k X 2k
(pq)k = (pq)k + (pq)k
k k k
k=1 k=1 k=k0 +1
k0 ∞
X 2k X 1
≤ (pq)k + (1 + ) √ (4pq)k
k πk
k=1 k=k0 +1
k0 ∞
X 2k X
≤ (pq)k + (1 + ) (4pq)k
k
k=1 k=k0 +1
< ∞ ( série géométrique de raison 4pq ∈ (0, 1), série convergente )
et tous les états sont transitoires. Notez qu’on a exploité le fait que
4pq = 4p(1 − p) = 1 − 4(p − 1/2)2 < 1 si p 6= 1/2.
Lois stationnaires
Définition 0.3.8. Soit P une matrice stochastique. On dit que π est une loi stationnaire pour P
si π est une loi de probabilité ( fonction de masse sur S ) et
X
πj = πi pij , pour tout j ∈ S.
i∈S
23
Remarque 0.3.9. La loi initiale est stationnaire si toutes les variables X0 , X1 , . . . sont de même
loi. Soit P la matrice stochastique, u le vecteur colonne avec tous des 1 et π le vecteur ligne. Pour
que π soit stationnaire il faut satisfaire les conditions suivantes,
1. πj ≥ 0 pour tout j ∈ S,
2. πu = 1,
3. πP = π, π est un vecteur propre de P associé à la valeur propre 1.
Exemple 10 ( S = {0, 1} ) On représente π comme un vecteur ligne. On cherche π

tel que πP = π. On part de
!
1−a a
P = a, b ∈ [0, 1]
b 1−b
Lorsque a + b = 0 il suffit de poser π = (α, 1 − α), α ∈ [0, 1], on a une infinié de lois
stationnaires. Lorsque a + b > 0 la loi stationnaire est unique et elle est donnée par

π = b/(a + b), a/(a + b) .
Exemple 11 ( marche aléatoire sur Z ) On part de p ∈ (0, 1), q = 1 − p et
pii−1 = q, pii+1 = p, i ∈ Z.
On cherche à satisfaire,
πj = (p + q)πj = πj−1 pj−1,j + πj+1 pj+1j

= pπj−1 + qπj+1 , j∈Z
p(πj − πj−1 ) = q(πj+1 − πj ), j∈Z
On pose r = q/p. Ceci nous mène à
∆πj = r∆πj−1
= rj ∆π0
On obtient,
P
1. ∆π0 = 0 ⇒ πj = π0 pour tout j ∈ Z et j∈Z πj 6= 1.
2. Si ∆π0 6= 0 et r ≥ 1 alors, pour j > 0 on a
j−1
X
πj = π0 + ∆πk , somme téléscopique
k=0
j−1
X
= π0 + ∆π0 rk , ∆πk = rk ∆π0
k=0
(
+∞ si ∆π0 > 0
lim πj =
j→+∞ −∞ si ∆π0 < 0
πj ∈
/ [0, 1] lorsque j devient trop grand
24
3. Si ∆π0 6= 0 et r < 1 alors, pour j < 0 on a
−1
X
πj = π0 − ∆πk , somme téléscopique
k=j
−1
X
= π0 − ∆π0 rk , ∆πk = rk ∆π0
k=j
(
−∞ si ∆π0 > 0
lim πj =
j→−∞ +∞ si ∆π0 < 0
πj ∈
/ [0, 1] lorsque j devient trop grand négativement
On arrive à la conclusion qu’il n’existe pas de loi stationnaire. Notez cependant que
le vecteur u avec tous des 1 est un vecteur propre à gauche correspondant à la valeur
propre 1 et toutes les composantes de u sont positives.
Exemple 12 ( modèle des urnes d’Ehrenfest ) On dispose de N boules numérotées

de 1 à N et de deux urnes numérotées 1 et 2. Au départ, le nombre de boules placées
dans l’urne 1 est déterminé selon une loi de probabilité initiale. Ensuite, à chaque
instant n entier, une des N boules est choisie au hasard ( on choisit la boule avec le
numéro j avec probabilité 1/N pour j = 1, . . . , N ) et cette boule est remise dans
l’autre urne. La chaı̂ne donne le nombre de boules dans l’urne 1 à chaque instant.
Ainsi, S = {0, . . . , N }. Pour N = 5 on aura le graphe suivant
4/5
1 2
2/5 3/5
1
1/5 3/5
0 3
4/5
2/5
1
5 4
1/5
Soit u> = (1, . . . , 1), un vecteur de dimension N + 1. Pour trouver la loi sationnnaire
π il faut résoudre le système (P − I)> π > = 0u sous la contrainte πu = 1. On a
 
−1 1 0 ... 0 0 0
1

 N −1 1 − N1 ... 0 0 0 

 2
−1

 0 N ... 0 0 0 
.. .. .. .. .. ..
 
(P − I) = 
 
 . . . ... . . . 

2

 0 0 0 ... −1 N 0 

1 − N1 −1 1
 
 0 0 0 ... N

0 0 0 ... 0 1 −1
25
et
1
 
−1 N 0 ... 0 0 0
2

 1 −1 N ... 0 0 0 

1 − N1

−1

 0 ... 0 0 0 
.. .. .. .. .. ..
 
> >  >
(P − I) π =   π = 0u

 . . . ... . . . 

 0 0 0 ... −1 1 − N1 0 

2
−1
 
 0 0 0 ... N 1 
1
0 0 0 ... 0 N −1
On fait les opérations Li → L1 + · · · + Li sur (P − I)> et on obtient
1
 
−1 N 0 ... 0 0 0
1 2
 0 − 1− N ... 0 0 0 
 
 N 
 0 0 − 1 − N2 ... 0 0 0 
 
  >
 . .. .. .. .. ..  π = 0u
 .. . . ... . . . 
 
 0 0 0 . . . − N2 1 − N1 0 
 
− N1
 
 0 0 0 ... 0 1 
0 0 0 ... 0 0 0
qui donne
(N − i)πi = (i + 1)πi+1 , i = 0, . . . , N − 1

(N − i) N
πi+1 = πi = · · · = π0 , i = 0, . . . , N − 1
(i + 1) i+1

N
πi = π0 , i = 0, . . . , N
i
n
N 1 N X N
= , i = 0, . . . , N, car = 2N
i 2 i=0
i
La loi binomiale(N, 1/2) est la loi stationnaire.
Définition 0.3.10. ( matrice doublement stochastique ) Une matrice de transiton P est double-
ment stochastique si X
pij = 1 pour tout j ∈ S.
i∈S
Remarque 0.3.11. Une matrice P est doublement stochastique si P et P > ( la transposée de P )

sont des matrices stochastiques. Si P est doublement stochastique et | S |< ∞ alors la loi uniforme
sur S est une loi stationnaire pour P . En fait, si | S |= N , P est doublement stochastique et u
est le vecteur colonne avec tous des 1 alors
1 > 1 > 1
u P = P > u = u> .
N N N
Exemple 13 ( marche aléatoire sur le cercle ) Soit S = {0, . . . , N − 1}, p ∈ (0, 1),
q = 1 − p et
pi (i−1) modN = q, i = 0, . . . , N − 1
pi (i+1) modN = p, i = 0, . . . , N − 1
Pour N = 6 on a le graphe suivant,
26
p
1 2
q
p p
q q
0 3
q q
p p
q
5 4
p
La matrice de transition est doublement stochastique car

N
X −1
pij = p(j−1) modN j + p(j+1) modN j
i=0
= p+q =1
= 1, j = 0, . . . , N − 1.
Définition 0.3.12. ( chaı̂ne réversible ) Soit P une matrice de transition et π une loi de proba-
bilité. On dit que la chaı̂ne est réversible par rapport à π si
πi pij = πj pji , pour tout i, j ∈ S.
Remarque 0.3.13. Si une chaı̂ne est réversible par rapport à π alors π est une loi stationnaire
pour la chaı̂ne. En fait,
X X
πj = πj pji = πi pij , pour tout j ∈ S.
i∈S i∈S
Exemple 14 ( modèle des urnes d’Ehrenfest ) Ici S = {0, . . . , N } On choisit π la loi

binomiale(N, 1/2). 
 0
 si | i − j |= 0
N −i
pij = n si j = i + 1,
 i

si j = i − 1,
n
Si | i − j |6= 1 alors pij = 0 et on vérifie πi pij = πj pji , i, j ∈ S. Si i ∈ {0, . . . , N − 1}

alors

(N − i) N 1 N
πi pi i+1 =
N i 2
N
(N − i) 1
= × (N − 1)!
i!(N − i)! 2
N
(i + 1) 1
= × (N − 1)!
(i + 1)!(N − {i + 1})! 2
N
(i + 1) N 1
=
N i+1 2
= πi+1 pi+1 i
27
De la même façon, si i ∈ {1, . . . , N } alors

i N 1 N
πi pi i−1 =
N i 2
N
i 1
= × (N − 1)!
i!(N − i)! 2
N
(N − {i − 1}) 1
= × (N − 1)!
(i − 1)!(N − {i − 1})! 2
N
(N − {(i − 1}) N 1
=
N i−1 2
= πi−1 pi−1 i
Lemme 0.3.14. ( convergence dominée ) soit {ank }n,k>0 des nombres réels. Si
1. limn→∞ ank existe pour tout k > 0,

P∞
2. k=1 supn≥1 | ank |< ∞.
alors
∞
X ∞
X
lim ank = lim ank .
n→∞ n→∞
k=1 k=1
Remarque 0.3.15. En pratique on vérifie la deuxième condition en trouvant une suite {bk }k>0
telle que
1. | ank |≤ bk pour tout n, k > 0,

P∞
2. k=1 bk < ∞.
Les bk dominent les | ank | pour tout n d’où le nom de convergence dominée.
Lemme 0.3.16. Si une chaı̂ne est irréductible et elle possède une loi stationnaire alors tous les
états sont récurrents.
Proof. On suppose le contraire. La chaı̂ne est irréductible et il existe un état j ∈ S qui est
(s)
transitoire donc tous les états sont transitoires. Soit i, j ∈ S et s tel que pji > 0. On obtient,
∞ ∞
X (n) 1 X (n) (s)
pij = (s)
pij pji
n=1 pji n=1
∞
1 X (n+s)
≤ (s)
pii
pji n=1
∞
1 X (n)
= (s)
pii
pji n=s
< ∞, i est transitoire
28
Cependant, comme πP = π on peut itérer pour obtenir π = πP n pour tout n ≥ 1. Ainsi,
(n)
X
πj = πi pij , pour tout n > 0
i∈S
(n)
X
= lim πi pij ,
n→∞
i∈S
(n) (n)
X
= lim πi pij , convergence dominée | pij |≤ 1
n→∞
i∈S
∞
(n) (n)
X X
= 0, ( pij < ∞ ⇒ pij −−−−→ 0)
n→∞
i∈S n=1
= 0, pour tout j ∈ S
Ceci est absurde car π est une loi de probabilité.
Lemme 0.3.17. ( théorie des nombres ) Soit M ⊂ N \ {0}, M 6= ∅. On dit que M est additif si
kn + `m ∈ M, pour tout m, n ∈ M, k, ` ∈ N, k + ` 6= 0
Si pgcd M = 1 alors il existe N > 0 tel que n ∈ M pour tout n ≥ N .
Proof. La première partie de la démonstration consiste à montrer qu’on peut trouver m ∈ M tel
que m + 1 ∈ M . Supposons le contraire. Dans ce cas
d = inf{n − m : m < n, m, n ∈ M } > 1.
Comme pgcd M = 1 il existe n1 ∈ M tel que d ne divise pas n1 . De plus il existe n2 ∈ M tel que
n2 + d ∈ M ( l’infimum est atteint ). On peut écrire
n1 = kd + r, k ∈ N, r ∈ {1, . . . , d − 1}
m1 = k(n2 + d) ∈ M
m2 = kn2 + n1 ∈ M
= k(n2 + d) + r
m2 − m1 = r<d
Ceci est absurde car d est un infimum, r < d et r ∈ {n − m : m < n, m, n ∈ M }. Maintenant, si

n > 0 et n ≥ m(m − 1) alors on peut écrire,
n = km + r r ∈ {0, . . . , m − 1}, k ≥ m − 1
= (k − r)m + r(m + 1) ∈ M
(n)
Lemme 0.3.18. Si l’état i est apériodique et fii > 0 alors il existe N (i, i) tel que pii > 0 pour
tout n ≥ N (i, i).
(n)
Si la chaı̂ne est irréductible et apériodique alors il existe N (i, j) tel que pij > 0 pour tout
n ≥ N (i, j).
(n)
Proof. On pose M = {n > 0 : pii > 0}. On sait que M 6= ∅ car fii > 0. De plus M est additif
(n)
donc il existe N (i, i) tel que pii > 0 pour tout n ≥ N (i, i).
(r(i,j))
Si la chaı̂ne est irréductible alors il existe r(i, j) tel que pij > 0 et fjj > 0. Si en plus elle
(n)
est apériodique alors pij > 0 pour tout n ≥ r(i, j) + N (j, j).
29
Le couplage
L’idée derrière le couplage est la suivante. On fixe i, j, k ∈ S avec i 6= j. On pose
1. X0 , X1 , . . . et Y0 , Y1 , . . . deux chaı̂nes indépendantes, irréductibles et apériodiques sur S ayant

les mêmes probabilités de transition.
2. (X0 , Y0 ) = (i, j), la loi initiale est dégénérée.
3. τ = inf{n ≥ 1 : Xn = Yn = k}, le premier temps où les deux chaı̂nes se croisent en k.
On obtient,
1. P (τ < ∞) = 1, avec probabilité 1 les chaı̂nes se croisent en k dans le futur,
2. Si τ = m alors Xm , Xm+1 , . . . et Ym , Ym+1 , . . . sont deux chaı̂nes indépendantes, irréductibles

et apériodiques sur S ayant les mêmes probabilités de transition partant du même point k.
Théorème 0.3.19. ( l’influence du point de départ disparait à long terme ) Si une chaı̂ne est
irréductible, apériodique et une loi stationaire π existe alors
(n) (n)
pik − pjk −−−−→ 0 pour tout i, j, k ∈ S
n→∞
P (Xn = j) −−−−→ πj , pour toute loi initiale ν et tout j ∈ S.
n→∞
Proof. Soit i, j ∈ S. On commence par créer une nouvelle chaı̂ne sur S × S. La nouvelle chaı̂ne
décrit le comportement simultané de deux chaı̂nes indépendantes ayant les mêmes probabilités de
transition données par P , la première chaı̂ne X0 , X1 , . . . part de i, la deuxième chaı̂ne Y0 , Y1 , . . .
part de j. La nouvelle chaı̂ne (X0 , Y0 ), (X1 , Y1 ), . . . a Q comme probabilités de transition et est
donnée par
(X0 , Y0 ) = (i, j), loi initiale déterministe

q(i1 ,i2 ) (j1 ,j2 ) = pi1 j1 pi2 j2
S’il existe une loi stationnaire π pour la chaı̂ne X) , X1 , . . . alors Π, donné par
Π(i,j) = πi πj , i, j ∈ S.
est une loi stationnaire pour la chaı̂ne (X0 , Y0 ), (X1 , Y1 ), . . . .

Pour tout i1 , i2 , j1 , j2 ∈ S il existe N (i1 , j1 ), N (i2 , j2 ) tels que
(n)
pi1 j1 > 0 pour tout n ≥ N (i1 , j1 ),
(n)
pi2 j2 > 0 pour tout n ≥ N (i2 , j2 ),
donc
(n) (n) (n)
q(i1 ,j1 )(i2 ,j2 ) = pi1 j1 pi2 j2 , indépendance

> 0 pour tout n ≥ max N (i1 , j1 ), N (i2 , j2 ) .
La nouvelle chaı̂ne est irréductible et une loi stationnaire existe donc elle est récurrente. Elle est
aussi apériodique. Soit k ∈ S. Posons
τ = inf{n ≥ 0 : (Xn , Yn ) = (k, k)}
30
On a
f(i,j)(k,k) = 1 ( chaı̂ne irréductible )

P (τ < ∞ | (X0 , Y0 ) = (i, j)) = 1 ( les chaı̂nes X0 , X1 , . . . et Y0 , Y1 , . . . vont se croiser en k )
P (Xn = ` | X0 = i) = P (Xn = ` | (X0 , Y0 ) = (i, j)) ( les chaı̂nes sont indépendantes )
Notez que la probabilité que la première chaı̂ne se rende à l’état ` au temps n en croisant la
deuxième chaı̂ne entretemps est la même que la probabilité que la deuxième chaı̂ne se rende à
l’état ` au temps n en croisant la première chaı̂ne entretemps. Le comportement aléatoire des
deux chaınes devient le même suite à un croisement, c’est le principe derrière le couplage. En fait,
pour tout ` ∈ S on a
(n−m)
P (Xn = ` | τ = m, (X0 , Y0 ) = (i, j)) = pk` , pour tout n ≥ m
(n−m)
P (Yn = ` | τ = m |, (X0 , Y0 ) = (i, j)) = pk` , pour tout n ≥ m
Maintenant, pout n ≥ 1,
(n)
pi` = P (Xn = ` | (X0 , Y0 ) = (i, j))
X∞
= P (Xn = ` | (X0 , Y0 ) = (i, j), τ = m)f(i,j)(k,k) (m)
m=0
n
(n−m)
X
= pk` f(i,j)(k,k) (m)
m=0
∞
X
+ P (Xn = ` | (X0 , Y0 ) = (i, j), τ = m)f(i,j)(k,k) (m)
m=n+1
Par symétrie,
n
(n) (n−m)
X
pj` = pk` f(i,j)(k,k) (m)
m=0
∞
X
+ P (Yn = ` | (X0 , Y0 ) = (i, j), τ = m)f(i,j)(k,k) (m)
m=n+1
On obtient,
∞
X
(n) (n)
| pi` − pj` | = | [P (Xn = ` | (X0 , Y0 ) = (i, j), τ = m) − P (Yn = ` | (X0 , Y0 ) = (i, j), τ = m)]
m=n+1
×f(i,j)(k,k) (m) |
∞
X
≤ | P (Xn = ` | (X0 , Y0 ) = (i, j), τ = m) − P (Yn = ` | (X0 , Y0 ) = (i, j), τ = m) |
m=n+1
×f(i,j)(k,k) (m), ( inégalité du triangle )

∞
X
≤ f(i,j)(k,k) (m), (a, b ∈ [0, 1] ⇒| a − b |≤ 1)
m=n+1
= P (τ > n | (X0 , Y0 ) = (i, j))

−−−−→ 0
n→∞
31
De plus, si une loi stationnaire π existe pour la chaı̂ne X0 , X1 , . . . alors pour tout i, j ∈ S et
pour toute loi initiale ν, on a
(n) (n) (n)
X
| pij − πj | = | πk pij − pkj |
k∈S
(n) (n)
X
≤ πk | (pij − pkj | ( inégalité du triangle )
k∈S
−−−−→ 0, ( convergence dominée )
n→∞
X (n)
| P (Xn = j) − πj | = | νi pij − πj |
i∈S
(n)
X
= | νi pij − πj |
i∈S
(n)
X
≤ νi | pij − πj |
i∈S
−−−−→ 0, ( convergence dominée )
n→∞
Les temps d’attente pour visiter les états

Considérons les notations suivantes,
Pn
1. Vn (j) = k=1 1{j} (Xk ): le nombre de fois que la chaı̂ne visite l’état j entre le temps 1 et le
temps n,
2. N (j) = limn→∞ Vn (j): le nombre de fois que la chaı̂ne visite l’état j sur toute l’excursion
après le temps 0,
3. (
inf{n ≥ 1 : Vn (j) = 1} si N (j) ≥ 1,
T1 (j) =
∞ si N (j) < 1
: le temps minimal qu’on doit attentre pour visiter l’état j une première fois après le temps
0. On pose T1 (j) = ∞ si on ne visite jamais l’état j après le temps 0,
4. (
inf{n ≥ 1 : Vn (j) = k} − Tk−1 (j) si N (j) ≥ k,
Tk (j) = k>1
∞ si N (j) < k
: le temps additionnel minimal qu’on doit attentre pour ajouter une k e visite á l’état j par
rapport au temps minimal qu’on a du attendre pour visiter l’état j un (k − 1)e fois. On pose
Tk (j) = ∞ si on ne se rend jamais à k visites de l’état j après le temps 0,
5. S0 (j) = 0 et
( k
inf{n ≥ 1 : Vn (j) = k} si N (j) ≥ k, X
Sk (j) = = T` (j), k≥1
∞ si N (j) < k `=1
: le temps minimal qu’on doit attentre pour visiter l’état j une k e fois après le temps 0. On
pose Sk (j) = ∞ si on visite moins de k fois l’état j après le temps 0,
6.
mj = E[T1 (j) | X0 = j]
: le temps moyen pour revenir à j une première fois quand on part de j.
32
Lemme 0.3.20. On a
SVn (j) (j) ≤ n < SVn (j)+1 (j), pour tout j ∈ S, n ≥ 1.
Proof. Soit n ≥ 1. On a
Vn (j) = 0 ⇒ SVn (j) = S0 = 0 < n

Vn (j) = 0 ⇒ aucune visite à l’état j au temps n, S1 > n
Si k > 0 alors
Vn (j) = k ⇒ k visites à l’état j au temps n, Sk ≤ n, Sk+1 > n
Exemple 15 Considérons S = {0, 1},
n 1 2 3 4 5 6 7 8
Xn 0 1 0 0 1 1 0 1
Vn (1) 0 1 1 1 2 3 3 4
SVn (1) 0 2 2 2 5 6 6 8
Définition 0.3.21. Soit j un état récurrent. On dit que j est un état
1. récurrent nul si mj = ∞,
2. récurrent positif si mj < ∞.
Théorème 0.3.22. On a les résultats suivants,

(n)
1. Si j est un état transitoire alors pij −−−−→ 0 pour tout i ∈ S d’où
n→∞
n
1 X (k)
pij −−−−→ 0 pour tout i ∈ S.
n n→∞
k=1
2. Si j est un état récurrent alors

n
1 X (k)
pjj −−−−→ 1/mj .
n n→∞
k=1
3. Si j est un état récurrent et la chaı̂ne est irréductible alors

n
1 X (k)
pij −−−−→ 1/mj . pour tout i ∈ S.
n n→∞
k=1
Proof. 1. Soit j un état transitoire. On pose
fij (n) = P (X1 6= j, . . . , Xn−1 6= j, Xn = j | X0 = i).
33
On obtient,
1 ≥ fij
X∞
= fij (n)
n=1
n
(n) (n−k)
X
pij = fij (k)pjj
k=1
(n)
−−−−→ 0, car pjj −−−−→ 0
n→∞ n→∞
Le lemme de Cesàro fait le reste.

2. Soit j un état récurrent. On a P (N (j) = ∞ | X0 = j) = 1 donc Vn (j) −−−−→ ∞
n→∞
presque sûrement et T1 (j), T2 (j), . . . sont des variables aléatoires indépendantes et identiquement
distribuées à valeurs dans N. Par le lemme 0.3.20 on a
SVn (j) (j) n SV (j)+1 (j) Vn (j) + 1
[ ≤ < n (0.3.1)
Vn (j) Vn (j) Vn (j) + 1 Vn (j)
et, en passant à la limite la loi forte des grands nombres nous donne,
SVn (j) (j) n SVn (j)+1 (j) Vn (j) + 1

mj = lim ≤ lim ≤ lim = mj ( presque sûrement )
n→∞ Vn (j) n→∞ Vn (j) n→∞ Vn (j) + 1 Vn (j)
(0.3.2)
Notez qu’on triche un peu en disant cela car la loi des grands nombres s’applique lorsque mj < ∞.
Si on travaille encore un peu on montre que ( dans notre cas ) le résultat reste valide pour mj = ∞.
Ainsi,
1 Vn (j)
= lim ( presque sûrement )
mj n→∞ n
n
1X
= lim 1{j} (Xk )
n→∞ n
k=1
n n
1X 1X
E[ lim 1{j} (Xk ) | X0 = j] = lim E[ 1{j} (Xk ) | X0 = j], ( convergence dominée )
n→∞ n n→∞ n
k=1 k=1
n
1 X (k)
= lim pjj
n→∞ n
k=1
3. Maintenant, la chaı̂ne est irréductible, j est récurrent et on part de i. Dans ce cas T1 (j), T2 (j), . . .
sont des variables aléatoires indépendantes, T2 (j), T3 (j), . . . sont indentiquement distribuées. Comme
fij = 1 on obtient P (T1 (j) < ∞ | X0 = i) = 1. Les résultats des lignes (0.3.1) et (0.3.2) tiennent
toujours. Le reste suit de la même façon sauf qu’on conditionne sur l’événement {X0 = i}. En
fait, lorsque Vn (j) > 1, on a
SVn (j) T1 (j) T2 (j) + · · · + TVn (j) p.s.

= + −−−−→ mj .
Vn (j) Vn (j) Vn (j) n→∞
Corollaire 0.3.23. Si, pour une chaı̂ne irréductible, il existe un état récurrent nul alors
1. Tous les états sont récurrents nuls,
34
2. Il n’existe pas de loi stationnaire.
Proof. 1. Du théorème 0.3.22, pour un état j récurrent on a

n
1 X (k)
j recurrent nul ⇔ pjj −−−−→ 0.
n n→∞
k=1
(r) (s)
Soit r, s > 0 tels que pij , pji > 0. On obtient,
n n
1 X (k) 11 X (r) (k) (s)
pjj = (r) (s)
pij pjj pji
n p p n
k=1 ij ji k=1
n
1 1 X (r+k+s)
≤ (r) (s)
pii
pij pji n
k=1
r+n+s
11 X (k)
= (r) (s) n
pii
p pij ji k=r+s+1
r+n+s
1r+n+s 1 X (k)
≤ (r) (s)
pii
p p n r+n+s
ij ji k=1
−−−−→ 0
n→∞
2. Si π est une loi stationnaire et tous les états sont récurrents nuls alors
n
1 X
(k)
X
πj = πi pij , pour tout n
n
i∈S k=1
n
1 X
(k)
X
= lim πi pij
n→∞ n
i∈S k=1
n
X 1 X (k)

= πi lim pij , ( convergence dominée )
n→∞ n
i∈S k=1
= 0, pour tout j ∈ S
ce qui est absurde.
Corollaire 0.3.24. Lorsque | S |< ∞ une chaı̂ne récurrente et irréductible est récurrente positive.
Proof. Considérons | S |< ∞, une chaı̂ne irréductible avec un état qui est récurrent nul. Nous
allons montrere que cela mène à une absurdité. Premièrement, peu importe la chaı̂ne, on a toujours
n
1 X X (k)
1= pij −−−−→ 1 pour tout i ∈ S.
n n→∞
k=1 j∈S
Maintenant, avec toutes les hypothèses de l’énoncé, par point 1 du Corollaire 0.3.23, tous les états
doivent être récurrents nuls. Ainsi, mj = ∞ pour tout j ∈ S. Soit i ∈ S fixé, on obtient
n n
1 X X (k) X1X (k)
pij = pij
n n
k=1 j∈S j∈S k=1
−−−−→ 0 par le point 3 du Theorème 0.3.22 et le fait que | S |< ∞.
n→∞
Notez que | S |< ∞ nous permet de passer la limite à l’intérieur de la somme pour j ∈ S. Le
même principe pourrait faire défaut si on avait | S |= ∞.
35
Théorème 0.3.25. Une chaı̂ne irréductible récurrente positive possède une seule loi stationnaire
(n)
donnée par πj = 1/mj , j ∈ S. Si en plus, la chaı̂ne est apériodique alors pij −−−−→ 1/mj pour
n→∞
tout i, j ∈ S.
Proof. On montre premièrement qui s’il existe une loi stationnaire alors elle est unique et satisfait
πj = 1/mj , j ∈ S. En fait, on reprend une partie de la démonstration du corrolaire précédent.
On a
n
1 X
(k)
X
πj = πi pij , pour tout n
n
i∈S k=1
n
1 X
(k)
X
= lim πi pij
n→∞ n
i∈S k=1
n
X 1
(k)
X
= πi lim
pij , ( convergence dominée )
n→∞ n
i∈S k=1
X
= πi 1/mj
i∈S
= 1/mj pour tout j ∈ S
De plus,
(t+1) (t)
X
pij = pik pkj , pour tout t ∈ N
k∈S
n n
1 X (t+1) X1X (t)
p = p pkj , pour tout n
n t=1 ij n t=1 ik
k∈S
n n
1 X (t+1) X1X (t)
lim pij = lim p pkj ,
n→∞ n
t=1
n→∞ n t=1 ik
k∈S
X n
(t)
X
= lim pik pkj
n→∞
k∈S t=1
1 X 1
= pkj
mj mk
k∈S
Ce qui montre que le vecteur v avec vj = 1/mj , pour tout j ∈ S, est un vecteur propre à gauche
associé à la valeur propre 1 pour la matrice des transitions P . On a vj > 0 pour tout j ∈ S car les
P
états sont récurrents positifs. Soit C = j∈S vj . Si on peut montrez que C < ∞ alors en posant
πj = vi /C on trouve que π est une loi stationnaire. Cependant, pour être une loi stationnaire il
faut avoir πj = 1/mj , pour tout j ∈ S. Ainsi, C = 1.
Montrons que C < ∞.
36
Soit A ⊂ S avec | A |< ∞. On a
n
X X 1 X (k)
vj = lim pij
n→∞ n
j∈A j∈A k=1
X1Xn
(k)
= lim pij , car | A |< ∞
n→∞ n
j∈A k=1
X1 n
(k)
X
≤ lim pij
n→∞ n
j∈S k=1
n
1 X X (k) X (k)
= lim pij , mais pij = 1
n→∞ n
k=1 j∈S j∈S
= 1
X
C = sup{ vj : A ⊂ S, | A |< ∞}
j∈A
≤ 1
Finalement, pour une chaı̂ne irréductible, apériodique avec une loi stationnaire π, le théorème
0.3.19 nous donne
(n)
pij −−−−→ πj = 1/mj , pour tout i, j ∈ S.
n→∞
Le théorème suivant est d’une grande importance, c’est le plus important pour les applications.
Il généralise d’une certaine façon la loi forte des grands nombres en affaiblissant les conditions pour
lesquelles une moyenne converge vers une espérance. Il est utilisé dans les méthodes de simulation
par chaı̂nes de markov ( MCMC en anglais pour Markov Chain Monte Carlo ). Notez que MCMC
c’est le numéro de ma plaque automobile!
Théorème 0.3.26. ( ergodique ) Considérons une chaı̂ne de Markov irrédutible et récurrente

positive. Soit π l’unique loi stationnaire associée et Y une variable aléatoire sur S de loi π. Soit
f : S 7→ R une fonction telle que
X
E[| f (Y ) |] = | f (i) | πi < ∞.
i∈S
Pour toute loi initiale ν, on obtient

n
1X
f (Xk ) −−−−→ E[f (Y )], ( presque sûrement )
n n→∞
k=1
Proof. ( On fait la démonstration uniquement pour le cas spécial | {i : f (i) 6= 0} |< ∞ ) Soit
37
S0 = {i : f (i) 6= 0}. On obtient,
n
1X X Vn (i)
lim f (Xk ) = lim f (i)
n→∞ n n→∞ n
k=1 i∈S
X Vn (i)
= lim f (i)
n→∞ n
i∈S0
X Vn (i)
= f (i) lim , ( somme finie, on peut interchanger somme et limite )
n→∞ n
i∈S0
X
= f (i)πi
i∈S0
X
= f (i)πi
i∈S
= E[f (Y )]
Voici d’autres résultats qui viennent compléter la section sur les chaı̂nes de Markov discrètes.
On aimerait établir le résultat suivant pour un j, un état récurrent nul,
(n)
pjj −−−−→ 1/mj = 0.
n→∞
Cependant, les difficultés techniques à surmonter dépassent le niveau du cours.

De façon générale, une chaı̂ne va, avec probabilité 1, aboutir dans une classe finale. Si on
part de l’état i et l’état j est transitoire alors, avec probabilité un au bout d’un certain temps,
on va cesser de visiter l’état j. Si on part de l’état i et l’état j est dans une classe finale, alors
on va aboutir dans la classe finale qui contient l’état j avec probabilité fij . Une fois dans la
classe finale, le comportement de la chaı̂ne devient celui de la sous-chaı̂ne sur la classe finale
qui est irréductible. S’il existe au moins une classe finale dont les états sont récurrents positifs
alors il va exister une loi stationnaire pour la chaı̂ne. En particulier, il y la loi stationnaire qui
donne probabilité un à la classe finale, cette loi stationnaire est unique. S’il y a plusieurs classes
finales qui sont récurrentes positives alors toute loi stationnaire sera une combinaison convexe des
lois stationnaires qui donnent probablité un sur chacunes des classes finales récurrentes positives.
Toutes les lois stationnaires vont donner probabilité nulle aux états qui ne sont pas récurrents
positifs.
Continuons avec,
(n) (n)
Lemme 0.3.27. Si pjj −−−−→ 1/mj alors pij −−−−→ fij /mj .
n→∞ n→∞
Proof. On a
n
(n) (n−k)
X
pij = fij (k)pjj
k=1
−−−−→ fij a, convergence dominée
n→∞
De même,
38
Proposition 0.3.28. ( sans démonstration ) On a
(n)
pij −−−−→ fij /mj lorsque fij = 0 ou j est transitoire, récurrent nul ou apériodique
n→∞
n
1 X (n)
pij −−−−→ fij /mj dans tous les cas
n n→∞
k=1
Voyons ce qui se passe avec une chaı̂ne irréductible de période d. Fixons i ∈ S et posons
(n)
j ∈ Sk s’il existe n > 0 tel que pij > 0 et n mod d = k, k = 0, . . . , d − 1.
Lemme 0.3.29. Ici, S0 , . . . , Sd−1 forme une partition de S et tous les états de Sk se retrouvent
dans S(k+1) mod d à la transition suivante, k = 0, . . . , d − 1.
Proof. Comme la chaı̂ne est irréductible on obtient ∪d−1 k=0 Sk = S. Soit 0 < n1 < n2 tels que
(n ) (n ) (s)
pij 1 , pij 2 > 0. Il existe s > 0 tel que Pji > 0. Ainsi,
(n +s) (n ) (s)
pii 1 ≥ pij 1 pji > 0
(n1 + m) mod d = 0
(n +s) (n ) (s)
pii 2 ≥ pij 2 pji > 0
(n2 + m) mod d = 0
N1 mod d = n2 mod d
ce qui montre que S0 , . . . , Sd−1 sont disjoints.
Voici une illustration de ce qui se passe avec d = 6,
S1 S2
S0 S3
S5 S4
En particulier, pour S = {0, 1, 2} avec le graphe,
1 1/2
0 1 2
1/2 1
on a une chaı̂ne périodique de période 2 et une partition S = {0, 2} ∪ {1}.

Si une chaı̂ne irréductible de période d part en i ∈ Sk alors X0 , Xd , X2d , . . . forme une nouvelle
chaı̂ne irréductible et apériodique à valeurs dans Sk . La matrice de transition de la nouvelle chaı̂ne
devient
(d)
{pij }i,j∈Sk
39
De plus, pout tout i, j ∈ Sk on obtient,
(nd)
pij −−−−→ d/mj
n→∞
(nd+`)
pij = 0, ` = 1, . . . , d − 1
Plus généralement, si i ∈ Sk1 , j ∈ Sk2 et ` = k2 − k1 alors

(nd+`)
pij −−−−→ d/mj
n→∞
(nd+m)
pij = 0, si (` − m) 6= 0 mod d
Théorème 0.3.30. ( ergodique ) Considérons une chaı̂ne de Markov irrédutible et récurrente

positive. Soit π l’unique loi stationnaire associée et Y une variable aléatoire sur S de loi π. Soit
f : S 7→ R une fonction bornée ( | f (i) |≤ B pour tout i ∈ S. Pour toute loi initiale ν, on obtient
n
1X
f (Xk ) −−−−→ E[f (Y )], ( presque sûrement )
n n→∞
k=1
Proof. Pout tout x ∈ R on pose X+ = max(0, x), la partie positive de x et X− = max(0, −x) la
partie négative de x. Notez que x = x+ − x− et | x |= x+ + x− .
On obtient,
n
1X X X Vn (i)
| lim f (Xk ) − f (i)πi | = | lim f (i){ − πi } |
n→∞ n n→∞ n
k=1 i∈S i∈S
X Vn (i)
≤ B lim |{ − πi } |
n→∞ n
i∈S
X Vn (i) Vn (i)
lim { − πi }− = 0 convergence dominée { − πi }− ≤ πi ,
n→∞ n n
i∈S
Vn (i)
−−−−→ πi presque sûrement
et
n n→∞
X Vn (i) X Vn (i) X Vn (i) X
{ − πi } + = { − πi }− car = πi = 1
n n n
i∈S i∈S i∈S i∈S
40

Chaînes de Markov

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chaînes de Markov

Transféré par

Droits d'auteur :

Formats disponibles

Notes de cours pour le cours processus stochastiques automne 2021

La règle de multiplication Soient E0 , E1 , . . . , En des événements. On obtient

1. pk = P(X = k), k ∈ N: la fonction de masse de la loi de probabilité de X,

3. pij = P(Y = j | X = i), i, j ∈ N, ( lorsque P(X = i) > 0 ): la fonction de masse de la loi de

pk = P(T = k), k ∈ N ∪ {∞}.

Lemme 0.2.1. Soit T une variable aléatoire à valeurs dans N ∪ {∞}. On a

Exemple 1 Soit X1 , X2 , . . . une suite de variables aléatoires indépendantes de loi

{T = 1} = {X1 = 1}, P(T = 1) = p, P(T = k) = q k−1 p pour k = 1,

Si on applique directement la définition de l’espérance alors p∞ = 0 et on trouve

{T ≥ k} = {X1 = 0, . . . , Xk−1 = 0}, k ≥ 1,

{T = j, X1 = 0} = {X1 = 0} ∩ {X2 = 0, . . . , Xj−1 = 0, Xj = 1}

3. de probabilités de transition {pij }i,j∈S .

La suite satisfait les conditions suivantes,

P(X0 = i0 , X1 = i1 , . . . , Xn = in ) = νi0 pi0 i1 · · · pin−1 in , i0 , i1 , . . . , in ∈ S.

Les probabilités de transition satisfont

1. pij ≥ 0 pour tout i, j ∈ S,

P(Xn = in | Xn−1 = in−1 , . . . , X0 = i0 ) = P(Xn = in | Xn−1 = in−1 ), (0.2.1)

Remarque 0.2.3. Dans ce qui va suivre on notera par

1. P : la matrice de transition, matrice donnée par les probabilités de transition et pij , i, j ∈ S

2. ν: le vecteur ligne qui donne les probabilités initiales,

Exemple 2 Pour fixer les idées supposons S = {1, 2, 3, 4, 5, 6}. On aura,

Exemple 3 ( indépendance ) Soit π un vecteur ligne qui représente une fonction de

ν = (1/4, 1/2, 1/4), π = (1/6, 1/3, 1/2)

Exemple 4 ( S = {0, 1} ) On pose

Si a = b = 1 alors on obtient le graphe suivant

Maintenant, a = 0 et b > 0. Le graphe est donné par

On montre par induction que

On peut aussi raisonner de la façon suivante. Si on part de l’état 0 alors on retourne

P (Xn = 0) = ν0 + {1 − (1 − b)n }ν1 = 1 − ν1 (1 − b)n , n ≥ 0,

Exemple 5 Considérons le lancer d’un sou. On lance le sou continuellement, la pro-

et la matrice de transition est donnée par

En utilisant le graphe on voit un seul chemin pour se rendre de (F F ) à (P F ) en deux

det(P − λI) = λ3 (λ − 1).

Il y deux valeurs propres. La valeur propre 1 de multiplicité 1 et la valeur propre 0

Cherchons maintenant le nombre minimal moyen de pièces de monnaie qu’on doit

1. Nj : le nombre minimal de pièces de monnaie qu’on doit lancer pour observer

On obtient les résultats suivants,

ν = (p2 , pq, pq, q 2 ), la loi initiale

1 + pτ31 + qτ41 = τ21

On peut écrire le système,

τ1 = ν1 × τ11 + ν2 × τ21 + ν3 × τ31 + ν4 × τ41

1. {P F } est associé à l’état 0 car de PF peut se rendre à PF en 0 transition,

Ceci nous donne le graphe suivant,

Comme on a fait précédemment, on pose

1. N0 : le nombre minimal de pièces de monnaie qu’on doit lancer pour observer

On obtient les résultats suivants,

ν = (pq, p, q 2 ), la loi initiale

1 + pτ10 = τ10 , car τ00 = 0

0.3 Classifier les états

1 − fij = P(Xn 6= j pour tout n > 1 | X0 = i) = P (N (j) = 0 | X0 = i).

3. fij (n) = P(X1 , . . . , Xn−1 6= j, Xn = j | X0 = i), n ≥ 1 la probabilité que, partant de l’état i

On a les propriétés suivantes,

Pour justifier le résultat de P(N (j) ≥ k | X0 = i) fixons k = 2 et conditionnons sur le temps de la

Définition 0.3.1. Soit i ∈ S. L’état i est dit

1. récurrent: si P(N (i) = ∞ | X0 = i) = 1 ( en partant de l’état i, avec probabilité 1, il n’y a

2. transitoire: si P(N (i) < ∞ | X0 = i) = 1 ( en partant de l’état i, avec probabilité 1, il y a

Lemme 0.3.2. On a les résultats suivants,

{N (i) = ∞} = ∩k≥1 {N (i) ≥ k}

fij = P(N (j) > 0 | X0 = i)

Remarque 0.3.4. En pratique, lorsque | S |< ∞ ( S = {1, . . . , m} disons ), on fixe j ∈ S et on

−p41 −p42 0 1 − p44 f43 p43

Avec le graphe on déduit les choses suivantes,

f11 = 1 partant de 1 on y reste prisionnier