Vous êtes sur la page 1sur 43

Chanes de Markov

Arthur Charpentier
cole Nationale de la Statistique et dAnalyse de lInformation
- notes de cours usage exclusif des tudiants de lENSAI -
- ne pas diuser, ne pas citer -
1 Quelques motivations
1.1 La sentinelle de la tour carre
Lors dune ronde, une mthode simple pour tromper lennemi est davancer ou reculer
de manire alatoire, en tirant pile ou face. Comme prcdement, si X
n
dsigne la
position du garde linstant n, lvolution peut se modliser laide dune matrice de
transition,
P =
/N/ /E/ /S/ /O/
N
E
S
O
_
_
_
_
0 1/2 0 1/2
1/2 0 1/2 0
0 1/2 0 1/2
1/2 0 1/2 0
_
_
_
_
1.2 Le systme bonus-malus en assurance auto
A Hong Kong, il existe 6 classes de tarication, de 1 (fort bonus) 6 fort malus
si un assur na pas eu de sinistre, il passe de i max{1, i 1},
si lassur a eu au moins un sinistre, il passe de i 6.
Si p est la probabilit de ne pas avoir de sinistre,
P =
_
_
_
_
_
_
_
_
p 0 0 0 0 1 p
p 0 0 0 0 1 p
0 p 0 0 0 1 p
0 0 p 0 0 1 p
0 0 0 p 0 1 p
0 0 0 0 p 1 p
_
_
_
_
_
_
_
_
Proportion par classe en fonction de n, p=90%
0
.
0
0
.
2
0
.
4
0
.
6
0
.
8
1
.
0
Proportion par classe en fonction de n, p=80%
0
.
0
0
.
2
0
.
4
0
.
6
0
.
8
1
.
0
si un assur na pas eu de sinistre, il passe de i max{1, i 1},
si lassur a eu k sinistres, il passe de i min{6, i +k}.
Si le nombre de sinistres suit une loi de Poisson p
k
= P(N = k) = e

k
/k!, k N, et
p
k
= p
0
+... +p
k
,
P =
_
_
_
_
_
_
_
_
p
0
p
1
p
2
p
3
p
4
1 p
4
p
0
0 p
1
p
2
p
3
1 p
3
0 p
0
0 p
1
p
2
1 p
2
0 0 p
0
0 p
1
1 p
1
0 0 0 p
0
0 1 p
0
0 0 0 0 p
0
1 p
0
_
_
_
_
_
_
_
_
Proportion par classe en fonction de n, 10%
0
.
0
0
.
2
0
.
4
0
.
6
0
.
8
1
.
0
Proportion par classe en fonction de n, 35%
0
.
0
0
.
2
0
.
4
0
.
6
0
.
8
1
.
0
1.3 La ruine dun joueur
Deux joueurs jouent pile ou face, chaque fois que X gagne, il touche 1 de Y , et rcipro-
quement. Ils partent respectivement dun capital X
0
et Y
0
, et le jeu sarrte lorsquun
joueur na plus dargent pour payer.
La fortune dun joueur prend les valeurs {0, 1, 2, ...., X
0
+Y
0
}. Si le joueur X possde
une fortune X
n
= k la date n, la date n + 1
sa fortune devient k 1 avec probabilit p etk +1 avec probabilit 1 p si 0 < k <
X
0
+Y
0
,
sa fortune reste en 0 avec probabilit 1 si k = 0,
sa fortune reste en X
0
+Y
0
avec probabilit 1 si k = X
0
+Y
0
.
1.4 Le modle stepping stone
On considre un tableau nn, o chaque cellule a une couleur choisie parmi k. A chaque
date, on choisit une cellule au hasard, qui prend la couleur dun de ses voisins immdiat,
au hasard. Les gures suivantes montrent lvolution de ce systme pour k = 2 couleurs,
et n = 40, puis k = 8 couleurs, et n = 80. On peut montrer quil sagit dune chane de
Markov absorbante au sens o des rgions absorbantes vont se former,
Ce type de modle apparat naturellement en gntique
1
.
1
Une animation de cet algorithme est tlchargeable sur
http://www.crest.fr/pageperso/charpent/MC-ST-0001.avi
0 10 20 30 40
0
1
0
2
0
3
0
4
0
Le moldle Stepping stone, Etape 0
Figure 1: Le modle stepping stone, k = 2 et n = 40.
0 10 20 30 40
0
1
0
2
0
3
0
4
0
Le moldle Stepping stone, Etape 10 000
Figure 2: Le modle stepping stone, k = 2 et n = 40.
0 10 20 30 40
0
1
0
2
0
3
0
4
0
Le moldle Stepping stone, Etape 1 000 000
Figure 3: Le modle stepping stone, k = 2 et n = 40.
0 20 40 60 80
0
2
0
4
0
6
0
8
0
Le moldle Stepping stone, Etape 0
Figure 4: Le modle stepping stone, k = 8 et n = 80.
0 20 40 60 80
0
2
0
4
0
6
0
8
0
Le moldle Stepping stone, Etape 1 000 000
Figure 5: Le modle stepping stone, k = 8 et n = 80.
1.5 Une application conomique
La plupart des entreprises qui mettent des obligations sont notes par des agences de
notations (Moodys ou Standard & Poors). Les notes sont de la forme AAA, AA, A, BBB,
BB, B, CCC, du plus sr au plus risqu. De matrice de transition sur un an existent:
AAA AA A BBB BB B CCC dfaut
AAA 90, 81% 8, 33% 0, 68% 0, 06% 0, 12% 0, 00% 0, 00% 0, 00%
AA 0, 70% 90, 65% 7, 79% 0, 64% 0, 06% 0, 14% 0, 02% 0, 00%
A 0, 09% 2, 27% 91, 05% 5, 52% 0, 74% 0, 26% 0, 01% 0, 06%
BBB 0, 02% 0, 33% 5, 95% 86, 93% 5, 30% 1, 17% 0, 12% 0, 18%
BB 0, 02% 0, 14% 0, 67% 7, 73% 80, 53% 8, 84% 1, 00% 1, 06%
B 0, 00% 0, 11% 0, 24% 0, 43% 6, 48% 83, 46% 4, 08% 5, 20%
CCC 0, 22% 0, 00% 0, 22% 1, 30% 2, 38% 5, 00% 64, 85% 19, 79%
dfaut 0, 00% 0, 00% 0, 00% 0, 00% 0, 00% 0, 00% 0, 00% 100%
1.6 Applications lexicographiques
Cette application a t propose dans la modlisation initiale dAndrei Andreevich
Markov, en 1913. On considre une suite de 20 000 caractres pris dans Eugne One-
gin dAlexandre Pouchkine, et on distingue entre les voyelles, et les consonnes.
Heedless of the proud worlds enjoyment, I prize the attention of my friends, and only wish
that my employment could have been turned to worthier ends ...
En russe, il avait obtenue la matrice de transition suivante,
P =
_
12, 8% 87, 2%
66, 3% 33, 7%
_
,
i.e. la probabilit quune voyelle soit suivie dune consonne est de 87, 2%. La loi limite associ
cette matrice est = (43, 2% 56, 8%), ce qui correspond aux frquences des voyelles et des
consonnes respectivement.
Notons quen franais les frquences sont = (45, 6% 54, 4%), pour litalien = (47, 4%
52, 6%), et pour lallemand = (38, 5% 61, 5%).
1.7 Diusion dun gaz et urne
Les chanes de Markov avaient t introduites avant les travaux de Markov:
En 1889, Galton a introduit des chanes de Markov pour tudier le problme de la disparition
de noms de famille.
En 1907, Ehrenfest a introduit des chanes de Markov pour tudier la diusion dun gaz.
1.8 Chanes de Markov et jeux de cartes
En 1912, Poincarr a introduit des chanes de Markov pour tudier le problme du battage de
cartes. Ce problme a t tudi par la suite par Borel & Cheron (1940), Doob (1954) ou
Thorpe (1972). Le nombre de mthodes pour battre les cartes est presque inni,
1 On coupe en deux, et on intervertit les deux tas (gure 1.8),
2 On prend une carte au hasard, on la met au dessus du tas, et on recommence (gure ??).
Toutes ces mthodes conduisent plus ou moins vite (parfois jamais) une rpartition unifor-
mment alatoire des cartes.
Urne dEhrenfest, tape 0 Urne dEhrenfest, tape 1
Urne dEhrenfest, tape 2 Urne dEhrenfest, tape 10 000
Figure 6: Lurne dEhrenfest.
Urne dEhrenfest, tape 0 Urne dEhrenfest, tape 1
Urne dEhrenfest, tape 2 Urne dEhrenfest, tape 10 000
Figure 7: Lurne dEhrenfest.
1 2 3 4 5 6 7 8 9 VDR
9 VDR 1 2 3 4 5 6 7 8
R 1 2 3 4 5 6 7 8 9 VD
VDR 1 2 3 4 5 6 7 8 9
Figure 8: Le battage de cartes.
1 2 3 4 5 6 7 8 9 VDR
5 1 2 3 4 6 7 8 9 VDR
3 5 1 2 4 6 7 8 9 VDR
9 3 5 1 2 4 6 7 8 VDR
4 9 3 5 1 2 6 7 8 VDR
9 4 3 5 1 2 6 7 8 VDR
2 9 4 3 5 1 6 7 8 VDR
4 2 9 3 5 1 6 7 8 VDR
Figure 9: Le battage de cartes.
1.9 Chanes de Markov et ADN
LADN est une succession de nuclotique, ladmine, la cytosine, la guanine et la thymine. Par
exemple gactgaactctgag...
Rappelons quil y a en ralit deux brins complmentaires, le a sassociant toujours au t, et le
c avec le g. On note cg le dinuclotide c suivi de g. Ces dinuclotide ont naturellement tendance
disparatre (par mthylation c mute facitement en t). Les squences cg est alors plus rare que
ce que lon pourrait esprer. Dans certaines rgions toutefois, appele ilts, on trouve beaucoup
de cg.
Soit X
1
le premier nuclotide dune squence dADN, de loi de probabilit = (
a
,
c
,
g
,
t
),
o

a
= P(X
1
= a),
c
= P(X
1
= c),
g
= P(X
1
= g) et
t
= P(X
1
= t),
avec
a
+
c
+
g
+
t
= 1 et
a
,
c
,
g
,
t
0.
Il peut paratre lgitime de penser que la suite des nuclotides (X
n
)
nN
nest pas indpen-
dante. Un modle Markovien devrait pouvoir faire laaire.
Dans la rgion dilts cg, la matrice de transition (observe empiriquement)
pour le vecteur X =
_
_
_
_
a
c
g
t
_
_
_
_
est P =
_
_
_
_
18, 0% 27, 4% 42, 6% 12, 0%
17, 1% 36, 8% 27, 4% 18, 8%
16, 1% 33, 9% 37, 5% 12, 5%
7, 9% 35, 5% 38, 4% 18, 6%
_
_
_
_
et dans la region o rgion lon nest pas en prsence dilts cg,
P =
_
_
_
_
30, 0% 20, 5% 28, 5% 21, 0%
32, 2% 29, 8% 7, 8% 30, 2%
24, 8% 24, 6% 29, 8% 20, 8%
17, 7% 23, 9% 29, 2% 29, 2%
_
_
_
_
1.10 Application au jeu de Monopoly
Le jeu de Monopoly peut tre vu comme une marche alatoire sur 40 cases, avec pour chaque case,
des rpercussions sur le dplacement (aller en prison) et/ou la fortune (payer car un adversaire
a construit un hotel, ou recevoir 20 000 francs).
La position dun joueur est une chane de Markov 40 tats (dont un de probabilit nulle
allez en prison).
Il est ainsi possible de montrer que lavenue Henri Martin est la plus frquente (3,2%) alors
que la rue Lecourbe et lavenue des Champs Elyses sont les moins frquente (2,1%), et que la
zone orange lemporte sur la zone rouge.
0.0 0.2 0.4 0.6 0.8 1.0
0
.
0
0
.
2
0
.
4
0
.
6
0
.
8
1
.
0
Probabilit de gagner un jeu au tennis
Probabilit de gagner une balle
P
r
o
b
a
b
i
l
i
t


d
e

g
a
g
n
e
r

u
n

j
e
u
Figure 10: Probabilit de gagner un jeu au tennis.
1.11 Modlisation dune partie de tennis
Le jeu de tennis. Considrons lvolution du score au cours dun jeu de tennis. Un joueur gagne
le jeu sil atteint 50.
(0,50) (15,50) (30,50)
(0,40) (15,40) (30,40)
(0,30) (15,30) (30,30) (40,30) (50,30)
(0,15) (15,15) (30,15) (40,15) (50,15)
(0,0) (15,0) (30,0) (40,0) (50,0)
1.12 Les processus de le dattente
On considre une le dattente. A chaque date n arrive un nouveau client avec probabilit p et
pas de client avec probabilit 1 p. Un client dans la le qui se fait servir quitte la le avec
probabilit q, ou attend encore avec probabilit 1 q. On note X
n
le nombre de clients prsents
dans la le la date n. (X
n
)
nN
est une chane de Markov.
A laide de cette modlisation (et en gnralisant), on peut regarder sil est optimal - lorsquil
y a plusieurs guichets - de crer une le unique, ou que les clients choisissent leur le en arrivant
(en choisissant a priori la le la moins longue).
1.13 Considration plus gnrales, introduction aux processus
Un processus (X
t
)
tT
est une collection de variables alatoires valeurs dans X. Pour tout
, la suite (X
t
()) sera appele une trajectoire.
Parmi les processus usuels, on distinguera
le cas o T est discret (N ou Z), et X est dnombrable: chane de Markov,
le cas o T est discret (N ou Z), et X = R: sries temporelles,
le cas o T est continu (R ou R
+
), et le cas o X est dnombrable: processus de Poisson,
0 5 10 15 20
0
2
4
6
8
1
0
File dattente p>q
Date
N
o
m
b
r
e

d

u
a
g
e
r
s

d
a
n
s

l
a

q
u
e
u
e
0 20 40 60 80 100
5
1
0
1
5
2
0
2
5
3
0
Modle de file dattente p>q
Dates
N
o
m
b
r
e

d

u
s
a
g
e
r
s

d
a
n
s

l
a

f
i
l
e
Figure 11: Evolution de la le dattente, p > q.
0 5 10 15 20
0
2
4
6
8
1
0
File dattente p>q
Date
N
o
m
b
r
e

d

u
a
g
e
r
s

d
a
n
s

l
a

q
u
e
u
e
0 20 40 60 80 100
2
4
6
8
1
0
1
2
1
4
1
6
Modle de file dattente p>q
Dates
N
o
m
b
r
e

d

u
s
a
g
e
r
s

d
a
n
s

l
a

f
i
l
e
Figure 12: Evolution de la le dattente, p > q.
0 5 10 15 20
0
2
4
6
8
1
0
File dattente p=q
Date
N
o
m
b
r
e

d

u
a
g
e
r
s

d
a
n
s

l
a

q
u
e
u
e
0 20 40 60 80 100
0
1
2
3
4
Modle de file dattente p=q
Dates
N
o
m
b
r
e

d

u
s
a
g
e
r
s

d
a
n
s

l
a

f
i
l
e
Figure 13: Evolution de la le dattente, p = q.
0 5 10 15 20
0
2
4
6
8
1
0
File dattente p<q
Date
N
o
m
b
r
e

d

u
a
g
e
r
s

d
a
n
s

l
a

q
u
e
u
e
0 20 40 60 80 100
0
.
0
0
.
5
1
.
0
1
.
5
2
.
0
2
.
5
3
.
0
Modle de file dattente p<q
Dates
N
o
m
b
r
e

d

u
s
a
g
e
r
s

d
a
n
s

l
a

f
i
l
e
Figure 14: Evolution de la le dattente, p < q.
le cas o T est continu et X = R : processus stochastiques.
Trajectoire dune chane de Markov Trajectoire dune chane de Markov
Trajectoire dune chane de Markov Trajectoire dune chane de Markov
2 4 6 8 10
!
4
!
2
0
2
4
Trajectoire dune srie temporelle
2 4 6 8 10
!
4
!
2
0
2
4
Trajectoire dune srie temporelle
0 2 4 6 8 10
0
2
4
6
8
Trajectoire dun processus de comptage
0 2 4 6 8 10
0
2
4
6
8
Trajectoire dun processus de comptage
0 2 4 6 8 10
!
4
!
2
0
2
4
Trajectoire dun processus stochastique
0 2 4 6 8 10
!
4
!
2
0
2
4
Trajectoire dun processus stochastique
2 Quelques petits rappels de probabilit
Ltude des chanes de Markov va reposer sur ltude de la loi de X
n+1
sachant X
n
= x
n
.
2.1 La loi conditionnelle
Rappelons la formule de Bayes : P(A|B) =
P(A B)
P(B)
.
Aussi, P(X
n+1
= x
n+1
|X
n
= x
n
) =
P(X
n
= x
n
, X
n+1
= x
n+1
)
P(X
n
= x
n
)
.
La formule des probabilits totales : si (B
k
)
kK
forme une partition de E, alors
P(A) =

kK
P(A B
k
) =

kK
P(A|B
k
) P(B
k
).
Aussi, P(X
n+1
= x
n+1
) ==

xnE
P(X
n+1
= x
n+1
|X
n
= x
n
) P(X
n
= x
n
).
2.2 Un tout petit mot sur lindpendance
X
n
et X
n+1
sont indpendantes si et seulement si P(X
n+1
= x
n+1
|X
n
= x
n
) ne dpend pas de
x
n
. Dans ce cas {X
0
, X
1
, ..., X
n
, X
n+1
} est un chantillon indpendant.
Si les X
i
sont de mme loi, et si les variables sont de variance nie, rappelons que lon a une
loi (faible) des grands nombres (thorme de Khintchine), qui garantie que
lim
n
P
_

X
1
+... +X
n
n
E(X)

>
_
= 0,
qui se montre laide de lingalit de Tchebychev, et donc
X
1
+... +X
n
n
P
E(X).
La loi (forte) des grands nombres garantie une convergence presque sr ds lors que les
variables sont desprance nie,
P
_
lim
n
X
1
+... +X
n
n
() = E(X)
_
= 1.
3 Quelques dnitions
Soit E un espace dnombrable, appel espace dtats. Les i E sont appels tats. E sera
isomorphe {1, . . . , k}, ou N.
Exemple 1. Dans le cas de la sentinelle sur la tour carre, {N, S, E, O} sera isomorphe
{1, 2, 3, 4}.
Une mesure sur E est un vecteur = (
i
, i E) tel que 0
i
< . On parlera de
distribution de probabilit si

1 = 1.
On se donne un espace de probabilit (, F, P).
Une variable alatoire X valeurs dans E est une fonction X : E. On pose alors

i
= P(X = i) = P({|X() = i}), et = (
i
)
iE
.
Dnition 2. On considre une suite de variables alatoires valeurs dans E, (X
n
)
nN
. Cette
suite est une chane de Markov si pour tout n 1, et pour tout i
0
, i
1
, . . . , i
n1
, i
n
, i
n+1
telle que
P(X
0
= i
0
, . . . , X
n
= i
n
) > 0, on ait
P(X
n+1
= i
n+1
|X
n
= i
n
, X
n1
= i
n1
, . . . , X
0
= i
0
) = P(X
n+1
= i
n+1
|X
n
= i
n
). (1)
On parlera dabsence de mmoire.
Remarque 3. On parlera aussi de processus Markovien lordre 1. Plus gnralement, on peut
dnir un processus Markovien lordre k si
P(X
n+1
= i
n+1
|X
n
= i
n
, X
n1
= i
n1
, . . . , X
0
= i
0
) (2)
= P(X
n+1
= i
n+1
|X
n
= i
n
, . . . , X
nk+1
= i
nk+1
). (3)
En posant X
n
= (X
n
, . . . , X
nk+1
), valeurs dans E
k
, notons que lquation prcdante scrit
P(X
n+1
= i
n+1
|X
n
= i
n
, X
n1
= i
n1
, . . . , X
k1
= i
k1
) = P(X
n+1
= i
n+1
|X
n
= i
n
).
On retrouve un processus Markovien lordre 1, sur X
n
= (X
n
, . . . , X
nk+1
).
Dnition 4. Une chane de Markov (X
n
)
nN
est dite homogne (dans le temps) si P(X
n+1
=
i
n+1
|X
n
= i
n
) ne dpend pas de n.
La dynamique du processus est alors entirement caractrise par les p
i,j
= P(X
n+1
= j|X
n
=
i), appeles probabilit de transition de ltat i ltat j si la chane est homogne, ou plus
gnralement p
(n)
i,j
= P(X
n+1
= j|X
n
= i).
Dnition 5. Une matrice P = (p
i,j
, i, j I) est une matrice stochastique, ou matrice de
transition, si chaque ligne p
i
= (p
i,j
, j I) est une distribution de probabilit.
Pour tout i, j E p
i,j
peut alors sinterprter comme la probabilit daller ltat j sachant
quon se trouve ltat i linstant davant.
Remarque 6. A toute matrice de transition, on peut associer un graphe orient. Les sommets
sont les tats de la chane, et lorientation est donne par la probabilit p
i,j
> 0.
Exemple 7. La matrice P =
_
1
1
_
est une matrice stochastique.
1 2
1-

1-
Les chanes de Markov peuvent tre interprtes comme des marches alatoires ( probabilit
non uniformes) sur un graphe.
Exemple 8. La matrice P =
_
_
1/2 1/2 0
2/3 0 1/3
0 2/3 1/3
_
_
est une matrice stochastique.
1
2 3
1/2
2/3 1/2
1/3
2/3
1/3
Exemple 9. La matrice P =
_
_
1/2 1/2 0
2/3 0 1/3
0 0 1
_
_
est une matrice stochastique.
1
2 3
1/2
2/3 1/2
1/3
1
Exemple 10. La matrice P =
_
_
1/5 1/5 3/5
0 1/2 1/2
1 0 0
_
_
est une matrice stochastique.
1
3 2
/
1/2
1 3/5
1/2
1/5
Dnition 11. Une suite de variable alatoire (X
n
)
nN
est une chane de Markov de distribution
initiale et de matrice de transition P = [p
i,j
] si
X
0
a pour distribution initiale , i.e. P(X
0
= i) =
i
,
le probabilit que X
n+1
= j sachant que X
n
= i est p
i,j
, i.e. P(X
n+1
= j|X
n
= i) = p
i,j
.
Thorme 12. (Proprit de Markov) Si (X
n
)
nN
est une chane de Markov de distribution
initiale et de matrice de transition P, alors conditionnellement X
n
0
= i, (X
n
0
+n
)
nN
est
une chane de Markov, de distribution initiale
i
et de matrice de transition P, indpendante des
variables alatoires {X
0
, ..., X
n
0
}.
Proposition 13. si P est une matrice stochastique et une distribution de probabilit,
(P)
j
=

i
p
i,j
est une mesure de probabilit.
Proposition 14. Une suite rcurrente alatoire X
n+1
= f(X
n
, U
n+1
) avec (U
n
) suite de v.a.
i.i.d. valeurs dans F et indpendantes de X
0
, f : E F E mesurable est une chane de
Markov homogne valeurs dans E.
En eet
P(X
n+1
= x
n+1
|X
0
= x
0
, . . . , X
n
= x
n
) = P(f(x
n
, U
1
) = x
n+1
).
Proposition 15. Rciproquement, si (X
n
) est une chane de Markov homogne valeurs dans
E, de matrice de transition P, alors il existe une suite de variables alatoires i.i.d. (U
n
) valeurs
dans F et indpendantes de X
0
telle que X
n+1
= f(X
n
, U
n+1
) o.
Il sut de prendre f(x, y) = inf{u : P(x, ] , u]) > y}.
Exemple 16. E = N, F = {0, 1} et f(x, u) =
_
x +u si u = 1
0 si u = 0
.
On notera P
(n)
= (p
(n)
i,j
) la matrice de probabilit, en partant de ltat i en linstant 0,
darriver ltat j linstant n,
p
(n)
i,j
= P(X
n
= j|X
0
= i), pour tout i, j E.
Proposition 17. (Proprit de Markov) Si (X
n
)
nN
est une chane de Markov de distribution
initiale et de matrice de transition P, pour tout n, k N,
P(X
n
= i) = (P
(n)
)
i
P(X
n+k
= j|X
n
= i) = p
(k)
i,j
Thorme 18. (Equation de Chapman-Kolmogorov (1)) Pour tout n N, P
(n)
= P
n
.
Thorme 19. (Equation de Chapman-Kolmogorov (2)) Si (X
n
)
nN
est une chane de Markov
de distribution initiale et de matrice de transition P, pour tout n, k N, pour tout h =
1, ..., k 1,
P(X
n+k
= j|X
n
= i) =

uE
P(X
n+k
= j|X
n+h
= u) P(X
n+h
= u|X
n
= i),
En eet, P
k
= P
h
P
kh
pour tout h = 1, ..., k 1.
Corollaire 20. (Equation de Chapman-Kolmogorov (3)) Si p
(k)
i,j
= P(X
n+k
= j|X
n
= i), alors
p
(k)
i,j
=

uE
p
(h)
i,u
p
(kn)
u,j
.
Equation de Chapman!Kolmogorov Equation de Chapman!Kolmogorov
Exemple 21. Revenons lexemple o P =
_
1
1
_
. Alors
P
2
=
_
(1 )
2
+ 1 [(1 )
2
+]
1 [(1 )
2
+] (1 )
2
+
_
Plus gnrallement, notons que de P
n+1
= P
n
P, on en dduit que
p
n+1
(11)
= (1 )p
(n)
11
+p
(n+1)
12
= (1 )p
(n)
11
+[1 p
(n+1)
11
] = (1 )p
(n)
11
+.
Cette suite dnie par rcurence, avec comme valeur initiale p
(0)
11
= 1 admet pour unique solution
p
(n)
11
=

+
+

+
[1 ]
n
,
ds lors que + > 0.
Aussi, entre les dates t et t + 1, les probabilits de transitions sont
1 2
1-

1-
entre les dates t et t + 2, les probabilits de transitions sont
1 2
(1 )
2
+
1 [(1 )
2
+]
1 [(1 )
2
+]
(1 )
2
+
Les probabilits de transition p
(2)
1,1
et p
(2)
1,2
sinterprtent ainsi
1 2
1-

1 2
1-

1
et les probabilits de transition p
(2)
2,1
et p
(2)
2,2
1 2
1-

1-
1 2
1-
1-

4 Classication des tats


Lirrductibilit va nous assurer que tout point de lespace E peut tre atteint par la chane de
Markov, mais aucune information nest apporte quant au nombre de passage par cet tat.
On introduira la notion de rcurrence an de formaliser cette ide.
Dnition 22. tant donne une chane de Markov (X
n
)
nN
de distribution initiale et de
matrice de transition P, on dira que j est atteignable depuis j si P(X
n+k
= j|X
n
= i) > 0 pour
un k N On notera i j . On dira que les tats i et j communiquent , not i j si i j et
j i.
Proposition 23. i j si et seulement si il existe n N tel que p
(n)
i,j
> 0.
Proposition 24. Si i j et i k, alors i k.
Proposition 25. La relation est une classe dquivalence.
partir de cette proprit on peut partitionner E en ensembles de valeurs qui communiquent.
Dnition 26. Une classe C est dite ferme si i C et i j implique j C.
Dnition 27. Si la chane de Markov ne possde quune unique classe, cest dire que tous
ses lments communiquent, la chane sera dite irrductible.
On ne peut pas sortir dune classe ferme.
Dnition 28. Un tat i est dite absorbant si {i} est une classe ferme.
Exemple 29. Considrons la chane de Markov suivante
1 2 3
1/2 1/4 2/3
1/2
1/2
1/4
1/3
Cette chane est irrductible car tous les tats communiquent. Bien que p
1,3
= 0, p
(n)
1,3
> 0
pour n 2.
4.1 Pour rsumer...
Il existe trois type dtat: transients (on ny revient pas toujours), rcurrents nuls (on y
revient toujours, au bout dun temps moyen inni), ou rcurents positifs (on y revient une
innit de fois, intervalle de temps nis, en moyenne),
5 Temps datteinte dune classe
Dnition 30. tant donne une chane de Markov (X
n
)
nN
de distribution initiale et de
matrice de transition P, si A est un sous-ensemble de I, la variable alatoire
A
dnie par

A
() = inf{n 0, X
n
() A}
est appele temps datteinte de A.
Notons que la probabilit datteindre un tat A dpuis i est p
A|i
= P(
A
< |X
0
= i).
Dnition 31. Si A est une classe ferme de E, p
A|i
est appele probabilit dabsorption.
Dans ce cas, notons que le temps moyen datteinte de la classe A, partir de i est
e
A|i
= E(
A
|X
0
= i) =

n<
nP(
A
= n)+P(
A
= ).
On crira ainsi p
A|i
= P(atteindre A|X
0
= i) et e
A|i
= E(temps datteinte de A|X
0
= i).
Exemple 32. On considre la chane suivante
1 2 3 4
1 1
1/2
1/2
1/2 1/2
On part de X
0
= 2, et on cherche calculer la probabilit datteindre ltat 4 ?
On note p
4|i
la probabilit datteindre 4 depuis ltat i.
Notons que p
4|1
= 0 et p
4|4
= 1.
De plus p
4|2
=
1
2
p
4|3
+
1
2
p
4|1
et p
4|3
=
1
2
p
4|2
+
1
2
p
4|4
. Aussi,
p
4|2
=
1
2
p
4|3
=
1
2
_
1
2
p
4|2
+
1
2
_
.
Aussi partir de X
0
= 2, la probabilit datteindre 4 est 1/3.
Toujours partir de X
0
= 2, et on cherche calculer le temps moyen pour atteindre un tat
absorbant ?
On note e
{1,4}|i
le temps moyen datteindre 1 ou 4 depuis ltat i.
Notons que e
{1,4}|1
= e
{1,4}|4
= 0.
De plus e
{1,4}|2
= 1 +
1
2
e
{1,4}|1
+
1
2
e
{1,4}|3
et e
{1,4}|3
= 1 +
1
2
e
{1,4}|2
+
1
2
e
{1,4}|4
. Aussi,
e
{1,4}|2
= 1 +
1
2
e
{1,4}|3
= 1 +
1
2
_
1 +
1
2
e
{1,4}|2
_
.
Aussi partir de X
0
= 2, le temps moyen pour atteindre un tat absorbant est 2.
Notons que pour le vecteur de probabilit datteindre {4}, on a le systme suivant
_

_
p
4|1
= 0,
p
4|2
= [p
4|1
+p
4|3
]/2,
p
4|3
= [p
4|2
+p
4|4
]/2,
p
4|4
= 1.
,
et pour le vecteur de temps moyen datteinte des tats absorbants
_

_
e
{1,4}|1
= 0,
e
{1,4}|2
= 1 + [e
{1,4}|1
+p
{1,4}|3
]/2,
e
{1,4}|3
= 1 + [p
{1,4}|2
+p
{1,4}|4
]/2,
e
{1,4}|4
= 0.
,
De manire plus gnrale, on a le rsultat suivant
Proposition 33. Le vecteur des probabilits p
A
= (p
A|i
)
iI
est la solution minimale positive du
systme
_
p
A|i
= 1 si i A
p
A|i
=

jI
p
i,j
p
A|j
si i / A
Proposition 34. Le vecteur des temps moyen datteinte de la classe A e
A
= (e
A|i
)
iI
est la
solution minimale positive du systme
_
e
A|i
= 0 si i A
e
A|i
= 1 +

j / A
p
i,j
e
A|j
si i / A
Dnition 35. Une variable alatoire T valeurs dans {0, 1, 2, ...} {} est un temps darrt
pour une chane de Markov (X
n
)
nN
si lvnement {T = n} depend seulement de X
0
, X
1
, X
2
, ....
Exemple 36. Le temps datteinte dune classe A est un temps darrt, avec
{T = n} = {X
0
/ A, X
1
/ A, X
2
/ A, ..., X
n1
/ A, X
n
A}.
Exemple 37. Le dernier temps de sortie dune classe A, = sup{n 0, X
n
A} nest pas un
temps darrt.
Thorme 38. (Proprit de Markov forte) Si (X
n
)
nN
est une chane de Markov de distribution
initiale et de matrice de transition P, et T un temps darrt pour (X
n
)
nN
, alors condition-
nellement {T < } et X
T
= i, (X
T+n
)
nN
est une chane de Markov de distribution initiale

i
et de matrice de transition P. De plus, cette chane est indpendante de X
0
, X
1
, ..., X
T
.
6 Rcurrence et transcience
Soit (X
n
)
nN
une chane de Markov sur un ensemble dnombrable E de matrice de transition P.
On note (X
x
n
)
nN
la chane partant de X
0
= x.
Pour x E, on introduit T
n
x
la suite des instants sucessifs de retour en x dnie par rcurrence
pour n 1
T
1
x
= T
x
= inf{k > 0 : X
x
k
= x} T
n+1
x
= inf{k > T
n
x
: X
x
k
= x}.
Avec la convention inf{} = .
Dnition 39. Soit X
x
n
une chane de Markov partant de x E. Ltat x est dit
1. transient pour P si P(T
x
< ) < 1,
2. rcurrent pour P si P(T
x
< ) = 1.
Les tats rcurrents peuvent tre de deux types :
- les tats rcurrents nuls si E(T
x
) = ,
- les tats rcurrents positifs si E(T
x
) < .
Une autre caractrisation de ces notions est la suivante,
Proposition 40. Soit X
x
n
une chane de Markov partant de x E. Ltat x est dit
1. transient pour P si P(X
n
= x pour une innit de valeurs de n|X
0
= x) = 1,
2. rcurrent pour P si P(X
n
= x pour une innit de valeurs de n|X
0
= x) = 0.
Exemple 41. Considrons la chane de Markov suivante
1
2 3
4
1/2
1/2
1
1/4
1/2 1/2
1/4
1/4
1/4
de matrice de transition P =
_
_
_
_
1/2 1/2 0 0
1/2 1/2 0 0
1/4 1/4 1/4 1/4
0 0 0 1
_
_
_
_
Cette chane comporte 3 classes {1, 2}, {3} et {4}. Ltat {4} est absorbant, les classes {1, 2}
et {4} sont rcurrentes et la classe {3} est transiente.
Proposition 42. Si E est un espace dtat ni, toute chane irrductible est rcurrente.
Les temps de passage sont relis au nombre de visites N
x
de la chane dans un tat par la
formule N
x
=

k=0
1(X
x
k
= x) nombre de passage en x de la chaine, N
x
p +1 T
p
x
< ,
N
n
x
=

n
k=0
1(X
x
k
= x) nombre de passage en x avant linstant n, N
n
x
p + 1 T
p
x
n.
Proposition 43. Soit x E, alors si T
n
x
< , les variables T
x
, T
2
x
T
1
x
, . . . , T
n+1
x
T
n
x
sont
indpendantes et identiquement distribues.
Proposition 44. Si x est rcurrent, la suite (X
x
n
) revient presque surement une innit de fois
son tat initial, i.e. P(N
x
= ) = 1.
Proposition 45. Si x est transient, presque surement la suite (X
x
n
) visite x un nombre ni de
fois. Le nombre de visite suit la loi gomtrique
P(N
x
= k) = (1 )
k1
, k 1 avec = P(T
x
< ).
Si C est une classe de E dont tous les lments communiquent, alors tous les tats sont soit
transients, soit rcurrents.
Proposition 46. Supposons P irrductible. Alors
tous les tats sont de mme nature (rcurrents positifs, ou rcurrents nuls, ou transients).
dans le cas rcurrent, tous les points de E sont visits inniment souvent : pour x, y E
P(X
x
n
= y pour un innit de n) = 1,
dans le cas transient, les sous-ensembles nis de E ne sont visits (quau plus) un nombre
ni de fois : pour A E de cardinal ni
P(X
n
A pour une innit de n) = 0.
7 Premier temps datteinte dun tat , rcurrence et
transience
Dnition 47. tant donne une chane de Markov (X
n
)
nN
de distribution initiale et de
matrice de transition P, on considre la probabilit datteindre un tat pour la premire fois un
tat j, partant de i, en n tapes, note f
(n)
i,j
, i.e. f
(n)
i,j
= P(T
{j}
= n|X
0
= i).
On pose, par convention, f
(0)
i,j
= 0.
Proposition 48. Pour n 0,p
(n)
i,j
=
n

k=0
f
(k)
i,j
p
(nk)
i,j
.
Si le processus passe de i ) j en n tapes, on sintresse linstant k o le processus atteint
j pour la premire fois.
Cette dernire criutre permet en particulier de calculer de manire rcursive les f
(n)
i,j
, en
notant que f
(1)
i,j
= p
(1)
i,j
, et que
f
(n)
i,j
= p
(n)
i,j

n1

k=1
f
(k)
i,j
p
(nk)
i,j
, pour n 2.
On peut alors montrer le critre de rcurrence et de transience suivant
Proposition 49. Si

n=0
p
(k)
j,j
= ltat j est rcurent, et si

n=0
p
(k)
j,j
< ltat j est transient.
Une dmonstration peut se faire laide des fonction gnratrice, en posant P
i,j
(z) =

n0
p
(n)
i,j
z
n
et F
i,j
(z) =

n0
f
(n)
i,j
z
n
, en notant que P
i,j
(z) =
i,j
+ F
i,j
(z) P
j,j
(z) et du Lemme
dAbel,
Lemme 50. Si une srie de terme gnral u
n
converge, et u =

n0
u
n
, alors lim
z1

n0
u
n
z
z
= u.
Rciproquement, si u
n
0, et si lim
z1

n0
u
n
z
z
= u( ) alors u =

n0
u
n
.
Ce rsultat permet de montrer que la rcurrence est une proprit de classe,
Proposition 51. Si i j, et si i est rcurrent, alors j sera galement rcurrent.
Proposition 52. Si une chane de Markov a un nombre dtat ni, il existe au moins un tat
rcurrent.
8 Marche alatoire et ruine du joueur
Considrons dans un premier temps la marche alatoire
2
dans Z.
2
Une animation de cet algorithme est tlchargeable sur
http://www.crest.fr/pageperso/charpent/MA-0001.avi
Principe de rflexion de la marche alatoire
A
B
A
A
B
A
T
Figure 15: Principe de rexion.
8.1 Approche frquentiste
On considre ici la marche alatoire, X
n
= X
n1
+
n
pour n 1, o
n
est une suite i.i.d. de
variables valant +1 avec probabilit p et 1 avec probabilit 1p. x
n
est la richesse dun joueur
jouant pile ou face, gagnant 1 euro ds que pile sort (probabilit p), et perdant 1 ds que face
sort, au bout de n tirages.
Plaons nous dans le cas p = 1/2.
Pour dterminer les probabilits de transition, on peut compter les trajectoires. Soit A
lorigine (A = (0, 0)), et un B un point atteignable en n tirages, B = (n, x
n
). Notons que
n x
n
+n. Notons de plus que x
n
est forcment de la mme parit que n (si n est impair,
x
n
est forcment impair, et rciproquement). Le nombre de trajectoires passant de A B est alors
N
n,xn
=
_
n+xn
2
n
_
. Comme le nombre total de trajectoires de longueur n est 2
n
, la probabilit
datteindre le point B est alors
p
n,xn
=
1
2
n
_
n+xn
2
n
_
.
Le retour lorigine correspond la position x
n
= 0, qui est ncessairement possible seulement
pour n pair, i.e. n = 2k. Aussi,
p
2k,0
=
1
2
2k
_
k
2k
_
.
On peut monter que pour n grand, laide de la formule de Stirling, p
2k,0
1/

n.
Avant dattaquer le problme du premier retour lorigine, rappelons le principe de rexion.
Considrons dsormais deux points quelconques A = (a, x
a
) et B = (b, x
b
), dont les ordonnes
sont supposes strictement positives. Le nombre de trajectoires allant de A = (a, x
a
) B =
(b, x
b
) est gal au nombre de trajectoires allant de A

= (a, x
a
) B = (b, x
b
). Cest ce qui
sappelle principe de rexion. Ce rsultat se montre simplement par un principe de bijection,
en considrant toutes les trajectoires possibles, et en introduisant le point T correspondant au
premier retour en 0 (cf Figure ??)
On peut alors utiliser ce rsultat pour calculer la probabilit de ne jamais revenir en 0, entre
la date 0 et la date n.
Pour cela calculons le nombre de trajectoires qui sont toujours au dessus de la laxe horizontal
entre A = (1, 1) et B = (n, x
n
), not N
+
n,xn
. Le nombre total de trajectoire est N
n1,xn1
(compte tenu du fait que lon part de (1, 1) et non pas de (0, 0)). On peut alors crire que
N
n1,xn1
= N
+
n,xn
+ N

n,xn
o N

n,xn
est le nombre de trajectoires allant de A B qui touche
laxe horizontal. En utilisant le principe de rexion, notons que N

n,xn
correspond au nombre
de trajectoires allant de A

= (1, 1) B, soit (par un changement dorigine), entre (0, 0) et


(n 1, x
n
+ 1) N

n,xn
= N
n1,xn+1
. Aussi,
N
+
n,xn
= N
n1,xn1
N
n1,xn+1
=
_
n+xn
2
1
n 1
_

_
n+xn
2
n 1
_
= N
n,xn

x
n
n
,
Pour dtermininer le nombre N
+
n
de trajectoires qui sont toujours au dessus de la laxe horizontal
partir de A = (1, 1), i.e. {X
1
> 0, ...., X
n
> 0}, notons que, pour n pair,
N
+
n
= 4N
+
n2

_
n
2
1
n 2
_

_
n
2
n 2
_
(par rcurence, et en comptant les chemins). Aussi, N
+
n
=
1
2
_
n
2
n
_
.
La probabilit pour quon nait aucun retour lorigine entre 0 et la date n = 2k est alors

2k
= P(X
0
= 0, X
1
= 0, X
2
= 0, ..., X
2k1
= 0, X
2k
= 0).
Pour ce calcul, montrons quelques rsultats intermdiaires. Rappelons dj que p
2k,0
= P(X
2k
=
0|X
0
= 0) = p
2k,0
=
1
2
2k
_
k
2k
_
. Montrons que p
2k,0
= P(X
1
= 0, X
2
= 0, ..., X
2k1
= 0, X
2k
=
0). Si la trajectoire ne coupe jamais laxe horizontal, ce que soit on est toujours positif, soit
toujours ngatif, i.e.
P(X
1
= 0, X
2
= 0, ..., X
2k1
= 0, X
2k
= 0) = 2P(X
1
> 0, X
2
> 0, ..., X
2k1
> 0, X
2k
> 0).
Or daprs la question prcdante,
P(X
1
> 0, X
2
> 0, ..., X
2k1
> 0, X
2k
> 0) =
1
2
2k
N
+
2k
=
1
2
2k
_
k
2k
_
= p
2k,0
,
aussi
P(X
2k
= 0|X
0
= 0) = p
2k,0
=
1
2
2k
_
k
2k
_
=P(X
1
= 0, X
2
= 0, ..., X
2k1
= 0, X
2k
= 0).
Soit enn la variable alatoire du premier retour en 0.
P( = 2k) = P(X
1
= 0, X
2
= 0, ..., X
2k1
= 0, X
2k
= 0),
qui peut scrire
P( = 2k) = P(X
1
= 0, X
2
= 0, ..., X
2k1
= 0) P(X
1
= 0, X
2
= 0, ..., X
2k1
= 0, X
2k
= 0),
cest dire, en utilisant les questions prcdantes,
P( = 2k) = p
2k2,0
p
2k,0
=
p
2k,0
2k 1
=
1
2k 1
1
2
2k
_
k
2k
_
.
Il est possible de montrer que cette fonction est eectivement une loi de probabilit (sur N

),
dont la loi et la fonction de rpartition sont reprsentes sur le graphique ??
Parmi les autres rsultats classiques sur la marche alatoire, il y a la loi de larcsinus, lie
ltude du dernier passage en 0 (puisque nous avons vu que la marche alatoire avait tendance
toujours revenir en 0, on peut lgitimement se poser la question).
Si
2k,2n
dsigne la probabilit que jusqu linstant 2n - inclus - le dernier passage ait eu
lieu la date 2k ( 2n), alors

2k,2n
= p
2k,0
p
2n2k,0
, pour k = 0, 1, ..., n.
Ce rsultat sobtient en motant que

2k,2n
= P({, X
2k=0
} {X
2k+1
= 0, ..., X
2n
= 0}),
Loi du premier temps de retour en 0
0
.
0
0
.
1
0
.
2
0
.
3
0
.
4
0
.
5
0 100 200 300 400 500
0
.
5
0
.
6
0
.
7
0
.
8
0
.
9
Loi du premier temps de retour en 0
Temps
P
r
o
b
a
b
i
l
i
t

s

c
u
m
u
l

e
s
Figure 16: Loi du temps avant le premier retour en 0.
0 5 10 15 20
0
.
0
0
0
.
0
5
0
.
1
0
0
.
1
5
Loi de larcsinus, n=20
0 10 20 30 40 50
0
.
0
0
0
.
0
5
0
.
1
0
0
.
1
5
Loi de larcsinus, n=20
Figure 17: Loi de larc sinus, n = 20 et n = 50.
o ces deux vnements sont indpendants. Les probabilits associes ont t calcules aupara-
vant. Cette loi
2,2n
est appele loi discrte de larcsinus, donne par

2k,2n
=
1
2
2n
_
k
2k
__
n k
2n 2k
_

1
_
k(n k)
lorsque n .
Cette loi 1/
_
t(1 t) est la densit de la loi continue de larc sinus.
On parle de loi de larcsinus car la fonction de rpartition associe est de la forme
(2/

) arcsin(

). Linterprtation est que pour un jeu de pile ou face durant depuis n pri-
odes, la probabilit pour que le dernier retour en 0 ait eu lieu dans le premier quart du jeu est
(2/

) arcsin(
_
1/4) soit 1/3. La probabilit pour que le dernier retour en 0 ait eu lieu dans la
premire moiti du jeu est (2/

) arcsin(
_
1/2) soit 1/2.
8.2 Approche par les chanes de Markov
On considre la chane de Markov suivante
k 2 k 1 +k+ k + 1 k + 2
p
1 p
p
1 p
p
1 p
p
1 p
avec comme tat initial X
0
. On note X
n
la fortune du joueur la date n. Les probabilits
de transition sont ici
p
0,0
= 1: ltat de ruine (0) est aborbant,
pi, i 1 = 1 p: on perd 1 si face sort (probabilit 1 p),
p
i,i+1
= p: on gagne 1 si pile sort (probabilit p).
On note h
i
la probabilit datteindre 0 sachant quon est ltat i, h
i
= P(atteindre 0|X
n
= i),
alors h
i
est solution de
_
h
0
= 1,
h
i
= ph
i+1
+ (1 p)h
i
pour i 1.
Aussi, pour p = 1/2, la forme gnrale de la solution est
h
i
= A +B
_
1 p
p
_
i
.
Comme h
i
[0, 1], si p < 1 p, alors B = 0 et donc h
i
= 1 pour tout i: la ruine est certaine.
Si p > 1 p, alors h
i
=
_
1 p
p
_
i
+A
_
1
_
1 p
p
_
i
_
. Comme h
i
[0, 1], on en dduit
que A = 0 et donc h
i
=
_
1 p
p
_
i
.
Enn, si p = 1/2, h
i
= A +Bi, et donc h
i
= 1, comme h
i
[0, 1].
Notons N
j
la variable alatoire N
j
= inf{n 0, X
n
= j}, correspond au premier temps
datteinte de la fortune j N.
Pour la marche alatoire dans Z, commenant en X
0
= 0.
p
(2n)
0,0
= P(X
2n
= 0X
0
= 0) =
_
2n
n
_
p
n
(1 p)
n
,
Rappelons que daprs la formule de Stirling, n!

2n(n/e)
n
lorsque n . On peut
alors montrer que
p
(2n)
0,0
=
2n
!
(n!)
2
[p(1 p)]
n

[4p(1 p)]
n
_
2n/2
lorsque n .
!2000 !1500 !1000 !500 0
!
5
0
0
5
0
1
0
0
1
5
0
2
0
0
2
5
0
Marche alatoire (+1,!1) en dimension 2, n=25000
Position en X, probabilits 0.45!0.55
P
o
s
i
t
i
o
n

e
n

Y
!400 !300 !200 !100 0
0
5
0
1
0
0
1
5
0
2
0
0
Marche alatoire (+1,!1) en dimension 2, n=25000
Position en X, probabilits 0.49!0.51
P
o
s
i
t
i
o
n

e
n

Y
Figure 18: Marche alatoire non uniforme dans Z
2
.
Dans le cas symmtrique o p = 1p = 1/2, il existe n
0
tel que pour n > n
0
, p
(2n)
0,0

1
2

n
.
Aussi

n=n
0
p
(2n)
0,0

1
2

n=n
0
1

n
= ,
on en dduit que la marche alatoire est rcurrente, si p = 1/2.
Dans le cas asymmtrique o p = 1 p, 4p(1 p) < 1, on peut montrer que

n=n
0
p
(2n)
0,0

1
2

n=n
0
[4p(1 p)]
n
< ,
on en dduit que la marche alatoire est transient, si p = 1/2.
Pour la marche alatoire
3
dans Z
2
, commenant en X
0
= (0, 0), o p = 1/4,
p
(2n)
(0,0),(0,0)
= P(X
2n
= (0, 0)X
0
= (0, 0)) =
_
_
2n
n
__
1
2
_
2n
_
2

2
n
lorsque n ,
daprs la formule de Stirling. Aussi

n=n
0
p
(2n)
(0,0),(0,0)

1
2

n=n
0
1
n
= ,
on en dduit que la marche alatoire est rcurrente, si p = 1/4.
La Figure ?? prsente des simulations de trajectoires dans le cas o p = 1/4 (selon laxe
verticale, les probabilits sont toujours 50% 50%, mais elles passent 49% 51% puis
45% 55% selon laxe horizontal, i.e. dans ce dernier cas, les probabilits des 4 tats sont
(25%, 25%, 22.5%, 27.5%).
Pour la marche alatoire dans Z
3
, commenant en X
0
= (0, 0, 0), o p = 1/6,
p
(2n)
(0,0,0),(0,0,0)
= P(X
2n
= (0, 0, 0)X
0
= (0, 0, 0)) =

i,j,k0,i+j+k=n
(2n)!
(i!j!k!)
2
_
1
6
_
2n
3
Une animation de cet algorithme est tlchargeable sur
http://www.crest.fr/pageperso/charpent/MA-d2-0001.avi
En utilisant la formule de Stirling, on peut montrer que
p
(2n)
(0,0,0),(0,0,0)

_
2n
n
__
1
2
_
2n
(2n)!
((n/3)!)
3
_
1
3
_
n
,
pour tout i, j, k, aussi
p
(2n)
(0,0,0),(0,0,0)

1
2()
3/2
_
6
n
_
3/2
, lorsque n ,
on en dduit que la marche alatoire est transiante, si p = 1/6.
9 Distributions limites ou distributions invariantes
9.1 Les distributions invariantes (ou stationnaires)
Dnition 53. Une mesure est dite invariante pour P si P = .
On parlera aussi de loi stationnaire.
Il nexiste pas forcment de loi stationnaire pour une chane de Markov de matrice de tran-
sition P (par exemple la chane qui fait passer de i i + 1 avec probabilit 1). De mme il
peut exister une innit de lois stationnaires. Dans le cas de la ruine du joueur, i.e. la marche
alatoire borne infrieurement par 0, et suprieurement par s, la fortune totale des deux joueurs,
E = {0, 1, ..., s}, alors toute loi = (p, 0, ..., 0, 1 p) est une loi stationnaire, pour tout p ]0, 1[.
Thorme 54. Soit (X
n
)
nN
une chane de Markov de matrice de transition P et de mesure
initiale invariante pour P, alors (X
h+n
)
nN
une chane de Markov de matrice de transition P
et de mesure initiale .
Proof. Ceci se montre triviallement en invoquant la proprit de Markov, et en notant que, pour
tout i E,
P(X
h
= i) = (P
h
)
i
= ([P]P
h1
)
i
= ([]P
h1
)
i
= ... = )
i
.
9.1.1 Cas o E est ni
Plusieurs rsultats peuvent tre obtenus dans le cas ni. En eet, dans ce cas, on peut utiliser
le rsultat suivant
Proposition 55. Si E est un espace dtat ni, alors elle admet au moins un tat rcurrent.
Proof. Si E = {1, ...., k}, alors

i,j
p
(n)
i,j
= k pour tout n N, aussi,

n
_
_

i,j
p
(n)
i,j
_
_
=

i,j
_

n
p
(n)
i,j
_
= . Sil nexistait pas dtat rcurrent, tous seraient
transients. Or pour un tat transient j, et pour tout tat i,

n0
p
(n)
i,j
est nie. Ce qui est
impossible: au moins un des tat est rcurrent.
Il est possible davoir tous les tats transients dans le cas dune chane sur E dnombrable,
mais non ni.
Proposition 56. Si E est un espace dtat ni, alors lim
n
1
n
n

h=1
P
h
= , o est une matrice
stochastique vriant P = P = , et
2
= .
Proof. On admettra quune telle limite existe (algbre linaire sur les matrices coecients
positifs: thorie de Perron-Frobenius, expose pages 105-109 dans Foata & Fuchs (2004)).
Notons que pour tout i E,

i,j
=

j
lim
n
1
n
n

h=1
p
(h)
i,j
= lim
n

j
p
(1)
i,j
+... +p
(n)
i,j
n
= lim
n
1 = 1,
car

j
p
(h)
i,j
= 1 pour tout i. Aussi les lignes de sont de somme gale 1, est donc une matrice
stochastique. Les dernires proprits sont obtenues en notant que P
n+1
= PP
n
= P
n
P.
Thorme 57. Si lespace dtat E est ni, et sil existe i tel que p
(n)
i,j

j
pour tout j, alors
= (
j
) est une distribution invariante.
Proof. Il sut de noter que

j
=

j
lim
n
p
n
i,j
= lim
n

j
p
n
i,j
= 1,
o linterversion de la limite et de la somme est valide puisque E est suppos ni, donc est une
mesure de probabilit. De plus

j
= lim
n
p
n
i,j
= lim
n
p
n+1
i,j
= lim
n

k
p
n
i,j
p
i,j
=

k
p
k,j
,
cest dire que = (
j
) est une distribution invariante.
Rappelons que si j E est un tat transient, alors pour tout i, lim
np
n
i,j
=0
(le terme gnral
dune srie convergent tend vers 0).
Proposition 58. Si la chane est irrductible, et possde un nombre ni dtats, alors
j
=
1/E(T
j
|X
0
= j), correspondant linverse du temps de retour moyen de j j.
Thorme 59. Si E est un espace dtat ni, alors
existence: il existe au moins une mesure stationnaire,
unicit: la loi stationnaire est unique si et seulement si la chane admet une seule classe
rcurrente. De plus, si C dsigne cette classe,
j
> 0 si et seulement si j C, et
j
= 0 si
et seulement si j / C
Proof. On admettra lexistence, qui repose sur des rsultats dalgbre linaire sur les matrices
coecients positifs (thorie de Perron-Frobenius, expose pages 105-109 dans Foata & Fuchs
(2004)). Lunicit sobtient de la manire suivante. Montrons que si la chane admet une seule
classe rcurrente, alors il existe une loi stationnaire unique, vriant les proprits mentionnes.
On spare alors E en son unique classe rcurrente C, et T la runion des classes transients. Soit
(i, j) E.
si j T (et i quelconque, dans E) alors lim
n
p
(n)
i,j
= 0.
si j C et i C alors la restriction du processus la classe C est irrductible, et daprs
??, la limite est unique (correspondant linverse dun temps de retour),
si j C et i T , cest un peu plus compliqu. Lide est de passer par un tat intermdiaire
k, qui sera soit dans C soit dans T une date intermidiaire avant n,
p
(m+h)
i,j
=

kC
p
(m)
i,k
p
(h)
k,j
+

kT
p
(m)
i,k
p
(h)
k,j
.
Dans un second temps, on utilise le fait que si p
n
i,j

i,j
, alors par le thorme de Cesarro,
lim
n
1
n
n

h=1
p
m+h
i,j
=
i,j
, et
1
n
n

h=1
p
(m+h)
i,j
=

kC
p
(m)
i,k
_
1
n
n

h=1
p
(h)
k,j
_
+

kT
p
(m)
i,k
_
1
n
n

h=1
p
(h)
k,j
_
.
En utilisant le thorme de Cesarro sur les trois sommes,

i,j
=
_

kC
p
(m)
i,k
_

j
+
_

kT
p
(m)
i,k
_

k,j
.
Si m , p
(m)
i,k
0 pour tout k T , et

kC
p
(m)
i,k
1, et donc
i,j
=
j
> 0. Pour
montrer la rciproque, raisonnons par labsurde. Supposons quil existe (au moins) deux
classes rcurrentes C
1
et C
2
. La matrice de transition P a alors la forme suivante
P =
_
_
0 0
0 0

_
_
et pour tout n N, P
n
aura la mme forme. Il est alors impossible davoir lim
n

i
1
,j
=
lim
n

i
2
,j
pour i
1
C
1
et i
2
C
2
Exemple 60. Considrons la chane de Markov de matrice de transition
P =
_
_
_
_
0 1/2 1/2 0
0 1 0
0 0 0 1
0 0 1 0
_
_
_
_
,
alors {2} et {3, 4} sont deux classes rcurrentes: on na plus unicit de la distribution station-
naire. En eet, = (0, 1 2p, p, p) pour tout p [0, 1/2].
Exemple 61. Considrons la chane de lexemple ??, P =
_
_
1/5 1/5 3/5
0 1/2 1/2
1 0 0
_
_
1
3 2
1/5
1/2
1 3/5
1/2
1/5
Les distributions invariantes sont donnes par la rsolution du systme
x = x/5 +z
y = x/5 +y/2
z = 3x/5 +z/2
Toute solution est proportionelle au vecteur (5, 2, 4). Le vecteur de probabilit associ est
=
_
5
11
,
2
11
,
4
11
_
(45.4%, 18.2%, 36.4%).
Probabilits de la matrice de transition
0 2 4 6 8 10
0
.0
0
.1
0
.2
0
.3
0
.4
0
.5
0
2
4
6
8
10
Valeurs de dpart (i)
V
a
le
u
rs
d
a
rriv

e
(j)
P
ro
b
a
b
ilit
s
d
e
tra
n
s
itio
n
Probabilits de la matrice de transition, k=2
0 2 4 6 8 10
0
.0
0
.1
0
.2
0
.3
0
.4
0
.5
0
2
4
6
8
10
Valeurs de dpart (i)
V
a
le
u
rs
d
a
rriv

e
(j)
P
ro
b
a
b
ilit
s
d
e
tra
n
s
itio
n
Probabilits de la matrice de transition, k=5
0 2 4 6 8 10
0
.0
0
.1
0
.2
0
.3
0
.4
0
.5
0
2
4
6
8
10
Valeurs de dpart (i)
V
a
le
u
rs
d
a
rriv

e
(j)
P
ro
b
a
b
ilit
s
d
e
tra
n
s
itio
n
Probabilits de la matrice de transition, k=10
0 2 4 6 8 10
0
.0
0
.1
0
.2
0
.3
0
.4
0
.5
0
2
4
6
8
10
Valeurs de dpart (i)
V
a
le
u
rs
d
a
rriv

e
(j)
P
ro
b
a
b
ilit
s
d
e
tra
n
s
itio
n
Figure 19: Calcul des puissances dune matrice de transition.
En guise dexemple, considrons le code suivant, qui permet de gnrer des matrices stochas-
tiques alatoires,
P=matrix(0,n,n)
for(i in 1:n){
s=c(0,sort(runif(n-1)),1)
p=s[2:(n+1)]-s[1:(n)]
P[i,]=p}
En eefet, la ligne de code s=c(0,sort(runif(n-1)),1); p=s[2:(n+1)]-s[1:(n)] permet
de tirer au hasard un point du simplexe en dimension n, cest dire une mesure de probabilit
sur {1, 2, ..., n}. Les gures
4
?? suivantes montrent les probabilits des matrices P, P
2
, P
5
et
P
1
0.
9.1.2 Cas o E est inni
Dans le cas o E est dnombrable, mais non-ni, une condition susante nest plus
lirrductibilit et la rcurrence dtats, mais il faut ajouter la proprit de rcurence positive.
En particulier, la proposition ?? doit tre aaiblie,
Proposition 62. Si E est un espace dtat inni, alors lim
n
1
n
n

h=1
P
h
= , o est une matrice
sous-stochastique (la somme des lments par ligne est infrieure ou gale 1) vriant P =
P = .
Il est aussi possible que = 0, par exemple si tous les tats sont transients. En revanche
Proposition 63. Si E est un espace dtat inni (dnombrable), et sil existe au moins un tat
rcurrent positif alors il existe au moins une mesure stationnaire.
Si lon suppose la chane irrductible et rucurrent positive, alors la probabilit stationnaire
est unique.
9.2 La priode
9.2.1 Priodicit dun tat j E
Dnition 64. Soit jE on appelera d priode de ltat j le plus grand commun diviseur de tous
les entiers n pour lesquels p
(n)
j,j
> 0. Si d = 1 on dira que j est apriodique.
4
Des animations de cet algorithme sont tlchargeable sur
http://www.crest.fr/pageperso/charpent/P-trans-1.avi, /P-trans-2.avi, /P-trans-3.avi
Un tat i est apriodique si p
(n)
i,i
> 0 pour tout n susement grand, cest dire que d = 1.
Exemple 65. Considrons la chane suivante
1 2
3
4
1/2 1
1
1/2 1
Tous les tats communiquent: il y a une seule classe rcurrente.
Les lacets issus de 1 sont 1 3 2 1 ou 1 4 2 1, de longueur 3, donc d(1) = 3.
Les lacets issus de 2 sont 2 1 3 2 ou 2 1 4 2, de longueur 3, donc d(2) = 3.
Les lacets issus de 3 sont 3 2 1 3 ou 3 2 1 4 2 1 3, etc, de longueur
3, 6, etc, donc d(3) = 3.
Les lacets issus de 4 sont 4 2 1 3 ou 4 2 1 3 2 1 4, etc, de longueur
3, 6, etc, donc d(4) = 3.
On peut alors diviser la classe en sous-classes cycliques, {1}, {2} et {3, 4}.
La matrice de transition peut alors scrire par blocs pour E = {2, 1, 3, 4},
P =
_
_
_
_
0 1 0 0
0 0 1/2 1/2
1 0 0 0
1 0 0 0
_
_
_
_
Exemple 66. Pour la marche alatoire dans Z, tous les tats sont priodiques de priode 2.
9.2.2 Priodicit de classe
Thorme 67. Si un tat j est priodique de priode d et que j i, alors i sera galement
priodique de priode d.
Cette proprit de priodicit tant une proprit de classe, on pourra parler de chane de
markov de priode d pour si P est irrductible.
Thorme 68. Pour une chane irrductible, tous les tats ont la mme priode.
9.3 Convergence vers la loi limite
Lemme 69. Si P est une matrice irrductible et possde un tat apriodique i, alors pour tout
j, k E, il existe n
0
tel que p
(n)
j,k
> 0 pour tout n n
0
. Aussi, tous les tats sont apriodiques.
Proof. Il existe r, s tels que p
(r)
j,i
> 0 et p
(s)
i,k
> 0 et donc
p
(r+n+s)
j,k
p
(r)
j,i
p
n
i,i
p
(s)
i,k
> 0.
Thorme 70. Soit P une matrice irrductible et apriodique, possdant une distribution in-
variante . tant donne une distribution initiale , et (X
n
)
nN
une chane de Markov (, P),
alors
P(X
n
= j) =
j
lorsque n pour tout j E,
et en particulier p
(n)
i,j

j
lorsque n , pour tout i, j E.
Pour dmontrer ce rsultat, on va utiliser un argument de couplage.
Proof. Soit (Y
n
)
nN
une chane de Markov (, P), et pour b E on pose
T
b
= inf{n 1 : X
n
= Y
n
= b}.
on commence par montrer que P(T < ) = 1,
on pose Z
n
=
_
X
n
si n T
Y
n
si n T,
9.4 Interprtation de linvariance
Exemple 71. Sur lexemple prcdant, supposons = (1, 0, 0). Les distributions aux dates
suivantes sont alors
( 100.0% 00.0% 00.0% )
( 20.0% 20.0% 60.0% )
( 64.0% 14.0% 22.0% )
( 34.8% 19.8% 45.4% )
( 52.4% 16.9% 30.8% )
( 41.2% 18.9% 39.9% )
( 48.1% 17.7% 34.2% )
.
.
.
.
.
.
.
.
.
( 45.4% 18.2% 36.4% )
Evolution des proportions en fonction de n
0
.
0
0
.
2
0
.
4
0
.
6
0
.
8
1
.
0
Evolution des proportions en fonction de n
0
.0
0
.2
0
.4
0
.6
0
.8
1
.0
Evolution des proportions en fonction de n
0
.0
0
.2
0
.4
0
.6
0
.8
1
.0
Evolution des proportions en fonction de n
0
.0
0
.2
0
.4
0
.6
0
.8
1
.0
Evolution des proportions en fonction de n
0
.0
0
.2
0
.4
0
.6
0
.8
1
.0
Exemple 72. Si E est inni il nexiste pas forcment de loi stationnaire.
0 1 2 3
4
5
1
1/3
2/3
1/9
8/9
1/27
26/27
1/81
80/81
Si la chane est priodique il nexiste pas forcment de loi stationnaire.
1 2
4 3
1/2
1/2
1/2
1/2
1/2 1/2 1/2 1/2
Pour des raisons de parit, lim
n
_
P(X
2n+1
= u|X
0
= u) = 0
P(X
2n
= u|X
0
= u) > 0
9.5 Pour rsumer...
Les lois stationnaires ne chargent que les vnements rcurrents (positifs si E est seulement
dnombrable),
La loi stationnaire est unique si et seulement il nexiste quune classe rccurrente (positive
si E est seulement dnombrable),
Quand il y a une loi stationnaire, les probabilits de la chane convergent vers la loi
stationnaire au sens de Cesarro. Il y a convergence simple si toutes les composantes
rcurrentes sont de priode 1 (chane apriodique).
10 Rsultats dalgbre linaire pour les chanes de
Markov
Lemme 73. 1 est forcment valeur propre dune matrice stochatique.
Proposition 74. Soit P une matrice carre stochastique,
Si 1 est valeur propre simple de P, et si toutes les valeurs propres de P autres que 1 sont
de module strictement infrieur 1, alors la suite de matrice (P
n
)
nN
converge vers une
matrice stochastique. De plus, toutes les lignes de la matrice sont identiques.
Si 1 est valeur propre multiple de P, et que toutes les autres valeurs propres sont de module
strictement infrieur 1, la suite (P
n
)
nN
converge vers une matrice stochastique.
Si P a au moins une valeur propre autre que 1 dont le module est gal 1, alors la suite
(P
n
)
nN
ne converge pas. Toutefois, la suite (Q
n
)
nN
, dnie par
Q
n
=
I +P +. . . +P
n1
n
converge vers une matrice stochastique (ou, dit autrement, la suite (P
n
)
nN
converge au
sens de Cesaro vers une matrice stochastique).
Rappelons que si M est une matrice carre dordre r, elle admet r valeurs propres. Soit s le
nombre de valeurs propres distinctes,
1
, . . . ,
s
, et notons
1
, . . . ,
s
leur multiplicit. Il existe
P telle que
A = PDP
1
o P =
_
_
_
_
_
D

1
0 . . . 0
0 D

2
. . . 0
.
.
.
.
.
.
.
.
.
0 0 . . . D
s
_
_
_
_
_
,
o les matrices D

i
sont triangulaires suprieures,
i

i
, avec
i
sur la diagonale.
On peut crire D =
s

i=1
(
i
J
i
+u
i
), o J
i
et u
i
sont de la forme
_
_
_
_
_
_
_
_
_
_
0 0 . . . 0 . . . 0
0 0 . . . 0 . . . 0
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . . . . . 0
.
.
.
.
.
.
.
.
.
.
.
.
0 0 . . . 0 . . . 0
_
_
_
_
_
_
_
_
_
_
, o =
_
_
_
_
_

i
0 . . . 0
0
i
. . . 0
.
.
.
.
.
.
.
.
.
0 0 . . .
i
_
_
_
_
_
ou
_
_
_
_
_
0 . . .
0 0 . . .
.
.
.
.
.
.
.
.
.
00 . . . 0
_
_
_
_
_
Les matrices u
i
et J
i
vrient des proprits dorthogonalit,
J
i
J
j
= J
i
u
j
= u
i
J
j
= u
i
u
j
= 0 pour i = j,
avec J
2
i
= J
i
, J
i
u
i
= u
i
J
i
= u
i
, et
s

i=1
J
i
= I.
Alors
D
n
=
_
s

i=1
(
i
J
i
+u
i
)
_
n
=
s

i=1
(
i
J
i
+u
i
)
n
.
Si
i
= 0, on pose Q
i
(n) =
_
J
i
+
u
i

i
_
n
=
n

i=0
_
n
k
__
u
i

i
_
k
.
On a alors
M
n
=
s

i=1
(
i
)
n
PQ
i
(n)P
1
.
Si de plus on suppose que = 1, alors Q
i
(n) = Q
i
.
Soit la matrice Q
1
associe la valeur propre 1,
Proposition 75. Soit P une matrice stochastique dordre r, alors pour tout n r,
P
n
= +

j
(
j
)
n
Q
j
+

k
(
k
)
n
Q
k
(n),
o la premire somme se fait sur les valeurs propres
i
= 1 et la seconde
i
< 1.
Notons que
2
= et Q
2
j
= Q
j
(ce sont des projecteurs).
Exemple 76. Considrons la matrice de transition P =
_
_
1/5 1/5 3/5
0 1/2 1/2
1 0 0
_
_
,
1
3 2
1/5
1/2
1 3/5
1/2
1/5
alors P = TDT
1
, o
1/5 1/5 3/5
0 1/2 1/2
1 0 0
=
0.577 0.494 0.107
0.577 0.354 0.936
0.577 0.794 0.334
1.00 0 0
0 0.622 0
0 0 0.322
0.577 0.494 0.107
0.577 0.354 0.936
0.577 0.794 0.334
1
La matrice tant diagonale, la puissance nime se calcul aisment
1/5 1/5 3/5
0 1/2 1/2
1 0 0
n
=
0.577 0.494 0.107
0.577 0.354 0.936
0.577 0.794 0.334
1.00 0 0
0 0.622 0
0 0 0.322
n
0.577 0.494 0.107
0.577 0.354 0.936
0.577 0.794 0.334
1
En particulier
P
5
=
0.413 0.189 0.398
0.421 0.190 0.388
0.524 0.168 0.308
et P
10
=
0.458 0.181 0.360
0.457 0.181 0.361
0.448 0.183 0.369
Proposition 77. Si la matrice de transition P est telle quil existe k tel que P
k
nadmet que des
termes stricements positifs, alors P
n
P = [].
Exemple 78. Soit P =
_
_
3/4 1/4 0
1/2 0 1/2
0 1 0
_
_
, alors
P
2
=
_
11/16 3/16 1/8
3/8 5/8 0
1/2 0 1/2
_
, P
3
=
_
39/64 19/64 3/32
19/32 3/32 5/16
3/8 5/8 0
_
et P
4
=
_
155/256 63/256 38/256
63/128 59/128 3/64
19/32 3/32 5/16
_
Aussi la chane de Markov est convergente. Or lquation charactristique de P est
detP =
_
_
3/4 z 1/4 0
1/2 z 1/2
0 1 z
_
_
= 0
soit z
3
3/4z
2
5/8z + 3/8 = 0. Comme 1 est racine, cette quation se ramne
(z 1)(z
2
+ 1/4z 3/8) = 0
dont les racines sont 1/2 et 3/4 (de module strictemnt infrieur 1). La chane de Markov est
eectivement convergente. Formellement rappelons quil susait de rsoudre (P I) = 0.
Proposition 79. Une chane de Markov de matrice de transition P est ergodique si et seulement
si la valeur propre 1 est valeur propre simple, et est lunique valeur propre de module 1. La loi
limite de la chane est alors donne par lunique vecteur propre gauche (ligne) de la matrice
P (cest--dire, les probabilits limites sont les coecients de lunique tel vecteur propre dont la
somme des coecients soit 1).
11 Exemples de chanes de Markov
11.1 Modle de Bernoulli-Laplace
On considre 2 urnes, A et B, et on suppose que deux types de boules (rouges et vertes) sont
introduites, en nombre k. On note X
0
le nombre de boules rouges dans la premire urne.
chaque date, on procde un change deux boules prises dans chacune des urnes, et on
note X
n
le nombre de boules rouges dans la premire urne aprs n changes.
La matrice de transition est donne par
p
i,i
= 2
i(k i)
k
2
, p
i,i1
=
_
i
k
_
2
et p
i,i+1
=
_
k i
k
_
2
,
pour 0 < i, j < k, et p
0,1
= 0 = p
k,k1
= 1.
Cette chane (nie) est eectivement irrductible, puisquil est possible de joindre les tats i
et j en |i j| tapes, avec une probabilit non nulle,
max{i,j}1

i=min{i j}
_
k i
k
_
2
.
Cette chane est apriodique car P
i,i
> 0 pour tout i.
Compte tenu de la forme quasi-diagonale de la matrice de transition, on peut dterminer la
loi invariante , solution de P

= , ce qui revient rsoudre


_

0
= p
0,0

0
+p
1,0

1
= p
0,1

0
+p
1,1

1
+p
2,1

2
...

i
= p
i1,i

i1
+p
i,i

i
+p
i+1,i

i+1
...
k
= p
k1,k

k1
+p
k,k

k
ce qui se rsoud de manire rcursive,
1
=
p
0,1
p
1,0

0
,
2
=
p
1,2
p
2,1
p
0,1
p
1,0

0
, ...,
i
=
p
i1,i
p
i,i1
. . .
p
0,1
p
1,0

0
,
soit, au nal,
i
=
__
i
k
__
2

0
, soit, par normalisation

i
=
_
_
i
k
_
_
2
_
i
2k
_ ,
aussi, la loi hypergomtrique H(2k, k, 1/2) est la loi invariante.
11.2 Urne de Ehrenfest
On considre deux urnes A et B contenant au total m boules. On tire une boule dans une des
urnes choisie au hasard et on la replace dans lautre. On cherche dcrire
X
n
= nombre de boule dans lurne A aprs n tirages.
(X
n
) est une chane de Markov, avec pour probabilits de transition
P(X
n+1
= k 1|X
n
= k) =
k
m
pour k = 1, ..., m1, m,
P(X
n+1
= k + 1|X
n
= k) =
mk
m
pour k = 0, 1, ..., m1,
P(X
n+1
= j|X
n
= i) = 0 sinon .
La matrice de transition associe est
P =
_
_
_
_
_
_
_
_
_
_
_
0 1 0 0 0 0 0
1/m 0 (m1)/m 0 0 0 0
0 2/m 0 (m2)/m 0 0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 0 0 0 2/m 0
0 0 0 0 (m1)/m 0 1/m
0 0 0 0 0 1 0
_
_
_
_
_
_
_
_
_
_
_
Dans le cas o n = 4, la chane est alors
0 1 2 3 4
1
1/4
3/4
1/2
1/2
3/4
1/4
1
de matrice de transition P =
_
_
_
_
_
_
0 1 0 0 0
1/4 0 3/4 0 0
0 1/2 0 1/2 0
0 0 3/4 0 1/4
0 0 0 1 0
_
_
_
_
_
_
La chane est irrductible (donc rcurente positive) et admet une probabilit invariante.
Notons que pour i = 1, ..., m1,

i
=
i1

mi 1
m
+
i+1

i + 1
m
,
avec des conditions de bords de la forme
0
=
1
/m. Par rcurence,
i
=
0
_
i
m
_
. Comme
m

i=0
= 1 alors
0
m

i=0
_
i
m
_
= 2
m

0
= 1,
aussi,
i
=
1
2
m
_
i
m
_
pour i = 0, ..., m. La loi stationnaire est la loi binomiale B(m, 1/2).
11.3 Urne de Plya
On considre une urne
5
avec v + r boules, de deux couleurs V et R. Lorsquon tire une
boule, on la remet dans lurne, et on rajoute une boule de la mme couleur. Il sagit dun
modle(simple)decontagion.
Soient V
n
et R
n
le nombre de boules aprs n tirages. X
n
= (V
n
, R
n
) est une chane de
Markov dans N N, dtat initial (1, 1), et de matrice de transition
P((i + 1, j)|(i, j) =
i
(i +j
et P((i, j + 1)|(i, j) =
j
(i +j
.
Notons Z
n
= R
n
/[V
n
+R
n
] la proportion de boules rouge.
Par rcurence, on peut monter aisment que
P
_
Z
n
=
k
n + 2
_
=
1
n + 1
pour k = r, r + 1, r + 2, ..., r +n.
Soient V

n
et R

n
le nombre de boules sorties aprs n tirages, i.e. V

n
= V
n
v et R

n
= R
n
v.
Alors
P(V

n
= i, R

n
= n i) =
n!
i!(n i)!
r(r + 1)...(r +i 1)v(v + 1)...(v +n i 1)
(r +v)(r +v + 1)...(r +v +n 1)
Notons Z

n
= R

n
/[V

n
+R

n
] = R

n
/n la proportion de boules rouge sorties.
...
Alors
P(Z

n
= z) =
(r +nz 1)!
(r 1)!(nz)!
(v +n(1 z) 1)!
(v 1)!(n(1 z)!
(r +v 1)!n!
(r +v +n 1)!
En utilisant la formule de Stirling, on peut montrer que
P(Z

n
= z)
(r +v 1)!
(r 1)!(v 1)!
z
r1
(1 z)
v1
, pour x [0, 1].
11.4 Processus de branchement et taille de population
On considre une population dont les individus se reproduisent, chaque gnration, de manire
indpendante, et tels que le nombre de descendants X admet une loi de fonction gnratrice g,
g(t) = E(t
X
).
On note S
n
le nombre dindividus la nime gnration. Notons que
S
n
L
= X
1
+.... +X
S
n1
,
o les X
i
sont i.i.d. En partant dun seul individu, on obtient que la fonction gnratrice g
n
de
S
n
est g
n
(t) = g
n
(t) o g
k
= g g
k1
.
5
Une animation de cet algorithme est tlchargeable sur
http://www.crest.fr/pageperso/charpent/MC-UP-0001.avi
Si P(X = 0) = 0, la chane est croissante, et donc la chane (S
n
) est transiente.
Si P(X = 0) = 0, il est possible que la population disparaisse, et la probabilit de premier
retour 0 est
n
= P(S
n
= 0) = g
n
(1). Notons que (
n
) vrie alors une relation de rcurrence

n
= g(
n1
).

n
1 [0, 1[ si et seulement si g

(1) > 1, cest dire E(X) > 1: la transience de la chane


est associe au nombre moyen de descendant par individu.
Si g

(1) > 1, la chane est transiente, et si g

(1) 1, la chane est rcurente.


Supposons que g

(1) 1. Si (S
n
) admet une loi invariante, de fonction caractristique ,
alors doit vrier
(t) = g(t)(0) +(g(t)) (0).
Exemple 80. Si X suit une loi de Bernoulli, B(p), g(t) = (1 p) + pt, et est alors solution
de
(t) = g(t)(0) +(g(t)) (0) = ((1 p) +pt) +p(t 1)(0),
ce qui donne, de manire itrative
(t) = ((1 p) +p(1 p) +... +p
k1
(1 p) +p
k
t) + (p +p
2
+... +p
k
)(t 1)(0),
pour tout k N. Par passage la limite, k ,
(t) =
_
1 p
1 p
_
+
_
p
1 p
_
(t 1)(0) = 1 +
p
1 p
(t 1)(0),
i.e. (0) = 1 p et (t) = 1 +p(t 1) = (1 p) +pt: la loi de Bernoulli est invariante.
12 Thorme(s) ergodique(s)
Le premier thorme ergodique est une forme de loi de grand nombre pour des suites de variables
alatoires non indpendantes (mais markoviennes). Rappelons que de manire classique, si les
X
i
sont de mme loi, et si les variables sont de variance nie, la loi (faible) des grands nombres
(thorme de Khintchine) garantie que
lim
n
P
_

X
1
+... +X
n
n
E(X)

>
_
= 0,
qui se montre laide de lingalit de Tchebychev, et donc
X
1
+... +X
n
n
P
E(X). Aussi, ce
rsultat peut scrire, pour toute fonction f intgrable,
1
n
n

i=1
f(X
i
)
P
E(f(X)) =
_
E
f(x)d(x),
o dsigne la loi des X
i
.
La loi (forte) des grands nombres garantie une convergence presque sr ds lors que les
variables sont desprance nie,
P
_
lim
n
X
1
+... +X
n
n
() = E(X)
_
= 1.
Thorme 81. Soit (X
n
)
nN
une chane de Markov irrductible rcurrente positive, et son
unique mesure invariante. Pour toute fonction f borne sur E,
1
n
n1

k=0
f(X
k
)
P

_
E
f(x)d(x) =

xE
(x)f(x).
Proof. Pour tout tat x E, on note N
x
(n) le nombre de retour ltat x avant linstant n,
N
x
(n) =
n

k=0
1(X
k
= x). On sintresse alors toutes les excursions, entre chaque retour ltat
x, notes E
0
, E
1
, ..., E
Nx(n)
, chacune de longueur L
x
(k). Notons que L
x
(0) +... +L
x
(N
x
(n) 1)
n L
x
(0) +... +L
x
(N
x
(n)), de telle sorte que
L
x
(0) +... +L
x
(N
x
(n) 1)
N
x
(n)

n
N
x
(n)

L
x
(0) +... +L
x
(N
x
(n))
N
x
(n)
.
Les excursions tant indpendantes (proprit de Markov), on peut utiliser la loi des grands
nombres, et
L
x
(0) +... +L
x
(N
x
(n))
N
x
(n)
p.s.
E(T
x
),
o T
x
est le temps du premier retour ltat x, T
x
= inf{n 1, X
n
= x}. Aussi, n/N
x
(n) tend
presque srement vers E(T
x
), ou encore
N
x
(n)
x
p.s.

1
E(T
x
)
(le presque sr tant par rapport
P
x
() = P(|X
0
= x), mais on peut montrer que la convergence a lieu quelle que soit la mesure
initiale , puisque les limites sont identiques).
Pour montrer maintenant la convergence, notons que

1
n
n1

k=0
f(X
k
)

xE
(x)f(x)

xE
_
N
x
(n)
n
(x)
_
f(x)

.
On utilise le fait que f est borne, i.e. |f()| M. Soit F E, alors

1
n
n1

k=0
f(X
k
)

xE
(x)f(x)

xE
_
N
x
(n)
n
(x)
_
f(x)

xF

N
x
(n)
n
(x)

+M

x/ F
_
N
x
(n)
n
+(x)
_
2M

xF

N
x
(n)
n
(x)

+ 2M

x/ F
pi(x).
La dicult est que E peut tre de cardinal inni, on choisit alors F de cardinal ni, tel que

x/ F
pi(x) soit aussi petit que possible (infrieure ). On utilise alors la convergence table
prcdement, et donc, il existe N tel que pour n N,

xF

N
x
(n)
n
pi(x)

, ce qui garantira
la convergence.
Le second thorme ergodique est une forme de thorme centrale limite pour des suites de
variables alatoires non indpendantes (mais markoviennes). Rappelons que de manire classique,
si les variables X
i
sont indpendantes, de mme loi (et centres, pour simplier lcriture)
1

n
n1

i=0
X
k
L
N(0,
2
),
o
2
= Var(X) = E(X) =
_
x
2
d(x).
On supposera (dans la dmonstration, mais le thorme reste gnralement vrai) que E est
ni. On se placera galement dans le cas centr, l aussi pour simplier.
Thorme 82. Soit (X
n
)
nN
une chane de Markov irrductible, et son unique mesure invari-
ante sur E ni. Pour toute fonction f sur E telle que
_
E
f(x)d(x) =

xE
(x)f(x) = 0, alors il
existe (dpendant de f) telle que
1

n
n1

i=0
f(X
k
)
L
N(0,
2
).
Proof. Lide est dcrire
1

n
n1

i=0
f(X
k
) =

xE
(x)f(x)
_
N
x
(n)
n
_
_
N
x
(n)

(
x)

n
_
N
x
(n)
_
,
qui va se comportement de la mme manire que

xE
(x)f(x)
_
N
x
(n)
n
L
x
(0) +... + L
x
(N
x
(n))
_
N
x
(n)
,
o L
x
(k) = L
x
(k)1/(x). Par indpendance sur chaque excursion, on peut invoquer le thorme
centrale limite qui assure que
L
x
(0) +... + L
x
(N
x
(n))
_
N
x
(n)
L
N(0, 1).
Notons que le calcul de la variance nest pas forcment simple obtenir (en pratique). Elle
vaut

2
= 2

xE
(x)(x)f(x)

xE
(x)f(x)
2
, o (x) =

n=0
E(f(X
n
)|X
0
= x),
pour tout x E.
13 Inversion du temps
Si (X
n
)
n0
est une chane de Markov de matrice de transition P, conditionnellement la valeur
prsente, le pass et le futur sont indpendant.
Thorme 83. Soit (X
n
)
0nN
une chane de Markov de matrice de transition P irrductible, de
distribution invariante , et de mesure initiale = , et poson Y
n
= X
Nn
. Alors (Y
n
)
0nN
est
une chane de Markov de matrice de transition

P et de mesure initiale o

j
p
j,i
=
i
p
i,j
pour tout i, j,
et

P est irrductible, de distribution invariante .
14 Passage au temps continu
14.1 Approche innitsimale
Etant donne une matrice Q , la srie

k0
Q
k
k!
converge, et sera note exp(Q).
Thorme 84. Soit Q une matrice dnie sur lespace dtat I. Notons P(t) = exp(tQ), alors
la fonction P() vrie
P(s +t) = P(s) +P(t),
P est lunique solution de lquation direncielle forward
d
dt
P(t) = P(t)Q,
P est lunique solution de lquation direncielle backward
d
dt
P(t) = QP(t).,
pour tout k 0,
_
d
dt
_
k
P(t)

t = 0 = Q
k
.
Dnition 85. Une matrice M est une Q-matrice sur I si
q
i,i
(, 0],
q
i,j
pour tout j = i,

jI
q
i,j
= 0.
Exemple 86. La matrice
_
_
-2 1 1
-1 1 0
2 1 -3
_
_
est une Q-matrice.
Thorme 87. Une matrice Q est une Q-matrice si et seulement si P(t) = exp(tQ) est une
matrice stochastique pour tout t 0.
Les composantes de lquation direntielle forward P

(t) = P(t)Q sont


p

i,i
(t) = p
i,i
(t) p
i,i
(0) = 1 pour i < N
p

i,j
(t) = p
i,j
(t) +p
i,j1
(t) p
i,j
(0) = 0 pour i<j < N
p

i,N
(t) = p
i,N1
(t) p
i,N
(0) = 0 pour i < N
La premire quation admet pour solution p
i,i
(t) = exp(t) for i < N, et pour i < j < N,
(e
t
p
i,j
(t))

= e
t
p
i,j1
(t), et par induction, e
t
(t)
ji
(j i)!
. Si i = 0, on obtient les probabilits
dune loi de Poisson de paramtre t.
continuer
14.2 Processus de Poisson
Pour rappel, une variable alatoire positive T suit une loi exponentielle de paramtre 0 si
P(T > t) = exp(t), pour tout t 0.
La moyenne de T est alors E(T) = 1/.
Thorme 88. T suit une loi exponentielle si et seulement si elle vrie la proprit dabsence
de mmoire,
P(T > s = t|T > s) = P(T > t) pour tout s, t 0.
[ complter]
15 Statistique pour les chanes de Markov
15.1 Un petit exemple
Considrons un processus de branchement de type Galton-Watson. On part de X
0
= 1, et on
suppose que la loi de reproduction est une loi binomiale B(N, p, o p est inconnu. On suppose
les reproductions sont indpendantes
On note X
n
le nombre de descendant en n gnrations.
Processus de Galton!Watson
Notons que X
n+1
sachant X
n
= i est la somme de i binomiales indpendantes B(N, p, donc
X
n+1
|X
n
= i simB(Ni, p)
donc
P(X
n+1
= j|X
n
= i) =
_
Ni
j
_
p
j
(1 p)
Nij
, = p
i,j
, pour j = 0, 1, ..., Ni.
Supposons que lon ait observ chaque date x
0
= 1, x
1
, ..., x
n
. La vraisemblance de cet
chantillon est
L(x
0
, ..., x
n
, p) =
n1

i=0
p
x
i
,x
i+1
=
n1

i=0
_
Nx
i
x
i+1
_
p
x
i+1
(1 p)
Nx
i
x
i+1
aussi L(x
0
, ..., x
n
, p)
_
n1

i=0
_
Nx
i
x
i+1
_
_
p
n1
i=0
x
i+1
(1 p)
N
n1
i=0
x
i
x
i+1
. On cherche alors
p p (0, 1)
argmax
log L(x
0
, ..., x
n
, p).
La log-vraisemblance scrit
log L(x
0
, ..., x
n
, p) = constante +
_
log
p
1 p
_
n1

i=0
x
i+1
+N (log(1 p))
n1

i=0
x
i
.
Aussi,
log L(x
0
, ..., x
n
, p)
p
= 0 si et seulement si
p =
1
N
_

n1
i=0
x
i+1

n1
i=0
x
i
_
.
15.2 Gnralisation
On suppose que E est un espace dtat ni. On cherche estimer P = [p
i,j
], la matrice de
transition.
On note N
i,j
n
le nombre de transition de i vers j observes entre les dates 0 et n,
N
i,j
n
=
n1

k=0
1(X
k
= i, X
k+1
= j).
Soit N
i,
n
le nombre de passage en i,
N
i,
n
=
n1

k 0
1(X
k
= i) =

jE
N
i,j
n
.
Supposons que lon ait observ chaque date x
0
= 1, x
1
, ..., x
n
. La vraisemblance de cet
chantillon est
L(x
0
, ..., x
n
, P = [p
i,j
]) = (x
0
)
n1

k=0
p
x
k
,x
k+1
.
On cherche alors

P = [ p
i,j
] p
i,j
(0, 1)
argmax
n1

k=0
log p
x
k
,x
k+1
=

i,jE
log p
i,j
N
i,j
n
,
avec la constrainte davoir une matrice stochastique, i.e.

jE
p
i,j
= 1 pour tout i.
En posant
i
le multiplicateur de Lagrange associ,
log L

iE

i
_
_

jEp
i,j
1
_
_
= 0.
Pour tout iE, on obtient que
i
= N
i,
n
, et donc
p
i,j
=
N
i,j
n
N
i,
n
= estimateur empirique.
Daprs le thorme ergodique,
1
n
N
i,
n
=
1
n
n1

k=0
1(X
k
= i)
Pas
(i),
o est la mesure stationnaire associe la chane P, et
1
n
N
i,j
n
=
1
n
n1

k=0
1(X
k
= i, X
k+1
= j)
Pas
(i)p
i,j
,
aussi, pour tout i, j E,
p
i,j
Pas
p
i,j
.
On peut en fait montrer que cet estimateur est normalement convergent,

n( p
i,j
p
i,j
)
L
N
_
0,
p
i,j
(1 p
i,j
)
(i)
_
.
References
[1] Benam, M. & El Karoui, N. Promenade Alatoire, Ed. Ecole Polytechnique.
[2] Cottrell, M., Genon-Catalot, V., Duhamel, C. & Meyren T. Exercices de probabilits, Ed.
Cassini.
[3] Foata, D. & Fuchs, A. Processus Stochastiques, Ed. Dunod.
[4] Norris, J.R. Markov Chains, Ed. Cambridge University Press.
[5] Robert, C. Mthodes de Monte Carlo par chane de Markov, Ed. Economica.
[6] Ycart, B. Premiers pas en statistique, Ed. Springer.