Chapitre1 001 Version Etudiant

mardi 2 janvier 2007
1
Chane de Markov
1 Chane de Markov 1
1.1 Processus stochastiques
1 Chane de Markov
1.1 Processus stochastiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Chanes de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Calculs sur les chanes de Markov . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.2 Promenade au hasard sur Z . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.3 Problme de la ruine du joueur . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.4 Un modle de bonus-malus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3 quations de Chapman-Kolmogorov . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4 Modication de la matrice de transition . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5 Classication des tats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.6 tats rcurrents et transitoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.7 Priodicit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.8 Promenade alatoire non symtrique sur Z . . . . . . . . . . . . . . . . . . . . . 25
1.9 Analyse des premiers pas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.10 Probabilits limites et stationnaires . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.11 Application: promenade alatoire entre barrires absorbantes . . . . . 47
1.12 Chanes de Markov rductibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
1.13 Chanes de Markov temps rversible . . . . . . . . . . . . . . . . . . . . . . . . . 58
1.14 Temps moyen pass dans les tats transitoires . . . . . . . . . . . . . . . . . . 61
1.15 Application: loi de Hardy-Weinberg . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
1.16 Rsultats vu en exercice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Dernire modication
mardi 2 janvier 2007
mercredi 10 janvier
cours 2
1.1 Processus stochastiques
Un processus stochastique X(t), t T est une famille de variables alatoires X(t), Ross p83
Karlin p5
o le paramtre t est lindice du processus. Lindice t peut reprsenter le temps, ou
une coordonne le long dun chemin par exemple. Ainsi, chaque X(t) est une variable
alatoire, et T est lensemble des indices du processus.
Exemple 1 X(t) peut tre:
le nombre dtudiants lUQAM au temps t;
le nombre de vhicule sur une autoroute au kilomtre t.
1 Chane de Markov 2
1.2 Chanes de Markov
la taille dune population au temps t.
le prix dune action au temps t.
Quand lensemble T est dnombrable, le processus est dit temps discret, alors que
si T est un intervalle de nombre rels, il est temps continu. Par exemple, T est
souvent lensemble N, R ou Z, mais il peut aussi tre R
2
, R
3
...
Exemple 2
X
n
, n = 0, 1, . . . est temps discret;
X(t), t 0 peut tre le nombre de vhicule sur une autoroute au kilomtre
t.
Lensemble des valeurs que peut prendre le processus est lespace des tats, que
lon note habituellement o. Cet ensemble peut tre ni ou inni. Les processus
stochastiques se distinguent par leur ensemble dtats o, par leur ensemble dindices
T, et par la relation de dpendance entre les variables alatoires.
Exemple 3 Si nous considrons la suite X
1
, X
2
, . . . des rsultats successifs du lanc
dune pice de monnaie, lensemble T est N = 1, 2, 3, . . ., les variables alatoires
X(t) sont indpendantes et chaque X(t) a la mme loi, Bernoulli.
Considrons un processus stochastique X
n
, n = 0, 1, . . . qui prend un nombre Ross p181
Karlin p95
de valeur ni ou dnombrable. Il est pratique de dnoter lespace des tats par
lensemble des entiers non ngatifs 0, 1, 2, . . .. On dit le processus est ltat i au
temps n (ou ltape n) si X
n
= i. Ltat au temps 0, cest--dire X
0
est ltat
initial de la chane; il peut tre connu, ou alatoire (il a alors une distribution de
probabilit). La probabilit que le processus ltape n + 1 soit ltat j sachant
quil est ltat i ltape n est appele probabilit de transition en une tape, et
est dnie comme:
P
n,n+1
ij
= P[X
n+1
= j [ X
n
= i]
Cette notation montre que la probabilit de transition dpend non seulement des
tats de dpart et darrive (i et j) mais aussi du temps auquel la transition se fait.
Quand les probabilits de transition ne dpendent pas de n, on dit que le processus
a des probabilits de transition stationnaires, ou quil est homogne. Comme les
chanes de Markov que nous tudierons seront dans cette catgorie, nous noterons
P
n,n+1
ij
= P
ij
, et P
ij
est alors la probabilit daller de i j en une tape.
1 Chane de Markov 3
Une chane de Markov est un processus stochastique o la probabilit que le proces-
sus soit ltat j au temps n + 1, sachant quil est ltat i au temps n, nest pas
modi par la connaissance du pass, cest--dire:
1 Chane de Markov 4
Dfinition 1
Un processus stochastique X
n
, n = 0, 1, . . . est une chane de Markov si pour
tout n 0 et pour les tats i
0
, . . . , i
n1
, i, j o,
P[X
n+1
= j[X
n
= i, X
n1
= i
n1
, . . . , X
0
= i
0
] = P[X
n+1
= j[X
n
= i]
Ainsi, la distribution conditionnelle de nimporte quel X
n+1
sachant les tats passs
X
0
, X
1
, . . . , X
n1
et le prsent X
n
est indpendante du pass et ne dpend que de
ltat prsent. En ce sens, le processus est dit sans mmoire. Les probabilits P
ij
sont positives ou nulles, et le processus doit faire une transition vers un autre tat;
ainsi:
P
ij
0, (i, j 0)

jS
P
ij
= 1, (i = 0, 1, . . .)
On prsente les probabilits de transition sous la forme dune matrice de transition
P (aussi appele matrice stochastique, ou matrice de passage), o le terme (i, j) de
la matrice P est la probabilit de transition de i j en une tape:
P =
_
_
P
00
P
01
P
02
. . . P
0j
. . .
P
10
P
11
P
12
. . . P
1j
. . .
P
20
P
21
P
22
. . . P
2j
. . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
P
i0
P
i1
P
i2
. . . P
ij
. . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
_
_
Ainsi la i
me
ligne de P est la distribution conditionnelle de X
n+1
sachant que
X
n
= i. Notons que si le nombre dtats est ni, la matrice P est carre, et le nombre
de lignes et de colonnes correspond au nombre dtats de la chane de Markov. Une
chane de Markov, comme nous le verrons plus loin, est compltement dnie par sa
matrice de transition et la distribution de X
0
.
Il est souvent commode dassocier un graphe la matrice de transition dune chane
de Markov. Les sommets du graphe sont les tats de la chane, et les sommets i et j
sont relis par des arrtes orientes tiquetes par P
ij
si P
ij
est strictement positive.
Quand le nombre dtats est ni, lanalyse du graphe associ est trs utile an de
caractriser les proprits de la chane.
Exemple 4 Supposons que le temps quil fera demain ne dpend que du temps
quil fait aujourdhui, et que la mto peut ainsi tre modlise par une chane de
Markov. Supposons de plus que soit il pleut, soit il ne pleut pas. Aprs plusieurs
tudes, on sait que la probabilit quil pleuve demain est de p sil pleut aujourdhui,
1 Chane de Markov 5
et que la probabilit quil ne pleuve pas demain est q sil ne pleut pas aujourdhui.
Construisons la matrice de transition de cette chane de Markov.
Soient les tats =
_
0 il pleut
1 il ne pleut pas
P =
_
0 1
0 p 1 p
1 1 q q
_
0 1
p
1 p
1 q
q
1.2.1 Calculs sur les chanes de Markov
Soit p
i
P(X
0
= i). On peut valuer nimporte quelle probabilit de la forme
P[X
0
= i
0
, X
1
= i
1
, . . . , X
n
= i
n
] en utilisant la proprit de Markov (df. 1|) si
nous connaissons la distribution de X
0
. Ainsi:
P[X
0
= i
0
, X
1
= i
1
, . . . , X
n
= i
n
]
= P[X
n
= i
n
[X
0
= i
0
, X
1
= i
1
, . . . , X
n1
= i
n1
]
P[X
0
= i
0
, X
1
= i
1
, . . . , X
n1
= i
n1
]
= P[X
n
= i
n
[X
n1
= i
n1
]P[X
0
= i
0
, X
1
= i
1
, . . . , X
n1
= i
n1
]
= P
i
n1
i
n
P[X
0
= i
0
, X
1
= i
1
, . . . , X
n1
= i
n1
]
= P
i
n1
i
n
P
i
n2
i
n1
P[X
0
= i
0
, X
1
= i
1
, . . . , X
n2
= i
n2
]
=
.
.
.
= P
i
n1
i
n
P
i
n2
i
n1
. . . P
i
0
i
1
P[X
0
= i
0
]
= P
i
n1
i
n
P
i
n2
i
n1
. . . P
i
0
i
1
p
i
0
= p
i
0
P
i
0
i
1
. . . P
i
n2
i
n1
P
i
n1
i
n
o p
i
0
= P[X
0
= i
0
]. Ainsi, comme lon sy attend, la probabilit dune trajectoire
particulire i
0
, i
1
, . . . , i
n1
, i
n
est simplement la probabilit de partir en i
0
, daller
de i
0
vers i
1
, puis de i
1
vers i
2
, etc.
1 Chane de Markov 6
Exemple 5 Illustrons le calcul de quelques simples probabilits avec la chane
de Markov X
n
ayant la matrice de transition P qui suit. Calculons (a) P[X
2
=
1, X
3
= 1[X
1
= 0] et (b) P[X
4
= 1, X
5
= 1[X
3
= 0].
P =
_
_
0 1 2
0 0.1 0.2 0.7
1 0.9 0.1 0
2 0.1 0.8 0.1
_
_
(a) P[X
2
= 1, X
3
= 1[X
1
= 0].
Pour arriver au rsultat intuitif, on peut utiliser le fait que:
P(A B[C) = P(A[B C)P(B[C)
Ainsi, on a
P[X
2
=1, X
3
= 1[X
1
= 0]
= P[X
3
= 1[X
2
= 1 X
1
= 0] P[X
2
= 1[X
1
= 0]
= P[X
3
= 1[X
2
= 1] P[X
2
= 1[X
1
= 0]
= P
11
P
01
= P
01
P
11
= 0.2 0.1 = 0.02
(b) On a aussi (absence de mmoire) P[X
4
= 1, X
5
= 1[X
3
= 0] = P
01
P
11
Si le systme que lon tente de modliser nest pas markovien, il est parfois possible
de le rendre markovien. Revisitons lexemple 4 (p. 4).
Exemple 6 Supposons que le temps quil fait aujourdhui dpende du temps quil
a fait les deux derniers jours. Ainsi, supposons que si il pleut aujourdhui et si il
pleuvait hier il pleuvra demain avec probabilit x, si il pleut aujourdhui mais il ne
pleuvait pas hier, il pleuvra demain avec probabilit z, si il ne pleut pas aujourdhui
et il ne pleuvait pas hier alors il pleuvra demain avec probabilit w, et enn si il ne
pleut pas aujourdhui et il pleuvait hier, il pleuvra demain avec probabilit y.
Si le processus considr est ltat du temps demain en fonction du temps quil fait
aujourdhui, il ne sagit pas dune chane de Markov. Par contre on peut transformer
le problme en posant que ltat du processus un temps donn est dtermin par
ltat du temps dans les deux derniers jours. Ainsi notons un tat par X
i1
X
i
ou
X
i
est le temps quil fait le jour i. On a ainsi 4 tats:
o = PP, P

P,

PP,

P

P
Notons quentre les tats X
i1
X
i
et X
i
X
i+1
il y a un jour en commun. Ainsi, par
exemple, ltat PP un lundi signie quil pleut dimanche et lundi, et ltat P

P une
transition plus tard signie quil pleut lundi mais pas mardi.
1 Chane de Markov 7
P

P
P

P PP
PP
x
1x
y
1y
z
1z
w
1w
P =
_
_
PP P

P

PP

P

P
PP x 1 x 0 0
P

P 0 0 y 1 y
PP z 1 z 0 0
P

P 0 0 w 1 w
_
_
Notons que de pour transformer un processus en chane de Markov par cette m-
thode, il nest pas forcment ncessaire de doubler ou tripler le nombre des tats; il
arrive quun seul tat supplmentaire soit susant.
1.2.2 Promenade au hasard sur Z
Soit une chane de Markov dont lespace des tats o est Z, cest--dire o = 0, 1, 2 . . .,
de matrice de transition P = (P
ij
) telle que, pour tout (i, j) dans Z
2
,
P
ij
=
_
p si j = i + 1,
1 p si j = i 1,
0 sinon.
et p est un rel entre 0 et 1. Une telle chane de Markov est une promenade alatoire
sur Z. . Le graphe associ cette chane de Markov est le suivant:
i2 i1 i i+1 i+2
p p p p p
1p 1p 1p 1p 1p
1 Chane de Markov 8
Si p = 1/2, alors la promenade alatoire est dite symtrique, sinon elle est dite
asymtrique. Lexemple classique de promenade alatoire symtrique est lanalogie
avec un individu saoul marchant sur le bord dun trottoir, et faisant un pas en avant
ou en arrire avec la mme probabilit.
1.2.3 Problme de la ruine du joueur
Supposons que deux joueurs A et B jouent un jeu o chaque partie du jeu le
joueur A a une probabilit p de gagner et q = 1 p de perdre (0 < p < 1). Quand
il perd, il perd $ 1 quil donne B, et quand il gagne, il gagne $ 1 que B lui donne.
La fortune totale des deux joueurs est constante de $ N. Le jeu sarrte quand un
des deux joueurs est ruin.
On modlise ce problme en prenant pour tat de la chane de Markov, X
n
, le
capital de A aprs la n
me
partie (n 0). Lensemble des tats est donc o =
0, 1, 2, . . . , N 1, N. Les probabilits de transition sont alors:
P
i,i+1
= p = 1 P
i,i1
, i = 1, 2, . . . , N 1
P
00
= P
NN
= 1
Le graphe de cette chane de Markov est donc:
0 1 2 3 N2 N1 N 1
q
p
1
p p p p
q q q q
La matrice de transition de cette chane de Markov est:
P =
_
_
1 0 0 . . . 0 0 0
q 0 p . . . 0 0 0
0 q 0 . . . 0 0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 0 . . . 0 p 0
0 0 0 . . . q 0 p
0 0 0 . . . 0 0 1
_
_
1 Chane de Markov 9
Ltat 0 correspond la ruine de A, donc une victoire de B, et ltat N correspond
une victoire de A, donc la ruine de B. Remarquez quune fois que le systme entre
dans lun des tats 0 ou N, il ne peut en sortir: de tels tats sont dits absorbants.
Ce problme est une marche alatoire avec un nombre dtats nis et des barrires
absorbantes.
lundi 13 janvier
cours 3
1.2.4 Un modle de bonus-malus
Une compagnie dassurance a un systme de bonus-malus pour calculer les primes
dassurance de ses clients. La prime de chaque client est valu selon le niveau de
risque du client. Il existe un nombre inni de ces niveaux; le niveau 0 correspond
la prime la plus basse, et plus le niveau augmente, plus la prime augmente. Le
niveau de risque dun client est valu chaque anne. Si un client est actuellement
au niveau i (i 0), on sait que le nombre daccident dans une anne est une loi de
Poisson de paramtre
i
. Un client passe du niveau i au niveau i + j (j 1) sil a
eu j accidents durant lanne. Si son niveau de risque est i > 1 et sil na eu aucun
accident, son niveau de risque baisse de 1. Notons que la probabilit quun client au
niveau i est j accidents durant une anne est:
P
i
(j) = e
i
j
j!
, i = 0, 1, 2, . . . , j = 0, 1, 2, . . .
Dnissons une chane de Markov X
n
pour dcrire ce problme, o ltat de la
chane est le niveau de risque du client. Lespace des tats est o = 0, 1, 2, . . ..
0 1 2 3 4
P
1
(0)
P
2
(0)
P
3
(0)
P
4
(0)
P
0
(1)
P
0
(2)
P
0
(3)
P
0
(4)
P
1
(1)
P
1
(2)
P
1
(3)
P
2
(1)
P
2
(2)
P
3
(1)
1
1 Chane de Markov 10
1.3 quations de Chapman-Kolmogorov
P =
_
_
P
0
(0) P
0
(1) P
0
(2) P
0
(3) . . .
P
1
(0) 0 P
1
(1) P
1
(2) . . .
0 P
2
(0) 0 P
2
(1) . . .
0 0 P
3
(0) 0 . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
_
_
Soit P
(n)
ij
la probabilit de transition en n tapes, cest--dire la probabilit, partant
Ross p185
Karlin p101
de ltat i ltape k dtre ltat j ltape n +k.
P
(n)
ij
= P[X
n+k
= j[X
k
= i], n 0, j 0
Si n = 1, on a P
1
ij
= P
ij
. Les quations de Chapman-Kolmogorov permettent de
dcomposer ces probabilits de transition. Notons tout dabord que
P
(0)
ij
=
_
1 si i = j
0 sinon
Thorme 1
quations de Chapman-Kolomogorov. n, m 0, i, j o
P
(n+m)
ij
=

kS
P
(n)
ik
P
(m)
kj
.
La probabilit daller de i j en n +m tapes est donc la probabilit daller de i
k en n tapes et de k j en m tapes en sommant sur toutes les valeurs possibles
de k.
Preuve
P
(n+m)
ij
= P[X
n+m
= j[X
0
= i]
=

kS
P[X
n+m
= j, X
n
= k[X
0
= i]
=

kS
P[X
n+m
= j[X
n
= k, X
0
= i]P[X
n
= k[X
0
= i] (car P(AB|C)=P(A|BC)P(B|C))
=

kS
P[X
n+m
= j[X
n
= k]P[X
n
= k[X
0
= i] (par Markov)
=

kS
P
(m)
kj
P
(n)
ik
=

kS
P
(n)
ik
P
(m)
kj
Soit P
(n)
la matrice de transition en n tapes, cest--dire la matrice le terme dont
le terme (i, j) est la probabilit daller de i j en n tapes.
Thorme 2
Corrolaire des quations de Chapman-Kolomogorov. n, m 0
P
(n+m)
= P
(n)
P
(m)
.
P
(n)
= P
n
.
Preuve Le fait que P
(n+m)
= P
(n)
P
(m)
est une consquence directe du
thorme prcdent. En eet, le terme (i, j) de la matrice P
(n+m)
, P
(n+m)
ij
scrit comme

kS
P
(n)
ik
P
(m)
kj
, qui est en fait le produit scalaire de la ligne i
de la matrice P
(n)
par la colonne j de la matrice P
(m)
:
P
(n+m)
= P
(n)
P
(m)
_
j
i P
(n+m)
ij
_
_
=
_
_ i
_
_
_
_
j
.
.
.
.
.
.
.
.
.
_
_
Pour la seconde partie de la preuve, on fait une dmonstration par induction. On
sait dj que P
(1)
= P = P
1
.
P
(2)
= P
(1+1)
= P
(1)
P
(1)
= P P = P
2
.
Supposons que P
(n1)
= P
n1
:
P
(n)
= P
(n1+1)
= P
(n1)
P
(1)
= P
n1
P
1
= P
n
An dallger la notation nous pourrons utiliser P
n
ij
au lieu de P
(n)
ij
; notez cependant
que la notation standard est celle que lon a employe jusqu prsent, et que P
(n)
ij
nest pas le produit n fois de P
ij
.
Exemple 7 Revisitons lexemple 4 (p. 4). Supposons que p = 0.8 et q = 0.9.
Cherchons (a) la probabilit quil pleuve dans 2 jours sachant quil pleut aujourdhui,
et (b) la probabilit quil pleuve dans 4 jours sachant quil pleut aujourdhui. Alors
la matrice de transition est:
Soient les tats =
_
0 il pleut
1 il ne pleut pas
P =
_
0 1
0 0.8 0.2
1 0.1 0.9
_
0 1 0.8 0.9
0.2
0.1
(a) On cherche:
P[X
n+2
= 0[X
n
= 0] = P
(2)
00
=

k{0,1}
P
0k
P
k0
= P
00
P
00
+P
01
P
10
= 0.8 0.8 + 0.2 0.1 = 0.66
(b) Comme on cherche P
(4)
00
, il est plus simple dutiliser le calcul matriciel. Ainsi:
P
(2)
= P
2
=
_
0.8 0.2
0.1 0.9
_ _
0.8 0.2
0.1 0.9
_
=
_
0.66 0.34
0.17 0.83
_
P
(4)
= P
4
= P
2
P
2
=
_
0.66 0.34
0.17 0.83
_ _
0.66 0.34
0.17 0.83
_
=
_
0.493 0.507
0.253 0.747
_
videmment, on aurait pu dcomposer le calcul par tous les chemins possibles, ce qui
est quivalent, mais un peu plus long. Ainsi, comme il y a 8 chemins (ou trajectoires)
de longueur 4 de 0 0, on a:
0
0
0
0
0
0
0
0
0
1
0
1
0
1
0
1
0
1
0
1
0
1
0
J
J+1
J+2
J+3 J+4
P
00
P
01
P
00
P
01
P
10
P
11
P
00
P
01
P
10
P
11
P
00
P
01
P
10
P
11
P
00
P
10
P
00
P
10
P
00
P
10
P
00
P
10
Ainsi, P
4
00
= P
00
P
00
P
00
P
00
+P
01
P
10
P
00
P
00
+P
00
P
01
P
10
P
00
+P
00
P
00
P
01
P
10
+P
01
P
11
P
10
P
00
+P
00
P
01
P
11
P
10
+P
01
P
11
P
11
P
10
+P
01
P
10
P
01
P
10
.
On peut sintresser des probabilits non conditionnelles, par exemple la probabi-
lit quil pleuve dans 4 jours. Il faut alors utiliser la distribution de probabilit de
ltat initial. Ainsi, si p
i
= P[X
0
= i], et si

iS
p
i
= 1:
P[X
n
= j] =

iS
P[X
n
= j[X
0
= i]P[X
0
= i]
=

iS
p
i
P
n
ij
Exemple 8 Si nous revenons lexemple prcdent, quelle est la probabilit quil
pleuve dans 4 jours si p
0
= 0.1 et p
1
= 0.9 ?
P[X
4
= 0] = p
0
P
4
00
+p
1
P
4
10
= 0.1 0.492 + 0.9 0.253 = 0.2769
1.4 Modication de la matrice de transition
On sintresse savoir si une chane de Markov passe, ou ne passe pas dans un
ensemble dtats /. cette n, on peut utiliser une simple mthode numrative
(longue), ou on peut modier la matrice de transition et rendre les tats de lensemble
/ absorbants:
i /, P[X
n+1
= j[X
n
= i] =
_
1 si i = j
0 si i ,= j
Ainsi, ds que le processus entre dans un tat de /, il y reste. Comme la chane de
Markov originale et la chane modie ont mme probabilit de transition tant que
/ nest pas atteint, la probabilit que la chane soit dans un tat de / au temps n
est la probabilit que la chane modie soit dans un tat de / au temps n. Illustrons
ceci avec deux exemples.
Exemple 9 Considrons la chane de Markov suivante sur lensemble dtats
o = 0, 1, 2, avec la matrice de transition P suivante, et cherchons la probabilit
daller de ltat 0 2 en n transitions sans passer par ltat 1, pour n = 1, 2 et 3.
P =
_
_
1/4 1/2 1/4
1/2 0 1/2
1/2 0 1/2
_
_
0 1
2
1/4
1/2
1/4
1/2
1/2
1/2
1/2
En utilisant une mthode numrative, on peut nnumrer tous les chemins pour
se rendre ltat 2 en partant de ltat 0 sans passer par ltat 1; dnotons cette
probabilit

P
n
02
n = 1 :

P
1
02
= P
02
=
1
4
n = 2 :

P
2
02
= P
00
P
02
+P
02
P
22
=
1
4

1
4
+
1
4

1
2
=
3
16
n = 3 :

P
3
02
= P
00
P
00
P
02
+P
00
P
02
P
22
+P
02
P
22
P
22
+P
02
P
20
P
02
=
1
4

1
4

1
4
+
1
4

1
4

1
2
+
1
4

1
2

1
2
+
1
4

1
2

1
4
=
9
64
En appliquant la mthode propose dans cette section, on dnit / comme tant
ltat 1: / = 1. Ainsi, nous obtenons une matrice de transition modie que nous
noterons Q.
P =
_
_
1/4 1/2 1/4
1/2 0 1/2
1/2 0 1/2
_
_
Q =
_
_
1/4 1/2 1/4
0 1 0
1/2 0 1/2
_
_
Il ne nous reste qu calculer Q
(2)
et Q
(3)
:
Q
(2)
=
_
_
3/16 5/8 3/16
0 1 0
3/8 1/4 3/8
_
_
Q
(3)
=
_
_
9/64 23/32 9/64
0 1 0
9/32 7/16 9/32
_
_
et nous retrouvons bien les mmes rsultats:

P
(2)
02
= Q
(2)
02
= 3/16, et

P
(3)
02
= Q
(3)
02
=
9/64
0 1
2
1/4
1/2
1/4
1/2
1/2
1/2
1/2
0 1
2
1/4
1/2
1/4
1
1/2
1/2
Que reprsente Q
(3)
01
?
mercredi 17 sep-
tembre
cours 4
Considrons un autre exemple.
Exemple 10 Un retrait reoit $ 2 au dbut de chaque mois. Le montant dargent
quil a besoin de dpenser durant un mois est indpendant du montant quil possde.
De plus, il dpense $ i avec probabilit p
i
(i = 1, . . . , 4 et

i
p
i
= 1). Si le retrait
a plus de trois $ la n du mois, il donne le surplus son ls. Si aprs avoir reu
son paiement au dbut du mois, il a un capital de $ 5, quelle est la probabilit que
son capital soit $ 1 ou moins nimporte quel moment durant les quatre prochains
mois ? (a) Dterminer les tats de la chane de Markov. (b) Dterminez la matrice
de transition. Chercher la probabilit en question si p
i
= 1/4 pour i = 1, . . . , 4.
(a) Dterminons les tats de la chane. Soit X
n
le capital du retrait la n du mois
n. Le plus simple est de considrer 3 tats:
X
n
=
_
_
_
1 si le capital est $ 1
(b) Comme on cherche savoir si le capital atteint ltat 1, on rend ltat 1 absorbant,
cest--dire que lon dnit notre ensemble / comme / = 1. Ainsi on a que
Q
11
= 1, Q
12
= 0 et Q
13
= 0.
Q
21
: Il a $ 2 et il gagne $ 2, il a donc $ 4. Il atteint $ 1 ou $ 0 la n du mois
il dpense 3 ou 4. Q
21
= p
3
+p
4
Q
22
: Il a $ 2 et il gagne $ 2, il a donc $ 4. Il atteint $ 2 la n du mois il
dpense 2. Q
22
= p
2
Q
23
dpense 1. Q
23
= p
1
Q
31
dpense 4. Q
31
= p
4
Q
32
dpense 3. Q
32
= p
3
Q
33
: Il a $ 3 et il gagne $ 2, il a donc $ 5. Il atteint $ 3 la n du mois
il dpense 2 ou 1 (car sil dpense $ 1, il donnera aussi $ 1 son ls).
Q
33
= p
1
+p
2
Ainsi la matrice de transition est:
Q =
_
_
1 2 3
1 1 0 0
2 p
3
+p
4
p
2
p
1
3 p
4
p
3
p
1
+p
2
_
_
On cherche Q
(4)
3,1
.
(c) Application numrique; supposons que p
i
= 1/4 pour i = 1, . . . , 4, Alors Q est:
Q =
_
_
1 2 3
1 1 0 0
2 1/2 1/4 1/4
3 1/4 1/4 1/2
_
_
et Q
4
=
_
_
1 2 3
1 1 0 0
2 222/256 13/256 21/256
3 201/256 21/256 34/256
_
_
et on cherche Q
(4)
3,1
= 201/256 0.7852.
1.5 Classication des tats
On peut classier les tats dune chane de Markov en classes, et ces classes sont Ross p189
Karlin p235
dtermins par la matrice de transition de la chane.
Dfinition 2
On dit que ltat j est accessible de ltat i, sil existe un entier n 0 tel que
P
(n)
ij
> 0. On note alors i j.
Dans certains manuels, on trouve aussi la notation i j pour laccessibilit. Donc si
i j, alors il est possible que le processus atteigne ventuellement ltat j. Notons
que si i j (ltat j nest pas accessible de ltat i), alors:
P[atteindre ltat j[partant de i] = P
_

_
n=0
(X
n
= j)[X
0
= i
_
n=0
P[X
n
= j[X
0
= i]
=
n=0
P
n
ij
= 0
Notez que la relation de la dnition prcdente est valide dans lautre sens: ainsi,
sil existe en entier n ,= 0 tel que P
(n)
ij
> 0 alors i j.
Dfinition 3
On dit que des tats i et j communiquent si i j et j i . On note alors i j.
Notez que les manuels utilisant la notation i j pour laccessibilit, utilisent alors
la notation i j pour la communication entre deux tats. Par ailleurs, de par la
dnition, i i, car P
0
ii
= P[X
0
= i[X
0
= i] = 1.
Thorme 3
La relation de communication entre tats est une relation dquivalence, elle est:
a. rexive: i i.
b. symtrique: si i j, alors j i.
c. transitive: si i j et j k, alors i k.
Preuve Les proprits de rexivit et de symtrie sont videntes, montrons
la proprit de transitivit. Si i j et j k, alors il existe deux entiers n, m
tel que P
(n)
ij
> 0 et P
(m)
jk
> 0. Par les quations de Chapman-Kolmogorov
(thorme 1|), on a:
P
m+n
ik
=

rS
P
n
ir
P
m
rk
P
n
ij
P
m
jk
> 0
De la mme faon, si i j et j k, il existe des entiers n
et m
tel que
P
n
ji
> 0 et P
m
kj
> 0, donc
P
m
+n
ki
=

rS
P
n
kr
P
m
ri
P
n
kj
P
m
ji
> 0
La relation dquivalence permet de partager les tats dune chane de Markov en
classes dquivalence, disjointes et non vides, ou dans chaque classe tous les tats
communiquent, et les tats de deux classes direntes ne communiquent pas.
Dfinition 4
Si une chane de Markov est telle quelle ne possde quune seule classe, cest--
dire que tous les tats communiquent entre eux, la chane est dite irrductible.
Exemple 11 Considrons la chane de Markov dont lensemble des tats est
o = 0, 1, 2 de matrice de transition:
P =
_
_
0 1 2
0 3/4 1/4 0
1 1/8 3/4 1/8
2 0 1/4 3/4
_
_
0 1 2
On voit que 0 1, 1 2 et 0 2 donc tous les tats communiquent. Cette chane
de Markov est irrductible.
o = 0, 1, 2, 3 de matrice de transition:
P =
_
_
0 1 2 3
0 0 1 0 0
1 3/4 1/4 0 0
2 1/8 0 7/8 0
3 0 0 1/9 8/9
_
_
0
1 2
3
1
1/4
3/4
1/8
7/8
1/9
8/9
1.6 tats rcurrents et transitoires
On voit que 0 1, 0 2 et 2 3; les tats 2 et 3 sont inaccessibles des tats 0 et
1, ltat 3 est inaccessible de ltat 2. On a donc trois classes:
0, 1, 2, 3.
Pour une chane de Markov X
n
, n 0, soit T
j
le temps datteinte de ltat j
partir de la premire transition, cest--dire:
T
j
infn 1 : X
n
= j
Ainsi, T
j
est le temps o lon atteint ltat j pour la premire fois.
Dfinition 5
Pour des tats i et j, et n 1, on dnit:
f
(n)
ij
P[T
j
= n[X
0
= i]
De plus, soit:
f
ij
P[T
j
< [X
0
= i] =

n1
f
(n)
ij
On voit que f
(n)
ij
est la probabilit que, partant le i, le processus atteigne j pour
la premire fois au temps n. Par convention, on pose que f
(0)
ij
0. De plus, f
ij
est la probabilit que le processus atteigne ventuellement ltat j; alors f
ii
est
la probabilit que le processus revienne ventuellement ltat i, cest--dire la
probabilit que le processus, partant de i, revienne au moins une fois ltat i
[Notation: Ross note f
ii
par f
i
].
Dfinition 6
Ltat i est rcurrent si f
ii
= 1.
Ltat i est transitoire (ou transient) si 0 < f
ii
< 1.
Ainsi, si le processus commence ltat i et que i est rcurrent, le processus reviendra
ltat i avec probabilit 1. Mais, son retour ltat i, il y reviendra encore (le
processus est markovien), et encore... une innit de fois. Si le processus commence
ltat i et que cet tat est transitoire, la probabilit quil ne revienne pas ltat
i est 1 f
ii
.
Ainsi la probabilit que le processus soit ltat i exactement n fois est la probabilit
que le processus retourne ltat i (n 1) fois et quil ny retourne pas ensuite,
donc f
n1
ii
(1 f
ii
). Donc si i est transitoire, en partant de i, le nombre de fois
que le processus sera ltat i suit une distribution gomtrique de moyenne nie
1/(1 f
ii
) (voir df. 1| p. 70 ).
Thorme 4
Ltat i est rcurrent, si et seulement si, en partant de i, le nombre moyen de
priodes de temps que le processus est dans ltat i est inni.
Preuve
i. rcurrent retour inni: le processus revient 1 fois, puis 2, ...
ii. retour inni rcurrent: si le nombre moyen de visites est inni, il ne
peut tre transitoire, donc ltat est rcurrent.
Soit I
n
=
_
1 si X
n
= i,
0 si X
n
,= i.
Alors

n=0
I
n
reprsente le nombre de fois que le processus visite ltat i. Et
E
_

n=0
I
n
_
=
n=0
E[I
n
[X
0
= i]
=
n=0
P[X
n
= i[X
0
= i]
=
n=0
P
(n)
ii
On a donc dmontr le thorme suivant.
Thorme 5
Un tat i est rcurrent si
n=1
P
(n)
ii
= +
transitoire si
n=1
P
(n)
ii
< +
Thorme 6
Si une chane de Markov a un nombre ni dtats, elle a au moins un tat rcurrent.
Preuve Supposons que la chane de Markov possde N tats, 0, 1, . . . , N.
Supposons que tous ces tats soient transitoires. Aprs un certain temps, disons
t
0
, ltat 0 ne sera plus visit. Puis ltat 1 ne sera plus visit aprs le temps
t
1
, et ainsi de suite pour les autres tats 2, . . . , N. Aprs un temps ni T =
maxt
0
, t
1
, . . . , t
n
, aucun tat ne sera visit, mais le processus doit pourtant se
trouver dans un tat (quelconque); on a donc contradiction avec lhypothse de
dpart. Une chane de Markov avec un nombre ni dtats doit donc possder
au moins un tat rcurrent.
Remarquons que, comme nous le verrons par la suite, une chane de Markov ayant un
nombre inni dtats peut avoir des tats tous transitoires. Considrons par exemple
la chane ayant pour espace dtats o = Z, et dont les probabilits de transition sont
p
i,i+1
= 1 et p
ij
= 0 si j ,= i + 1.
i2 i1 i i+1 i+2
1 1 1 1 1
Thorme 7
La rcurrence est une proprit de classe: si i j et si i est rcurrent, alors j est
aussi rcurrent.
Preuve
Comme i j, il existe k et m tel que P
(k)
ij
> 0 et P
(m)
ji
> 0.
P
(m+n+k)
jj
=

kS
P
(m)
jk
P
(n+k)
kj
=

kS
P
(m)
jk
lS
P
(n)
kl
P
(k)
lj
=

kS
lS
P
(m)
jk
P
(n)
kl
P
(k)
lj
, en prenant k = l = i
P
(m)
ji
P
(n)
ii
P
(k)
ij
En sommant sur n,
n=1
P
(m+n+k)
jj
P
(m)
ji
P
(k)
ij
n=1
P
(n)
ii
= +
car P
(m)
ji
et P
(n)
ij
sont positifs par hypothse, et

n=1
P
(n)
ii
est inni car ltat
i est rcurrent, donc par le thorme 5 ltat j est aussi rcurrent.
1.7 Priodicit
Comme tous les tats dune chane de Markov nie ne peuvent tre transitoires, si
une chane est irrductible (une seule classe, tous les tats communiquent entre eux),
alors tous les tats sont rcurrents.
o = 0, 1, 2, 3 de matrice de transition:
P =
_
_
0 1 2 3
0 0 0 1/2 1/2
1 1 0 0 0
2 0 1 0 0
3 0 1 0 0
_
_
0
3 2
2
On voit que 0 1, 2, 3, 1 0, 2, 3, 2 0, 1, 3 et 3 0, 1, 2. Ainsi, tous les tats communiquent, la chane est irrductible, et comme la chane est nie, tous les tats sont rcurrents.
o = 0, 1, 2, 3, 4 de matrice de transition:
P =
_
_
0 1 2 3 4
0 1/2 1/2 0 0 0
1 1/2 1/2 0 0 0
2 0 0 1/2 1/2 0
3 0 0 1/2 1/2 0
4 1/4 1/4 0 0 1/2
_
_
0
1
2 3
4
On voit que 0 1, et 1 0, mais 0, 1 2, 3, 4, donc 0 1; 2 3, et 3 2, mais
2, 3 0, 1, 4, donc 2 3; 4 0, 1 mais et 0, 1 4. On a donc 3 classes:
0, 1 rcurrente , 2, 3 rcurrente , 4 transitoire.
lundi 22 janvier
cours 5
1.7 Priodicit
Ltat i est un tat de retour si il existe un n 1 pour lequel P
n
ii
> 0. Si pour ltat Ross p200
Karlin p237
i, pour tout n 1, P
(n)
ii
= 0, alors ltat i est un tat de non-retour.
On introduit ici la notion de priode.
1.7 Priodicit
Dfinition 7
Soit i un tat de retour. On appelle priode de ltat i le p.g.c.d. des tous les
entiers n 1 pour lesquels P
(n)
ii
> 0, et on la note d(i). Si d(i) 2, ltat i est
dit priodique; sinon, si d(i) = 1, ltat i est dit apriodique. Si i est un tat de
non-retour, on pose d(i) = +.
La proprit de priodicit est une proprit de classe:
Thorme 8
Si i est priodique de priode d nie et si i j (j ,= i), alors j est aussi priodique
de priode d.
Remarque. Si ltat i a priode d(i), alors il existe un entier N dpendant de i tel
que pour tous les entiers n N,
P
nd(i)
ii
> 0
Exemple 15 Considrons une chane de Markov dcrite par le graphe ci-dessous,
ou toutes les arrtes du graphe rfrent des probabilits de transition strictement
positives. Determinez les priodes des tats.
2
1 0
On a que P
(2)
00
> 0, P
(3)
00
> 0, et le p.g.c.d. de 2 et 3 est 1. Donc ltat 0 est aprio-
dique. Comme la chane est irrductible, les tats 1 et 2 sont aussi apriodiques.
Remarquons quen partant de ltat 2, on peut y revenir en 3, 5, 6 , 7, 8 , 9...
transitions, donc ici pour tout n 5, P
nd(2)
22
= P
n
22
> 0.
o = 0, 1, 2, 3 de matrice de transition P. Determinez les priodes des tats.
P =
_
_
0 1 2 3
0 0 0 1/2 1/2
1 1 0 0 0
2 0 1 0 0
3 0 1 0 0
_
_
3 2
1 0
1.8 Promenade alatoire non symtrique sur Z
On voit que tous les tats communiquent, la chane est donc irrductible. En partant
de ltat 0, on y revient en passant par le chemin 0 2 1 0 ou le chemin
0 3 1 0, ainsi P
(3)
00
> 0, et il impossible de se rendre de 0 0 en 2 coups par
exemple. On a donc P
(3n)
00
> 0 (n 1), cest--dire que lon reviendra ltat 0 en
3, 6, 9 transitions. La chane est donc de priode 3.
Soit une chane de Markov dont lespace des tats o est Z = . . . , 2, 1, 0, +1, +2, . . ., Ross p194
Karlin p242
de matrice de transition P = (P
ij
) telle que, pour tout (i, j) dans Z
2
,
P
ij
=
_
p si j = i + 1
1 p si j = i 1
0 sinon
et p est un rel entre 0 et 1. On a vu quune telle chane de Markov est une promenade
alatoire sur Z. Le graphe associ cette chane de Markov est le suivant:
i2 i1 i i+1 i+2
p p p p p
1p 1p 1p 1p 1p
On peut remarquer que lon a quune seule classe car tous les tats communiquent.
Ainsi, ils sont tous rcurrents ou tous transitoires. An de trouver sils sont rcurrents
ou transitoires, prenons un tat, disons ltat 0, et cherchons si

n=1
P
(n)
00
est nie
ou innie.
En partant de ltat 0, on y revient en 2, 4, 6, . . . transitions, donc P
(2n1)
00
= 0
(n 1). La chane est priodique de priode 2. Ainsi, en partant de 0, on y revient
en 2n transitions; mais cela veut dire que le processus a fait n pas droite et n pas
gauche. Chaque pas droite se fait avec probabilit p et chaque pas gauche avec
probabilit 1 p. Ainsi, P
(2n)
00
est binomiale: lexpression est
binomiale nest pas
gniale. corriger.
P
(2n)
00
=
_
2n
n
_
p
n
(1 p)
n
Illustrons ce dernier point en prenant par exemple 2n = 4. Les chemins pour revenir
ltat 0 sont:
_
_
DDGG avec prob. p p (1 p) (1 p)
DGDG p (1 p) p (1 p)
DGGD p (1 p) (1 p) p
GGDD (1 p) (1 p) p p
GDGD (1 p) p (1 p) p
GDDG (1 p) p p (1 p)
et on a 6 chemins, cest--dire:
_
4
2
_
=
4!
(4 2)!2!
=
4 3 2
2 2
= 6.
Revenons notre problme. On a
P
(2n)
00
=
_
2n
n
_
p
n
(1 p)
n
=
(2n)!
n!(2n n)!
p
n
(1 p)
n
=
(2n)!
n!n!
p
n
(1 p)
n
On peut utiliser la formule de Stirling:
n! n
n
n e
n
2, o a
n
b
n
si lim
n
a
n
b
n
= 1
P
(2n)
00

(2n)
(2n)
2n e
2n
2
n
n
n e
n
2n
n
n e
n
2
p
n
(1 p)
n
=
4
n
p
n
(1 p)
n
=
[4p(1 p)]
n
n
Notons que si a
n
b
n
, alors

n
a
n
<

n
b
n
< . Donc

n=1
P
(n)
00
conver-
gera si et seulement si
n=1
[4p(1 p)]
n
n
converge.
Deux cas sont considrer:
Si p ,=
1
2
: on a 4p(1 p) < 1. Cette srie peut tre majore par une srie
gomtrique, donc elle converge:

n=1
P
(2n)
00
< . Ltat 0, ainsi que tous les
autres tats, sont transitoires.
Si p =
1
2
: alors P
(2n)
00
=
1
n
. Il nous reste savoir si la srie

n=1
1
n
diverge
ou converge. On peut faire un test de lintgrale. Soit f(x) =
1
1
2
,
1
_

1
x
1
2
=
1
_
2x
1
2
_
n=1
=
Ainsi la srie diverge, donc, daprs le thorme 5| ltat 0 est rcurrent, et
comme lon a quune seule classe, tous les tats sont rcurrents. Chaque tat
sera visit une innit de fois avec probabilit 1.
Intuitivement, si p >
1
2
la promenade tendance aller vers +, si p <
1
2
la
promenade tendance aller vers . Si p =
1
2
, la promenade reviendra son
point de dpart, de l, elle y reviendra encore, et encore... Une autre faon de voir
les choses est de considrer un nombre de lancs inni dune pice de monnaie; si
elle est quilibre, il y aura galit entre le nombre de piles et de faces encore et
encore, ternellement ! ;-)
Considrons maintenant une promenade alatoire symtrique en deux dimensions,
cest dire sur un plan au lieu dune droite comme prcdemment. Lespace des tats
est alors o = Z
2
. Cette promenade peut tre dcrite par le graphe et les probabilits
de transition qui suivent. Soit (i, j) un point de Z
2
.
1
4
= P
(i,j)(i+1,j)
= P
(i,j)(i,j+1)
= P
(i,j)(i,j1)
= P
(i,j)(i1,j)

1/4
1/4
1/4
1/4
Il est clair que tous les tats communiquent dans cette chane de Markov. Posons
0 = (0, 0), et cherchons P
(n)
00
. La chane est encore priodique de priode 2. Aprs
2n pas, le processus sera revenu son point de dpart si il a fait i pas gauche, i
pas droite, n i pas en haut et n i pas en bas (0 i n). Chacun de ces pas
se fait avec probabilit 1/4. Ainsi la probabilit cherche est multinomiale (cf. df 2
p. 70). Ici, on fait 2n expriences.
P
(2n)
00
=
n
i=0
(2n)!
i!i!(n i)!(n i)!
_
1
4
_
2n
=
n
i=0
(2n)!
n!n!
n!
(n i)!i!
n!
(n i)!i!
_
1
4
_
2n
=
_
1
4
_
2n
_
2n
n
_
n
i=0
_
n
i
__
n
n i
_
=
_
1
4
_
2n
_
2n
n
__
2n
n
_
=
_
1
4
_
2n
_
2n
n
_
2
: pour voir que

n
i=0
_
n
i
__
n
ni
_
=
_
2n
n
_
, il faut imaginer un groupe de n garons et
de n lles. Il y a
_
2n
n
_
faons de choisir n personnes; il y a
_
n
i
__
n
ni
_
faons de choisir
i garons et n i lles.
De plus, en utilisant la formule de Stirling (n! n
n
n e
n
2):
_
2n
n
_
=
(2n)!
n!n!
=
4
n
n
(voir rsultat prcdent)
donc P
(2n)
00

_
1
4
_
2n
4
2n
n
=
1
n
Par ailleurs, la srie

n=1
P
(2n)
00
, cest--dire

n=1
1
n
diverge (cest une srie har-
monique). Donc ltat 0 est rcurrent, de mme que tous les autres tats.
Considrons maintenant une promenade alatoire dans Z
3
. Ainsi, les probabilits de
transition pour un point (i, j, k) de Z
3
sont de la forme:
P
(i,j,k)(i,j,k+1)
=
1
6
.
En faisant un raisonnement similaire celui fait pour les promenades alatoires dans
Z et Z
2
, et en notant ltat 0 par 0 = (0, 0, 0), la formule de Stirling donne:
P
(2n)
00

3
3
2
3
2
n
3
2
et la srie est convergente. Ainsi, dans une promenade alatoire dans Z
3
tous les
tats sont transitoires: il est tout fait possible quun point (i, j, k) particulier ne
soit jamais visit. Notons que lon observe une rsultat similaire pour Z
4
, Z
5
etc.
1.9 Analyse des premiers pas
Figure 1. llustrations de promenades alatoires en une et deux dimensions.
mercredi 24 janvier
cours 6
Beaucoup de problmes de chanes de Markov peuvent tre rsolus par une technique Karkin
p116
plutt simple, appele analyse des premiers pas. Brivement, il sagit de conditionner
sur les vnements possibles la n dune transition.
Considrons une chane de Markov X
n
dont lensemble des tats est o = 0, 1, 2
de matrice de transition P, o p, q, r > 0 et p +q +r = 1:
P =
_
_
0 1 2
0 1 0 0
1 p q r
2 0 0 1
_
_
2
1
0
1
q
1
r
p
Si le processus commence ltat 1, il peut y rester un certain temps, mais il va nir
par tre absorb dans les tats 0 ou 1. Nous allons rpondre deux questions:
Dans quel tat, 0 ou 2, le processus sera absorb?
Combien de temps cela prendra t-il pour rejoindre un de ces tats?
Soit T = minn 0 tel que X
n
= 0 ou X
n
= 2 le temps dabsorption du processus.
Notons
u = P[X
T
= 0[X
0
= 1]
v = E[T[X
0
= 1]
Supposons pour le moment que le processus est ltat 1 au temps 0. Au temps 1,
le processus peut tre dans un des trois tats 0, 1 ou 2. Considrons donc les trois
cas X
1
= 0, X
1
= 1 et X
1
= 2, qui se produisent respectivement avec probabilit p,
q et r.
Si X
1
= 0 (avec prob. p), alors T = 1 et X
T
= 0.
Si X
1
= 2 (avec prob. r), alors T = 1 et X
T
= 2.
Si X
1
= 1 (avec prob. q), alors le processus retourne ltat 1, et le problme
se rpte comme il a commenc.
Ainsi,
P[X
T
= 0[X
1
= 0] = 1
P[X
T
= 0[X
1
= 2] = 0
P[X
T
= 0[X
1
= 1] = u
En eet, P[X
T
= 0[X
1
= 1] = P[X
T
= 0[X
0
= 1] = u
Alors, u = P[X
T
= 0[X
0
= 1]
=
2
k=0
P[X
T
= 0, X
1
= k[X
0
= 1]
=
2
k=0
P[X
T
= 0[X
0
= 1, X
1
= k]P[X
1
= k[X
0
= 1]
=
2
k=0
P[X
T
= 0[X
1
= k]P[X
1
= k[X
0
= 1]
= 1 p +u q + 0 r
donc u = p +qu u =
p
1 q
=
p
p +r
Notons que p/(p + r) est la probabilit conditionnelle que le processus fasse une
transition vers ltat 0, sachant quune transition vers les tats 0 ou 2 se produise.
Comme lon connat u, la probabilit dabsorption dans ltat 0, il est facile de
dduire la probabilit dabsorption dans ltat 2:
P[X
T
= 2[X
0
= 1] = 1 P[X
T
= 0[X
0
= 1] = 1 u = 1
p
p +r
=
r
p +r
Intressons-nous maintenant au temps moyen v pour labsorption; encore en analy-
sant la premire tape de la chane de Markov. Notons tout dabord que le temps
dabsorption est toujours au moins 1: il faut faire au moins une transition pour que
le processus soit absorb.
Si X
1
= 0 (prob. p), alors aucune autre transition nest ncessaire.
Si X
1
= 2 (prob. r), alors aucune autre transition nest ncessaire.
Si X
1
= 1 (prob. q), alors le processus retourne au point de dpart,
et en moyenne v = E[T[X
0
= 1] pas supplmentaires
sont ncessaires pour labsorption.
Ainsi, v = E[T[X
0
= 1]
=
2
k=0
E[T[X
1
= k]P[X
1
= k[X
0
= 1]
= (1 + 0) p + (1 + v) q + (1 + 0) r
= (p +q +r) + 0 p +v q + 0 r
= 1 + 0 p +v q + 0 r
= 1 +vq
donc v =
1
1 q
Remarquez que lon aurait pu trouver ce rsultat dune autre faon. chaque tran-
sition, la probabilit que le processus soit absorb est la probabilit que lon fasse
une transition vers les tats 0 ou 2, cest--dire p +r = 1 q. Ainsi, en dnotant Y
le nombre de transitions ncessaires pour labsorption, la distribution de Y est:
P[Y = y] = q
n1
(1 q)
et lon reconnat une distribution gomtrique de paramtre 1q (cf df. 1| p. 70),
donc E[Y ] = 1/(1 q). Notons que de faon gnrale, seule lanalyse des premiers
pas permet de rsoudre ce genre de questions.
Compliquons un peu le problme et considrons une chane de Markov X
n
dont
lensemble des tats est o = 0, 1, 2, 3 de matrice de transition:
P =
_
_
_
_
0 1 2 3
0 1 0 0 0
1 P
10
P
11
P
12
P
13
2 P
20
P
21
P
22
P
23
3 0 0 0 1
_
_
_
_
1
0
2
3 1 1
On a absorption dans les tats 0 ou 3; si le processus commence dans les tats 1 ou 2,
il peut rester un temps entre ces tats transitoires, mais il va nir par tre absorb.
Cherchons la probabilit dabsorption en 0. Cette probabilit dpend maintenant de
ltat transitoire dans lequel le processus dmarre (1 ou 2). Soit:
T = minn 0; X
n
= 0 ou X
n
= 3
u
i
= P[X
T
= 0[X
0
= i]
v
i
= E[T[X
0
= i]
Notons que u
0
= 1, u
3
= 0 et v
0
= v
3
= 0. Nous devons considrer sparment les
tats de dpart X
0
= 1 et X
0
= 2. Considrons X
0
= 1 pour commencer.
On a: u
1
= P[X
T
= 0[X
0
= 1]
= P[X
T
= 0[X
1
= 0]P[X
1
= 0[X
0
= 1]
+P[X
T
= 0[X
1
= 1]P[X
1
= 1[X
0
= 1]
+P[X
T
= 0[X
1
= 2]P[X
1
= 2[X
0
= 1]
+P[X
T
= 0[X
1
= 3]P[X
1
= 3[X
0
= 1]
= 1 P
10
+u
1
P
11
+u
2
P
12
+ 0 P
13
De faon similaire, considrons X
0
= 2; on obtient:
u
2
= P
20
1 +P
21
u
1
+P
22
u
2
+P
23
0
Ainsi on obtient le systme:
_
u
1
= P
10
+P
11
u
1
+P
12
u
2
u
2
= P
20
+P
21
u
1
+P
22
u
2
Le temps moyen dabsorption dpend aussi de ltat de dpart. Avec un raisonnement
similaire au prcdent, on obtient:
_
v
1
= 1 +P
10
0 +P
11
v
1
+P
12
v
2
+P
13
0
v
2
= 1 +P
20
0 +P
21
v
1
+P
22
v
2
+P
23
0
car au moins une transition est ncessaire. Si la premire transition ce fait vers ltat
1, alors en moyenne v
1
transitions supplmentaires seront ncessaires, et si la pre-
mire transition ce fait vers ltat 2, alors en moyenne v
2
transitions supplmentaires
seront ncessaires. On obtient en simpliant:
_
v
1
= 1 +P
11
v
1
+P
12
v
2
v
2
= 1 +P
21
v
1
+P
22
v
2
.
Prenons un exemple, et cherchons les probabilits dabsorption.
P =
_
_
_
_
0 1 2 3
0 1 0 0 0
1 0.4 0.3 0.2 0.1
2 0.1 0.3 0.3 0.3
3 0 0 0 1
_
_
_
_
Par les rsultats prcdents, on a:
_
u
1
= 0.4 + 0.3u
1
+ 0.2u
2
u
2
= 0.1 + 0.3u
1
+ 0.3u
2
et on trouve u
1
=
30
43
, u
2
=
19
43
.
Si la chane de Markov dmarre ltat 2, elle sera absorb dans ltat 0 avec
probabilit 19/43 et dans ltat 3 avec probabilit 1 u
2
= 1 19/43 = 24/43.
Cherchons maintenant les temps moyens dabsorption. On sait que v
1
et v
2
vrient:
_
v
1
= 1 + 0.3v
1
+ 0.2v
2
v
2
= 1 + 0.3v
1
+ 0.3v
2
et on trouve v
1
=
90
43
, v
2
=
100
43
.
1
0
2
3 1
.3
.3
1
.4
.1
.1
.3
.2 .3
Exemple 17 [Suite ex. 6, sance dexercice 2] On lance une pice de monnaie
quilibre jusqu obtenir successivement FFP, cest--dire jusqu obtenir 2 faces
de suite suivi dun pile. Pour calculer les proprits de ce jeu, on construit une
chane de Markov despace dtats o = 0, F, FF, FFP o ltat 0 reprsente le
point de dpart, F reprsente un rsultat face au dernier lanc (le lancer davant
tait pile), FF reprsente 2 faces successifs, et FFP la squence que vous cherchez
(le jeu sarrte alors). Notez que si vous obtenez un pile suivi dun face, un nouveau
rsultat pile vous fait recommencer dans votre qute de la squence FFP. On a vu
que la matrice de transition de ce processus, que nous nommerons chane de Markov
n
o
1 tait:
P
1
=
_
_
0 F FF FFP
0 1/2 1/2 0 0
F 1/2 0 1/2 0
FF 0 0 1/2 1/2
FFP 0 0 0 1
_
_
Dnissons un jeu similaire: on lance encore la pice de monnaie, mais jusqu ce
que lon obtienne successivement FPF, cest--dire un face suivi dun pile, suivi
lui-mme dun face. Le principe du jeu reste videmment le mme. Ce jeu peut se
dcrire par une chane de Markov despace dtats o = 0, F, FP, FPF, que nous
nommerons chane n
o
2. La question que lon se pose: en moyenne, laquelle des deux
chanes ncessitera moins de lancs: FFP ou FPF ? Cest--dire combien de lancs
en moyenne sont ncessaires pour que la chane n
o
1 atteigne ltat absorbant FFP,
et combien de lancs en moyenne sont ncessaires pour que la chane n
o
2 atteigne
ltat absorbant FPF ?
Ch. n
o
1 0 F FF FFP
1
2
1
2
1
1
2
1
2
1
2
1
2
Ch. n
o
2 0 F FP FPF
1
2
1
2
1
1
2
1
2
1
2
1
2
Commenons par trouver la matrice de transition de la chane n
o
2.
P
2
=
_
_
0 F FP FPF
0 1/2 1/2 0 0
F 0 1/2 1/2 0
FP 1/2 0 0 1/2
FPF 0 0 0 1
_
_
Utilisons la technique de lanalyse des premiers pas pour trouver la moyenne du
nombre de pas ncessaires pour atteindre labsorption pour chacune des chanes.
Dnissons v
i
le temps moyen pour labsorption en partant de ltat i cest--dire
E[T[X
0
= i], pour la chane n
o
2. Par commodit, notons les tats 0, F, FP et FPF
0,1,2 et 3. On a v
3
= 0. Pour la chane n
o
2, on a:
_
_
_
v
0
= 1 +
1
2
v
0
+
1
2
v
1
v
1
= 1 +
1
2
v
1
+
1
2
v
2
v
2
= 1 +
1
2
v
0
Dnissons w
i
le temps moyen pour labsorption en partant de ltat i pour la chane
n
o
1. Notons que w
3
= 0. On a:
_
_
_
w
0
= 1 +
1
2
w
0
+
1
2
w
1
w
1
= 1 +
1
2
w
0
+
1
2
w
2
w
2
= 1 +
1
2
w
2
On trouve:
Ch. n
o
1: w
0
= 8, w
1
= 6, w
2
= 2
Ch. n
o
2: v
0
= 10, v
1
= 8, v
2
= 6
On voit donc que plus de lancs sont ncessaires pour que la chane n
o
2 atteigne
labsorption, par rapport la chane n
o
1. Lanalyse des graphes permet de com-
prendre ce phnomne. Pourtant, atteindre FFP ou FPF aux trois premiers coups
se fait avec probabilit 1/8 dans les deux cas.
lundi 29 septembre
cours 7
P =
_
Q R
0 I
_
o 0 est une matrice (N r + 1) r dont toutes les entres sont 0, I est la matrice
identit de taille (N r + 1) (N r + 1). La matrice Q contient les probabilits
de transition entre tats transitoires, R contient les probabilits de transition des
tats transitoires vers les tats absorbants, et I contient les probabilits de transition
des tats absorbants vers eux mmes; enn la matrice 0 contient les probabilits de
transition des tats absorbants vers les tats transitoires.
En partant dun tat transitoire X
0
= i (0 i < r), le processus peut rester un
moment dans lensemble des tats transitoires, mais il nira par atteindre un tat
absorbant (r k N); soit u
ik
cette probabilit. En partant de i, le processus peut
aller immdiatement ltat k avec probabilit P
ik
et y rester; il peut aussi aller
vers un autre tat absorbant j ,= k, ou aller vers un tat transitoire j < r. Une fois
rendu ltat j la probabilit dabsorption dans k est u
jk
par dnition. Soit T le
temps dabsorption. Ainsi:
u
ik
= P[X
T
= k[X
0
= i]
=
N
j=0
P[X
T
= k[X
1
= j]P[X
1
= j[X
0
= i]
=
N
j=0
P[X
T
= k[X
1
= j]P
ij
= P
ik
+
N
j=r(j=k)
P
ij
0 +
r1
j=0
P
ij
u
jk
Ainsi, pour un tat absorbant k, il faut rsoudre un systme dquations:
u
ik
= P
ik
+
r1
j=0
P
ij
u
jk
, i = 0, . . . , r 1
Exemple 18 Un souris est mise dans un labyrinthe, o se trouve de la nourriture
dans une case (7), et une amie souris dans une autre case (8). La position de la
souris est indtermine: elle est dans une case du labyrinthe, mais pas dans la case
7 ni la 8).
0 1
2 3 4
5 6
7
8
La souris se dplace au hasard dans le labyrinthe tel que si il y a k portes dans
la case ou elle se trouve, la souris prend une des portes avec probabilit 1/k. On
demande la probabilit quelle rencontre le morceau de fromage avant de trouver
son amie souris. La matrice de transition est (les coorespondent des 0):
P =
_
_
0 1 2 3 4 5 6 7 8
0 1/2 1/2
1 1/3 1/3 1/3
2 1/3 1/3 1/3
3 1/4 1/4 1/4 1/4
4 1/3 1/3 1/3
5 1/3 1/3 1/3
6 1/2 1/2
7 1
8 1
_
_
Soit u
i
la probabilit dabsorbtion dans la case 7, en partant de la case i (i =
1, . . . , 6).
1.10 Probabilits limites et stationnaires
u
0
=
1
2
u
1
+
1
2
u
2
u
1
=
1
3
u
7
+
1
3
u
0
+
1
3
u
3
u
2
=
1
3
u
0
+
1
3
u
3
+
1
3
u
8
u
3
=
1
4
u
1
+
1
4
u
2
+
1
4
u
4
+
1
4
u
5
u
4
=
1
3
u
7
+
1
3
u
3
+
1
3
u
6
u
5
=
1
3
u
3
+
1
3
u
6
+
1
3
u
8
u
6
=
1
2
u
4
+
1
2
u
5
u
7
= 1 et u
8
= 0
Par la symtrie du labyrinthe, on a que u
0
= u
6
, u
1
= u
4
et u
2
= u
5
. De plus, on
a que u
3
= 1/2, car la case 3 est au centre du labyrinthe, et la souris a autant de
chances, en partant de 3, de nir en 7 ou en 8. Le systme devient:
u
0
=
1
2
u
1
+
1
2
u
2
u
1
=
1
2
+
1
3
u
0
u
2
=
1
6
+
1
3
u
0
On trouve alors que u
0
= 1/2. u
1
= 2/3 et u
2
= 1/3.
Reprenons la chane de Markov dcrivant le temps quil fera demain en fonction du Ross p200
Karlin p245
temps quil fait aujourdhui (7 p. 11). Elle est dcrite par la matrice de transition:
P =
_
0 1
0 0.8 0.2
1 0.1 0.9
_
Cherchons les probabilits daller des tats i et j pour quelques valeurs de n:
P
(4)
=
_
0 1
0 0.49 0.51
1 0.25 0.75
_
P
(8)
=
_
0 1
0 0.37 0.63
1 0.31 0.69
_
P
(12)
=
_
0 1
0 0.34 0.66
1 0.33 0.67
_
P
(20)
=
_
0 1
0 0.33 0.67
1 0.33 0.67
_
Il semble que P
(n)
converge vers une certaine matrice lorsque n . Cela voudrait
dire quil existe une probabilit limite que le processus soit ltat j aprs une grand
nombre de transitions, et notons quil semble que cest probabilit soit indpendante
de ltat initial: en eet P
(20)
00
P
(20)
10
. An dtudier ce phnomne, nous avons
besoin que quelques dnitions supplmentaires.
On a vu que f
ii
tait:
f
ii
= P[revenir i[part de i],
et quun tat est rcurrent si f
ii
= 1, sinon il est transitoire. Soit
i
= E[T
i
[part de i] = E[temps de premier retour i[part de i]
Dfinition 8
Un tat rcurrent i est rcurrent nul si
i
= , sinon il est rcurrent positif.
Cela veut dire que pour un tat rcurrent i , si le temps moyen avant de retourner
cet tat est ni, il est rcurrent positif. Notons que la rcurrence positive (ou
nulle) est une proprit de classe. De plus, un tat rcurrent i est rcurrent nul si et
seulement si P
(n)
ii
0 quand n ; sinon il est rcurrent positif.
Dfinition 9
Un tat ergodique est un tat rcurrent positif apriodique.
Dans une chane de Markov (ou une classe ferme) avec un nombre ni dtats, tous
les tats rcurrents sont rcurrents positifs.
Thorme 9
Pour une chane de Markov (ou une classe ferme) irrductible et ergodique
, la
i.e. dont un et
donc tous les tats
sont ergodiques
lim
n
P
(n)
ij
existe et est indpendante de i. Soit
j
= lim
n
P
(n)
ij
, j o
alors les
j
sont lunique solution non ngative de
j
=

iS
i
P
ij
, j o
jS
j
= 1
La distribution est dite distribution stationnaire. Ce terme vient du fait quune
chane de Markov dmare selon cette distribution gardera cette distribution
nimporte quel moment. Cest--dire que si P[X
0
= i] =
i
, alors P[X
n
= i] =
i
pour tout n = 1, 2, . . .. On peut le montrer par induction; montrons le pour n = 1:
P[X
1
= i] =

jS
P[X
1
= i[X
0
= j]P[X
0
= j]
=

jS
P
ji
j
=
i
Notons que quand ltat initial X
0
est choisi selon la distribution stationnaire, alors
la probabilit conjointe de (X
n
, X
n+1
) est
P[X
n
= i, X
n+1
= j] =
i
P
ij
Exemple 19 Reprenons encore la chane de Markov dcrivant le temps quil fera
demain en fonction du temps quil fait aujourdhui. Elle est dcrite par la matrice
de transition:
P =
_
0 1
0
8
10
2
10
1
1
10
9
10
_
Ainsi la distribution stationnaire = (
0
,
1
) peut tre trouve en solutionnant:
[Rappel:
j
=

i
i
P
ij
et

j

j
= 1]
0
=
8
10
0
+
1
10
1
=
2
10
0
+
9
10
1
1 =
0
+
1
En remplaant
1
= 1
0
dans la premire quation, on a:
0
=
8
10
0
+
1
10
(1
0
)

0
_
1
8
10
+
1
10
_
=
1
10

0
3
10
=
1
10

0
=
1
3
donc
1
= 1
0
= 1
1
3
=
2
3
. Ainsi, = (1/3, 2/3), ce qui correspond bien aux
valeurs obtenues quand nous examinions P
(20)
.
Remarques:
i. Comme
P[X
n+1
= j] =
iS
P[X
n+1
= j[X
n
= i]P[X
n
= i]
=
iS
P
ij
P[X
n
= i]
Quand n , si on suppose que lon peut rentrer la limite dans la somme,
on obtient:
j
=

iS
P
ij
i
ii.
j
=

iS

i
P
ij
scrit sous forme matricielle comme = P
iii. Dans le cas irrductible rcurrent priodique, les
j
sont encore la solution
unique non ngative des expressions du thorme prcdent, et
j
est la pro-
portion du temps long terme que le processus passe ltat j, mais nest
plus la probabilit limite.
o = 0, 1 de matrice de transition:
P =
_
0 1
0 0 1
1 1 0
_
0 1
1
1
Vrions que est (
1
2
,
1
2
):
_
0
= 1
1
1
= 1
0
0
+
1
= 1
On a bien = (
1
2
,
1
2
). Cependant, la limite de P
(n)
ij
quand n nexiste pas, car
P
(2n)
ij
= 1 et P
(2n+1)
ij
= 0 (n, pour i ,= j).
Exemple 20b. Considrons la chane de Markov dont lensemble des tats est o =
0, 1 de matrice de transition:
P =
_
0 1
0 1 0
1 0 1
_
0 1
1
1
La chane possde deux tats rcurrents positifs apriodiques, mais deux classes: 0
et 1, elle nest donc pas irrductible. Cherchons nanmoins :
_
0
= 1
0
1
= 1
1
0
+
1
= 1
Pour une constante c quelconque dans [0, 1],
0
= c,
1
= 1 c est une solution du
systme, et la solution nest pas unique.
La premire interprtation de la distribution est la distribution stationnaire:
j
= lim
n
P
(n)
ij
= lim
n
P[X
n
= j[X
0
= i]
Donc si le processus a fonctionn longtemps, la probabilit dtre ltat j est
j
,
et cette probabilit est indpendante de ltat de dpart.
mercredi 31 janvier
cours 8
Il existe une seconde interprtation que nous utiliserons souvent. La distribution Karlin,p 207
donne la proportion du temps long terme que le processus est ltat j. Montrons la
validit de cette interprtation. Si une suite a
0
, a
1
, . . . de nombres rels converge vers
une limite a, alors la moyenne de ces nombres converge aussi (cest la convergence
au sens de Cesaro):
lim
m
1
m
m1
k=0
a
k
= a
En appliquant ce rsultat la convergence lim
n
P
ij
(n) =
j
, on obtient:
lim
m
1
m
m1
k=0
P
(k)
ij
=
j
En notant
I
(X
k
=j)
=
_
1 si X
k
= j
0 si X
k
,= j
Alors la proportion du temps pass ltat j est
1
m
m1
k=0
I
(X
k
=j)
Donc la proportion moyenne du temps pass ltat j est:
E
_
1
m
m1
k=0
I
(X
k
=j)
[X
0
= i
_
=
1
m
m1
k=0
E
_
I
(X
k
=j)
[X
0
= i
=
1
m
m1
k=0
P[X
k
= j[X
0
= i]
=
1
m
m1
k=0
P
(k)
ij
Comme lim
n
P
(n)
ij
=
j
, la proportion moyenne du temps long termedu temps
pass ltat j est:
lim
m
E
_
1
m
m1
k=0
I
(X
k
=j)
[X
0
= i
_
= lim
m
1
m
m1
k=0
P
(k)
ij
=
j
Cette interprtation nous permet de calculer des cots: si chaque visite ltat j
se fait au cot c
j
, alors le cot moyen long terme par unit de temps de la chane
est:
jS
j
c
j
Exemple 21 Soit une chane de Markov dont lensemble des tats est o = 0, 1, 2
de matrice de transition donne ci-dessous. Sachant que chaque priode de temps
que le processus passe ltat 0 cote $2, et le cot de chaque priode de temps
passe aux tats 1 et 2 cote $1, quel est le cot moyen par priode de temps long
terme de cette chane ?
P =
_
_
0 1 2
0 0 1 0
1
1
2
0
1
2
2
1
3
1
3
1
3
_
_
1 0
2
1
1
2
1
2
1
3
1
3
1
3
Commenons par trouver la distribution stationnaire. Il faut rsoudre le systme:
_
0
= 0
0
+
1
2
1
+
1
3
1
= 1
0
+ 0
1
+
1
3
2
= 0
0
+
1
2
1
+
1
3
0
+
1
+
2
= 1
0
=
1
2
1
+
1
3
1
=
0
+
1
3
2
=
1
2
1
+
1
3
0
+
1
+
2
= 1
On trouve:
=
_
3
10
,
2
5
,
3
10
_
Ainsi, le cot moyen par priode de temps long terme est:
3
10
$2 +
2
5
$1 +
3
10
$1 = $1.3
Une matrice est dite doublement stochastique si les colonnes somment 1, comme
les lignes. Plus formellement:
P
ij
0, et

jS
P
ij
=

iS
P
ij
= 1, i, j o
Proposition 1
Pour une chane de Markov irrductible et apriodique N tats dcrite par une
matrice de transition doublement stochastique, la distribution stationnaire est
=
_
1
N
,
1
N
, . . . ,
1
N
_
La preuve sera faite en exercice.
Exemple 22 Soit la chane de Markov dcrivant le temps quil fera demain en
fonction du temps quil fait aujourdhui. La matrice de transition de cette chane
est:
P =
_
_
0 1 2
0 0.2 0.5 0.3
1 0.1 0.2 0.7
2 0.7 0.3 0
_
_
On voit que

jS
P
ij
=

iS
P
ij
= 1 donc =
_
1
3
,
1
3
,
1
3
_

Notons que que comme f
(n)
ii
est la probabilit que, en partant de i, lon retourne
pour la premire fois ltat i en n tapes, il en suit que,
i
, le temps moyen de
premier retour en i:
i
=
n=1
nf
(n)
ii
Thorme 10
[Thorme ergodique] Si ltat i est rcurrent apriodique alors
lim
n
P
(n)
ii
=
1
n=0
nf
(n)
ii
=
1
i
Si la distribution stationnaire existe, alors lim
n
P
(n)
ii
=
i
, donc
i
= 1/
i
. Suppo-
sons que la chane parte ltat i, et que nous observons le comportement de la
chane sur N priodes de temps, o N est grand. Sur ces N priodes de temps, soit
n
i
le nombre de fois que la chane visite ltat i. Comme N est grand, on sattend
ce que n
i
/N soit approximativement
i
, et donc devrait converger vers
i
si N tend
vers linni.
Dun autre cot, si les temps auquels la chane retourne ltat i sont distribus
uniformment entre les temps 0 et N, alors chaque fois que la chane visite ltat
i, la chane devrait y revenir ltat i aprs N/n
i
transitions. Par exemple, si la
chane visite ltat i 10 fois en 100 transitions et si les temps pour revenir ltat i
sont distribus uniformment, la chane va revenir ltat i chaque 100/10 = 10
transitions. Bien entendu, les temps de retour varient, mais en moyenne, les temps
de retour doivent tre proche de N/n
i
. Si N tend vers linni, ce ratio doit donc
converge vers
i
, le temps de retour moyen ltat i.
Donc, comme
i
doit tre proche de n
i
/N et que
i
doit tre proche de N/n
i
, leur
produit doit tre 1, soit
i
i
= 1, donc
i
= 1/
i
. Si
i
> 0, alors
i
doit tre ni,
et ltat i est rcurrent positif.
Ceci permet de retrouver quun tat i est rcurrent nul si et seulement si P
(n)
ii
0 Corrolaire
quand n .
Note: Le cas
i
= et
i
= 0, pour tout i, peut seulement se produire si lespace
des tats est inni, et alors la chane de Markov est nulle rcurrente. Si
i
< et
i
> 0 pour tout i, alors la chane de Markov est rcurrente positive.
Dans le cas priodique, on a vu que la distribution est encore solution des quations
j
=

iS
i
P
ij
jS
j
= 1
mais la limP
(n)
ij
nest pas
j
. Par contre, si la chane est rcurrente positive, prio-
dique ou apriodique, alors:
lim
n
1
n
n1
m=0
P
(m)
ji
=
i
=
1
i
Voyons un exemple, qui utilise plusieurs des concepts vu dans cette section.
Exemple 23 Considrons une chane de Markov sur o = 0, 1 dont la matrice
de transition est
P =
_
0 1
0 1 p p
1 q 1 q
_
0 1
1p
p
q
1q
o 0 < p, q < 1.
a. Vriez que (
0
,
1
) =
_
q
p+q
,
p
p+q
_
est la distribution stationnaire.
b. Trouvez la distribution du temps de retour de ltat 0.
c. Calculez le temps moyen de rcurrence
0
.
a. On a que
0
P
00
+
1
P
10
=
q
p +q
(1 p) +
p
p +q
q
=
q pq +pq
p +q
=
q
p +q
=
0
0
P
01
+
1
P
11
=
q
p +q
p +
p
p +q
(1 q)
=
pq +p pq
p +q
=
p
p +q
=
1
0
+
1
=
p
p +q
+
q
p +q
= 1.
1.11 Application: promenade alatoire entre barrires absorbantes
b. On a que:
f
(1)
00
= 1 p f
(2)
00
= pq
f
(3)
00
= p(1 q)q f
(4)
00
= p(1 q)
2
q
f
(n)
00
= p(1 q)
n2
q, pour n 2
c. On a que:
0
=
n=1
nf
(n)
00
= 1 p +
n=2
np(1 q)
n2
q
= 1 p +pq
n=2
n(1 q)
n2
[Posons s = n 2 ]
= 1 p +pq
s=0
(s + 2)(1 q)
s
On utilise alors le fait que

k=0
(k + 1)x
k
=
1
1x
2
si [x[ < 1.
0
= 1 p +pq
_

s=0
(s + 1)(1 q)
s
+
s=0
(1 q)
s
_
= 1 p +pq
_
1
q
2
+
1
q
_
= 1 p +pq
1 +q
q
2
=
1
q
[q pq +p +pq] =
q +p
q
=
1
lundi 5 fvrier
cours 9
Supposons que deux joueurs A et B jouent un jeu o chaque partie du jeu le
joueur A a une probabilit p de gagner et q = 1 p de perdre (0 < p < 1). Quand
il perd, il perd $ 1 quil donne B, et quand il gagne, il gagne $ 1 que B lui donne.
La fortune totale des deux joueurs est constante de $ N. Le jeu sarrte quand un
des deux joueurs est ruin.
On modlise ce problme en prenant pour tat de la chane de Markov, X
n
, le
capital de A aprs la n
me
partie (n 0). Lensemble des tats est donc o =
0, 1, 2, . . . , N 1, N. Les probabilits de transition sont alors:
P
i,i+1
= p = 1 P
i,i1
, i = 1, 2, . . . , N 1
P
00
= P
NN
= 1
Le graphe de cette chane de Markov est donc:
0 1 2 3 N2 N1 N 1
q
p
1
p p p p
q q q q
La matrice de transition de cette chane de Markov est:
P =
_
_
1 0 0 . . . 0 0 0
q 0 p . . . 0 0 0
0 q 0 . . . 0 0 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0 0 0 . . . 0 p 0
0 0 0 . . . q 0 p
0 0 0 . . . 0 0 1
_
_
0
N
k
1 2 3 4 5

Ltat 0 correspond la ruine de A, donc une victoire de B, et ltat N correspond
une victoire de A, donc la ruine de B. Remarquez que les tats 0 ou N sont
absorbants. Il est facile de voir que cette chane de Markov a trois classes:
0, 1, 2, . . . , N 1, N
La classe 1, 2, . . . , N 1 est transitoire, alors que les classes 0 et N sont
rcurrentes. videmment, si la chane dmarre dans un des tats 1, 2, . . . , N 1,
elle nira par atteindre une des classes rcurrentes, correspondant la victoire du
joueur A (en N), ou la sa ruine (en 0). Dnissons P
i
la probabilit quen partant
de ltat i le joueur atteigne ltat N. En reprenant les notations prcdentes, notons
T le temps dabsorption et X
T
ltat dans lequel le processus est absorb. Alors:
P
i
= P[X
T
= N[X
0
= i]
1 P
i
= P[X
T
= 0[X
0
= i]
On cherche donc P
i
en fonction de N, p et i. Notons que
P
0
= 0 et P
N
= 1
On rsout le problme par une analyse des premiers pas: on conditionne P
i
sur le
rsultat du premier coup du jeu:
P
i
= P[X
T
= N[X
0
= i]
= P[X
T
= N[X
1
= i 1]P[X
1
= i 1[X
0
= i]
+P[X
T
= N[X
1
= i + 1]P[X
1
= i + 1[X
0
= i]
= qP
i1
+pP
i+1
De plus, comme p +q = 1,
(p +q)P
i
= qP
i1
+pP
i+1
pP
i
+qP
i
= pP
i+1
+qP
i1
q(P
i
P
i1
) = p(P
i+1
P
i
)
P
i+1
P
i
=
q
p
(P
i
P
i1
) i = 1, 2, . . . , N 1
De plus, comme P
0
= 0, nous obtenons, pour direntes valeurs de i:
i = 1 : P
2
P
1
=
q
p
(P
1
P
0
) =
q
p
P
1
i = 2 : P
3
P
2
=
q
p
(P
2
P
1
) =
q
p
q
p
P
1
=
_
q
p
_
2
P
1
.
.
.
i 1 : P
i
P
i1
=
q
p
(P
i1
P
i2
) =
_
q
p
_
i1
P
1
.
.
.
i = N 1 : P
N
P
N1
=
q
p
(P
N1
P
N2
) =
_
q
p
_
N1
P
1
En additionnant les i 1 premires quations, nous obtenons:
P
i
P
1
= P
1
_
q
p
+
_
q
p
_
2
+. . . +
_
q
p
_
i1
_
= P
1
_
i1
k=1
_
q
p
_
k
_
= P
1
_
i1
k=0
_
q
p
_
k
1
_
An de simplier lcriture, notons r = q/p. Ainsi, P
i
P
1
= P
1
_
i1
k=1
r
k
_
. Il faut
alors distinguer deux cas: si r = 1 ou si r ,= 1:
si r = 1, alors P
i
P
1
= (i 1)P
1
P
i
= iP
1
si r ,= 1, alors P
i
P
1
= P
1
_
1 r
i
1 r
1
_
(srie go., cf. 3 p. 70)
P
i
= P
1
_
1 r
i
1 r
_
Notons que (p/q) = 1 si p = q =
1
2
, et que (p/q) ,= 1 si p ,=
1
2
donc P
i
=
_
P
1
_
1r
i
1r
_
si p ,= 1/2
iP
1
si p = 1/2
pour i = N, P
N
=
_
P
1
_
1r
N
1r
_
si p ,= 1/2
NP
1
si p = 1/2
mais P
N
= 1 : P
1
=
__
1r
1r
N
_
si p ,= 1/2
1
N
si p = 1/2
Nous avons une expression pour P
1
, et nous avons dj obtenu une expression de P
i
en fonction de P
1
, nous sommes donc prt obtenir une expression gnrale pour
P
i
:
P
i
=
_
P
1
_
1r
i
1r
_
si p ,= 1/2
iP
1
si p = 1/2
P
i
=
__
1r
1r
N
_ _
1r
i
1r
_
si p ,= 1/2
i
1
N
si p = 1/2
Ainsi, P
i
=
_
1r
i
1r
N
si p ,= 1/2
i
N
si p = 1/2
La gure qui suit illustre P
i
en fonction de la fortune initiale du joueur, pour di-
rentes valeurs de p, pour une une fortune totale N de 20.
0
0.2
0.4
0.6
0.8
1
0 5 10 15 20
P
i
i, fortune initiale du joueur
p=0.3 p=0.45 p=
1
2
p=0.55
p=0.7
Quand N :
si p >
1
2
, q/p < 1, r < 1, donc P
i
1
_
q
p
_
i
si p =
1
2
, P
i
0
si p <
1
2
, q/p > 1, r > 1, donc P
i
0
Si N , et si p > 1/2, il y a une probabilit positive que la fortune du joueur
croisse indniment. Si p 1/2, le joueur va, avec probabilit 1, perdre contre un
joueur inniment riche.
Proposition 2
Soit une marche alatoire entre deux barrires absorbantes 0 et N, dans une chane
de Markov N +1 tats: o = 0, 1, . . . , N. Si les probabilits de transition sont
donnes par:
P
i,i+1
= p = 1 P
i,i1
si i = 1, 2, . . . , N 1, P
00
= P
NN
= 1
alors si P
i
est la probabilit dabsorption en N en partant de ltat i,
P
i
=
_
_
1
_
q
p
_
i
1
_
q
p
_
N
si p ,= 1/2
i
N
si p = 1/2
Exemple 24 Jean-Claude a $5 en poche, alors que Robert a $10. Chacun parie
$1 sur le rsultat dun jeu pile ou face et le jeu se poursuit jusqu la ruine dun
des deux joueurs. Quelle est la probabilit que Jean-Claude gagne ?
Il sut de convenir quune victoire de Jean-Claude est un pas droite, et une
victoire de Robert un pas gauche. Ltat X
n
est donc la fortune de Jean-Claude
au temps n. Alors X
n
est une chane de Markov, ayant deux tats absorbants: 0
et N. Soit T le temps dabsorption. On prends N = 15 et on cherche P
5
, cest dire
P[X
T
= 15[X
0
= 5]. Labsorption en 0 est une victoire de Robert, et labsorption
en 15 est une victoire de Jean-Claude. Pour un temps n quelconque, les capitaux de
Jean-Claude et de Robert sont respectivement X
n
et 15 X
n
.
0 1 2 3 4 5 6 13 14 15 1
1/2
1/2
1/2
1/2 1/2 1/2 1/2 1/2 1/2 1/2
1/2 1/2 1/2 1/2 1/2 1/2 1/2
V
i
c
t
o
i
r
e
d
e
R
o
b
e
r
t
V
i
c
t
o
i
r
e
d
e
J
e
a
n
-
C
l
a
u
d
e
On suppose que la pice est quilibre, donc p = q =
1
2
. On utilise alors le rsultat
prcdent pour obtenir:
P[ Jean-Claude gagne ] = P[ absorption en 15 ] = P
5
=
5
15
=
1
3
P[ Robert gagne ] = P[ absorption en 0 ] = 1 P
5
= 1
5
15
=
2
3
Supposons maintenant que le jeu nest pas quitable: p = 3/5. Alors q/p = 2/3:
P
5
=
1 (2/3)
5
1 (2/3)
15
=
0.8683
0.9977
= 0.8703
Remarque. Considrons une promenade alatoire sur Z ou P
i,i+1
>
1
2
. On a vu que
tous les tats taient transitoires; ainsi, quelque que soit X
0
, la promenade nira
+. Cherchons :
Q
i
= P[promenade visite ltat 0 au moins une fois [X
0
= i]
Nous pouvons utiliser les rsultats de cette section an de rpondre cette question.
Considrons trois cas:
Si i < 0, alors Q
i
= 1 car en allant se perdre vers + la promenade passera
par ltat 0.
Si i = 0, alors Q
i
= 1 (en supposant que lon considre le passage initial en 0).
Si i > 0, il faut considrer les points 0 et N comme absorbants, tel que N .
Alors:
Q
i
= 1 lim
N
1
_
q
p
_
i
1
_
q
p
_
N
=
_
q
p
_
i
Intressons-nous maintenant la dure du jeu. Considrons un jeu quitable, cest-
-dire p = q = 1/2. On a donc:
P
i,i+1
=
1
2
= 1 P
i,i1
, i = 1, 2, . . . , N 1
P
00
= P
NN
= 1
Soit v
i
le temps moyen avant absorption en partant de ltat i. On a videmment
v
0
= v
N
= 0. Pour 0 < i < N, on a, par une analyse des premiers pas:
v
i
= 1 +
1
2
v
i1
+
1
2
v
i+1
,
que lon peut recrire:
2v
i
= 2 +v
i1
+v
i+1
v
i+1
v
i
= 2 +v
i
v
i1
1.1|
Ainsi, pour i allant de 1 N 1:
i = 1 : v
2
v
1
= 2 +v
1
v
0
i = 2 : v
3
v
2
= 2 +v
2
v
1
.
.
.
i = N 2 : v
N1
v
N2
= 2 +v
N2
v
N3
i = N 1 : v
N
v
N1
= 2 +v
N1
v
N2
En sommant des quations, on obtient:
v
N
v
1
= 2(N 1) +v
N1
v
0
Mais comme v
0
= v
N
= 0, alors lquation prcdente scrit v
1
= 2(N 1) +
v
N1
, et dautre part, par symtrie, on doit avoir v
1
= v
N1
. Alors on obtient
v
1
= 2(N 1) +v
N1
2v
1
= 2(N 1) v
1
= N 1. Alors, en utilisant 1.1:
v
2
v
1
= 2 +v
1
v
0
= 2 + (N 1)
v
3
v
2
= 2 +v
2
v
1
= 2 2 +N 1 = 4 + (N 1)
1.12 Chanes de Markov rductibles
et en gnral v
i+1
v
i
= 2i + (N 1)
En sommant ces quations pour i = 0 x 1, on obtient:
v
i
= x(x 1) +x(N 1) = x(N x)
car

k
i=1
i = k(k + 1)/2.
Proposition 3
Dans un jeu quitable entre deux joueurs, le temps moyen avant absorption est la
produit de la fortune des deux joueurs:
v
i
= i(N i)
mercredi 7 fvrier
cours 10
Karlin, p258 Considrons la chane de Markov de probabilit de transition:
P =
_
_
1
2
1
2
0 0
1
4
3
4
0 0
0 0
1
3
2
3
0 0
2
3
1
3
_
_
que nous pouvons noter
_
P
1
0
0 P
2
_
0 1 2 3
On voit facilement que cette chane de Markov possde deux classes: 0, 1 et 2, 3.
Calculons P
2
:
P
2
=
_
_
1
2
1
2
0 0
1
4
3
4
0 0
0 0
1
3
2
3
0 0
2
3
1
3
_
_
1
2
1
2
0 0
1
4
3
4
0 0
0 0
1
3
2
3
0 0
2
3
1
3
_
_
=
_
_
3
8
5
8
0 0
5
16
11
16
0 0
0 0
5
9
4
9
0 0
4
9
5
9
_
_
En fait, P
2
=
_
P
2
1
0
0 P
2
2
_
, et en gnral, P
n
=
_
P
n
1
0
0 P
n
2
_
(n 1)
La forme de la matrice P
n
a comme consquence quil nest pas possible daller dune
classe lautre: P est rductible en deux matrices irrductibles P
1
et P
2
. Alors,
lim
n
P
n
=
_
(1)
0

(1)
1
0 0
(1)
0

(1)
1
0 0
0 0
(2)
0

(2)
1
0 0
(2)
0

(2)
1
_
_
Revenons la matrice P dnie plus haut, et cherchons
(1)
= (
(1)
0
,
(1)
1
):
comme: P
1
=
_
1
2
1
2
1
4
3
4
_
alors
_
(1)
0
=
1
2
(1)
0
+
1
4
(1)
1
(1)
1
=
1
2
(1)
0
+
3
4
(1)
1
(1)
0
+
(1)
1
= 1
(1)
0
=
1
3
(1)
1
=
2
3
comme: P
2
=
_
1
3
2
3
2
3
1
3
_
alors
_
(2)
0
=
1
2
(2)
1
=
1
2
car elle est doublement stochastique.
Ces deux chanes se comportent de faon indpendante. Considrons un second cas
plus intressant o lon a un tat transitoire.
P =
_
_
0 1 2 3
0 1/2 1/2 0
1 1/4 3/4 0 0
2 1/4 1/4 1/4 1/4
3 0 0 0 1
_
_
0
1
2 3
Il y a 3 classes: 0, 1 rcurrente; 2, transitoire, et la classe 3 rcurrente. En
partant de ltat 2, le processus sera absorb dans la classe 0, 1 ou la classe 3.
La premire question laquelle nous allons rpondre est vers quel classe le processus
sera-t-il absorb, et avec quelle probabilit ? Soient:
u = P[absorption dans 0, 1[X
0
= 2]
1 u = P[absorption dans 3[X
0
= 2]
La rponse cette question est trouve par une analyse des premiers pas. Ainsi,
tant habitus ce type danalyses, nous pouvons crire directement:
u =1
1
4
+ 1
1
4
+u
1
4
+ 0
1
4
=
1
2
+
1
4
u
alors on a
3
4
u =
1
2
u =
4
3

1
2
=
2
3
Donc, avec probabilit 2/3, le processus sera absorb dans la classe 0, 1. On a
vu prcdemment que la distribution stationnaire dans cette classe tait
(1)
=
(1/3, 2/3). Alors :
lim
n
P
(n)
20
= P[absorption dans 0, 1[X
0
= 2]
(1)
0
=
2
3

1
3
=
2
9
lim
n
P
(n)
21
= P[absorption dans 0, 1[X
0
= 2]
(1)
1
=
2
3

2
3
=
4
9
Ainsi, on peut crire la limite de P
(n)
ij
quand n :
lim
n
P
(n)
=
_
_
0 1 2 3
0 1/3 2/3 0 0
1 1/3 2/3 0 0
2 2/9 4/9 0 1/3
3 0 0 0 1
_
_
Considrons un dernier cas, ou lon a une classe dtats transitoires, et deux classes
rcurrentes.
P =
_
_
0 1 2 3 4 5
0 1/2 1/2 0 0 0 0
1 1/3 2/3 0 0 0 0
2 1/3 0 0 1/3 1/6 1/6
3 1/6 1/6 1/6 0 1/3 1/6
4 0 0 0 0 0 1
5 0 0 0 0 1 0
_
_
0
1
2
3
4
5
P =
_
_
0 1 2 3 4 5
0 1/2 1/2 0 0 0 0
1 1/3 2/3 0 0 0 0
2 1/3 0 0 1/3 1/6 1/6
3 1/6 1/6 1/6 0 1/3 1/6
4 0 0 0 0 0 1
5 0 0 0 0 1 0
_
_
Dans cette chane de Markov, il y a trois classes:
C
1
= 0, 1 C
2
= 2, 3 C
3
= 4, 5
La distribution stationnaire de C
1
est (
0
,
1
), donne par:
_
_
_
0
=
1
2
0
+
1
3
1
=
1
2
0
+
2
3
0
+
1
= 1
0
=
2
5
1
=
3
5
La classe C
3
est priodique et P
(n)
ij
ne converge pas pour i, j dans C
3
= 4, 5. Par
contre on peut vrier que
4
=
5
=
1
2
.
Pour la classe transitoire C
2
= 2, 3, soit u
i
la probabilit dabsorption dans C
1
en
partant de i = 2, 3. Par analyse des premiers pas:
u
2
= P[absorption dans C
1
[X
0
= 2]
=

k
P[absorption dans C
1
[X
1
= k]P[X
1
= k[X
0
= 2]
= 1
1
3
+ 1 0 +u
2
0 +u
3
1
3
+ 0
1
6
+ 0
1
6
=
1
3
+
1
3
u
3
u
3
= 1
1
6
+ 1
1
6
+u
2
1
6
+u
3
0 + 0
1
3
+ 0
1
6
=
1
3
+
1
6
u
2
on trouve u
2
=
8
17
u
3
=
7
17
1.13 Chanes de Markov temps rversible
lim
n
P
(n)
=
_
_
0 1 2 3 4 5
0 2/5 3/5 0 0 0 0
1 2/5 3/5 0 0 0 0
2 (
8
17
)(
2
5
) (
8
17
)(
3
5
) 0 0
3 (
7
17
)(
2
5
) (
7
17
)(
3
5
) 0 0
4 0 0 0 0
5 0 0 0 0
_
_
lim
n
1
n
n1
m=0
P
(m)
=
_
_
0 1 2 3 4 5
0 2/5 3/5 0 0 0 0
1 2/5 3/5 0 0 0 0
2 (
8
17
)(
2
5
) (
8
17
)(
3
5
) 0 0 (
9
17
)(
1
2
) (
9
17
)(
1
2
)
3 (
7
17
)(
2
5
) (
7
17
)(
3
5
) 0 0 (
10
17
)(
1
2
) (
10
17
)(
1
2
)
4 0 0 0 0 1/2 1/2
5 0 0 0 0 1/2 1/2
_
_
Considrons une chane de Markov ergodique ltat stationnaire (i.e. le processus Ross, p232
a fonctionn trs longtemps). Cette chane a pour probabilits de transition P
ij
(i, j o), et pour probabilits stationnaires
i
(i o). Supposons qu partir dun
certain moment, nous suivons la squence des vnements en arrire dans le temps.
Cest--dire, partir du temps n, on considre la squence:
X
n
, X
n1
, X
n2
, . . .
An de montrer que cette squence dtats est elle mme une chane de Markov,
nous devons montrer que:
P[X
n
= j[X
n+1
= i
n+1
, X
n+2
= i
n+2
, X
n+3
= i
n+3
, . . .] = P[X
n
= j[X
n+1
= i
n+1
]
Supposons que le temps actuel est n + 1.
n1 n n+1
n+2 n+3
Comme X
0
, X
1
, X
2
, . . . est un chane de Markov, la distribution conditionnelle des
futurs X
n+2
, X
n+3
, . . . sachant le temps prsent n+1 est indpendant de ltat pass
X
n
. Cependant, lindpendance est une relation symtrique. Ainsi, cela veut dire que
sachant X
n+1
, X
n
est indpendant de X
n+2
, X
n+3
, . . ., et la suite X
n
, X
n1
, X
n2
, . . .
est donc une chane de Markov.
Les probabilits de transition de cette chane, que nous noterons Q
ij
, sont dnies
par:
Q
ij
= P[X
n
= j[X
n+1
= i]
=
P[X
n
= j, X
n+1
= i]
P[X
n+1
= i]
=
P[X
n
= j]P[X
n+1
= i[X
n
= j]
P[X
n+1
= i]
=

j
P
ji
i
Si Q
ij
= P
ij
, la chane est dite temps rversible. Ceci nous amne la proposition
suivante.
Proposition 4
Soit une chane de Markov X
n
despace dtats o possdant une distribution
stationnaire
j
(j o). La chane X
n
est dite temps rversible si
i
P
ij
=
j
P
ji
, (i, j) o
Le taux avec lequel le processus va de i j (soit
i
P
ij
) est gal au taux avec lequel le
processus va de j i (soit
j
P
ji
). Si X
n
= i et X
n+1
= j, on observe une transition
de i j si on regarde le processus dans le sens du temps (en avant), mais on observe
une transition de j i si on regarde le processus dans le sens inverse du temps (en
arrire).
Si il existe des nombres non ngatifs x
i
qui satisfont x
i
P
ij
= x
j
P
ji
, et qui somment
1, alors la chane est temps rversible et ces nombres sont les probabilits sta-
tionnaires. Ceci est vrai car:
si x
i
P
ij
= x
j
P
ji
et

i
x
i
= 1 (i, j) o,
en sommant sur i, on obtient:
j,
iS
x
i
P
ij
=

iS
x
j
P
ji
= x
j
iS
P
ji
= x
j
.
Alors les x
i
sont les probabilits stationnaires, car lon a vu que la distribution
stationnaire est unique; donc x
i
=
i
pour tout i dans o.
Exemple 25 Considrons une marche alatoire sur les tats 0, 1, . . . , M avec
probabilits de transition:
P
i,i+1
=
i
= 1 P
i,i1
, i = 1, . . . , M 1
P
0,1
=
0
= 1 P
0,0
P
MM
=
M
= 1 P
M,M1
Le graphe de ce processus est le suivant:
0 1 2 i1 i i+1 M1 M 1
0
1
1
0
1
M1
1

2
1
M1
1
M
i1

i1

i1
1
i+1
1
i
1
i1
On peut voir que la chane est temps rversible simplement en tudiant son com-
portement. Entre deux transitions de i i + 1, il y a forcment une transition de
i +1 i, car le seul chemin pour revenir i en partant dun tat j > i est de passer
par i + 1. Donc le nombre de transitions de i i + 1 dire de 1 du nombre de
transitions de i + 1 i. Le taux de transitions de i vers i + 1 est gal au taux de
transitions de i + 1 vers i, et donc la chane de Markov est temps rversible.
lundi 12 fvrier
cours 11
Exemple 26 Considrons un graphe dont tous les nuds sont connects au
moins un autre nud. Chaque arrte (i, j) du graphe, reliant les nuds i et j a un
valeur w
ij
. Un exemple de tel graphe est donn dans la gure qui suit.
5
1
3 4 2
2 3
1
8
Considrons une particule allant dun nud un autre de la faon suivante: si la
particule est au nud i, elle va au nud j avec probabilit:
P
ij
=
w
ij
j
w
ij
o w
ij
= 0 si larrte (i, j) nexiste pas. Par exemple, partir du graphe ci-dessus,
P
42
=
8
8 + 3 + 1
=
2
3
Supposons que la chane est temps rversible, alors:
1.14 Temps moyen pass dans les tats transitoires
i
P
ij
=
j
P
ji

i
w
ij
j
w
ij
=
j
w
ji
i
w
ji
j
w
ij
=

j
i
w
ji
car w
ij
= w
ji
. On peut donc crire que
j
w
ij
= c, ou
i
= c
j
w
ij
.
On somme sur i:
i
=

i
c
j
w
ij
c =
1
j
w
ij
do
i
=
j
w
ij
j
w
ij
Alors les quations de reversibilit scrivent:
i
P
ij
=
j
w
ij
j
w
ij
w
ij
j
w
ij
=
i
w
ji
j
w
ji
w
ji
i
w
ji
=
j
P
ji
Donc le processus est bien temps rversible. Pour lexemple considr ici, on trouve:
1
=
1
28
,
2
=
8
28
,
3
=
5
28
,
4
=
12
28
,
5
=
2
28
.
Supposons une chane de Markov ayant un nombre ni dtats, dont t sont transi- Ross p 226
Karlin p124/171
toires. Ces tats transitoires sont numrots de 1 t, et T dnote lensemble de ces
tats. Notons P
T
la matrice contenant les probabilits des tats transitoires vers les
tats transitoires:
P
T
=
_
_
1 2 . . . t
1 P
1,1
P
1,2
. . . P
1,t
2 P
2,1
P
2,2
. . . P
2,t
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
t P
t,1
P
t,2
. . . P
t,t
_
_
Pour deux tats (i, j) T, soit s
ij
le nombre moyen de priodes de temps que
le processus est dans ltat j en partant de i. Soit
i,j
= 1 si i = j, 0 sinon. En
conditionnant sur la premire transition, on obtient:
si i ,= j : s
ij
= E[nb visites j aprs ltat initial]
si i = j : s
ij
= 1 +E[nb visites j aprs ltat initial]
s
ij
=
i,j
+
k
P
ik
s
kj
=
i,j
+
t
k=1
P
ik
s
kj
1.2|
car il est impossible daller dun tat rcurrent vers un tat transitoire, donc s
kj
= 0
si k est rcurrent. Soit S la matrice des s
ij
:
S =
_
_
1 2 . . . t
1 s
11
s
12
. . . s
1t
2 s
21
s
22
. . . s
2t
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
t s
t1
s
t2
. . . s
tt
_
_
Lquation 1.2 scrit sous forme matricielle:
S = I +P
T
S
o I est la matrice identit de taille t t. Alors:
S P
T
S = I
(I P
T
)S = I
(I P
T
)
1
(I P
T
)S = (I P
T
)
1
S = (I P
T
)
1
Notons que linverse existe.
Exemple 27 Soit une chane de Markov sur les tats 0, 1, 2, 3 de matrice de
transition:
P =
_
_
0 1 2 3
0 0 9/10 0 1/10
1 3/4 0 1/4 0
2 0 4/5 0 1/5
3 0 0 0 1
_
_
1
2
0
3
1
10
1
5
9
10
3
4
1
4
4
5
1
Calculez le temps moyen pass ltat 2 en partant de ltat 1.
1.15 Application: loi de Hardy-Weinberg
P
T
=
_
_
0 1 2
0 0 9/10 0
1 3/4 0 1/4
2 0 4/5 0
_
_
S = (I P
T
)
1
=
_
_
0 1 2
0 6.4 7.2 1.8
1 6 8 2
2 4.8 6.4 2.6
_
_
Ainsi, le temps moyen pass ltat 2 en partant de ltat 1 est 2 (s
12
).
On se rappelle que f
ij
est la probabilit quune chane de Markov fasse une visite
ltat j en partant de ltat i. Alors:
s
ij
=E[nb de visites en j[part de i passe par j]f
ij
+E[nb de visites en j[part de i passe pas par j](1 f
ij
)
=(
ij
+s
jj
)f
ij
+
ij
(1 f
ij
)
=
ij
f
ij
+s
jj
f
ij
+
ij
ij
f
ij
=
ij
+s
jj
f
ij
donc
f
ij
=
s
ij
ij
s
jj
Exemple 28 (suite de lexemple 27 ) Quelle est la probabilit quen partant de
ltat 2, on visite ltat 1, cest--dire f
21
?
f
21
=
s
21
s
11
=
6.4
8
= 0.80
Dans ce cas simple, on aurait pu trouver directement cette probabilit: en partant
de ltat 2, on visite ltat 1 seulement si on nest pas absorb dans la classe 3,
donc avec probabilit 1 1/5 = 4/5.
Considrons une trs grande population dindividus diplodes (cest--dire que chaque Ross p203
individus possde une paire de gnes) ou les accouplements se font au hasard, et o
les mutations nexistent pas. Intressons nous un gne en particulier ayant deux
allles A et a (cest--dire quil existe deux variantes du gne). Ainsi chaque individu
de la population possde un gnotype AA, aa ou Aa; supposons que les proportions
de ces trois types de gnotype dans la population sont respectivement p
0
, q
0
et r
0
(tel que p
0
+q
0
+r
0
= 1).
Pour chaque enfant, un de ses gnes provient au hasard dun des deux gnes de son
pre, et lautre provient au hasard dun des deux gnes de sa mre, tel quillustr
dans le gure ci-dessous.
3 4
1 2
Aa
aa
Aa
aa
Figure 2. Illustration de la transmission des gnes dune gnration lautre. Le pre (individu
2) a deux gnes aa, ainsi il transmet a ses enfants un gne a avec probabilit 1. La mre (individu
1) a un gne A et un gne a, et elle transmet lun dentre eux avec probabilit 1/2 chaque enfant.
Sachant les proportions des trois gnotypes AA, aa et Aa une certaine gnration,
on veut dterminer ces mmes proportions la gnration suivante. Considrons un
individu de la population. Notons que choisir un parent dabord, puis un de ses deux
gnes ensuite est quivalent choisir au hasard un gne de la population. Ainsi, la
probabilit quun enfant reoive un gne de type A est:
P[A] = P[A[AA]P[AA] +P[A[aa]P[aa] +P[A[Aa]P[Aa]
= 1 p
0
+ 0 q
0
+
1
2
r
0
= p
0
+
1
2
r
0
De la mme faon, la probabilit quil reoive un gne de type a est:
P[a] = P[a[AA]P[AA] +P[a[aa]P[aa] +P[a[Aa]P[Aa]
= 0 p
0
+ 1 q
0
+
1
2
r
0
= q
0
+
1
2
r
0
Avec lhypothse des accouplements alatoires, un enfant de la prochaine gnration
sera de type AA, aa ou Aa avec probabilit que nous noterons p, q et r respective-
ment:
p = P[AA] = P[A]P[A] =
_
p
0
+
1
2
r
0
_
2
q = P[aa] = P[a]P[a] =
_
q
0
+
1
2
r
0
_
2
r = P[Aa] = P[A]P[a] = 2
_
p
0
+
1
2
r
0
__
q
0
+
1
2
r
0
_
Ainsi la proportion des individus de la prochaine gnration de gnotypes AA, aa
ou Aa sera p, q et r respectivement.
On a vu que si les proportions des gnotypes AA, aa ou Aa taient p
0
, q
0
et r
0
,
alors P[A] tait (p
0
+
1
2
r
0
). Avec le mme raisonnement, comme les proportions des
gnotypes AA, aa ou Aa sont maintenat p, q et r, alors P[A] est (p+
1
2
r). Remarquons
de plus que la proportion des gnes A est constante (ceci est du aux hypothses du
modle, notamment labsence de mutation):
p +
r
2
=
_
p
0
+
1
2
r
0
_
2
+
2
2
_
p
0
+
1
2
r
0
__
q
0
+
1
2
r
0
_
=
_
p
0
+
1
2
r
0
__
p
0
+
1
2
r
0
+q
0
+
1
2
r
0
_
=
_
p
0
+
1
2
r
0
_
(p
0
+q
0
+r
0
)
=
_
p
0
+
1
2
r
0
_
soit la proportion des gnes A dans la premire gnration. Ainsi, dans toutes les
gnrations suivantes, ces proportions resteront stables. Ce phnomne, trs utilis
en gntique, est la loi de Hardy-Weinberg
Exemple 29 Supposons que dans la gnration initiale, les frquences des trois
gnotypes sont:
P[AA] = p
0
= 0.5 P[aa] = q
0
= 0.2 P[Aa] = r
0
= 0.3
la gnration 1:
P[A] = p
0
+
r
0
2
= 0.65 P[a] = q
0
+
r
0
2
= 0.35
P[AA] = P[A]P[A] = 0.65 0.65 = 0.4225= p
P[aa] = P[a]P[a]= 0.35 0.35 = 0.1225= q
P[Aa] = 2P[A]P[a] = 2 0.65 0.35 = 0.455= r
la gnration 2:
P[A]= p +
r
2
= 0.65 P[a]= q +
r
2
= 0.35
et videmment la proportion des gnotypes AA, aa et Aa est encore la mme.
Une fois les proportions stabilises aux proportions p, q et r, dnissons une chane de
Markov pour tracer la descendance dun individu, et supposons que chaque individu
a un seul enfant. Soit X
n
le gnotype du descendant de n
me
gnration de lindividu
de dpart. On a une chane de Markov trois tats: o = AA, aa, Aa. Cherchons
les probabilits de transition de ce processus.
P
00
= P[X
n+1
= AA[X
n
= AA]. Le premier parent donne A avec probabilit
1, et le second donne A avec probabilit
P[A[AA] p +P[A[aa] q +P[A[Aa] r
=1 p + 0 q +
1
2
r = p +
r
2
donc P
00
= p +
r
2
.
P
21
= P[X
n+1
= aa[X
n
= Aa]. Le premier parent donne a avec probabilit
1
2
,
et le second donne a avec probabilit
P[a[AA] p +P[a[aa] q +P[a[Aa] r
=0 + 1 q +
1
2
r = q +
r
2
donc P
21
=
1
2
(q +
r
2
) =
q
2
+
r
4
.
P
22
= P[X
n+1
= Aa[X
n
= Aa]. Le premier parent donne A avec probabilit
1
2
et a avec probabilit
1
2
; le second donne a avec probabilit q +
r
2
et donne A
avec probabilit p +
r
2
, donc:
P
22
=
1
2
_
q +
r
2
_
+
1
2
_
p +
r
2
_
=
q
2
+
r
4
+
p
2
+
r
4
=
p
2
+
q
2
+
r
2
Les autres probabilits de transition se calculent de la mme faon. Il en suit que la
matrice de transition de cette chane de Markov est:
P =
_
_
AA aa Aa
AA p +
r
2
0 q +
r
2
aa 0 q +
r
2
p +
r
2
Aa
p
2
+
r
4
q
2
+
r
4
p
2
+
q
2
+
r
2
_
_
Cherchons maintenant la distribution stationnaire du processus. Il faudrait trouver
= (
0
,
1
,
2
) qui satisfont:
0
=
_
p +
r
2
_
0
+
_
p
2
+
r
4
_
1
=
_
q +
r
2
_
1
+
_
p
2
+
r
4
_
2
1 =
0
+
1
+
2
Mais daprs les rsultats que nous avons dj obtenus, on sait que la distribution
stationnaire est = (p, q, r). Vrions simplement que cette distribution satisfait
les quations de la distribution stationnaire; on sait dj que p +q +r = 1; de plus:
(1) p =
_
p +
r
2
_
p +r
_
p
2
+
r
4
_
(2) q =
_
q +
r
2
_
q +r
_
p
2
+
r
4
_
(1) p =
_
p +
r
2
_
p +
r
2
_
p +
r
2
_
(2) q =
_
q +
r
2
_
q +
r
2
_
p +
r
2
_
(1) p =
_
p +
r
2
__
p +
r
2
_
= P[A]P[A] = p
(2) q =
_
q +
r
2
__
q +
r
2
_
= P[a]P[a] = q
Ce qui prouve que la chane de Markov de matrice de transition P dnie ci-dessus
a bien = (p, q, r) comme distribution stationnaire.
1.16 Rsultats vu en exercice
1.16 Rsultats vu en exercice
Proposition 5
Si un tat i est transitoire, et si i j, alors j est aussi un tat transitoire.
Proposition 6
Soit un tat i rcurrent et une tat j tel que i j; alors P
(n)
ij
= 0, n.
Proposition 7
P
(n)
ij
=

n
k=0
f
(k)
ij
P
(nk)
jj
.
2 Index 69
2 Index
2 Index 69
P
n,n
ij
1 2
f
ii
20
f
(n)
ij
20
P
ij
2
a
accessible 18
analyse des premiers pas 29
apriodique 24
b
barrire absorbante 9
c
communication 18
d
distribution stationnaire 40
e
tat absorbant 9
tat
initial 2
espace des tats 2
h
homogne 2
i
irrductible 19
l
loi
gomtrique 70
Loi
Hardy-Weinberg 65
loi
multinomiale 70
m
matrice
de passage 4
de transition 4
doublement stochastique 44
stochastique 4
p
priode 24
probabilit
de transition 2
processus
stochastique 1
promenade alatoire 7
symmtrique 8
r
rcurrent 20
nul 39
positif 39
positif apriodique 39
s
srie
gomtrique 70
sans mmoire 4
t
temps
continu 2
discret 2
rversible 59
trajectoire 5
transitoire 20
3 Annexes 70
3 Annexes
3 Annexes 70
Dfinition 1
Loi gomtrique. Une variable alatoire X Geo(p), o p est la probabilit de
succs dune exprience, peut tre interprt comme le nombre dessais jusqu
obtenir un premier succs. On a:
p(x) = (1 p)
x1
p, x = 1, 2, 3, . . .
et E[X] =
1
p
, V ar[X] =
1 p
p
2
.
Dfinition 2
Loi multinomiale. Cest la distribution conjointe de r variables pour lesquelles
seules des valeurs positives sont permises (0, 1, . . . , n). La densit est:
P[X
1
= k
1
, . . . , X
r
= k
r
] =
n!
k
1
! . . . k
r
!
p
k
1
1
. . . p
k
r
r
, pour k
1
+. . . +k
r
= n. . .
o p
i
> 0 pour i = 1, . . . , r et p
1
+. . . +p
r
= 1.
et E[X
i
] = np
i
, V ar[X
i
] = np
i
(1 p
i
), Cov[X
i
, X
j
] = np
i
p
j
.
Si on place au hasard n objets distincts dans r botes et que chaque objet, ind-
pendamment des autres, a une probabilit p
i
, i = 1, . . . , r, de tomber dans la i
me
bote, alors on peut inerprter lvnement X
1
= k
1
, X
2
= k
2
, . . . , X
r
= k
r
comme
voulant dire que les botes ont reu k
1
, k
2
, . . . , k
r
objets respectivement. De faon
analogue, si on lance successivement n boules blanches identiques dans r botes, X
i
,
i = 1, . . . , r, est le nombre de boules blanches dans la i
me
bote.
Dfinition 3
Srie gomtrique. La srie gomtrique est:
1 +r +r
2
+. . . +r
n1
+. . .
alors
n
k=0
r
k
=
1 r
n+1
1 r
,
n
k=1
r
k
=
r(1 r
n
)
1 r
,
si [r[ < 1,
k=0
r
k
=
1
1 r
,
k=1
r
k
=
r
1 r
.

Chapitre1 001 Version Etudiant

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chapitre1 001 Version Etudiant

Transféré par

Droits d'auteur :

Formats disponibles

mardi 2 janvier 2007

Un tat i est rcurrent si

Vous aimerez peut-être aussi