MAT415 - CHANES DE MARKOV

par Stphane Lafrance

Rappels sur les probabilits

Probabilit conditionnelle : P (A|B ) =

P (A B ) P (B )

Rgle de multiplication : P (A B ) = P (A|B )P (B ) Rgle de probabilit totale : Si B1 , B2 , . . . , Bn , . . . est une partition de , alors

P (A) =
k=1

P (A|Bk )P (Bk )

vnements indpendants : P (A|B ) = P (A) Fonction de rpartition : FX (x) = P (X x) Fonction de densit : fX (x) = Loi gomtrique : X Geom(p)
P (X = k ) = (1 p)k1 p pour k = 1, 2, . . . d FX (x) dx

Loi de Poisson : X Poi()

P (X = k ) = e k k!

pour k = 0, 1, 2, . . .

Loi exponentielle : X Exp()

FX (x) = P (X x) = 1 ex

pour x 0

et
fX (x) = ex

pour x 0

Processus stochastiques

Processus stochastique : famille {X (t)}tT de variables alatoires.

Trois paramtres d'un processus stochastique : 1. Espace d'tats : Ensembles des valeurs possibles 2. Indice : paramtre de temps t 3. Dpendance statistique : relation entre une variable alatoire X (s) et les autres variables alatoires {X (t)}tT .

Chanes de Markov temps discret

Chanes de Markov temps discret : processus stochastique {Xn }n=0,1,... espace
d'tats discret tel que
P [Xn+1 = j | Xn = i, Xn1 = in1 , . . . , X0 = i0 ] = P [Xn+1 = j | Xn = i] = pij

pour tous les tats i0 , . . . , in1 , i, j et tout n 0.

Proposition 1.

i,j pij 0 et i
j =0

pij = 1.

Probabilit que la chane soit dans l'tat j au moment n

j
(n)

= P [Xn = j ].

Distribution initiale : {i(0) }i=0,1,... Proposition 2.

Nous avons

avec
i=0

(0)

= 1.

(0)

= P [X0 = j ] (donnes)

(n+1) j

=
i=0

i pij pour n=0,1,. . ..

(n)

Probabilit de passer de l'tat i l'tat j en n tapes (transitions)

pij
(n)

= P [Xm+n = j | Xm = i] = P [Xn = j | X 0 = i ]

En particulier : p(1) ij = pij .

quations de Chapman-Kolmogorov :

pij

(n+m)

=
k=0

pik pkj

(n)

(m)

Proposition 3.
(n) j

=
i=0

i pij

(0) (n)

Classication des tats

tats communiquants : les tats i et j communiquent (i j ) si i est accessible de j

et si j est accessible de i.

Chane de Markov irrductible : tous les tats communiquent entre eux. tat rcurrent : l'tat i est rcurrent si

fi = P

{ Xn = i } | X0 = i
n=1

= 1

on est  certain  de retourner l'tat i.

tat transitoire : l'tat i est transitoire si fi < 1. Proposition 4.

Alors  l'tat i est rcurrent si et seulement si E [N ] = .  l'tat i est transitoire si et seulement si E [N ] < .

Soit N le nombre de fois que l'tat i sera visit, tant donn X0 = i.

Proposition 5.

Si les tats i et j communiquent (i j ), alors i est rcurrent si et

seulement si j est rcurrent.

Probabilits stationnaires

tat priodique : l'tat i est

priodique de priode d si pii

(n)

= 0 pour tout n non

divisible par d, o d est le plus grand entier qui possde cette proprit.

tat apriodique : si d = 1. tat rcurrent positif : l'tat rcurrent i est

rcurrent positif si E [Tii ] < ,

o Tii = nombre de transitions pour retouner i.

Chane de Markov ergodique : tous ses tats rcurrents sont apriodiques

(priode = 1) et rcurrents positifs.

Thorme 6.

tant donne une chane de Markov irrductible et ergodique, les limites

(n)

(pour j = 0, 1, . . .)
n

lim pij

existent et sont indpendantes de l'tat i. Posons j = lim pij

n (n)

(probabilits stationnaires).

Alors les j (pour j = 0, 1, . . .) sont l'unique solution non ngative des

quations

stationnaires :
j =
et

i pij
i=0

j = 1.
j =0

Processus de Poisson

Processus de comptage : processus stochastique {N (t)}t0 tel que

N (t) = nombre d'vnements qui se sont produits dans

l'intervalle de temps [0, t].

Proprits d'un processus de comptage

1. t0 N (t) 0 2. N (t) est une variable alatoire dont les valeurs possibles sont 0, 1, 2, . . . 3. Si s < t, alors N (s) N (t). 4. Si s < t, alors N (t)N (s) correspond au nombre d'vnements qui se sont produits dans l'intervalle ]s, t].

Dnition. Le processus de comptage {N (t)}t0 est accroissements indpendants si

les variables alatoires N (t4 ) N (t3 ) et N (t2 ) N (t1 ) sont indpendantes pour tout
t1 < t2 t3 < t4 .

Dnition. Le processus de comptage {N (t)}t0 est

fonction de rpartition pour tout s 0, i.e.

accroissements stationnaires

si les variables alatoires N (s1 + t) N (s1 ) et N (s2 + t) N (s2 ) possdent la mme

P [N (s1 + t) N (s1 ) = k ] = P [N (s2 + t) N (s2 ) = k ].

Processus de Poisson de taux ( > 0) : processus de comptage {N (t)}t0 tel que

1. N (0) = 0 2. {N (t)}t0 est accroissements indpendants. 3. t,s0 N (s + t) N (s) Poi(t) c'est--dire
P [N (s + t) N (s) = k ] = (t)k t e k!

pour k = 0, 1, . . .

Dnition. o(t) est une fonction telle que

o(t) =0 t0 t lim

Thorme 7. {N (t)}t0
1. N (0) = 0

est un processus de Poisson de taux si et seulement si

2. {N (t)}t0 est accroissements indpendants et stationnaires. 3. On a

P [N (t) = 0] = 1 t + o(t) P [N (t) = 1] = t + o(t) P [N (t) 2] = o(t)

Temps entre les arrives

Soit {N (t)}t0 un processus de Poisson de taux . Posons

T1 = instant d'arrive du premier vnement Tn = temps coul entre le (n 1)ime vnement

et le nime vnement. pour n = 2, 3, . . .

Proposition 8.

Les variables alatoires Tn (pour n 1)) sont indpendantes et

Tn Exp() pour tout n 1.

Ainsi,

E (Tn ) =

1 .

Proprit  sans mmoire  des temps entre les arrives

Si on observe un processus de Poisson un moment donn, alors la distribution du temps d'attente de la prochaine arrive (vnement) n'est pas aecte par le fait qu'un certain intervalle de temps s'est coul depuis la dernire arrive.

Instants d'arrives

Soit
Sn = instant d'arrive du nime vnement.

pour n = 1, 2, 3, . . .. On a
Sn =

Tk
k=1

pour n 1.

Proposition 9.
E [Sn ] = n .

Chanes de Markov temps continu

Chane de Markov temps continu : processus stochastique {X (t)}t0 temps

continu tel que
P [X (s + t) = j | X (s) = i, X (u) = iu pour 0 u < s] = P [X (s + t) = j | X (s) = i] = pij (t)

pour tous instants s, t 0 et tous tats j, i, iu IN.

Thorme 10.

Un processus stochastique est une chane de Markov temps continu si

et seulement si ds qu'elle entre dans un tat i, on a 1. Le temps pass dans l'tat i avant d'eectuer une transition vers un autre tat suit une distribution exponentielle de moyenne
1 , vi

et

2. Lorsque le processus quitte l'tat i, il entre dans l'tat j avec une probabilit pij telle que

pii = 0 et
j

pij = 1.

Notations :
Ti
1 vi

= temps pass dans l'tat i

avec Ti Exp(vi )
= temps moyen pass dans l'tat i = taux selon lequel on quitte l'tat i = probabilit de transition vi pij

Processus de naissance et de mort

Processus de naissance et de mort : chane de Markov temps continu {X (t)}t0

o
X (t) = nombre d'individus au temps t

et si X (t) = n, alors le temps coul jusqu' la prochaine arrive suit une loi
Exp(n ) et le temps coul jusqu'au prochain dpart suit une loi Exp(n ).

Taux d'arrive (naissance) : {n }n=0,1,... Taux de dpart (mortalit) : {n }n=1,2,... Proposition 11.
 v0 = 0  vi = i + i pour tout i 1 Nous avons

Proposition 12.
 p01 = 1  pi,i+1 =  pi,i1 =
i i +i i i +i

Nous avons

pour tout i 1 pour tout i 1

Probabilits limites pour les chanes de Markov temps continu

Soit pj = lim pij (t) (nous supposons que ces probabilits limites existent et sont indpendantes de l'tat initial i).
t

Thorme 13.

Sous certaines conditions sur la chane de Markov, les probabilits li-

mites satisfont les

quations d'quilibres :
vj pj =
k=j

vk pkj pk

pour tout j

et

pj = 1.
j

Les quations d'quilibre pour un processus de naissance et de mort :

tat
0 1

Taux de dpart = Taux d'entre

0 p0 = 1 p1 (1 + 1 )p1 = 0 p0 + 2 p2

. . .

. . .

n (pour n 1)

(n + n )pn = n1 pn1 + n+1 pn+1

Thorme 14.

Pour un processus de naissance et de mort, les probabilits limites pn

existent si et seulement si

n=1

n1 . . . 1 0 < n . . . 2 1

et dans ce cas, nous avons

p0 = 1+

n=1

n1 . . . 1 0 n . . . 2 1

et

pn =

n1 . . . 1 0 n . . . 2 1

p0

pour n 1.