MAT415 - CHAÎNES DE MARKOV

par Stéphane Lafrance

Rappels sur les probabilités

P (A ∩ B)
Probabilité conditionnelle : P (A|B) =
P (B)

Règle de multiplication : P (A ∩ B) = P (A|B)P (B)

Règle de probabilité totale : Si B1 , B2 , . . . , Bn , . . . est une partition de Ω, alors

∞
X
P (A) = P (A|Bk )P (Bk )
k=1

Événements indépendants : P (A|B) = P (A)

Fonction de répartition : FX (x) = P (X ≤ x)

d
Fonction de densité : fX (x) = FX (x)
dx

Loi géométrique : X ∼ Geom(p)

P (X = k) = (1 − p)k−1 p pour k = 1, 2, . . .

Loi de Poisson : X ∼ Poi(λ)

λk
P (X = k) = e−λ pour k = 0, 1, 2, . . .
k!

Loi exponentielle : X ∼ Exp(λ)

FX (x) = P (X ≤ x) = 1 − e−λx pour x ≥ 0

et
fX (x) = λe−λx pour x ≥ 0
 Processus stochastiques

Processus stochastique : famille {X(t)}t∈T de variables aléatoires.

Trois paramètres d'un processus stochastique :

1. Espace d'états : Ensembles des valeurs possibles
2. Indice : paramètre de temps t
3. Dépendance statistique : relation entre une variable aléatoire X(s) et les autres
variables aléatoires {X(t)}t∈T .
 Chaînes de Markov à temps discret

Chaînes de Markov à temps discret : processus stochastique {Xn }n=0,1,... à espace

d'états discret tel que

P [Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X0 = i0 ] = P [Xn+1 = j | Xn = i]

= pij

pour tous les états i0 , . . . , in−1 , i, j et tout n ≥ 0.

Proposition 1.
∞
X
∀i,j pij ≥ 0 et ∀i pij = 1.
j=0

Probabilité que la chaîne soit dans l'état j au moment n

(n)
πj = P [Xn = j].

∞
Distribution initiale : {πi(0) }i=0,1,... avec = 1.
X (0)
πi
i=0

Proposition 2. Nous avons

(0)
πj = P [X0 = j] (données)
X∞
(n+1) (n)
πj = πi pij pour n=0,1,. . ..
i=0
Probabilité de passer de l'état i à l'état j en n étapes (transitions)
(n)
pij = P [Xm+n = j | Xm = i]
= P [Xn = j | X0 = i]

En particulier : p(1)
ij = pij .

Équations de Chapman-Kolmogorov :
∞
X
(n+m) (n) (m)
pij = pik pkj
k=0

Proposition 3.
∞
X
(n) (0) (n)
πj = πi pij
i=0
 Classication des états

États communiquants : les états i et j communiquent (i ↔ j ) si i est accessible de j

et si j est accessible de i.

Chaîne de Markov irréductible : tous les états communiquent entre eux.

État récurrent : l'état i est récurrent si

" ∞
#
[
fi = P { Xn = i} | X0 = i = 1
n=1

on est  certain  de retourner à l'état i.

État transitoire : l'état i est transitoire si fi < 1.

Proposition 4. Soit N le nombre de fois que l'état i sera visité, étant donné X0 = i.
Alors
 l'état i est récurrent si et seulement si E[N ] = ∞.
 l'état i est transitoire si et seulement si E[N ] < ∞.

Proposition 5. Si les états i et j communiquent (i ↔ j ), alors i est récurrent si et

seulement si j est récurrent.
 Probabilités stationnaires

État périodique : l'état i est périodique de période d si pii

(n)
= 0 pour tout n non
divisible par d, où d est le plus grand entier qui possède cette propriété.

État apériodique : si d = 1.

État récurrent positif : l'état récurrent i est récurrent positif si E[Tii ] < ∞,
où Tii = nombre de transitions pour retouner à i.

Chaîne de Markov ergodique : tous ses états récurrents sont apériodiques

(période = 1) et récurrents positifs.

Théorème 6. Étant donnée une chaîne de Markov irréductible et ergodique, les limites
(pour j = 0, 1, . . .)
(n)
lim pij
n→∞

existent et sont indépendantes de l'état i.

Posons πj = lim pij

(n)
(probabilités stationnaires).
n→∞

Alors les πj (pour j = 0, 1, . . .) sont l'unique solution non négative des équations
stationnaires : ∞
X
πj = πi pij
i=0

et
∞
X
πj = 1.
j=0
 Processus de Poisson

Processus de comptage : processus stochastique {N (t)}t≥0 tel que

N (t) = nombre d'événements qui se sont produits dans
l'intervalle de temps [0, t].

Propriétés d'un processus de comptage

1. ∀t≥0 N (t) ≥ 0

2. N (t) est une variable aléatoire dont les valeurs possibles sont 0, 1, 2, . . .

3. Si s < t, alors N (s) ≤ N (t).

4. Si s < t, alors N (t)−N (s) correspond au nombre d'événements qui se sont produits
dans l'intervalle ]s, t].

Dénition. Le processus de comptage {N (t)}t≥0 est à accroissements indépendants si

les variables aléatoires N (t4 ) − N (t3 ) et N (t2 ) − N (t1 ) sont indépendantes pour tout
t1 < t2 ≤ t3 < t4 .

Dénition. Le processus de comptage {N (t)}t≥0 est à accroissements stationnaires

si les variables aléatoires N (s1 + t) − N (s1 ) et N (s2 + t) − N (s2 ) possèdent la même
fonction de répartition pour tout s ≥ 0, i.e.

P [N (s1 + t) − N (s1 ) = k] = P [N (s2 + t) − N (s2 ) = k].

Processus de Poisson de taux λ (λ > 0) : processus de comptage {N (t)}t≥0 tel que
1. N (0) = 0
2. {N (t)}t≥0 est à accroissements indépendants.
3. ∀t,s≥0 N (s + t) − N (s) ∼ Poi(λt) c'est-à-dire
(λt)k −λt
P [N (s + t) − N (s) = k] = e pour k = 0, 1, . . .
k!

Dénition. o(∆t) est une fonction telle que

o(∆t)
lim =0
∆t→0 ∆t

Théorème 7. {N (t)}t≥0 est un processus de Poisson de taux λ si et seulement si

1. N (0) = 0

2. {N (t)}t≥0 est à accroissements indépendants et stationnaires.

3. On a
P [N (∆t) = 0] = 1 − λ∆t + o(∆t)
P [N (∆t) = 1] = λ∆t + o(∆t)
P [N (∆t) ≥ 2] = o(∆t)
 Temps entre les arrivées

Soit {N (t)}t≥0 un processus de Poisson de taux λ.

Posons

T1 = instant d'arrivée du premier événement

Tn = temps écoulé entre le (n − 1)ième événement
et le nième événement.

pour n = 2, 3, . . .

Proposition 8. Les variables aléatoires Tn (pour n ≥ 1)) sont indépendantes et

Tn ∼ Exp(λ) pour tout n ≥ 1.

Ainsi,
1
E(Tn ) = .
λ

Propriété  sans mémoire  des temps entre les arrivées

Si on observe un processus de Poisson à un moment donné, alors la distribution du
temps d'attente de la prochaine arrivée (événement) n'est pas aectée par le fait qu'un
certain intervalle de temps s'est écoulé depuis la dernière arrivée.
 Instants d'arrivées

Soit

Sn = instant d'arrivée du nième événement.

pour n = 1, 2, 3, . . .. On a
n
pour n ≥ 1.
X
Sn = Tk
k=1

Proposition 9.
n
E[Sn ] = .
λ
 Chaînes de Markov à temps continu

Chaîne de Markov à temps continu : processus stochastique {X(t)}t≥0 à temps

continu tel que
P [X(s + t) = j | X(s) = i, X(u) = iu pour 0 ≤ u < s] = P [X(s + t) = j | X(s) = i]
= pij (t)
pour tous instants s, t ≥ 0 et tous états j, i, iu ∈ IN.

Théorème 10. Un processus stochastique est une chaîne de Markov à temps continu si
et seulement si dès qu'elle entre dans un état i, on a

1. Le temps passé dans l'état i avant d'eectuer une transition vers un autre état suit
une distribution exponentielle de moyenne 1
vi
, et

2. Lorsque le processus quitte l'état i, il entre dans l'état j avec une probabilité pij
telle que
X
pii = 0 et pij = 1.
j

Notations :

Ti = temps passé dans l'état i

avec Ti ∼ Exp(vi )
1
vi
= temps moyen passé dans l'état i
vi = taux selon lequel on quitte l'état i
pij = probabilité de transition
 Processus de naissance et de mort

Processus de naissance et de mort : chaîne de Markov à temps continu {X(t)}t≥0

où
X(t) = nombre d'individus au temps t
et si X(t) = n, alors le temps écoulé jusqu'à la prochaine arrivée suit une loi
Exp(λn ) et le temps écoulé jusqu'au prochain départ suit une loi Exp(µn ).

Taux d'arrivée (naissance) : {λn }n=0,1,...

Taux de départ (mortalité) : {µn }n=1,2,...

Proposition 11. Nous avons

 v0 = λ0

 vi = λi + µi pour tout i ≥ 1

Proposition 12. Nous avons

 p01 = 1

 pi,i+1 = λi
λi +µi
pour tout i ≥ 1

 pi,i−1 = µi
λi +µi
pour tout i ≥ 1
 Probabilités limites pour les chaînes de Markov à temps continu

Soit pj = lim pij (t)

t→∞
(nous supposons que ces probabilités limites existent et sont indépendantes de l'état
initial i).

Théorème 13. Sous certaines conditions sur la chaîne de Markov, les probabilités li-
mites satisfont les équations d'équilibres :
X
vj pj = vk pkj pk pour tout j
k6=j

et
X
pj = 1.
j
Les équations d'équilibre pour un processus de naissance et de mort :

État Taux de départ = Taux d'entrée

0 λ0 p0 = µ1 p1
1 (λ1 + µ1 )p1 = λ0 p0 + µ2 p2
.. ..
. .
n (λn + µn )pn = λn−1 pn−1 + µn+1 pn+1
(pour n ≥ 1)

Théorème 14. Pour un processus de naissance et de mort, les probabilités limites pn

existent si et seulement si
∞
X λn−1 . . . λ1 λ0
< ∞
n=1
µn . . . µ2 µ1
et dans ce cas, nous avons

1
p0 = ∞
X λn−1 . . . λ1 λ0
1+
n=1
µn . . . µ2 µ1

et  
λn−1 . . . λ1 λ0
pn = p0 pour n ≥ 1.
µn . . . µ2 µ1