Recherche Opérationnelle

Chaı̂nes de Markov à temps continu

Jean-François Hêche

Institut de Mathématiques

École Polytechnique Fédérale de Lausanne

 Les chaı̂nes de Markov à temps continu

• Définition et structure
I Probabilités et matrices de transition

I Classification

I Temps de séjour et chaı̂ne de Markov sous-jacente

I Intensités, matrice génératrice et graphe représentatif

• Équations de Kolmogorov : équations du futur et du passé

• Comportement asymptotique des chaı̂nes irréductibles
• Les processus de naissance et de mort
I Le processus de Poisson

I La file M/M/1

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 1

 Définition d’une chaı̂ne de Markov à temps continu

Une chaı̂ne de Markov à temps continu est un processus stochastique

{Xt, t ≥ 0}, à temps continu, défini sur un espace d’états S fini ou
dénombrable et vérifiant la propriété de Markov

P [Xt+u = j | Xs, 0 ≤ s ≤ t] = P [Xt+u = j | Xt] ∀ j ∈ S, ∀ t, u ≥ 0.

Une chaı̂ne de Markov à temps continu est homogène (dans le temps) si

les probabilités précédentes sont indépendantes de t, c.-à-d. si

P [Xt+u = j | Xt = i] = P [Xu = j | X0 = i] ∀ i, j ∈ S, ∀ t, u ≥ 0.

Nous ne considérerons dès à présent que des processus homogènes !

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 2

 Probabilités et matrices de transition

Pour une chaı̂ne de Markov homogène, nous noterons

pij (t) = P [Xt = j | X0 = i]

les probabilités de transition au temps t, et

P (t) = (pij (t))

la matrice (des probabilités) de transition au temps t.

Hypothèse. Nous supposerons toujours que P (0) = I.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 3

 Propriétés des matrices de transition
Si la famille de matrices {P (t), t ≥ 0} décrit les lois d’évolution d’une
chaı̂ne de Markov à temps continu, elle doit vérifier les deux propriétés
suivantes.
• Chaque matrice P (t) est une matrice stochastique.
pij (t) ≥ 0 ∀t≥0
X
pij (t) = 1 ∀ i ∈ S, ∀ t ≥ 0
j∈S

• Les équations de Chapman-Kolmogorov sont vérifiées.

P (t + u) = P (t)P (u) ∀ t, u ≥ 0.

Remarque. Les propriétés précédentes et l’hypothèse P (0) = I suffisent à

assurer la continuité des probabilités pij (t) (vues comme fonctions de t).

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 4

 Classification des chaı̂nes de Markov à temps continu
I L’état j est accessible depuis l’état i s’il existe t ≥ 0 tel que

pij (t) > 0.

I Les états i et j communiquent s’ils sont accessibles l’un depuis l’autre,

c.-à-d. s’il existe t1 ≥ 0 et t2 ≥ 0 tel que

pij (t1) > 0 et pji(t2) > 0.

I Une chaı̂ne de Markov à temps continu est irréductible si tous ses états
communiquent deux à deux.
I Un état i est absorbant si pii(t) = 1, pour tout t ≥ 0.
Remarque. Une chaı̂ne de Markov à temps continu n’est jamais périodique.
J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 5
 Structure des chaı̂nes de Markov à temps continu
• Temps de séjour

Supposons que l’état d’une chaı̂ne de Markov à l’instant t soit égal à i

(Xt = i). Elle va rester dans cet état pendant une durée aléatoire τi

I dont la loi ne dépend pas la valeur de t car le processus est homogène ;

I dont la loi est sans mémoire car, le processus étant markovien, son
évolution au-delà de t est indépendante de son passé une fois l’état
Xt connu.

Le temps de séjour τi dans l’état i est une variable aléatoire exponentielle

de paramètre αi ne dépendant que de i.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 6

• Probabilités de passage

Lorsque la chaı̂ne de Markov quitte l’état i, elle se déplace dans l’état j

avec probabilité qij . Cette probabilité est

I indépendante de la valeur de t car le processus est homogène ;

I indépendante de la valeur de τi car le processus est markovien.

La suite des états visités par une chaı̂ne de Markov à temps continu forme
une chaı̂ne de Markov à temps discret. Cette dernière est appelée chaı̂ne
de Markov sous-jacente ou induite et sa matrice de transition sera notée
Q = (qij ).

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 7

 La loi exponentielle
Une variable aléatoire X est une variable aléatoire exponentielle de
paramètre α (α > 0) si

1 − e−αx

x≥0
P [X ≤ x] = F (x) =
0 x < 0.

La densité de X est
αe−αx

x≥0
f (x) =
0 x < 0.

L’espérance et la variance de X sont

1 1
E [X] = V ar[X] = 2 .
α α
J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 8
La loi exponentielle est la seule loi continue sans mémoire. Plus
précisément, on a

P [X > t + u | X > t] = P [X > u] ∀ t ≥ 0 et ∀ u > 0.

Cas particuliers.
• Une variable exponentielle X de paramètre α = 0 est une variable ne
prenant qu’une seule valeur : l’infini. Elle vérifie

P [X > t] = 1 ∀ t ≥ 0.

L’état i est absorbant si et seulement si le temps de séjour en i est une

variable aléatoire exponentielle de paramètre αi = 0.
• Une variable exponentielle X de paramètre α = ∞ est une variable ne
prenant qu’une seule valeur : zéro.
J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 9
 Les chaı̂nes régulières

Une chaı̂ne de Markov à temps continu est régulière si, avec probabilité 1,
le nombre de transitions qu’elle effectue dans un intervalle de temps fini est
fini.

L’existence d’une constante c < ∞ telle que 0 ≤ αi < c pour tout i ∈ S

suffit à assurer la régularité d’une chaı̂ne de Markov. En particulier, toute
chaı̂ne possédant un nombre fini d’états est régulière.

Nous ne considérons ici que des chaı̂nes régulières.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 10

 Intensités de transition et de passage
Théorème 1. Les probabilités de transition d’une chaı̂ne de Markov à
temps continu, homogène et régulière admettent une dérivée à droite en
t = 0 égale à

d  pij (t) − pij (0) −αi si i = j
aij = pij (t) = lim =

dt t=0+ t→0 + t αiqij si i 6= j.
Pour t petit, on a
P [Xt = j | X0 = i] = pij (t) = aij t + o(t) i 6= j
et aij = αiqij est appelé intensité de transition de i à j. On a aussi
P [Xt 6= i | X0 = i] = 1 − pii(t) = −aiit + o(t)
et aii = −αi est appelé intensité de passage hors de i.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 11

 Matrice génératrice et graphe représentatif

La matrice A = (aij ) est appelée la matrice génératrice de la chaı̂ne.

Toute matrice génératrice vérifie

aij ≥ 0 i 6= j

et X
aij = 0 ∀ i ∈ S.
j∈S

On associe à la matrice génératrice A un graphe représentatif G = (V, E)

où V = S et E = {(i, j) | aij > 0}.
Propriété 1. Une chaı̂ne de Markov à temps continu est irréductible si et
seulement si son graphe représentatif est fortement connexe.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 12

 Équations de Kolmogorov
Rappelons que pour une fonction réelle f dérivable en 0, le développement
de Taylor de f d’ordre 1 est, pour h petit,

f (h) = f (0) + hf 0(0) + o(h).

Pour f (h) = P (h) (il faudrait, en fait, traiter chaque élément

successivement) on a

P (h) = P (0) + hP 0(0) + o(h) = I + hA + o(h).

Utilisant Taylor et Chapman-Kolomogorov, on obtient

P (t + h) = P (h)P (t) = (I + hA + o(h))P (t)

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 13
et
P (t + h) − P (t)
lim = AP (t).
h→0 h
On obtient ainsi les premières équations de Kolmogorov connues sous le
nom d’équations du futur

P 0(t) = AP (t).

Partant de

P (t + h) = P (t)P (h) = P (t)(I + hA + o(h))

on obtient également
P (t + h) − P (t)
lim = P (t)A.
h→0 h
J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 14
et les secondes équations de Kolmogorov connues sous le nom d’équations
du passé sont
P 0(t) = P (t)A.

Pour la condition initiale P (0) = I, les deux systèmes d’équations

différentielles P 0(t) = AP (t) et P 0(t) = P (t)A ont les mêmes solutions.

De plus, sous certaines conditions (toujours vérifiées si la chaı̂ne ne possède

qu’un nombre fini d’états), l’unique solution des équations de Kolmogorov
est, pour la condition initiale P (0) = I,
∞
X (At)k
P (t) = eAt = t≥0 (A0 = I).
k!
k=0

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 15

 Distribution initiale et comportement transitoire
Comme dans le cas à temps discret, l’état initial (au temps t = 0) de la
chaı̂ne est choisi selon une distribution initiale donnée par un vecteur de
probabilités π(0) vérifiant

πi(0) = P [X0 = i] ∀ i ∈ S.

La probabilité d’observer le processus dans l’état i au temps t est alors

X X
πi(t) = P [Xt = i] = P [X0 = j]P [Xt = i | X0 = j] = πj (0)pji(t)
j∈S j∈S

et
π(t) = π(0)P (t).

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 16

Le calcul exact ou approché de π(t) nécessite la résolution des équations de
Kolmogorov. Cet exercice n’est possible que dans les cas les plus simples.
Ainsi, comme pour les processus à temps discret, on s’intéresse le plus
souvent au comportement à long terme des chaı̂nes de Markov à temps
continu.
Les questions centrales de cette étude asymptotique ne sont pas différentes
entre le cas à temps discret et celui à temps continu :
• Sous quelles conditions la chaı̂ne est-elle asymtotiquement stationaire ?
• Quelle est la distribution asymptotique ? Est-elle indépendante de la
distribution initiale ?
• Quel est le pourcentage du temps passé dans un état donné ? Quel est
le temps moyen entre deux visites successives d’un état donné ?

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 17

 Comportement asymptotique des chaı̂nes homogènes,
régulières et irréductibles

Si une chaı̂ne possède une distribution asymptotique unique, elle doit être
irréductible (ou du moins ne posséder qu’une classe persistante).
Pour toute chaı̂ne irréductible, limt→∞ πj (t) existe et est indépendante de
π(0) :
lim πj (t) = lim pij (t) = πj∗
t→∞ t→∞

pour tout j ∈ S indépendamment de i.

De plus, si limt→∞ πj (t) = limt→∞ pij (t) existe, alors

lim πj0 (t) = lim p0ij (t) = 0.

t→∞ t→∞

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 18

Partant des équations du passé
X
p0ij (t) = pik (t)akj ∀ i, j ∈ S, ∀ t ≥ 0
k∈S

et prenant la limite lorsque t tend vers l’infini, les probabilités stationnaires

doivent vérifier X
0= πk∗akj ∀ j ∈ S.
k∈S

Sous forme matricielle, la distribution π est stationnaire si elle est solution

du système 
πA = 0
π1 = 1.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 19

Théorème 2. Soit {Xt, t ≥ 0} une chaı̂ne de Markov à temps continu,
homogène, régulière et irréductible. Les propriétés suivantes sont vérifiées.
• La suite {P (t), t ≥ 0} des matrices de transition du processus converge
vers une matrice P ∗ lorsque t tend vers l’infini.
• Les lignes de P ∗ sont toutes égales à un même vecteur π ∗.
• Soit πj∗ = 0 pour tout j ∈ S et la chaı̂ne est transitoire ou récurrente
nulle, soit πj∗ > 0 pour tout j ∈ S et la chaı̂ne est récurrente non nulle
• Si la chaı̂ne est récurrente non nulle, elle est ergodique. Dans ce cas, le
vecteur π ∗ est une distribution de probabilités et est la solution unique
du système 
πA = 0
π1 = 1.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 20

Les équations πA = 0 sont appelées les équations de bilan et s’écrivent
aussi X
−πiaii = πj aji ∀ i ∈ S.
j6=i

La partie gauche représente le taux de transition hors de l’état i et la partie

droite le taux de transition dans l’état i. Pour une distribution stationnaire,
ces deux taux doivent être égaux quel que soit l’état considéré.
La probabilité πi∗ est égale à la proportion du temps passé dans l’état i si le
système est observé suffisamment longtemps.
1
On peut également montrer que, pour tout i ∈ S, ∗ est égal à
πi αi
l’espérance du temps entre deux visites successives de l’état i.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 21

 Les processus de naissance et de mort

Un processus de naissance et de mort est une chaı̂ne de Markov à temps

continu,
• définie sur l’espace des états S = Z+ = {0, 1, 2, . . .} ou, éventuellement,
S = {0, 1, . . . , K} ;
• telle que depuis n’importe quel état i, les seules transitions possibles se
font soit vers l’état i − 1 (mort) soit vers l’état i + 1 (naissance).
Le plus souvent, l’état Xt du processus au temps t est interprété comme la
taille d’une population. Si cette taille est égale à i,
• le taux de naissance est λi = ai,i+1, i = 0, 1, 2 . . . ;
• le taux de mort est µi = ai−1,i, i = 1, 2 . . . (on a évidemment µ0 = 0).

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 22

 Graphe représentatif et matrice génératrice

µ1 µ2 µ3 µ4

0 1 2 3

λ0 λ1 λ2 λ3

 
−λ0 λ0

 µ1 −λ1 − µ1 λ1 

A= µ2 −λ2 − µ2 λ2
 

µ3 −λ3 − µ3 λ3
 
 

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 23

 Interprétation
Un gardant comme image l’évolution de la taille d’une population, l’état Xt
de la chaı̂ne au temps t représente le nombre d’individus vivants.
Lorsque la taille de la population est i,
I le temps avant la prochaine naissance est une variable aléaoire expo-
nentielle de paramètre λi ;
I le temps avant la prochaine mort est une variable aléatoire exponentielle
de paramètre µi.
Les deux variables précédentes sont indépendantes et le processus reste
dans l’état i pendant une durée aléatoire exponentielle de paramètre
αi = λi + µi.
Rappel. Le minimum de n variables exponentielles indépendantes de
Pn
paramètres λi est une variable exponentielle de paramètre i=1 λi.
J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 24
Lorsqu’il quitte l’état i, le processus se retrouve dans l’état i − 1 avec
probabilité
µi
qi,i−1 =
λi + µi
et dans l’état i + 1 avec probabilité
λi
qi,i+1 = .
λi + µi

La matrice de transition de la chaı̂ne sous-jacente est donc

 
0 1
 µ1 λ1
0

 λ1+µ1 λ1+µ1

µ2 λ2
 
Q=  λ2+µ2 0 λ2+µ2


µ3 λ3

 λ3+µ3 0 λ3+µ3



J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 25

 Distribution stationnaire

Si le processus de naissance et de mort est irréductible et régulier, le calcul

de sa distribution stationnaire, si elle existe, se ramène à la résolution des
équations de bilan πA = 0.
Elles s’écrivent



 0 = −λ0π0 +µ1π1

0 = λ 0 π0 −(λ1 + µ1)π1 +µ2π2






 0 = λ π
1 1 −(λ2 + µ2)π2 +µ3π3


 ···

0 = λk−2πk−2 −(λk−1 + µk−1)πk−1 +µk πk






 ···

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 26

ou, en isolant µiπi de l’équation i et en substitutant dans l’équation i + 1,



 µ1π1 = λ 0 π0

µ2π2 = λ1π1 + (µ1π1 − λ0π0) = λ1π1






 µ π
3 3 = λ2π2 + (µ2π2 − λ1π1) = λ2π2


 ···

µk πk = λk−1πk−1 + (µk−1πk−1 − λk−2πk−2) = λk−1πk−1






 ···

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 27

La solution de ce système, en fonction de π0, est

λ0

 π1 = π0
µ1






λ1 λ0 λ1




 π2 = π1 = π0



 µ2 µ1µ2


 λ2 λ0 λ1 λ2
π3 = π2 = π0 (1)

 µ3 µ1µ2µ3




 ···
 k
λk−1 λ0λ1 · · · λk−1 λi−1

 Y


 πk = πk−1 = π0 = π0



 µk µ1µ2 · · · µk i=1
µi

···



J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 28

 P∞
Pour déterminer π0, il suffit d’utiliser k=0 πk = 1, c’est-à-dire

∞ Y
k
!
X λi−1
π0 1 + = 1. (2)
i=1
µi
k=1

La condition d’existence d’une distribution stationnaire est donc

∞ Y
k
X λi−1
< ∞. (3)
µi
k=1 i=1

Si elle est vérifiée, le processus est ergodique et

lim πj (t) = πj∗ > 0 ∀j

t→∞

où πj∗ est donné par (1) et (2).

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 29

 Cas particulier : le processus de Poisson
Un processus de Poisson est un processus de naissance pur à taux constant :

λi = λ ∀i≥0 et µi = 0 ∀ i > 0.

De graphe représentatif

0 1 2 3
λ0 λ1 λ2 λ3

un tel processus n’admet évidemment pas de distribution stationnaire

(chaque état forme une classe à lui seul) mais est suffisamment simple pour
qu’on puisse résoudre les équations de Kolmogorov.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 30

Pour la condition initiale π0(0) = 1 et πi(0) = 0 pour i ≥ 1, les équations
du passé deviennent, pour t ≥ 0,

0

 π 0(t) = − λπ0(t)
 0

π1(t) = λπ0(t) − λπ1(t)
0

 π 2(t) = λπ1(t) − λπ2(t)
···



et leur solution est

(λt)i −λt
πi(t) = P [Xt = i | X0 = 0] = e i = 0, 1, . . . ; t ≥ 0.
i!
Autrement dit, πi(t) est une variable aléatoire de Poisson de paramètre λt.
Le processus de Poisson {Xt, t ≥ 0} est un processus de comptage
d’événements se produisant dans le temps, deux événements consécutifs
étant séparant par une durée aléatoire exponentielle de paramètre λ.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 31

 Cas particulier : la file d’attente M/M/1

La file M/M/1 est un processus très simple où les taux de naissance et de
mort sont constants :

λi = λ > 0 i = 0, 1, . . . et µi = µ > 0 i = 1, 2, . . .

µ µ µ µ

0 1 2 3

λ λ λ λ

Même pour ce cas très simple, la résolution des équations de Kolmogorov

est loin d’être triviale (elle est cependant possible à l’aide des transformées
de Laplace et des fonctions de Bessel).

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 32

Le calcul de la distribution stationnaire est, lui, beaucoup plus simple.
Posant
λ
ρ= ,
µ
la solution du système (1) n’est rien d’autre que

k k k
Y λi−1 Y λ Y
π k = π0 = π0 = π0 ρ = π 0 ρk .
i=1
µi i=1
µ i=1

La condition (3) se résume à

∞
X
ρk < ∞
k=1

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 33

et cette série géométrique converge si et seulement si

ρ < 1.

Cette condition de stabilité demande que le nombre de morts pas unité de

temps soit plus élevé que le nombre de naissances par unité de temps. Si
elle n’est pas satisfaite, la taille de la population augmente inexorablement
avec le temps.
Remarque. La chaı̂ne de Markov est irréductible quelque soit la valeur de ρ.
Cependant,
I si ρ > 1, tous les états sont transitoires et πi∗ = 0 pour tout i ;

I si ρ = 1, tous les états sont récurrents nuls et πi∗ = 0 pour tout i ;

I si ρ < 1, tous les états sont récurrents non nuls et πi∗ > 0 pour tout i.

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 34

Lorsque la file est stable ( ⇐⇒ ρ < 1), la valeur de π0 se déduit de (2) :
∞
!
X
π0 ρk = 1 ⇐⇒ π0 = 1 − ρ.
k=0

La distribution stationnaire est donc

πk∗ = (1 − ρ)ρk k = 0, 1, . . .
La probabilité que la population comporte au moins un individu est
P [X > 0] = 1 − P [X = 0] = 1 − π0∗ = ρ

et la taille moyenne de la population est

∞ ∞ ∞
X X X ρ
E [X] = kπk∗ = k(1 − ρ)ρk = ρ(1 − ρ) kρk−1 = .
1−ρ
k=0 k=0 k=1

J.-F. Hêche, ROSO-EPFL Chaı̂nes de Markov à temps continu 35