Les chaı̂nes de Markov à temps continu

• Définition et structure
I Probabilités et matrices de transition

I Classification

I Temps de séjour et chaı̂ne de Markov sous-jacente

I Intensités, matrice génératrice et graphe représentatif

• Équations de Kolmogorov : équations du futur et du passé

• Comportement asymptotique des chaı̂nes irréductibles
• Les processus de naissance et de mort
I Le processus de Poisson

I La file M/M/1

J.-F. Hêche, ROSO-IMA-SB-EPFL 336

 Définition d’une chaı̂ne de Markov à temps continu

Une chaı̂ne de Markov à temps continu est un processus stochastique

{Xt, t ≥ 0}, à temps continu, défini sur un espace d’états S fini ou
dénombrable et vérifiant la propriété de Markov

P [Xt+u = j | Xs, 0 ≤ s ≤ t] = P [Xt+u = j | Xt] ∀ j ∈ S, ∀ t, u ≥ 0.

Une chaı̂ne de Markov à temps continu est homogène (dans le temps) si

les probabilités précédentes sont indépendantes de t, c.-à-d. si

P [Xt+u = j | Xt = i] = P [Xu = j | X0 = i] ∀ i, j ∈ S, ∀ t, u ≥ 0.

Nous ne considérerons dès à présent que des processus homogènes !

J.-F. Hêche, ROSO-IMA-SB-EPFL 337

 Probabilités et matrices de transition

Pour une chaı̂ne de Markov homogène, nous noterons

pij (t) = P [Xt = j | X0 = i]

les probabilités de transition au temps t, et

P (t) = (pij (t))

la matrice (des probabilités) de transition au temps t.

Hypothèse. Nous supposerons toujours que P (0) = I.

J.-F. Hêche, ROSO-IMA-SB-EPFL 338

 Propriétés des matrices de transition
Si la famille de matrices {P (t), t ≥ 0} décrit les lois d’évolution d’une
chaı̂ne de Markov à temps continu, elle doit vérifier les deux propriétés
suivantes.
• Chaque matrice P (t) est une matrice stochastique.
pij (t) ≥ 0 ∀t≥0
X
pij (t) = 1 ∀ i ∈ S, ∀ t ≥ 0
j∈S
• Les équations de Chapman-Kolmogorov sont vérifiées.

P (t + u) = P (t)P (u) ∀ t, u ≥ 0.

Remarque. Les propriétés précédentes et l’hypothèse P (0) = I suffisent à

assurer la continuité des probabilités pij (t) (vues comme fonctions de t).

J.-F. Hêche, ROSO-IMA-SB-EPFL 339

 Classification des chaı̂nes de Markov à temps continu
I L’état j est accessible depuis l’état i s’il existe t ≥ 0 tel que

pij (t) > 0.

I Les états i et j communiquent s’ils sont accessibles l’un depuis l’autre,

c.-à-d. s’il existe t1 ≥ 0 et t2 ≥ 0 tel que

pij (t1) > 0 et pji(t2) > 0.

I Une chaı̂ne de Markov à temps continu est irréductible si tous ses

états communiquent deux à deux.
I Un état i est absorbant si pii(t) = 1, pour tout t ≥ 0.
Remarque. Une chaı̂ne de Markov à temps continu n’est jamais
périodique.
J.-F. Hêche, ROSO-IMA-SB-EPFL 340
 Structure des chaı̂nes de Markov à temps continu

• Temps de séjour

Supposons que l’état d’une chaı̂ne de Markov à l’instant t soit égal à i

(Xt = i). Elle va rester dans cet état pendant une durée aléatoire τi

I dont la loi ne dépend pas la valeur de t car le processus est

homogène ;

I dont la loi est sans mémoire car, le processus étant markovien, son
évolution au-delà de t est indépendante de son passé une fois l’état
Xt connu.

Le temps de séjour τi dans l’état i est une variable aléatoire exponen-

tielle de paramètre αi ne dépendant que de i.

J.-F. Hêche, ROSO-IMA-SB-EPFL 341

• Probabilités de passage

Lorsque la chaı̂ne de Markov quitte l’état i, elle se déplace dans l’état

j avec probabilité qij . Cette probabilité est

I indépendante de la valeur de t car le processus est homogène ;

I indépendante de la valeur de τi car le processus est markovien.

La suite des états visités par une chaı̂ne de Markov à temps continu
forme une chaı̂ne de Markov à temps discret. Cette dernière est appelée
chaı̂ne de Markov sous-jacente ou induite et sa matrice de transition
sera notée Q = (qij ).

J.-F. Hêche, ROSO-IMA-SB-EPFL 342

 La loi exponentielle
Une variable aléatoire X est une variable aléatoire exponentielle de
paramètre α (α > 0) si

1 − e−αx

x≥0
P [X ≤ x] = F (x) =
0 x < 0.

La densité de X est
αe−αx

x≥0
f (x) =
0 x < 0.

L’espérance et la variance de X sont

1 1
E [X] = V ar[X] = 2 .
α α
J.-F. Hêche, ROSO-IMA-SB-EPFL 343
La loi exponentielle est la seule loi continue sans mémoire. Plus
précisément, on a

P [X > t + u | X > t] = P [X > u] ∀ t ≥ 0 et ∀ u > 0.

Cas particuliers.
• Une variable exponentielle X de paramètre α = 0 est une variable ne
prenant qu’une seule valeur : l’infini. Elle vérifie

P [X > t] = 1 ∀ t ≥ 0.

L’état i est absorbant si et seulement si le temps de séjour en i est

une variable aléatoire exponentielle de paramètre αi = 0.
• Une variable exponentielle X de paramètre α = ∞ est une variable
ne prenant qu’une seule valeur : zéro.
J.-F. Hêche, ROSO-IMA-SB-EPFL 344
 Les chaı̂nes régulières

Une chaı̂ne de Markov à temps continu est régulière si, avec probabilité
1, le nombre de transitions qu’elle effectue dans un intervalle de temps
fini est fini.

L’existence d’une constante c < ∞ telle que 0 ≤ αi < c pour tout i ∈ S

suffit à assurer la régularité d’une chaı̂ne de Markov. En particulier, toute
chaı̂ne possédant un nombre fini d’états est régulière.

Nous ne considérons ici que des chaı̂nes régulières.

J.-F. Hêche, ROSO-IMA-SB-EPFL 345

 Intensités de transition et de passage
Théorème 44. Les probabilités de transition d’une chaı̂ne de Markov à
temps continu, homogène et régulière admettent une dérivée à droite en
t = 0 égale à

d  pij (t) − pij (0) −αi si i = j
aij = pij (t) = lim =

dt t=0+ t→0+ t αiqij si i 6= j.

Pour t petit, on a
P [Xt = j | X0 = i] = pij (t) = aij t + o(t) i 6= j
et aij = αiqij est appelé intensité de transition de i à j. On a aussi
P [Xt 6= i | X0 = i] = 1 − pii(t) = −aiit + o(t)
et aii = −αi est appelé intensité de passage hors de i.
J.-F. Hêche, ROSO-IMA-SB-EPFL 346
 Matrice génératrice et graphe représentatif
La matrice A = (aij ) est appelée la matrice génératrice de la chaı̂ne.
Toute matrice génératrice vérifie

aij ≥ 0 i 6= j

et X
aij = 0 ∀ i ∈ S.
j∈S

On associe à la matrice génératrice A un graphe représentatif

G = (V, E) où V = S et E = {(i, j) | aij > 0}.

Propriété 16. Une chaı̂ne de Markov à temps continu est irréductible si

et seulement si son graphe représentatif est fortement connexe.

J.-F. Hêche, ROSO-IMA-SB-EPFL 347

 Équations de Kolmogorov
Rappelons que pour une fonction réelle f dérivable en 0, le
développement de Taylor de f d’ordre 1 est, pour h petit,

f (h) = f (0) + hf 0(0) + o(h).

Pour f (h) = P (h) (il faudrait, en fait, traiter chaque élément

successivement) on a

P (h) = P (0) + hP 0(0) + o(h) = I + hA + o(h).

Utilisant Taylor et Chapman-Kolomogorov, on obtient

P (t + h) = P (h)P (t) = (I + hA + o(h))P (t)

J.-F. Hêche, ROSO-IMA-SB-EPFL 348
et
P (t + h) − P (t)
lim = AP (t).
h→0 h
On obtient ainsi les premières équations de Kolmogorov connues sous le
nom d’équations du futur

P 0(t) = AP (t).

Partant de

P (t + h) = P (t)P (h) = P (t)(I + hA + o(h))

on obtient également
P (t + h) − P (t)
lim = P (t)A.
h→0 h
J.-F. Hêche, ROSO-IMA-SB-EPFL 349
et les secondes équations de Kolmogorov connues sous le nom
d’équations du passé sont

P 0(t) = P (t)A.

Pour la condition initiale P (0) = I, les deux systèmes d’équations

différentielles P 0(t) = AP (t) et P 0(t) = P (t)A ont les mêmes solutions.

De plus, sous certaines conditions (toujours vérifiées si la chaı̂ne ne

possède qu’un nombre fini d’états), l’unique solution des équations de
Kolmogorov est, pour la condition initiale P (0) = I,
∞
X (At)k
P (t) = eAt = t≥0 (A0 = I).
k!
k=0

J.-F. Hêche, ROSO-IMA-SB-EPFL 350

 Distribution initiale et comportement transitoire

Comme dans le cas à temps discret, l’état initial (au temps t = 0) de la

chaı̂ne est choisi selon une distribution initiale donnée par un vecteur
de probabilités π(0) vérifiant

πi(0) = P [X0 = i] ∀ i ∈ S.

La probabilité d’observer le processus dans l’état i au temps t est alors

X X
πi(t) = P [Xt = i] = P [X0 = j]P [Xt = i | X0 = j] = πj (0)pji(t)
j∈S j∈S

et
π(t) = π(0)P (t).

J.-F. Hêche, ROSO-IMA-SB-EPFL 351

Le calcul exact ou approché de π(t) nécessite la résolution des équations
de Kolmogorov. Cet exercice n’est possible que dans les cas les plus
simples. Ainsi, comme pour les processus à temps discret, on s’intéresse
le plus souvent au comportement à long terme des chaı̂nes de Markov à
temps continu.
Les questions centrales de cette étude asymptotique ne sont pas
différentes entre le cas à temps discret et celui à temps continu :
• Sous quelles conditions la chaı̂ne est-elle asymtotiquement statio-
naire ?
• Quelle est la distribution asymptotique ? Est-elle indépendante de la
distribution initiale ?
• Quel est le pourcentage du temps passé dans un état donné ? Quel
est le temps moyen entre deux visites successives d’un état donné ?

J.-F. Hêche, ROSO-IMA-SB-EPFL 352

 Comportement asymptotique des chaı̂nes homogènes,
régulières et irréductibles

Si une chaı̂ne possède une distribution asymptotique unique, elle doit

être irréductible (ou du moins ne posséder qu’une classe persistante).
Pour toute chaı̂ne irréductible, limt→∞ πj (t) existe et est indépendante
de π(0) :
lim πj (t) = lim pij (t) = πj∗
t→∞ t→∞

pour tout j ∈ S indépendamment de i.

De plus, si limt→∞ πj (t) = limt→∞ pij (t) existe, alors

lim πj0 (t) = lim p0ij (t) = 0.

t→∞ t→∞

J.-F. Hêche, ROSO-IMA-SB-EPFL 353

Partant des équations du passé
X
p0ij (t) = pik (t)akj ∀ i, j ∈ S, ∀ t ≥ 0
k∈S

et prenant la limite lorsque t tend vers l’infini, les probabilités

stationnaires doivent vérifier
X
0= πk∗akj ∀ j ∈ S.
k∈S

Sous forme matricielle, la distribution π est stationnaire si elle est

solution du système 
πA = 0
π1 = 1.

J.-F. Hêche, ROSO-IMA-SB-EPFL 354

Théorème 45. Soit {Xt, t ≥ 0} une chaı̂ne de Markov à temps continu,
homogène, régulière et irréductible. Les propriétés suivantes sont vérifiées.
• La suite {P (t), t ≥ 0} des matrices de transition du processus
converge vers une matrice P ∗ lorsque t tend vers l’infini.
• Les lignes de P ∗ sont toutes égales à un même vecteur π ∗.
• Soit πj∗ = 0 pour tout j ∈ S et la chaı̂ne est transitoire ou récurrente
nulle, soit πj∗ > 0 pour tout j ∈ S et la chaı̂ne est récurrente non
nulle
• Si la chaı̂ne est récurrente non nulle, elle est ergodique. Dans ce cas,
le vecteur π ∗ est une distribution de probabilités et est la solution
unique du système 
πA = 0
π1 = 1.

J.-F. Hêche, ROSO-IMA-SB-EPFL 355

Les équations πA = 0 sont appelées les équations de bilan et s’écrivent
aussi X
−πiaii = πj aji ∀ i ∈ S.
j6=i

La partie gauche représente le taux de transition hors de l’état i et la

partie droite le taux de transition dans l’état i. Pour une distribution
stationnaire, ces deux taux doivent être égaux quel que soit l’état
considéré.
La probabilité πi∗ est égale à la proportion du temps passé dans l’état i si
le système est observé suffisamment longtemps.
1
On peut également montrer que, pour tout i ∈ S, ∗ est égal à
πi αi
l’espérance du temps entre deux visites successives de l’état i.

J.-F. Hêche, ROSO-IMA-SB-EPFL 356

 Les processus de naissance et de mort

Un processus de naissance et de mort est une chaı̂ne de Markov à

temps continu,
• définie sur l’espace des états S = Z+ = {0, 1, 2, . . .} ou,
éventuellement, S = {0, 1, . . . , K} ;
• telle que depuis n’importe quel état i, les seules transitions possibles
se font soit vers l’état i − 1 (mort) soit vers l’état i + 1 (naissance).
Le plus souvent, l’état Xt du processus au temps t est interprété comme
la taille d’une population. Si cette taille est égale à i,
• le taux de naissance est λi = ai,i+1, i = 0, 1, 2 . . . ;
• le taux de mort est µi = ai−1,i, i = 1, 2 . . . (on a évidemment
µ0 = 0).

J.-F. Hêche, ROSO-IMA-SB-EPFL 357

 Graphe représentatif et matrice génératrice

µ1 µ2 µ3 µ4

0 1 2 3

λ0 λ1 λ2 λ3

 
−λ0 λ0

 µ1 −λ1 − µ1 λ1 

A= µ2 −λ2 − µ2 λ2
 

µ3 −λ3 − µ3 λ3
 
 

J.-F. Hêche, ROSO-IMA-SB-EPFL 358

 Interprétation
Un gardant comme image l’évolution de la taille d’une population, l’état
Xt de la chaı̂ne au temps t représente le nombre d’individus vivants.
Lorsque la taille de la population est i,
I le temps avant la prochaine naissance est une variable aléaoire
exponentielle de paramètre λi ;
I le temps avant la prochaine mort est une variable aléatoire exponen-
tielle de paramètre µi.
Les deux variables précédentes sont indépendantes et le processus reste
dans l’état i pendant une durée aléatoire exponentielle de paramètre
αi = λi + µi.
Rappel. Le minimum de n variables exponentielles indépendantes de
Pn
paramètres λi est une variable exponentielle de paramètre i=1 λi.
J.-F. Hêche, ROSO-IMA-SB-EPFL 359
Lorsqu’il quitte l’état i, le processus se retrouve dans l’état i − 1 avec
probabilité
µi
qi,i−1 =
λi + µi
et dans l’état i + 1 avec probabilité
λi
qi,i+1 = .
λi + µi

La matrice de transition de la chaı̂ne sous-jacente est donc

 
0 1
 µ1 λ1
0

 λ1+µ1 λ1+µ1

µ λ2
 
2
Q=  λ2+µ2 0 λ2+µ2


µ3 λ3

 λ3+µ3 0 λ3+µ3



J.-F. Hêche, ROSO-IMA-SB-EPFL 360

 Distribution stationnaire

Si le processus de naissance et de mort est irréductible et régulier, le

calcul de sa distribution stationnaire, si elle existe, se ramène à la
résolution des équations de bilan πA = 0.
Elles s’écrivent



 0 = −λ0π0 +µ1π1

0 = λ 0 π0 −(λ1 + µ1)π1 +µ2π2






 0 = λ π
1 1 −(λ2 + µ2)π2 +µ3π3


 ···

0 = λk−2πk−2 −(λk−1 + µk−1)πk−1 +µk πk






 ···

J.-F. Hêche, ROSO-IMA-SB-EPFL 361

ou, en isolant µiπi de l’équation i et en substitutant dans l’équation
i + 1,



 µ1π1 = λ0π0

µ2π2 = λ1π1 + (µ1π1 − λ0π0) = λ1π1






 µ π = λ π + (µ π − λ π ) = λ π
3 3 2 2 2 2 1 1 2 2


 ···

µk πk = λk−1πk−1 + (µk−1πk−1 − λk−2πk−2) = λk−1πk−1






 ···

J.-F. Hêche, ROSO-IMA-SB-EPFL 362

La solution de ce système, en fonction de π0, est

λ0

 π1 = π0
µ1






λ1 λ0 λ1




 π2 = π1 = π0



 µ2 µ1µ2


 λ2 λ0 λ1 λ2
π3 = π2 = π0 (3)

 µ3 µ1µ2µ3




 ···
 k
λk−1 λ0λ1 · · · λk−1 λi−1

 Y


 πk = πk−1 = π0 = π0



 µk µ1µ2 · · · µk i=1
µi

···



J.-F. Hêche, ROSO-IMA-SB-EPFL 363

 P∞
Pour déterminer π0, il suffit d’utiliser k=0 πk = 1, c’est-à-dire

∞ Y
k
!
X λi−1
π0 1 + = 1. (4)
i=1
µi
k=1

La condition d’existence d’une distribution stationnaire est donc

∞ Y
k
X λi−1
< ∞. (5)
µi
k=1 i=1

Si elle est vérifiée, le processus est ergodique et

lim πj (t) = πj∗ > 0 ∀j

t→∞

où πj∗ est donné par (3) et (4).

J.-F. Hêche, ROSO-IMA-SB-EPFL 364

 Cas particulier : le processus de Poisson

Un processsus de Poisson est un processus de naissance pur à taux

constant :

λi = λ ∀i≥0 et µi = 0 ∀ i > 0.

De graphe représentatif

0 1 2 3
λ λ λ λ
un tel processus n’admet evidemment pas de distribution stationnaire
(chaque état forme une classe à lui seul) mais est suffisamment simple
pour qu’on puisse résoudre les équations de Kolmogorov.

J.-F. Hêche, ROSO-IMA-SB-EPFL 365

Pour la condition initiale π0(0) = 1 et πi(0) = 0 pour i ≥ 1, les
équations du passé deviennent, pour t ≥ 0,

0

 π 0(t) = − λπ0(t)
 0

π1(t) = λπ0(t) − λπ1(t)
0

 π 2(t) = λπ1(t) − λπ2(t)
···


et leur solution est

(λt)i −λt
πi(t) = P [Xt = i | X0 = 0] = e i = 0, 1, . . . ; t ≥ 0.
i!
Autrement dit, πi(t) est une variable aléatoire de Poisson de paramètre
λt. Le processus de Poisson {Xt, t ≥ 0} est un processus de comptage
d’événements se produisant dans le temps, deux événements consécutifs
étant séparant par une durée aléatoire exponentielle de paramètre λ.
J.-F. Hêche, ROSO-IMA-SB-EPFL 366
 Cas particulier : la file d’attente M/M/1

La file M/M/1 est un processus très simple où les taux de naissance et
de mort sont constants :

λi = λ > 0 i = 0, 1, . . . et µi = µ > 0 i = 1, 2, . . .

µ µ µ µ

0 1 2 3

λ λ λ λ

Même pour ce cas très simple, la résolution des équations de Kolmogorov

est loin d’être triviale (elle est cependant possible à l’aide des
transformées de Laplace et des fonctions de Bessel).
J.-F. Hêche, ROSO-IMA-SB-EPFL 367
Le calcul de la distribution stationnaire est, lui, beaucoup plus simple.
Posant
λ
ρ= ,
µ
la solution du système (3) n’est rien d’autre que

k k k
Y λi−1 Y λ Y
πk = π0 = π0 = π0 ρ = π 0 ρk .
i=1
µi i=1
µ i=1

La condition (5) se résume à

∞
X
ρk < ∞
k=1

J.-F. Hêche, ROSO-IMA-SB-EPFL 368

et cette série géométrique converge si et seulement si

ρ < 1.

Cette condition de stabilité demande que le nombre de morts pas unité

de temps soit plus élevé que le nombre de naissances par unité de temps.
Si elle n’est pas satisfaite, la taille de la population augmente
inéxorablement avec le temps.
Remarque. La chaı̂ne de Markov est irréductible quelque soit la valeur de
ρ. Cependant,
I si ρ > 1, tous les états sont transitoires et πi∗ = 0 pour tout i ;

I si ρ = 1, tous les états sont récurrents nuls et πi∗ = 0 pour tout i ;

I si ρ < 1, tous les états sont récurrents non nuls et πi∗ > 0 pour tout i.

J.-F. Hêche, ROSO-IMA-SB-EPFL 369

Lors que la file est stable, i.e. lorsque ρ < 1, la valeur de π0 se déduit
de (4) :
∞
!
X
π0 ρk = 1 ⇐⇒ π0 = 1 − ρ.
k=0

La distribution stationnaire est donc

πk∗ = (1 − ρ)ρk k = 0, 1, . . .

La probabilité que la population comporte au moins un individu est

P [X > 0] = 1 − P [X = 0] = 1 − π0∗ = ρ

J.-F. Hêche, ROSO-IMA-SB-EPFL 370

et la taille moyenne de la population est
∞
X ∞
X ∞
X
E [X] = kπk∗ = k(1 − ρ)ρk = ρ(1 − ρ) kρk−1
k=0 k=0 k=1
∞
!  
d X
k d ρ ρ
= ρ(1 − ρ) ρ = ρ(1 − ρ) = .
dρ dρ 1 − ρ 1−ρ
k=1

J.-F. Hêche, ROSO-IMA-SB-EPFL 371