U.F.R.

de Mathématiques
Master 2 ISN 2015-2016
Chaînes de Markov

Corrigé de l’examen du 3 décembre 2015

Les processus de naissance et de mort sont utilisés pour modéliser l’évolution de

la taille d’une population. Ce sont des chaînes de Markov en temps continu, à valeurs
dans l’espace d’états N, et telles que les seules transitions possibles à partir d’un état
k soient vers k + 1 (naissance) ou vers k − 1 (mort). Le générateur infinitésimal de ces
processus de saut pur est donc de la forme
 
−λ0 λ0 0 0 ... ... ...
µ1 −(λ1 + µ1 ) λ1 0 ... ... ...
 
 
 

 0 µ2 −(λ2 + µ2 ) λ2 0 ... ... 

A=
 .. 
(1)

 . 0 µ3 −(λ3 + µ3 ) λ3 0 ... 

 .. .. .. .. .. .. 

 . . 0 . . . . 


.. .. .. ... ... ... ..

. . . .
On admettra qu’un générateur infinitésimal de cette forme est caractéristique d’un
processus de naissance et de mort.

I. Quelques exemples [10 points]

1) [2 points] Soit (Nt )t≥0 un processus de Poisson d’intensité λ > 0. On sait que
(Nt )t≥0 est un processus de saut pur, à valeurs entières. Donner une matrice de tran-
sition P et une application Λ : N → R∗+ qui correspondent à ce processus de saut
pur.
Par construction, lorsque le processus de Poisson Nt effectue une transition,
c’est pour passer de l’état courant à cet état courant +1. Par ailleurs,
le temps entre deux transitions consécutives suit une loi exponentielle de
paramètre λ, quel que soit l’état courant. Autrement dit, pour tout n ∈ N,

P (n, n + 1) = 1 et Λ(n) = λ.

Comme λ > 0, la fonction Λ est bien à valeurs dans R∗+ .

2) [1 point] En déduire le générateur infinitésimal de (Nt )t≥0 , puis que ce processus
est bien un processus de naissance et de mort.
L’expression du générateur infinitésimal d’un processus de saut pur défini
par une matrice de transition P et une application Λ est donnée par :

A(i, j) = Λ(i)P (i, j) si i 6= j et A(i, i) = −Λ(i)(1 − P (i, i)).

Dans le cas du processus de Poisson, à partir des expressions de P et Λ

données ci-dessus, on obtient, pour tout n ∈ N,

A(n, n + 1) = λ et A(n, n) = −λ.

 Ce générateur infinitésimal est donc bien de la forme caractéristique du
générateur infinitésimal d’un processus de naissance et de mort, avec λi = λ,
µi+1 = 0, pour tout i ≥ 0. Le processus de Poisson (Nt )t≥0 est donc bien
un processus de naissance et mort.
3) [0,5 point] Quelle est la particularité de ce processus de naissance et de mort ?
Comme les seules transitions possibles pour le processus de Poisson sont
d’un état n vers un état n + 1, ce processus de naissance et de mort est en
fait un processus seulement de naissance.

4) [2 points] On souhaite dans ce deuxième exemple modéliser l’évolution d’un

système composé d’appareils indépendants dont les durées de vie suivent une même
loi exponentielle de paramètre µ > 0. On appelle Xt le nombre d’appareils encore en
vie à l’instant t, on admet que (Xt )t≥0 est une chaîne de Markov en temps continu. Si
X0 = n ≥ 1, quelle est la loi du premier instant où se produit une transition ? Et quelle
est cette transition ?
Dans le cas où X0 = n ≥ 1, la première transition se produit lorsqu’a lieu
la première panne (ou mort) d’un de ces n appareils. Autrement dit, cette
première transition se produit au minimum des temps de vie des n appareils.
Chaque appareil ayant une durée de vie de loi exponentielle de paramètre
µ, et ces durées de vie étant supposées indépendantes (les appareils le sont),
le minimum de ces n variables aléatoires suit alors une loi exponentielle de
paramètre nµ.
Enfin, comme la loi commune des durées de vie est à densité, on ne peut
avoir plus d’un appareil qui meurt à un instant donné. La transition qui
s’effectue est donc de l’état n vers l’état n − 1.
5) [1,5 points] En déduire le générateur infinitésimal de (Xt )t≥0 , puis que ce pro-
cessus est bien un processus de naissance et de mort.
On peut formaliser ce qui précède en écrivant que la chaîne de Markov
(Xt )t≥0 est définie par le couple (Λ, P ) tel que

Λ(n) = nµ, P (n, n − 1) = 1 si n > 0 et Λ(0) = c, P (0, 0) = 1,

où c est une constante strictement positive quelconque : en effet, comme

P (0, 0) = 1, peu importe le paramètre de l’exponentielle qui modélise le
temps passé en 0, puisque quand cette horloge sonne, on reste en 0.
À partir de là, on en déduit le générateur infinitésimal de ce processus :
pour n > 0
A(n, n − 1) = nµ et A(n, n) = −nµ,
et tous les autres termes du générateur sont nuls. Il est donc bien de la
forme caractéristique d’un processus de naissance et de mort, avec

λi = 0 pour tout i ∈ N et µi = iµ pour tout i ≥ 1.

En conclusion, le processus (Xt )t≥0 est un processus de naissance et de

mort, présentant uniquement des morts.

2
 6) [1,5 points] Dans ce cas particulier, la loi de Xt sachant que X0 = N se calcule :
montrer que Xt suit la loi binomiale de paramètres N et e−µt .
Si l’on travaille conditionnellement à X0 = N , alors pour tout t > 0, le
nombre d’appareils encore en vie à l’instant t, Xt , peut prendre les valeurs
0, 1, . . . , N . Pour k ∈ {0, 1, . . . , N }, {Xt = k} signifie que k appareils sont
encore en vie à l’instant t, et N − k sont morts avant l’instant t. La proba-
bilité d’être encore en vie à l’instant t est la même pour tous les appareils :
c’est e−µt , puisque la durée de vie des appareils suit la loi exponentielle de
paramètre µ. Enfin, les appareils sont indépendants, donc il y a indépen-
dance des évènements « l’appareil i est encore en vie à l’instant t », pour i
variant entre 1 et N .
Au total, pour k ∈ {0, 1, . . . , N },

P(Xt = k|X0 = N ) = CNk (e−µt )k (1 − e−µt )N −k ,

la loi de Xt sachant X0 = N est donc la loi binomiale de paramètre (N, e−µt ).

7) [1,5 points] Soit maintenant (Xt )t≥0 une file d’attente M/M/1, λ > 0 étant
le paramètre de la loi exponentielle des inter-arrivées, µ > 0 le paramètre de la loi
exponentielle des temps de service. Rappeler ce que vaut le générateur infinitésimal
dans ce cas, et en déduire que la file d’attente (Xt )t≥0 est un processus de naissance et
mort.
Le générateur infinitésimal d’une telle file d’attente est donné par
 
−λ λ 0 0 ... ... ...
µ −(λ + µ) λ 0 ... ... ... 
 

 

 0 µ −(λ + µ) λ 0 ... ... 
A=
 .. 

 . 0 µ −(λ + µ) λ 0 ... 
 .. .. ... ... ... ... 
. . 0
 
 

.. .. .. ... ... ... ...

. . .

Sa forme correspond donc à celle, caractéristique, du générateur d’un pro-

cessus de naissance et mort, avec λi = λ et µi+1 = µ pour tout i ≥ 0 : les
files d’attente M/M/1 sont des processus de naissance et mort.

II. Comportement en temps long [7 points]

On s’intéresse dans cette partie au comportement en temps long des processus

de naissance et de mort, et en particulier à l’existence d’un régime stationnaire, qui
correspond à l’existence d’une probabilité sur N, π, qui est invariante pour ce processus.
Cette invariance se caractérise par l’équation

πA = 0,

où A est le générateur infinitésimal du processus donné par l’équation (1).

3
 8) [1 point] Écrire les équations de récurrence vérifiées par π.
La première colonne de la matrice A est la seule qui est différente de toutes
les autres. Ceci conduit aux deux « équations » suivantes :
−λ0 π0 + µ1 π1 = 0 et λn πn − (λn+1 + µn+1 )πn+1 + µn+2 πn+2 = 0 ∀n ≥ 0.

9) [1 point] Montrer qu’elles sont équivalentes au système d’équations µn πn =

λn−1 πn−1 pour tout n ≥ 1.
Ce système infini d’équations se réécrit
µ 1 π1 = λ 0 π0 et µn+2 πn+2 − λn+1 πn+1 = µn+1 πn+1 − λn πn ∀n ≥ 0.
Il est alors immédiat que la première équation permet d’initialiser la récur-
rence, et que les autres équations entraînent l’hérédité de la propriété. On
a donc finalement l’équivalence avec le système infini d’équations suivant :
µn+1 πn+1 = λn πn ∀n ≥ 0.

10) [1,5 points] En déduire l’expression de πn en fonction de π0 , pour tout n ≥ 1,

puis une condition nécessaire et suffisante d’existence de la probabilité invariante π.
On suppose ici que µn > 0 pour tout n ≥ 1. Les équations ci-dessus se
réécrivent alors πn+1 = µλn+1
n
πn pour tout n ≥ 0, ce qui conduit finalement
à
λn−1 λn−2 · · · λ0
πn = π0 ∀n ≥ 1.
µn µn−1 · · · µ1
Il existe alors une probabilité invariante si et seulement si la série des πn
converge, autrement dit si et seulement si
+∞
X λn−1 λn−2 · · · λ0
< +∞. (2)
n=1 µn µn−1 · · · µ1

11) [0,5 points] Dans le cas où cette probabilité invariante existe, donner l’expression
de π0 .
On suppose que la convergence (2) a lieu. On détermine alors π0 via la
P
condition de normalisation n≥0 πn = 1. Celle-ci s’écrit dans notre cas
+∞ +∞
!
X λn−1 λn−2 · · · λ0
X X λn−1 λn−2 · · · λ0
1= πn = π0 + π0 = π0 1 + ,
n≥0 n=1 µn µn−1 · · · µ1 n=1 µn µn−1 · · · µ1

+∞
!−1
λn−1 λn−2 · · · λ0
X
d’où π0 = 1 + .
n=1 µn µn−1 · · · µ1
12) [1 point] Dans le cas particulier des files d’attente M/M/1 étudié Question 7, ré-
écrire la condition d’existence d’une probabilité invariante, et en déduire une condition
s’exprimant simplement en fonction de λ et µ.
Dans le cas des files d’attente M/M/1, on a λn = λ et µn+1 = µ pour tout
n ≥ 0. La condition d’existence d’une probabilité invariante (2) se réécrit
alors +∞ n
P
n=1 (λ/µ) < +∞, et comme on reconnaît une série géométrique, on
sait que la convergence a lieu si et seulement si |λ/µ| < 1, autrement dit si
et seulement si λ < µ, puisque ces quantités sont positives.

4
 13) [1 point] Dans ce cas, donner la probabilité invariante associée à la file d’attente.
On suppose que λ < µ. On a πn = (λ/µ)n π0 pour tout n ≥ 0, et
+∞
!n !−1 +∞
!n !−1 !−1
X λ X λ 1 µ−λ
π0 = 1 + = = = ,
n=1 µ n=0 µ 1 − λ/µ µ
!n !
λ µ−λ
et πn = pour tout n ≥ 0.
µ µ
14) [1 point] Quelle est la longueur moyenne de la file d’attente en régime station-
naire ?
En régime stationnaire, la longueur moyenne de la file d’attente L est don-
P
née par L = n≥0 nπn . Cette égalité s’écrit dans notre cas
!n ! !n−1
Xλ µ−λ λ(µ − λ) X λ
L= n = 2
n .
n≥0 µ µ µ n≥1 µ

n(λ/µ)n−1 est égale à

P
Comme 0 < λ/µ < 1, la somme de la série n≥1
f 0 (λ/µ), où
1
xn =
X
f (x) = , pour x ∈] − 1, 1[.
n≥0 1−x

D’où
λ(µ − λ) 1 λ
L= × = .
µ 2 (1 − λ/µ)2 µ−λ