Chapitre 4

Les Chaînes de Markov à temps continu (Processus de Markov)

4.1 Définition
Les chaînes de Markov à temps discret sont définies par pnn’, les probabilités de transitions
entre la date i et la date i+1. Lorsque le temps varie d’une façon continue on ne peut pas parler
de date et donc, cette définition ne peut pas s’appliquer. Les chaînes de Markov à temps
continu sont caractérisées par le taux instantané de transitions de n vers n’ ≠ n ; autrement
dit, on considère le système au moment où il quitte l’état n qu’il occupe actuellement. Plus
précisément, une Chaîne de Markov à temps continu homogène et régulière (Processus de
Markov) est un processus aléatoire qui vérifie les 3 propriétés suivantes:

1) Absence de mémoire: L’évolution future de la chaîne dépend de son état à la date la plus
récente. Ce qui s’exprime par :
P(Xt+s = n’ /Xu = n, 0 ≤ u ≤ t ) = P(Xt+s = n’ / Xt = n) (1)

2) Homogénéité: Les probabilités de transitions ne dépendent pas de l’instant à partir duquel

les transitions ont lieu (invariantes par translation parallèle à l’axe du temps):

P(Xt+s = n’ /Xt = n) = P(Xs = n’ / X0 = n) (2)

3) Régularité : Les probabilités de transitions pendant dt sont proportionnelles à dt.

P(Xt+dt = n’ / Xt = n ) = pnn’(dt) = λ nn’dt+ o(dt) si n ≠ n’ (3)

P( Xt+dt = n / Xt = n ) = pnn(dt) =1- λ ndt + o(dt) (4)

λ n= ∑λ
n '≠n
nn ' (5)

Les relation (3) et (4) peuvent s’écrire :

P nn ' ( dt )
λ nn ' = lim = p’nn’(0) n ≠ n’ (6)
dt → 0 dt
P nn ( dt ) − 1
− λ n = lim (7)
dt → 0 dt

λ nn ' = taux instantané de transition de n vers n’

λn = taux instantané de sortie de l’état n
= fréquence avec laquelle le processus quitte l’état n qu’il occupe
actuellement.
Un état n est absorbant si λ n = 0 et stable si 0 < λ n < ∞ .
Les deux relations (6) et (7) caractérisent les chaînes de Markov régulières et peuvent s’écrire
également :
d p nn ' (t ) − p nn '( 0 )
p nn ' (t ) t =0 = lim = λnn '
dt t →0 t

44
Ecole Militaire Polytechnique Chapitre 4

⎧1 si n=n'
Car pnn’(0) = δnn' =⎨
⎩0 sinon
Si n ≠ n’, on a la relation (6), sinon on a la relation (7).

4.2 Loi de probabilité de la VA, θ n = durée de séjour dans l’état n

Soit H(t) la fonction de répartition complémentaire de θ n
H(t) = Pr( θ n ≥ t) = 1 - F(t) (8)

La probabilité de rester dans l’état n pendant t +dt est

H(t +dt) = Pr( θ n ≥ t + dt)

= Pr( θ n ≥ t)(1 - λ n dt) (Pnn(dt) = 1 - λ n dt)

= H(t) )(1 - λn dt)

Cette relation peut s’écrire

H (t + dt) − H (t)
= H ' (t) = −λn H (t)
dt

H ' (t )
= −λn
H (t )
Equation différentielle dont l’intégrale est

ln(H(t)) = - λ n t + c

−λnt
H ( t ) = ce
et
H(0) = 1 donne

H(t) = exp(- λ n t) (9)

Et
F(t) = Pr( θ n ≤ t) (10)

= 1 - Pr( θ n ≥ t)

= 1 – H(t)

−λ t
F(t) = 1 - e n (11)

f(t)= dF = λ n exp(- λ n t) (12)

dt
θ n Suit donc, la loi exponentielle de paramètre λ n

45
Ecole Militaire Polytechnique Chapitre 4

Temps moyen de séjour dans l’état n : θ = 1 (13)

λn
Un processus de Markov peut donc être caractérisé de la manière suivante:
i) Lorsque le système est dans l’état n, il y reste un temps θ n ; la loi de θ n étant exponentielle
de paramètre λn .

ii) Lorsque le système quitte l’état n, il choisit l’état n’ avec la probabilité

λ nn '
qnn’ = indépendante de l’histoire antérieure et de l’instant auquel la transition a lieu.
λn

4.3 Graphe de transitions

A un processus de Markov homogène {Xt}, on associe un graphe G = ( X, U) oû X est en

bijection avec l’ensemble des états et:
(n,n’) ∈ U ⇔ λnn' > 0
Les arcs sont valués par les taux de transition.
Ce graphe est identique au graphe associé à une chaîne de Markov à temps discret et on
l’interprète de manière analogue ; notamment on parlera de classe transitoire, classe finale et
de chaîne irréductible (quand G est fortement connexe) etc
La seule différence avec les chaînes à temps discret est qu’on ne peut avoir de chaînes
périodiques car la période est un entier.

4.4 Chaînes induites ou sous jacentes

Le processus Yi, i = 1, 2, ...représentant l’état du système à la transition i (la suite des états
visités par le système) est une chaîne de Markov discrète dont la matrice de transition est :
λ nn '
Q = (qnn’) = , (qnn = 0 si n n’est pas absorbant et qnn = 1 si n est absorbant).
λn
Cette chaîne est appelée la chaîne de Markov sous-jacente ou induite à Xt.
Q est la matrice de transition entre la ième et la (i+1)ème transition.

4.5 Les équations de Chapman Kolmogorov

Pour tout t, u ≥ 0

Pnn’(t + u) = ∑p
k∈E
nk (t ) p kn ' (u ) ∀ n, n’ ∈ E

Ce qui s’écrit sous forme matricielle:

P(t +u) =P(t)P(u) (14)

Où P(t) est la matrice de transition pendant l’intervalle de temps t.
Cette relation est l’équivalent de la relation M(i+j) = Mi Mj dans le cas discret.

4.6 Equations d’évolution

1) Régime transitoire
On pose :
Pn(t) = Pr( Xt = n) = probabilité que le système soit à l’état n à l’instant t
∑
n∈ E
Pn ( t ) = 1

46
Ecole Militaire Polytechnique Chapitre 4

[P(t)] = [P1(t) , P2(t) ,...................., PN(t)] = vecteur d’état à l’instant t ;

PN(t)
Etats n N λ Nn' dt

Pn’(t+dt)
1 − λ n' dt n’
Pn’(t) n’
λ2 n' dt
P2(t)
2
λ1n' dt
p1(t)
1
temps
t t+dt

On a:

Pr( X t + dt = n') = ∑ Pr( X

n∈ E − n '
t = n ) λ nn ' dt + Pr( X t = n ' )( 1 − λ n ' dt )

Pn’ (t+dt) = ∑ P (t)λ

n∈E − n'
n nn' dt + Pn’(t)(1 - λn' dt )

= ∑ P (t)λ
n∈E − n'
n nn' dt - Pn’(t) λn' dt + Pn’(t)

= ∑P n (t )λnn ' dt - Pn’(t) λn'n' dt - Pn’(t) λn' dt + Pn’(t)

n∈E '

En posant :

- λn' = λn'n' = - ∑λ
k ∈ E − n'
n' k < 0 (15)

On obtient
N

Pn’ (t+dt) = ∑P
n =1
n ( t ) λ nn ' dt + Pn ' ( t )
Cette équation s’écrit
Pn ' ( t + dt ) − Pn ' ( t ) dPn ' ( t ) N
= = ∑ Pn ( t ) λ nn ' , n’= 1 : N
dt dt n =1
Ce système s’écrit sous forme matricielle:

d [ P ( t )]
= [ P ( t )] G (16)
dt

47
Ecole Militaire Polytechnique Chapitre 4

Les éléments de la matrice G étant les λnn ' . Cette matrice de transitions est appelée
générateur. La somme de chacune de ses lignes est nulle.
La relation (16) correspond à P(i+1) = P(i)M (cas discret).
Pour résoudre ce système différentielle, on utilise la transformée de Laplace:
dP
T.L(
dt ) = T.L(P)G
sP (s) – P(0) = P(s)G

P(s) = P(0)[sI - G]-1

Par transformation inverse, on obtient:

[ P ( t )] = [ P ( 0 )] e Gt (17)
i
Elle correspond à P(i) = P(0)M (cas discret)
Comme dans le cas d’une fonction d’une variable réelle:
∞ (Gt ) k
G(t) = e = ∑
Gt
, G0 = [I]
k =0 k!
Si G est diagonalisable, on peut écrire

G = V Λ V-1, elle correspond à M = P Λ P-1 (cas discret)

∞ V ( Λ t ) k V −1
Et G(t) = e Gt = ∑ = V e Λt V-1
k =0 k!
V matrice de passage
e Λt est une matrice diagonale, les éléments de la diagonale étant les exponentielles des
valeurs propres de G.
La matrice G(t) = e Gt est une matrice stochastique : la somme de chacune de ses lignes est
égale à1. Ses éléments sont les probabilités de transitions pendant l’intervalle t. Elle joue le
même rôle que la matrice Mi dans le cas discret.

Exemple 1 :
Considérons la chaîne de Markov définie par la matrice génératrice:

1 2 3
1 ⎡− 3 0 3⎤
⎢ ⎥
⎢ ⎥
G= 2 ⎢1 −4 3⎥
⎢ ⎥
⎢ ⎥
3 ⎢⎣ 0 2 − 2⎥⎦

Les valeurs propres de G sont 0, -4 et -5 et G est diagonalisable. Donc

G(t) = e Gt = V e Λt V-1
Avec

48
Ecole Militaire Polytechnique Chapitre 4

⎛1 −3 − 3⎞ ⎛ 1 .3 0.6 ⎞
⎜ ⎟ ⎜ ⎟
⎜ ⎟ ⎜ ⎟
V = ⎜1 −1 − 3 et V = ⎜ − .5
⎟ -1
.5 0 ⎟
⎜ ⎟ ⎜ ⎟
⎜ ⎟ ⎜ ⎟
⎜1 1 ⎟
2 ⎠ ⎜ .2 − .4 .2 ⎟⎠
⎝ ⎝
Et

⎛1 0 0 ⎞
⎜ ⎟
⎜ ⎟
e Λt =⎜0 e − 4t 0 ⎟
⎜ ⎟
⎜ ⎟
⎜0 0 −5t ⎟
e ⎠
⎝

En séparant la contribution de chaque valeur propre (on décompose e Λt en la somme de 3

matrices), la solution précédente s’écrit:

G(t) = e Gt = G1 + G2e-4t + G3e-5t

Avec:

⎛1 3 6⎞ ⎛ 3/ 2 − 3/ 2 0⎞ ⎛− 3 6 − 3⎞
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
1⎜ 1⎜
G1 = 1 3 ⎟
6 , G2 = ⎜ 1 / 2 − 1/ 2 ⎟
0 , G3 = −3 6 − 3⎟
10 ⎜ ⎟ ⎜ ⎟ 5⎜ ⎟
⎜ ⎟ ⎜ ⎟ ⎜ ⎟
⎜1 3 ⎟
6⎠ ⎜ − 1/ 2 1/ 2 ⎟
0⎠ ⎜ 2 −4 2 ⎟⎠
⎝ ⎝ ⎝
Lorsque t → ∞ , G(t) → G1 (matrice stochastique)

4.5 Les chaînes réductibles

Les états d’une telle chaîne se répartissent en:

¾ Etats transitoires.
¾ Etats ergodiques (pas de périodicité)
La matrice de transitions (le générateur) d’une chaîne réductible peut se mettre sous la forme:

⎛S 0⎞ Etats stationnaires
⎜ ⎟
G= ⎜ ⎟
⎜R T ⎟⎠ Etats transitoires
⎝

S et T sont des matrices carrées

49
Ecole Militaire Polytechnique Chapitre 4

a) Probabilités d’absorption par les classes finales

En utilisant la chaîne de Markov sous jacente et en suivant le même raisonnement que dans
le cas discret (probabilités de transitions qnné avec qnn = 0 sauf si n est absorbant), on obtient
les mêmes formules.

b) Temps moyen de séjour dans les états transitoires

Dans ce cas également, on suit le même raisonnement que dans le cas discret en utilisant la
chaîne sous jacente. La seule différence réside dans le fait que chaque fois que le processus
1
visite un état n, il y reste une durée moyenne de
λn
Soit donc t n la durée moyenne de séjour dans l’ensemble des états transitoires partant de l’état
n ∈ T.
En considérant le résultat de la première transition et en tenant compte du caractère sans
mémoire de la chaîne, on obtient :
1 1
t n = ∑ q nj (t j + ) + ∑ q nj ×
J ∈T λn j∈C λn
1 1
t n = ∑ q nj t j + ∑ q nj × + ∑ q nj ×
J ∈T J ∈T λn j∈C λn
1
t n = ∑ q nj t j + n =1 : r
J ∈T λn
En écrivant le système précédent sous forme matricielle, on obtient :

t = T .t + R ⇔ ( I − T ) t = R

Ou encore :
t = (I – T)-1R (18)

t est un vecteur colonne de dimension r (nombre d’états transitoires) dont les composantes
sont les t n .
1
R est un vecteur colonne de dimension r dont les composantes sont les .
λn
Remarque1
On sait que l’élément t nn ' de la matrice fondamentale (I-T)-1 représente le nombre moyen de
visites de l’état n’ quand l’état initial est n.
La relation précédente s’écrit;
1
t n = ∑ t nn ' ×
n '∈T λn '
Elle s’interprète de la façon suivante :
Le temps moyen de séjour dans l’ensemble des états transitoires, quand l’état initial est n, est
la somme sur les états transitoires, des produits du nombre moyen de visites t nn ' par la durée
1
moyenne de chaque visite = .
λn '

50
Ecole Militaire Polytechnique Chapitre 4

Exemple 2
Soit la chaîne de Markov à 6 états numérotés de 1 à 6 de générateur :

1 2 3 4 5 6
1 0 0 0 0 0 0
2 0 −3 3 0 0 0
G= 3 0 5 −5 0 0 0
4 2 1 1 −8 4 0
5 0 0 2 0 −6 4
6 2 0 0 2 1 −5

Elle possède deux classes persistantes : c1 = {1} et c2 = {2, 3} et une classe transitoire :
c3 = {4, 5, 6}.
Si l’état initial X0 appartient à c1 ou c2, il suffit d’étudier les sous chaînes correspondantes.
Si l’état initial X0 appartient à c3, le processus sera absorbé, après un nombre fini de
transitions, par l’une ou l’autre des classes finales. Afin de calculer les probabilités
d’absorption par les classes finales, on utilise la matrice de transition Q de la chaîne sous-
λ nn '
jacente: qnn’ = si n ≠ n’, qnn = 0 sauf si n est absorbant ; dans ce cas qnn= 1.
λn

⎛ 1 0 0 0 0 0 ⎞
⎜ ⎟
⎜ 0 0 1 0 0 0 ⎟
⎜ 0 1 0 0 0 0 ⎟
Q= ⎜ ⎟
⎜1/ 4 1/ 8 1/ 8 0 1/ 2 0 ⎟
⎜ 0 0 1/ 3 0 0 2 / 3 ⎟⎟ T
⎜
⎜2/5 0 0 2 / 5 1 / 5 0 ⎟⎠
⎝

6
2/5 1/5
2/5 2/3

1 1/4 4 1/2 5
1 1/8 1/8
1 1/3
2 3
1
Graphe associé à la chaîne induite Q

La matrice fondamentale de cette chaîne est:

−1
⎛ 1 − 1/ 2 0 ⎞ ⎛13 15 / 2 5 ⎞
-1 ⎜ ⎟ 1 ⎜ ⎟
N = (I-T) = ⎜ 0 1 − 2 / 3⎟ = ⎜4 15 10 ⎟
11 ⎜
⎜ − 2 / 3 − 1/ 5
⎝ 1 ⎟⎠ ⎝6 6 15 ⎟⎠

51
Ecole Militaire Polytechnique Chapitre 4

⎡1 / λ4 ⎤ ⎡1 / 8⎤
Le vecteur R = ⎢⎢1 / λ5 ⎥⎥ = ⎢⎢1 / 6⎥⎥ ;
⎢⎣1 / λ6 ⎥⎦ ⎢⎣1 / 5⎥⎦
⎡1 / 4 ⎤
P(c1) = ⎢⎢ 0 ⎥⎥ ;
⎢⎣2 / 5⎥⎦

1/4
P(c2) = 1/3
0

Si l’état initial est X0 = 5 (2ème état transitoire) alors :

q2(c2) = 1/11[4×1/4+15×1/3] = 6/11
q2(c1) = 1/11[4×1/4+10×2/5] = 5/11

t 2 = 1/11[1/8×4 + 1/6×15 + 1/5×10] = 5/11.

4.6 Comportement asymptotique - le régime permanent

Il existe une distribution de probabilité limite quand t → ∞ , indépendante de [P(o)], si et

seulement si la chaîne comporte une seule classe finale (pas de périodicité pour les chaînes à
variable continue).
Dans ce cas:

lim P (t ) = P = Cte
t →∞

Et
dP
lim =0
t →∞
dt
L’équation (15) devient:
[P] G = 0 (19)

On a évidemment : ∑P n = 1 (20)

La relation (19) montre que [p] est vecteur propre à gauche associé à la valeur propre 0 ; donc
0 est toujours valeur propre de G.

Les équations (19) et (20) permettent de calculer les probabilités d’états en régime permanent.

Remarque 2
9 En régime permanent, pn la probabilité de l’état n, représente la fraction du temps pendant
laquelle le système séjourne dans cet état.
9 Si une chaîne de Markov irréductible ne possède qu’un nombre fini d’états, on a :
lim Pnn ' (t ) = Pn ' > 0 Indépendamment de n.
t →∞

52
Ecole Militaire Polytechnique Chapitre 4

Remarque 3
La limite [P] du vecteur d’états (et des probabilités de transitions) est appelée distribution
invariante ou stationnaire de la chaîne car si la distribution [P(0)] est égale à [P], alors:
pn(t) = p(Xt = n) = pn ∀n ∈ E et t ≥ 0
Et la chaîne est asymptotiquement stationnaire.

Remarque 4
L’équation matricielle
[P]G = 0
S’écrit
pn λ n = ∑ p n ' λn 'n , n =1 : N (21)
n '≠ n
La partie gauche de l’égalité représente le taux de transition hors de l’état n et celle de droite
représente le taux de transition dans l’état n. Cette interprétation explique que ces équations
sont parfois appelées équations du bilan.

Exemple 3
Dans l’exemple 1, la chaîne est irréductible donc ergodique. La matrices de transitions de
cette chaîne converge, lorsque t → ∞ , vers la matrice
lim [G(t)] = lim (G1 + G2e-4t + G3e-5t) = G1.
t →∞ t →∞

⎛1 3 6⎞
⎜ ⎟
⎜ ⎟
1⎜
G1= 1 3 6⎟
10 ⎜ ⎟
⎜ ⎟
⎜1 3 6 ⎟⎠
⎝

On constate que G(t) tend vers G dont toutes les lignes sont identiques
La distribution stationnaire de la chaîne est donc:
[P]= 1/10 [1 3 6]

Solution unique système

[P]G = 0
Et ∑ pn = 1
4.7 Le processus de Poisson

a) définition :
C’est un processus markovien à temps continu qui compte le nombre d’évènements qui se
produisent dans un intervalle de temps ou d’espace. On le caractérise comme suit :
Considérons une suite d’évènements indépendants E qui se succèdent dans le temps. Le
nombre d’évènements qui se produisent dans un intervalle de temps t est une variable
aléatoire notée Xt. Lorsque t varie, on obtient un processus aléatoire {Xt}, t ≥ 0. La probabilité
que Xt = n est notée pn(t). Le processus Xt, t ≥ 0 est un processus de Poisson s’il vérifie les
quatre propriétés suivantes :

53
Ecole Militaire Polytechnique Chapitre 4

1) Xt est un processus à accroissements indépendants: le nombre d’évènements se produisant

dans deux intervalles disjoints sont deux VA indépendantes.

2) Homogénéité : pn(t) ne dépend que de la longueur de t et pas de l’instant t0 à partir duquel t

est mesuré.

3) Régularité : la probabilité que l’évènement E se réalise une fois exactement dans un

intervalle dt (infiniment petit) est un infiniment petit de l’ordre de dt soit :
p1(dt) = λ dt + o(dt) . (1)

4) La probabilité que l’évènement E se réalise plus d’une fois dans l’intervalle dt (infiniment
petit) est un infiniment petit par rapport à dt soit: pn(dt) = o(dt), n ≥ 2
Les deux propriétés (3) et (4) donnent :

P0(dt) = 1 - p1(dt) - pn(dt), n ≥ 2

= 1 - λ dt - o(dt) (2)

b) Equations régissant le système

Compte tenu de ces propriétés, on va calculer la probabilité pn(t) que n évènements se
produisent dans l’intervalle de temps t ;(dans la suite les o(dt) seront négligés)
Pour cela, calculons pn(t + dt) que n évènements se produisent dans l’intervalle t +dt.

i) n=0
Pour obtenir 0 évènement dans l’intervalle t +dt, il faut et il suffit qu’il y ait 0 évènement
dans l’intervalle t et 0 évènement dans l’intervalle dt. La probabilité correspondante est :
P0(t)(1 - λ dt) . Ainsi :
P0(t + dt) = P0(t)(1 - λ dt) . (3)
Ou :
P0(t + dt) - P0(t) = - λ P0(t )dt
Soit :
P0`(t) = - λ P0(t ) (4)
ii) n > 0
Pour obtenir n évènements dans l’intervalle t +dt, on peut envisager deux éventualités qui
s’excluent mutuellement :
9 n évènements dans l’intervalle t et 0 évènement dans l’intervalle dt qui suit
immédiatement t, la probabilité correspondante est pn(t)( 1 - λ dt)
9 (n-1) évènements dans l’intervalle t et un évènement dans l’intervalle dt qui suit
immédiatement t, la probabilité correspondante est pn-1(t)× λ dt ; ainsi :

pn(t + dt) = pn(t)( 1 - λ dt) + pn-1(t) λ dt ;

Ou encore
pn(t + dt) - pn(t) = - λ pn(t) dt + λ pn-1(t)dt ;
D’où
p’n(t) = - λ pn(t) + λ pn-1(t) ; (5)

Les deux équations (4) et (5) sont les équations différentielles (d’états) du phénomène décrit
par les 4 propriétés ci-dessus.

54
Ecole Militaire Polytechnique Chapitre 4

c) Résolution des équations

Les conditions initiales sont évidentes :

P0(0) = 1 (6)

Pn(0) = 0, n > 0 (7)

La solution de (4) compte tenu de (7) est immédiate :

P0(t) = e- λ t (8)

Pour trouver la solution de (5), posons :

Pn(t) = qn(t) e- λ t (9)

D’oû:
P’n (t) = q’n (t) ) e- λ t - λ qn(t) e- λ t (10)

En portant (9) et (10) dans (5) :

q’n (t) e- λ t - λ qn(t) e- λ t = - λ qn(t) e- λ t + λ qn-1(t) e- λ t ⇒

q’n (t) = λ qn-1(t) (11)

Doù
q’1 (t) = λ q0(t)

Et compte tenu de (9) et (10), on obtient :

q’1 (t) = λ ⇒ q1(t) = λ t + c

Compte tenu des conditions initiales (7) , (8) et de (10) :

q1(t) = λ t ⇒ p1(t) = ( λ t) ) e- λ t
(λt) (λt) - λ t
2 2
De même q’2 (t) = λ q1(t) = ( λ 2t) ⇒ q2(t) = ⇒ p2(t) = e
2 2
n −1
(λt)
Supposons qn-1(t) = , on obtient :
(n −1)!
λnt n −1 (λt)
n
q’n (t) = ⇒ qn(t) = ,
(n −1)! n!
Finalement :
(λt) - λ t
n
P(Xt = n) = Pn(t) = e (12)
n!

La relation (12) donne la probabilité de réalisation de n évènements dans un intervalle de

longueur t ; soit p(Xt) = n) ; Xt vérifiant les propriétés (1) à (4) . Pour un intervalle de temps
égal à l’unité, on obtient :

-λ
Pn = λ e ; on reconnaît la loi de Poisson
n

n!

55
Ecole Militaire Polytechnique Chapitre 4

Ainsi, le nombre moyen d’évènements se produisant dans un intervalle de temps t est égal à
λt

Remarque 1
Le processus de Poisson est un processus ponctuel car chaque évènement peut être représenté
par un point sur l’axe du temps.

d) Loi des intervalles entre deux évènements successifs.

Il s’agit de déterminer la loi de probabilité des intervalles séparant deux évènements
successifs dans un processus de Poisson.

t y t+y

Ei Ei+1
Y
Y > y ⇔ 0 évènement entre t et t +y

Soit Y la VA représentant ces intervalles, f(y) sa densité de probabilité et F(y) sa fonction de

répartition. La fonction de répartition complémentaire 1- F(y) est par définition, la probabilité
que Y > y, mais c’est aussi la probabilité conditionnelle que, un évènement E ayant eu lieu à
l’instant t, il n’y en ait pas dans l’intervalle (t, t+y) dont la probabilité correspondante est :
(λy) - λy
0
P0(y) = e = e- λ y
0!
Et donc

1 - F(y) = p( Y > y) = e- λ y

Et par dérivation :

f(y) = p(y ≤ Y ≤ y+dy) = λ e- λ y , y> 0 (13)

Ces intervalles suivent donc la loi exponentielle de paramètre λ

On sait d’après l’étude de la loi exponentielle que :
E(Y) = 1
λ
V(Y) = 12
λ
Donc l’intervalle moyen entre deux évènements successifs dans un processus de Poisson = 1
λ
et λ est le taux ou le nombre moyen d’évènements par unité de temps.
Il est important de noter qu’en raison de la propriété markovienne du processus, les intervalles
entre les évènements sont indépendants les uns des autres.

Réciproquement
On montre qu’un processus ponctuel dans lequel les intervalles sont mutuellement
indépendants et suivent tous une même loi exponentielle est un processus de Poisson.

La loi de probabilité (12) attachée au processus de Poisson et la loi de probabilité (13)

attachée aux intervalles sont donc étroitement liées.

56
Ecole Militaire Polytechnique Chapitre 4

D’une façon générale, dans un processus ponctuel, la loi de probabilité attachée à la

réalisation d’un nombre n d’évènements dans un intervalle donné t est appelée loi de
réalisations tandis que la loi correspondante attachée à la durée des intervalles qui sépare
deux évènements consécutifs est appelée loi des intervalles.
Dans un phénomène poissonnien (qui vérifie les 4 propriétés précédentes) on a :
(λt) - λ t
f(y)dy = λ e- λ y dy
n
Pn(t) = e ⇔
n!

Loi de réalisation (Poisson) ⇔ loi des intervalles (exponentielle)

Dire qu’un phénomène est poissonnien dans sa loi de réalisation est équivalent à dire que la
loi des intervalles est une loi exponentielle.

e) Loi des dates d’arrivée des évènements

Soit Tk la variable aléatoire représentant la date à laquelle se produit le kème évènement.
Conditionnellement à X(t) = n, on connait la loi ces temps : T1 < T2 < ….< Tn | n ~ U[0,1]n.
Cela signifie que si on connait le nombre d‘évènements qui se sont produit dans l’intervalle
[0, t], les dates ordonnées auxquelles les évènements (ordonnées) se produisent sont
uniformément réparties sur cet intervalle.

f) Date du kème évènement.

On a vu que T1~exp(λ). D’une façon générale, Tk – Tk-1 ~exp(λ), pour k > 0 et T0 = 0.
Donc, Tk est la somme de k variables indépendantes exponentielles de paramètre λ. Sa loi est
appelé loi gamma k et notée : Tk ~ λ).
On en déduit immédiatement que
E(Tk) = n/ λ et V(Tk) = n/ λ2
On montre par récurrence que la densité de Tk est donnée par

fk(t) = (14)

Remarque 2
Un processus de poisson est une chaine de Markov à temps continu dont le taux de transitions
est :
⎧λ si n' = n + 1
λnn' = ⎨
⎩ 0 sin on

Remarque 3
La superposition de deux processus de poisson Xt et Yt de paramètres λ1 et λ 2 est un
processus de Poisson Zt = min (Xt, Yt) de paramètre λ = λ1 + λ 2 . De plus la probabilité que
λ1 λ
le premier évènement soit de type 1 = : (P(Zt = Xt ) = 1 ). Ce résultat peut être généralisé
λ λ
au cas d’un nombre quelconque de processus.

Exemple 4
Dans une station de service, les véhicules légers arrivent selon un processus de Poisson de
paramètre λ1 et les véhicules lourds le font selon un processus de Poisson de paramètre λ 2 .Les

57
Ecole Militaire Polytechnique Chapitre 4

véhicules arrivent selon un processus de Poisson de paramètre λ = λ1 + λ 2 . A tout moment,

λ2
la probabilité que le premier véhicule qui arrive soit de type lourd = .
λ
Remarque 4
La loi exponentielle est une loi sans mémoire. Ceci signifie que si X est une variable aléatoire
exponentielle de paramètre λ , à tout moment, le temps restant (la durée de survie) est une
variable aléatoire exponentielle de même paramètre λ .

En effet :
Soient X une variable aléatoire exponentielle de paramètre λ , t un instant donné et Y la
variable aléatoire représentant le temps restant jusqu’au prochain évènement.

X
Y
t t+h
0
Loi de Y
Y ≤ h ⇔ (X ≤ t + h/ X > t)
Donc :
FY(h) = p(Y ≤ h) = p ( X ≤ t + h/ X > t)
p (t < X ≤ t + h)
=
p( X > t )
F (t + h) − FX (t )
= X
1 − FX (t )
1 − e − λ ( t + h ) − (1 − e − λt )
=
1 − (1 − e −λt )
= 1- e − λh
= FX(h)
Donc Y a même loi que X.
Cette propriété d’absence de mémoire de la variable exponentielle joue un rôle important
notamment dans l’étude files d’attente. On démontre que c’est la seule variable continue qui
possède cette propriété. De même que la variable géométrique est la seule variable discrète
qui soit sans mémoire.
Cette propriété est à l’origine du paradoxe suivant : un usager attend un bus d’une ligne sur
laquelle les passages sont poissoniens. Si les bus passent en moyenne chaque 15 minutes et
que l’usager attend déjà depuis 14 minutes, l’espérance du temps qui lui reste à attendre est de
15 minutes.
E(Y) = E(X - t ) = 1/ λ

4.8 Le processus de naissance et de mort

a) définitions
Un processus aléatoire {Xt, t ≥ 0} à temps continu et à espace d’états E dénombrable est un
processus de naissance et de mort s’il vérifie les propriétés suivantes :

i) Le système ne peut évoluer instantanément (entre t et t+dt) que vers les états voisins : si le
système est dans l’état n à l’instant t, il ne pourra passer à l’instant t+dt que vers les états :
n-1, n+1ou n; les probabilités correspondantes étant :

58
Ecole Militaire Polytechnique Chapitre 4

µ n dt +ο(dt) ; λn dt +ο(dt) et 1 – ( λn + µ n )dt +ο(dt)

On appelle alors naissance le passage de l’état n à la date t à l’état n +1 à la date t+dt ; λn est
le taux de naissance quand le système est dans l’état n.

On appelle mort le passage de l’état n à la date t à l’état n -1 à la date t+dt.

µ n est le taux de mort quand le système est dans l’état n.
ii) Les probabilités de passage d’un état à un autre dépendent de l’état de départ considéré,
mais pas de la date t (processus homogène)

iii)Au plus un évènement (naissance ou mort) peut survenir pendant l’intervalle de temps dt
(infiniment petit), en particulier on ne peut avoir une naissance et une mort à la fois.

b) Equations (d’états) régissant le système

Soit pn(t+dt) la probabilité pour le système d’être à l’état En à la date t+dt ; pour être à l’état
En à la date t+dt, trois situations de départ (à la date t) sont envisageables :

1) Le système était dans l’état n -1 à la date t, et une naissance s’est produite pendant dt, la
probabilité correspondante est λn −1dt +ο(dt) ;

2) Le système était dans l’état n +1 à la date t, et une mort s’est produite pendant dt, la
probabilité correspondante est µ n +1 dt +ο(dt) ;

3) Le système était dans l’état n à la date t, et il y reste : la probabilité correspondante est :

1 – ( λn + µ n )dt +ο(dt) .

Pn+1(t)
Etats n n+1 µ n +1 dt

Pn(t+dt)
1- λ n dt - µ n dt n
Pn(t)
n

λ n −1 dt
Pn-1(t)
n-1
temps
t t+dt

En négligeant les ο(dt) , on peut écrire :

Pn(t+dt) = λn −1 pn-1(t)dt + [ 1-( λn + µ n )dt ]pn(t) + µ n +1 pn+1(t)dt

Soit :

59
Ecole Militaire Polytechnique Chapitre 4

dpn (t)
= pn/ (t) = λn −1 pn-1(t) - ( λn + µ n )pn (t)+ µ n +1 pn+1 n≥ 1 (15)
dt

Pour n = 0, on obtient, par un raisonnement analogue à celui du processus de ¨Poisson

dp0 (t)
= −λ0 p0 (t) + µ1 p1 (t) (16)
dt
c) Etude du régime permanent :
Supposons que, lorsque t →∞ , un régime permanent tend à s’établir.
Donc pn(t) tend vers une limite pn indépendante de t :
pn' (t ) → 0 , n = 1 : N, 0
C1
En appliquant le théorème des coupes, on aura alors : λ0 µ1
(0) λ0 p0 = µ1 p1
1
C2
(1) ( λ1 + µ1 ) = λ0 p0 + µ 2 p2 λ1 µ2
2
(2) (λ2 + µ 2 )p2 = λ1 p1 + µ3 p3
. . .
. . . n-1
. . . λ n −1 Cn
(λn + µ n )pn = λn −1 pn −1 + µ n +1 pn +1 µn
n
En ajoutant membre à membre (0) et (1), λn Cn+1
On obtient après simplification : µ n +1
n+1
(i) λ1 p1 = µ 2 p2

En faisant de même avec (i) et (2) :

(ii) λ2 p2 = µ3 p3

Et de façon générale :

λn pn = µ n +1 pn +1 (17)

Ce système se résout de proche en proche en fonction de p0 :

P0 = P0
λ
P1 = 0 p0
µ1
λ λλ
P2 = 1 p1 = 0 1 p0
µ2 µ1 µ 2
……………………….
λ λ ..............λn −1
Pn = 0 1 p0 , n ≥ 1 (18)
µ1 µ 2.............µ n

60
Ecole Militaire Polytechnique Chapitre 4

On pose:
C0 = 1;
λ0 λ1 ..............λ n −1
Cn = , n ≥1 (19)
µ1 µ 2 .............µ n
∞
S= ∑C
n=0
n (20)

Compte tenu de la relation :

∞

∑ p =1
n =0
n

En sommant membre à membre les relations (18), on obtient :

1
P0 = 1 = ∞ =1 ; (21)
∞ n
λi −1 S
1+ ∑∏ ∑ Cn
n =1 i =1 µ i n =o

Pn = CnP0 (22)

Si p0 = 0, on aurait pn = 0 pour tout n et donc pas de régime permanent.

La condition nécessaire pour qu’un régime permanent puisse s’établir est que la série S
converge.
Soit :
∞ n
λ
S =1+ ∑∏ i −1 = 1 + C1 + C2 + C3 + ……… < ∞ (23)
n =1 i =1 µ i

En particulier µi ≠ 0 , ∀i > 0
Cette condition nécessaire est souvent suffisante et on a alors, en régime permanent :
1
P0 = (24)
S
Pn = CnP0 n ≥1 (25)

On remarque au passage que ces probabilités limites d’état pn sont indépendantes des
conditions initiales pn(0).

Les quatre cas particuliers suivants sont importants

1) λ n = λ et µ n = 0 : immigration au taux λ (processus de Poisson)

2) λn = nλ et µ n = 0 : naissance au taux λ par individu présent (processus de Yule)

3) µ n = µ ( µ 0 =0 ) et λn =0 : émigration au taux λ

4) µ n = nµ : décès au taux µ par individu présent

61
Ecole Militaire Polytechnique Chapitre 4

4.9 Exercices
1) Soit la matrice G(7×7)

1 2 3 4 5 6 7
⎛ 0 2 0 0 0 5 ⎞
⎜ ⎟
⎜0 −6 0 6 0 0 0 ⎟
⎜3 10 − 20 0 4 0 ⎟
⎜ ⎟
G = ⎜0 5 0 −5 0 0 0 ⎟
⎜1 0 0 0 −1 0 0 ⎟⎟
⎜
⎜0 0 0 0 0 0 ⎟
⎜ ⎟
⎝0 0 2 0 0 0 − 2⎠

a) Compléter cette matrice pour en faire un générateur ;

b) Classifier les états ;
c) Lorsque le processus arrive dans l’état 1, combien de temps en moyenne en reste-t- il ;
d) Lorsque le processus quitte l’état 1, qu’elle est la probabilité qu’il se déplace dans l’état 3 ;
e) Si à t = 0 le processus est dans l’état 3, quelle est la probabilité qu’il ne l’ait pas quitté à t =
2;

2) Soit G le générateur d’une CMC

⎛− 5 2 3⎞
⎜ ⎟
G= ⎜ 0 −2 2 ⎟
⎜ 1 0 − 1⎟⎠
⎝

a) Donner le graphe représentatif ;

b) Classifier les états de la chaîne ;
c) Déterminer, si elle existe, la distribution stationnaire de la chaîne.

3) Soit un processus de Poisson de taux λ .

a) Quelle est la probabilité pour que n évènements se produisent entre 0 et t ; entre t et 2t
Commenter ;
b) Quelle est la probabilité pour que un évènement se produit entre t et t +dt, zéro; au moins
deux ;
c) Calculer le nombre moyen d’évènements se produisant entre zéro et t ainsi que sa
variance ;
d) Trouver la probabilité pour que l’intervalle entre deux évènements consécutifs dépasse y ;
En déduire la durée moyenne E(Y) de l’intervalle entre deux évènements consécutifs ;
e) Un évènement s’est produit à t = 0 ; Rien ne s’est produit entre 0 et h, quelle est
l’espérance du temps restant E(r) qui s’écoulera jusqu’au prochain évènement, connaissant
l’information ci-dessus ;
f) Tracer le graphe du processus associé. Quelle est la nature de ce processus.

5) Des clients arrivent dans un restaurant selon un processus de Poisson au taux de 20 clients
par heure. Le restaurant ouvre ses portes à 11 heures. Trouvez:

62
Ecole Militaire Polytechnique Chapitre 4

a) La probabilité d’avoir 20 clients dans le restaurant à 11h 12 sachant qu’il y en avait 18 à

11h 07 ;
b) la probabilité qu’un nouveau client arrive entre 11 h 28 et 11 h 30 sachant que le dernier
client est arrivé à 11 h 25 ;

6) Des patients arrivent à une clinique selon un processus de Poisson. On dispose de

l’information suivante: si X représente l’intervalle de temps écoulé entre deux arrivées
successives, alors : Pr [X > 30⏐X > 15] = 0,6

Soit X(t) le nombre de clients qui se présentent durant un intervalle de t minutes.

Calculez Pr [X(15) = 0 ] ; justifiez votre réponse.

7) Les articles d’un stock sont vendus selon un processus de Poisson au taux de 5 articles par
jour. Le stock initial est de 80 articles.

a) Trouvez la probabilité que 10 articles soient vendus durant les 2 premiers jours ;
b) Déterminez la probabilité qu’il n’y ait plus d’articles en stock après 4 jours ;
c) Déterminez le nombre moyen d’articles vendus sur une période de 4 jours ;

8) une station de taxi permet à quatre taxis de se garer pour attendre les clients. Les taxis
arrivent à la station aléatoirement suivant une loi de Poisson de taux µ (taxis/min).
Lorsque la station est complète, le taxi poursuit sa route sinon il s’arrête pour attendre un
client derrière le taxi en attente.
Les clients arrivent aléatoirement suivant une loi de Poisson de taux λ , ils font
éventuellement la queue et sont pris en charge selon l’ordre de leur arrivée ; Toutefois on
a remarqué que lorsque cinq clients attendent déjà, tout nouveau client arrivant renonce à
attendre.
a) Associer à ce problème un processus de naissance et de mort ; on notera Eij l’état pour
lequel i taxis et j clients sont en attente (i = 0 ou j = 0) ; existe–t-il une condition pour
qu’un régime permanent s’instaure ;
b) calculer la probabilité des états en régime permanent ;
c) Quel est le nombre horaire moyen des taxis arrivant à la station sans pouvoir s’y arrêter.
Quel est le nombre moyen de clients qui renoncent à attendre ;
Application numérique : µ =1 et λ = 1,2

9) Soit un ordinateur auquel sont reliées N consoles. Devant chaque console travaille en
permanence un programmeur qui a un comportement cyclique. À toute phase de réflexion,
pendant laquelle le programmeur réfléchit et tape une demande de traitement, succède une
phase d’attente de la réponse de l’ordinateur. Les demandes de traitement reçues par
l’ordinateur sont rangées dans une file d’attente et traitées dans l’ordre de leur arrivée.
L’ordinateur travaillant en monoprogrammation ne traite qu’une demande à la fois : il
termine entièrement le traitement d’une demande avant de passer à la suivante. le temps
de réflexion est une VA Tr , de loi exponentielle de moyenne R . Le temps de traitement
d’une demande est une également une VA Sr, de loi exponentielle de moyenne T.
a) Sachant qu’une seule réflexion est en cours à t, quelle est la probabilité pour qu’elle se
termine entre t et t+dt ( λ = 1 )
R

63
Ecole Militaire Polytechnique Chapitre 4

b) Sachant que n réflexions sont en cours à t, quelle est la probabilité pour que l’une d’entre
elles se termine entre t et t + dt. Quelle est la probabilité élémentaire pour qu’un traitement
en cours à t se termine entre t et t+ dt ( µ = 1 ).
T
c) Soit k le nombre de consoles en attente de réponse à l’instant t et Ek l’état correspondant à
cette situation, associer un processus de naissance et de mort à
N+ 1 états au système. Tracer le graphe de transitions, valuer les arcs et reconnaitre
les valeurs de λk et µ k .
d) Existe-t-il une condition d’existence d’un régime permanent. On le suppose désormais
atteint et on note alors P*k la probabilité de l’état Ek, exprimer P*k en fonction de λ , µ , k ,
P*0 et N, puis calculer P*0. Quelle est la fraction F du temps pendant laquelle aucun
programmeur ne travaille.

e) Refaire c) et d) en supposant k le nombre de consoles en cours de réflexion à l’instant t et

Ek l’état correspondant à cette situation.
Application numérique :
N = 10 consoles, R = 1 minute ; T = 0,6 secondes, Calculer P*0 et F

10) Un port accueille des bateaux de marchandises. En moyenne, quatre bateaux arrivent par
jour. L’occupation moyenne d’un quai est de six heures par déchargement. Une étude
statistique a montré que la loi d’arrivées des bateaux peut être approchée par une loi de
Poisson et que celle de l’occupation du quai peut l’être par une loi exponentielle de taux
respectifs λ et µ . Le but est de déterminer le nombre minimum N de quais de telle sorte
que la probabilité pour que tous les quais soient occupés soit inférieure à un centième.
a) Donner les valeurs numériques de λ et µ . Quelle est la dimension au sens, équations aux
dimensions, de λ et µ
b) Montrer que le système peut être modélisé par un processus de naissance et de mort
comportant N + 1 états. A quoi correspondent une naissance, une mort. Donner la
signification de l’état k. Exprimer λk en fonction de λ et µ k en fonction de µ . Tracer le
graphe associé.
c) La probabilité que le système soit, en régime permanent, dans l’état k est notée Pk. Calculer
Pk en fonction de P0, puis P0.
d) Quel est l’état pour lequel tous les quais sont occupés. Quelle est sa probabilité. En prenant
successivement N = 2, puis 3 etc. trouver le nombre de quais que devra compter port de
sorte que la probabilité pour qu’ils soient tous occupés soit inférieure à 10-2

64