Chaînes de Markov à Temps

Continu
Séance 4
 Plan
• Définitions
• Intensités de transitions
• Probabilités à l’équilibre
• Processus de Poisson
• Processus de naissance et de mort

2
 Définitions
Processus stochastiques

Événements Événements
discrets continus

Temps discret Temps continu

- Modèle à temps discret
décrivant des phénomènes
aléatoires pour lesquels les
changements d’état se
produisent à des intervalles
réguliers (discrétisation
possible de l’échelle
temporelle).
- Les changements d’état
peuvent se produire à tous
les instants dans un
intervalle de temps donné
(arrivées de clients, durées
des appels, etc.)
3
 Définitions
• L’analyse débute au temps 0 et le temps t s’écoule de manière
continue:

• Les points de changement d’états t1,t2,… sont des points

aléatoires dans le temps:

4
 Définitions
• On considère trois points consécutifs dans le temps ou il y a eu
changement d’états:

• Un processus stochastique {X(t), t ≥ 0} est une chaine de Markov à

temps continu si:
• Ρ 𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖, 𝑋 𝑟 = 𝑙 = Ρ 𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖

5
 Définitions
Un processus stochastique décrit par la suite de variable {X(t), t ≥ 0} est
une chaine de Markov à temps continu (CMTC) si la distribution
conditionnelle du processus à l’instant (t+s) connaissant son état à
l’instant s n’est pas modifié par la connaissance supplémentaire de ses
états aux instants antérieurs r

• Ρ 𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖, 𝑋 𝑟 = 𝑙 = Ρ 𝑋 𝑠 + 𝑡 = 𝑗 𝑋 𝑠 = 𝑖

6
 Définitions
• On s’intéresse aux chaines de Markov homogènes dans le temps:

• La fonction de probabilité de transition en temps continu est :

avec:
+∞

𝑝𝑖𝑗 (𝑡) = 1
𝑗=0

7
 Intensités de transitions
• Dans l’évolution du processus on note Ti la variable aléatoire du
temps passé dans l’état i avant de se déplacer vers un autre état.

8
 Intensités de transitions
La propriété sans mémoire d’une chaine de Markov à temps continu
implique que:

• La distribution du temps restant d’ici la prochaine sortie de i par le

processus est la même quelque soit le temps déjà passé dans l’état i.
La variable Ti est sans mémoire
La seule distribution de variable aléatoire continue ayant cette
propriété est la distribution exponentielle.
Preuve: ?

9
 Exemple : Loi exponentielle
• La durée de vie d’un matériel électronique suit
une loi exponentielle de paramètre λ = 1 / 10
(l’unité de temps est l’année). Quelle est la
probabilité qu’il fonctionne encore 5 ans après
sa fabrication ?
• Sachant que cet appareil a fonctionné
pendant 5 ans calculer la probabilité qu’il
fonctionne encore après 10 ans.

10
 Intensités de transitions
• Le temps de séjour Ti dans un état suit donc une loi exponentielle de
paramètre qi nommé intensités de transition dans une chaine de
Markov à temps continu :

et sa moyenne (espérance mathématique) est

11
 Intensités de transitions
En particulier:

qi= taux de transition à partir de i = 1/E[Ti],

avec E[Ti] moyenne du temps passé à chaque visite à l’état i.

qij= taux de transition de i vers j= nombre moyen de fois que

le processus passe de i à j par unité de temps passé dans
l’état i

avec E[Tij]=1/qij

12
 Probabilités à l’équilibre
• Nous retrouvons des propriétés similaires à celle des
chaînes de Markov discrètes.

• Si la chaines est irréductible le vecteur des

probabilités stationnaires 𝜋𝑗 existe toujours et est
indépendant de l’état initial

13
 Probabilités à l’équilibre
Pour déterminer les 𝜋𝑗 il faut résoudre le système
d’équations suivant:

Taux auquel le
processus part de j

Taux de passage à l’état j quelque

soit l’état i dans lequel se trouve le
processus

14
 Probabilités à l’équilibre
• En remplaçant les valeurs des qj dans les équations d’équilibre
:
On a

D’où on obtient les équations de balance:

Taux de départ de j = Taux d’arrivée à j

15
 Application
Dans un cabinet médical le temps séparant l’arrivée
successive de deux patients suit une distribution
exponentielle de moyenne 15 minutes. La durée de
traitement suit une distribution exponentielle de
moyenne 12 minutes.

En supposant que la salle d’attente ne contient qu’une

seule place quelle est la probabilité qu’une personne
qui arrive puisse être traitée ?

16
 Processus de Poisson
Il existe deux façons de décrire le processus selon
lequel les arrivées de clients (requêtes, appels, etc.)
surviennent dans un système:

• On modélise le nombre de clients N(t) qui arrivent

dans un intervalle de temps [0,t) donné (par
exemple, 4 clients par heure)

• On modélise les intervalles de temps qui séparent

deux arrivées successives (par exemple, une arrivée
toutes les 15 minutes).
17
 Processus de Poisson
Le processus de comptage {N(t) : t≥0} est un processus de
Poisson s’il satisfait aux trois conditions suivantes:
• Le processus N(t) est homogène dans le temps :

Avec

• Le processus N(t) est à accroissements indépendants, c.à.d.

pour tous intervalles disjoints le nombre d’événement s’y
produisant sont des variables aléatoires indépendantes.
• La probabilité que deux arrivées se produisent au même instant
est nulle.

18
 Processus de Poisson
Par conséquent :

Le coefficient 𝜆 est donc le nombre moyen d’événements par

unité de temps.

Un processus d’arrivée est un processus de Poisson de taux 𝜆 si et

seulement si les durées entre arrivées successives sont
indépendantes et suivent une loi exponentielle de paramètre 𝜆.

Preuve:
19
 Processus de Poisson
Soit un instant s correspondant à l’arrivée d’un
client, désignons par X le temps écoulé jusqu’à la
première arrivée de client après l’instant s.
Déterminez la loi de probabilité qui régit
l’intervalle de temps X ?

20
Processus de naissance et de mort
• Les processus de naissance et de mort sont des
processus stochastiques à temps continu et à états
discrets n = 0, 1, 2 . . . .

• Ils sont sans mémoire, et à partir d’un état donné n,

seules les transitions vers l’un des états voisins n + 1
et n - 1 sont possibles.

• Ils constituent une sous-classe des chaines de Markov

à temps continu.
21
Processus de naissance et de mort
• Le processus de Poisson en est un exemple simple.

• On parle alors de « naissances » et de « morts » car le

premier domaine d’application de ces processus a été
l’étude de la croissance des populations.

• Ces processus permettent de décrire l’évolution

temporelle de la taille d’une population d’où leur
grand intérêt pour la modélisation des systèmes
d’attente
22
 Processus de naissance et de mort
Pour ces processus on a les hypothèses suivantes:
• Hypothèse 1: Naissance ↔ le temps s’écoulant entre deux
naissances consécutives est distribué exponentiellement.

• Hypothèse 2: Mort ↔ le temps s’écoulant entre deux morts

consécutives est distribué exponentiellement.

• Hypothèse 3: Chaque transition à partir de l’état n est de type n→

(n+1) (une seule naissance) ou n → (n-1) (une seule mort)

Sous ses hypothèses une file d’attente peut être vu comme un processus
de naissance et de mort :
Naissance ↔ arrivée du client
Mort ↔ départ du client du système après son service

23
Processus de naissance et de mort
• Diagramme de transition entre les états:

Une file d’attente peut ainsi être vu comme un processus de

naissance et de mort et modélisée par une chaine de Markov en
temps continu où les densités de transitons sont spécifiées à
l’aide des 𝜆𝑛 et 𝜇𝑛
24
Processus de naissance et de mort
• Pour étudier l’état du système il faut alors appliquer
les équations de balance et déterminer les
probabilités à l’équilibre Ρ𝑛 .

On notera pour la suite

les probabilités à l’équilibre
𝜋𝑗 𝑝𝑎𝑟 Ρ𝑗

25
Processus de naissance et de mort

26
Processus de naissance et de mort

27