Vous êtes sur la page 1sur 26

Modles stochastiques

Chane de Markov en temps continu

Dans le chaptre prcdent sur les chanes de Markov, les moments (temps) t
etaient discrets (t 0,1,K ). Maintenant, nous allons analyser des situations o
les observations se font de faon continue plutt qu' des moments discrets.
1. Formulation
M 1 tats mutuellement exclusifs: 0,1,K , M
L'analyse dbute au temps 0 et le temps t s'coule de faon continue
X t = tat du systme au temps t : X t 0,1, K , M
Les points de changement d'tats t1 , t2 ,K sont des points alatoires dans le temps
(pas ncessairement entiers):
01 44 2 4 43 t1
t2
14444244443 {
X 0

X t1

X t2

t3 K

Considrons trois points conscutifs dans le temps o il y a eu changement d'tats:


r

r 0

( s r ) temps courant (actuel)

st

(t 0)

temps pass
t units de temps dans le futur.

Supposons que X s i et que X r l , avec i, l 0, K , M .


L'valuation de

P X s t j X s i and X r l

j 0,K , M

est facilit par la proprit de Markov (i.e., sans mmoire).


Dfinition
Un processus stochastique en temps continu X t ; t 0 a la proprit de
Markov si

P X s t j X s i and X r l P X s t j X s i

i, j , l 0,K M ; r 0, s r , t 0.

Dfinition
Un processus stochastique en temps continu X t ; t 0 a la proprit de
Markov si

P X s t j X s i and X r l P X s t j X s i

i, j , l 0,K M ; r 0, s r , t 0.
Le processus stochastique est alors une chane de Markov en temps continu

Les probabilits P X s t j X s i

sont des probabilits de transition

similaires celles que nous avions en temps discret.


Les probabilits de transition sont stationnaires puisqu'elles sont indpendantes de s :

P X s t j X s i P X t j X 0 i

s 0

Par symtrie avec le cas discret

pij t P X t j X 0 i

o pij t dnote la fonction de probabilit de transition en temps continu

Les probabilits de transition sont stationnaires puisqu'elles sont indpendantes de s :

P X s t j X s i P X t j X 0 i

s 0

Par symtrie avec le cas discret

pij t P X t j X 0 i

o pij t dnote la fonction de probabilit de transition en temps continu


L'hypothse suivante est faite:
1
lim pij t
t 0
0

si i j
si i j

2. Variables alatoires importantes


2.1 Temps dans un tat
Dans l'volution du processus, dnotons
Ti = variable alatoire du temps pass dans l'tat i avant de se dplacer
vers un autre tat
i 0,K , M
Supposons que le processus entre dans l'tat i au temps t s.
Pour toute dure t 0,

Ti t X t i t s, s t .

La proprit de stationnarit des probabilits de transition entrane que


P Ti s t Ti s P Ti t .

Supposons que le processus entre dans l'tat i au temps t s.


Pour toute dure t 0,
Ti t X t i t s, s t .
La proprit de stationnarit des probabilits de transition entrane que
P Ti s t Ti s P Ti t .
Proprit particulire: la distribution du temps restant d'ici la prochaine sortie
de i par le processus est la mme quelle que soit le temps dja pass dans l'tat i.
La variable Ti est sans mmoire.
La seule distribution de variable alatoire continue ayant cette proprit est
la distribution exponentielle.

Proprit particulire: la distribution du temps restant d'ici la prochaine sortie


de i par le processus est la mme quelle que soit le temps dja pass dans l'tat i.
La variable Ti est sans mmoire.
La seule distribution de variable alatoire continue ayant cette proprit est
la distribution exponentielle.
Rappel: La distribution exponentielle Ti possde un seul paramtre qi
P Ti t 1 e qi t

t 0,

et sa moyenne (esprance mathmatique) est


1
E Ti .
qi
Ce rsultat nous permet de dcrire une chane de Markov en temps continu
d'une faon quivalente comme suit:

Ce rsultat nous permet de dcrire une chane de Markov en temps continu


d'une faon quivalente comme suit:
1
1. La variable alatoire Ti a une distribution exponentielle avec moyenne de
qi
2. Quand le processus quitte l'tat i, il passe l'tat j avec une probabilit de
pij satisfaisant les conditions suivantes:
pii 0

i 0,K , M

i 0,K , M

p
j 0

ij

3. Le prochain tat visit aprs i est indpendant du temps pass dans l'tat i

2.2 Intensits de transitions


Les intensits de transition qi jouent un rle pour les chanes de Markov en temps
continu analogue aux probabilits de transition dans le cas des chanes
de Markov discrte:
1 pii t
d
qi pii 0 lim
i 0,K , M
t

0
dt
t
p t
d
qij pij 0 lim ij
qi pij
i, j 0,K , M ; i j
t

0
dt
t
o pij t est la fonction de la probabilit de transition en temps continu
et pij est dcrit l'item 2. de la dfinition quivalente de la chane de Markov
Par symtrie avec le cas discret

en temps continu.

pij t P X t j X 0 i

o pij t dnote la fonction de probabilit de transaction en temps continu


L'hypothse suivante est faite:
1
0

lim pij t
t 0

si i j
si i j

2. Quand le processus quitte l'tat i, il passe l'tat j avec une probabilit de


pij satisfaisant les conditions suivantes:
pii 0

i 0, K , M

i 0,K , M

p
j 0

ij

2.2 Intensits de transitions


Les intensits de transition qi jouent un rle pour les chanes de Markov en temps
continu analogue aux probabilits de transition dans le cas des chanes
de Markov discrte:
1 pii t
d
qi pii 0 lim
i 0,K , M
t

0
dt
t
p t
d
qij pij 0 lim ij
qi pij
i, j 0,K , M ; i j
t

0
dt
t
o pij t est la fonction de la probabilit de transition en temps continu
et pij est dcrit l'item 2. de la dfinition quivalente de la chane de Markov
en temps continu.
De plus, le qi est en fait le paramtre dfinissant la distribution exponentielle
de Ti .

1. La variable alatoire Ti a une distribution exponentielle avec moyenne de

1
qi

En particulier:
1
a) qi = taux de transition partir de i
E Ti

o E Ti = moyenne du temps pass chaque visite dans l'tat i.

b) qij = taux de transition de i vers j


nombre moyen de fois que le processus passe de i j par unit de
temps pass dans l'tat i
Il s'ensuit que
M

qi qij .
j 0
j i

En particulier:
1
a) qi = taux de transition partir de i
E Ti

o E Ti = moyenne du temps pass chaque visite dans l'tat i.

b) qij = taux de transition de i vers j


nombre moyen de fois que le processus passe de i j par unit de
temps pass dans l'tat i
Par analogie avec qi , qij est le paramtre de la distribution exponentielle de la
variable alatoire definie comme suit:
Chaque fois que le processus atteint i, le temps pass dans i avant une transition
vers j (cette transition tant la premire) est une variable alatoire
Tij

i, j 0,K , M , i j.

Les variables Tij sont indpendantes, exponentielles avec paramtres qij dont les
moyennes

1
E Tij .
qij

Par analogie avec qi , qij est le paramtre de la distribution exponentielle de la


variable alatoire definie comme suit:
Chaque fois que le processus atteint i, le temps pass dans i avant une transition
vers j (cette transition tant la premire) est une variable alatoire
i, j 0,K , M , i j.

Tij

Les variables Tij sont indpendantes, exponentielles avec paramtres qij dont les
1
E Tij .
qij
Le temps pass dans l'tat i avant une transition i.e., Ti est le minimum sur tous
moyennes

les j i des Tij .


Quand la transition se produit, la probabilit qu'elle soit vers l'tat j est
pij

qij
qi

3. Probabilits l'quilibre
Nous retrouvons des proprites similaires celles des chanes de Markov discrtes.
Probabilits de transition satisfont les quations de Chapman-Kolmogorov:
M

pij t pik s pkj t s


k 0

i, j 0,K M ; 0 s t

Les tats i et j communiquent si t1 ,t2 >0 tels que


pij t1 0 et p ji t2 0

Tous les tats qui communiquent forment une classe


Si tous les tats forment une seule classe, alors la chane de Markov est
irrductible (nous allons faire cette hypothse par la suite dans notre analyse):
pij t 0

t 0; i, j 0,K , M .

Si tous les tats forment une seule classe, alors la chane de Markov est
irrductible (nous allons faire cette hypothse par la suite dans notre analyse):
pij t 0

t 0; i, j 0,K , M .

Probabilits l'quilibre (probabilit stationnaire) de la chane de Markov:


lim pijn j 0
lim pij t j
j 0,K , M
n

existe et est indpendante de l'tat initial de la chane de Markov


Les probabilits l'quilibre satisfont les relations suivantes
M

j i pij t

j 0,K , M ; t 0

i 0

j i pij
i 0

MAIS les quations d'quilibre suivantes donne un systme d'quations plus


facile rsoudre pour identifier les j :
M

j q j i qij
i 0
i j

j 0

j 0,K , M

MAIS les quations d'quilibre suivantes donne un systme d'quations plus


facile rsoudre pour identifier les j :
M

j q j i qij
i 0
i j

Interprtation intuitive:

j 0

j 0,K , M

j q j : taux auquel le processus part de j


puisque j : probabilit ( l'quilibre) que le processus soit dans l'tat j
q j : taux de transition pour sortir de l'tat j tant donn que le
processus est dans l'tat j

i qij : taux de passage de l'tat i l'tat j


puisque qij : taux de transition de l'tat i l'tat j tant donn que le
processus est dans l'tat i
M

q
i 0
i j

i ij

: taux de passage l'tat j quelque soit l'tat i dans lequel se trouve


le processus

Donc il s'ensuit que


taux de dpart de j = taux d'arrive j

Interprtation intuitive:

j q j : taux auquel le processus part de j


puisque j : probabilit ( l'quilibre) que le processus soit dans l'tat j
q j : taux de transition pour sortir de l'tat j tant donn que le
processus est dans l'tat j

i qij : taux de passage de l'tat i l'tat j


puisque qij : taux de transition de l'tat i l'tat j tant donn que le
processus est dans l'tat i
M

q
i 0
i j

i ij

: taux de passage l'tat quelque soit l'tat i dans lequel se trouve


le processus

Donc il s'ensuit que


taux de dpart de j = taux d'arrive j
Nous utilisons donc par la suite ces
QUATIONS DE BALANCE

QUATIONS DE BALANCE

quations d'quilibre
M

j q j i qij
i 0
i j

j 0

Intensits de transition

j 0,K , M

q j q ji .
i 0
j i

Remplaons les valeurs des q j dans les quations d'quilibre:


M

i 0
i j

i 0
i j

i 0
i j

j q j i qij j q ji i qij

j 0,K , M

Donc les quations de balance deviennent


M

i 0
i j

i 0
i j

j q ji i qij
M

j 0

j 0,K , M

taux de dpart de j = taux d'arrive j

Exemple: Deux machines identiques fonctionnent de faon continue moins d'tre


briss.
Un rparateur disponible au besoin pour rparer les machines.
Temps de rparation suit une distribution exponentielle avec une moyenne de
0.5 journe.
Une fois rpare, le temps d'utilisation d'une machine avant son prochain bris
suit une distribution exponentielle de moyenne de 1 journe.
Nous supposons que ces distributions sont indpendantes.
Considrons le processus alatoire dfini en terme du nombre de machines en
panne. La variable alatoire
X t nombre de machines en panne au temps t .
tats de X t : 0,1,2
Le temps de rparation suivant une distribution exponentielle et le temps jusqu'au
prochain bris suivant galement une distribution exponentielle entranent que

X t ; t 0

est une chane de Markov en temps continu

X t nombre de machines en panne au temps t .


tats de X t : 0,1,2
Le temps de rparation suivant une distribution exponentielle et le temps jusqu'au
prochain bris suivant galement une distribution exponentielle entranent que

X t ; t 0

est une chane de Markov en temps continu

Temps de rparation suit une distribution exponentielle avec une moyenne de


0.5 journe.

1
2 machines par jour
0.5
Une fois rpare, le temps d'utilisation d'une machine avant son prochain bris

Taux de rparation =

suit une distribution exponentielle de moyenne de 1 journe.

1
Taux de bris d'une machine = 1 jour
1

Taux de transition (qij ) entre les tats:


Hypothses:
Les deux machines ne peuvent se briser au mme moment: q02 0
Le rparateur ne rpare qu'une seule machine la fois: q20 0
Temps de rparation suit une distribution exponentielle avec une moyenne de
0.5 journe
1
taux de rparation =
2 machines par jour
0.5
Le temps d'utilisation d'une machine avant son prochain bris suit une distribution
exponentielle de moyenne de 1 journe
1
taux de bris = 1 jour
1
Au moment o les deux machines fonctionnent, alors
taux de bris = taux de bris de machine 1 + taux de bris de machine 1 = 1 + 1 = 2

q01 2
0

q12 1
1

q10 2

q21 2

Taux de transition (qij ) entre les tats:


Hypothses:
Les deux machines ne peuvent se briser au mme moment: q02 0
Le rparateur ne rpare qu'une seule machine la fois: q20 0
1
2 machines par jour
0.5
1
Taux de bris d'une machine = 1 jour
1
Taux de bris si deux machines sont en marche = 2
Taux de rparation =

q01 2

q12 1

1
q10 2

Rappel:

q21 2

QUATIONS DE BALANCE
M

i 0
i j

i 0
i j

j q ji i qij
M

j 0

j 0,K , M

taux de dpart de j = taux d'arrive j

tat 0: 0 q01 1q10

2 0 2 1

tat 1: 1 q10 q12 0 q01 2 q21 2 1 1 2 0 2 2 3 1 2 0 2 2


tat 2: 2 q21 1q12

2 2 1

0 1 2 1

q01 2
0

q12 1
1

q10 2

q21 2

tat 0: 0 q01 1q10

2 0 2 1

tat 1: 1 q10 q12 0 q01 2 q21 2 1 1 2 0 2 2 3 1 2 0 2 2


tat 2: 2 q21 1q12

2 2 1

0 1 2 1
2 0 2 1
2 2 1

0 1 2 1

0 1

2 0.5 1

0
1
2

1 1 0.5 1 1 2.5 1 1 1 0.4

Donc

0 , 1 , 2 = 0.4,0.4,0.2

q01 2
0

q12 1
1

q10 2

q21 2

Donc

0 , 1, 2 = 0.4,0.4,0.2
Probabilits l'quilibre

0 P aucune machine brise 0.4


1 P une machine brise 0.4
2 P 2 machines brises 0.2

Nombre moyen de machines brise (esprance mathmatique)


0 0 1
1 2 2

0 0.4
0.4 0.8