Vous êtes sur la page 1sur 26

Modles stochastiques

Chane de Markov en temps continu


Dans le chaptre prcdent sur les chanes de Markov, les moments (temps)
etaient discrets ( 0,1, ). Maintenant, nous allons analyser des situations o
les observations se font de faon continue plu
t
t =
tt qu' des moments discrets.
( ) ( ) { }
1 mutuellement exclusifs: 0,1, ,
L'analyse dbute au temps 0 et le temps s'coule de faon continue
= tat du systme au temps : 0,1, ,
Les points de changement d'ta
1. Formulati

t
t s
s
at
on
M M
t
X t t X t M
+

( )
( )
( )

2
1
1 2
1 2 3
0
, , sont des points alatoires dans le temps
(pas ncessairement entiers):
0
t
t
X
X
X
t t
t t t

( )
Considrons trois points conscutifs dans le temps o il y a eu changement d'tats:
0 temps pass
( ) temps courant (actuel)
( 0) units de temps dans le
r r
s s r
s t t t

>
+
( ) ( ) { }
( ) ( ) ( )
( )
futur.
Supposons que et que , avec , 0, , .
L'valuation de
and 0, ,
est facilit par la proprit de Markov (i.e., sans mmoire).
X s i X r l i l M
P X s t j X s i X r l j M
= =
+ = = = =

( ) { }
( ) ( ) ( )
( )
( ) ( )
( )
{ }
proprit de
Mar
Un pro
kov
cessus stochastique en temps continu ; 0 a la
si
and
, , 0, ; 0, ,
Dfiniti n
.
o
0
X t t
P X s t j X s i X r l P X s t j X s i
i j l M r s r t

+ = = = = + = =
> >
( ) { }
( ) ( ) ( )
( )
( ) ( )
( )
{ }
proprit de
Mar
Un pro
kov
cessus stochastique en temps continu ; 0 a la
si
and
, , 0, ; 0, ,
Dfiniti n
.
o
0
X t t
P X s t j X s i X r l P X s t j X s i
i j l M r s r t

+ = = = = + = =
> >
( ) ( )
( )
probabilits de tran Les probabilits sont des
similaires celles que nous avions e
sit
n temps discr
ion
et.
P X s t j X s i + = =
( ) ( )
( )
( ) ( )
( )
Les sont puisqu'elles sont indpen probabilit dantes de s de transition stat : ionna

r
0
i e
0
s s
P X s t j X s i P X t j X i s + = = = = = >
( ) ( ) ( )
( )
( )
Par symtrie avec le cas discret
0
o dnot fonction de probabilit de transition en temps c e la ontinu
ij
ij
p t P X t j X i
p t
= = =
Le processus stochastique est alors u chane de Markov en temps co ne ntinu
( ) ( )
( )
( ) ( )
( )
Les sont puisqu'elles sont indpen probabilit dantes de s de transition stat : ionna

r
0
i e
0
s s
P X s t j X s i P X t j X i s + = = = = = >
( ) ( ) ( )
( )
( )
Par symtrie avec le cas discret
0
o dnot fonction de probabilit de transition en temps c e la ontinu
ij
ij
p t P X t j X i
p t
= = =
( )
0
L'hypothse suivante est faite:
1 si
lim
0 si
ij
t
i j
p t
i j

2. Variables alatoires importantes


Dans l'volution du processus, dnotons
= variable alatoire du temps pass dans l'tat avant de se dplacer

2.1 Temps
vers un
dans un tat
autre tat

i
T i
{ }
0, , i M
( ) [ ]
Supposons que le processus entre dans l'tat au temps .
Pour toute dure 0,
, .
i
i t s
t
T t X t i t s s t

=
>

> = +
( ) ( )
La proprit de stationnarit des probabilits de transition entrane que
.
i i i
P T s t T s P T t > + > = >
( ) [ ]
Supposons que le processus entre dans l'tat au temps .
Pour toute dure 0,
, .
i
i t s
t
T t X t i t s s t

=
>

> = +
( ) ( )
La proprit de stationnarit des probabilits de transition entrane que
.
i i i
P T s t T s P T t > + > = >
Proprit particulire: la distribution du temps restant d'ici la prochaine sortie
de par le processus est la mme quelle que soit le temps dja pass
La variable
dans l'
est sa

n
ta
s
t .
.

mmoire
i
T
i i

La seule distribution de variable alatoire continue ay
d
a
i
nt
st
cet
ribu
te propr
tion exp
it
onent
est
ie

la lle.
Proprit particulire: la distribution du temps restant d'ici la prochaine sortie
de par le processus est la mme quelle que soit le temps dja pass
La variable
dans l'
est sa

n
ta
s
t .
.

mmoire
i
T
i i

La seule distribution de variable alatoire continue ay
d
a
i
nt
st
cet
ribu
te propr
tion exp
it
onent
est
ie

la lle.
( )
[ ]
: La possde un seul paramtre
1 0,
et sa moyenne (espran
distribu
ce math
ti
matique) est
1
.
on e Rappe xponentielle l
i
i i
q t
i
i
i
T q
P T t e t
E T
q

= >
=
Ce rsultat nous permet de dcrire une chane de Markov en temps continu
d'une faon quivalente comme suit:
1
1. La variable alatoire a une distribution exponentielle avec moyenne de
2. Quand le processus quitte l'tat , il passe l'tat avec une probabilit de
satisfaisant les conditions s
i
i
ij
T
q
i j
p
{ }
{ }
0
uivantes:
0 0, ,
1 0, ,
3. Le prochain tat visit aprs est indpendant du temps pass dans l'tat
ii
M
ij
j
p i M
p i M
i i
=
=
=

Ce rsultat nous permet de dcrire une chane de Markov en temps continu


d'une faon quivalente comme suit:
Les jouent un rle pour les chanes de Markov en temps
continu analogue aux probabili
2.2 Intensit
ts de transiti
intensits de tr
on dans le cas des chanes
de Markov disc
s de tran
ansitio
s ns
n
itio
i
q
( )
( )
{ }
( )
( )
{ }
( )
0
0
rte:
1
0 lim 0, ,
0 lim , 0, , ;
o est la fonction de la probabilit de transition en temps continu
ii
i ii
t
ij
ij ij i ij
t
ij
p t
d
q p i M
dt t
p t
d
q p q p i j M i j
dt t
p t

= =
= = =

( ) ( ) ( )
( )
( )
( )
0
fonction de probabilit de transaction en temps
Par symtrie avec le cas discret
0
o dnote la
L'hypothse suivante est faite:
1 si
lim
cont
0 s
i
i
nu
ij
ij
ij
t
p t P X t j X i
p t
i j
p t
i j

= = =
=

et est dcrit l'item 2. de la dfinition quivalente de la chane de Markov


en temps continu.
ij
p
{ }
{ }
0
2. Quand le processus quitte l'tat , il passe l'tat avec une probabilit de
satisfaisant les conditions suivantes:
0 0, ,
1 0, ,
ij
ii
M
ij
j
i j
p
p i M
p i M
=
=
=

et est dcrit l'item 2. de la dfinition quivalente de la chane de Markov


en temps continu.
ij
p
De plus, le est en fait le paramtre dfinissant la distribution exponentielle
de .
i
i
q
T
1
1. La variable alatoire a une distribution exponentielle avec moyenne de
i
i
T
q
Les jouent un rle pour les chanes de Markov en temps
continu analogue aux probabili
2.2 Intensit
ts de transiti
intensits de tr
on dans le cas des chanes
de Markov disc
s de tran
ansitio
s ns
n
itio
i
q
( )
( )
{ }
( )
( )
{ }
( )
0
0
rte:
1
0 lim 0, ,
0 lim , 0, , ;
o est la fonction de la probabilit de transition en temps continu
ii
i ii
t
ij
ij ij i ij
t
ij
p t
d
q p i M
dt t
p t
d
q p q p i j M i j
dt t
p t

= =
= = =

[ ]
[ ]
En particulier:
a)
o = moyenne du t
1
= taux de transi
emps pass chaq
tion part
ue visite dans l'tat .
ir de
i
i
i
E T
q i
i
E T
=
b)
nombre moyen de fois que le processus passe de par unit
= taux
de

de transition d
temps
e

ver
pass dans l'tat
s
ij
i j
q i j
i
=
0
Il s'ensuit que
.
M
i ij
j
j i
q q
=

[ ]
[ ]
En particulier:
a)
o = moyenne du t
1
= taux de transi
emps pass chaq
tion part
ue visite dans l'tat .
ir de
i
i
i
E T
q i
i
E T
=
b)
nombre moyen de fois que le processus passe de par unit
= taux
de

de transition d
temps
e

ver
pass dans l'tat
s
ij
i j
q i j
i
=
Par analogie avec , est le paramtre de la distribution exponentielle de la
variable alatoire definie comme suit:
Chaque fois que le processus atteint , le temps pass dans avant une transiti
i ij
q q
i i
{ }
on
vers (cette transition tant la premire) est une variable alatoire
, 0, , , .
ij
j
T i j M i j
Les variables sont indpendantes, exponentielles avec paramtres dont les
1
moyennes .
ij ij
ij
ij
T q
E T
q
( =

Par analogie avec , est le paramtre de la distribution exponentielle de la
variable alatoire definie comme suit:
Chaque fois que le processus atteint , le temps pass dans avant une transiti
i ij
q q
i i
{ }
on
vers (cette transition tant la premire) est une variable alatoire
, 0, , , .
ij
j
T i j M i j
Les variables sont indpendantes, exponentielles avec paramtres dont les
1
moyennes .
ij ij
ij
ij
T q
E T
q
( =

( )
Le temps pass dans l'tat avant une transition i.e., est le minimum sur tous
les des .
i
ij
i T
j i T
Quand la transition se produit, la probabilit qu'elle soit vers l'tat est
.
ij
ij
i
j
q
p
q
=
3. Probabilits l'quilibre
( ) ( ) ( )
0
Nous retrouvons des proprites similaires celles des chanes de Markov discrtes.
Probabilits de tr satisfont les quations de Chapman-Kolmogo ansition :

o
,
r v
M
ij ik kj
k
p t p s p t s i
=
=

{ }
0, ; 0 j M s t
( ) ( )
1 2
1 2
Les tats et si , >0 tels que

c

ommunique

n
0 et 0
t

ij ji
i j t t
p t p t

> >
Tous les tats qui communiquent forment cl une asse
( ) { }
Si tous les tats forment une seule classe, alors la chane de Markov est
(nous allons faire cette hypothse par la suite dans notre analyse):
0
irrductible
0; , 0, , .

ij
p t t i j M > >
( )
:
lim
Probabilits
0, ,
existe et est indpendante de l'tat initial de la chan
l'quilibre (probabilit stationnaire) de la chane de Ma
e de Marko
r ov
v
k
ij j
t
p t j M

= =
( ) { }
Si tous les tats forment une seule classe, alors la chane de Markov est
(nous allons faire cette hypothse par la suite dans notre analyse):
0
irrductible
0; , 0, , .

ij
p t t i j M > >
( )
0
Les probabilits l'quilibre satisfont les relations suivantes
0, , ; 0
M
j i ij
i
p t j M t
=
= =


{ }
0
0
MAIS les suivantes donne un systme d'quations plus
facile rsoudre pour identifier les :

quations d'quilib
0, ,
re
1
j
M
j j i ij
i
i j
M
j
j
q q j M

=
=
=

lim 0
n
ij j
n
p

= >
0
M
j i ij
i
p
=
=

{ }
0
0
MAIS les suivantes donne un systme d'quations plus
facile rsoudre pour identifier les :

quations d'quilib
0, ,
re
1
j
M
j j i ij
i
i j
M
j
j
q q j M

=
=
=

Interprtation intuitive:
puisque : probabilit ( l'quilibre) que le processus soit dans l'tat

: taux auquel le proc
: ta
essus
ux de
part
transition po
de
ur s
j
j
j j
q
j
q
j

ortir de l'tat tant donn que le


processus est dans l'tat
: taux de passage de l'tat l'tat
puisque : taux de transition de l'tat l'tat
i ij
ij
j
j
q i j
q i

0
: taux de pas
tant donn q
sage l'tat
ue le

quelque soit l'tat dans lequel se trouve
le process
processus est dans l'ta
s
t
u
M
i ij
i
i j
q j i
j
i

taux
Donc
de
il s'en
dpart d
suit que
= taux d 'a e r rive j j
Interprtation intuitive:
: taux auquel le processus part de
puisque : probabilit ( l'quilibre) que le processus soit dans l'tat
: taux de transition pour s
j j
j
j
q j
j
q

ortir de l'tat tant donn que le


processus est dans l'tat
: taux de passage de l'tat l'tat
puisque : taux de transition de l'tat l'tat
i ij
ij
j
j
q i j
q i

0
tant donn que le
processus est dans l'tat
: taux de passage l'tat quelque soit l'tat dans lequel se trouve
le processus
M
i ij
i
i j
j
i
q i
=

taux
Donc
de
il s'en
dpart d
suit que
e = taux d'ar rive j j
Nous utilisons donc par la suite ces
Q UA TION S DE BAL ANCE
QUATIONS DE BA LANCE
{ }
0
0
quations d'quilibre
0, ,
1
M
j j i ij
i
i j
M
j
j
q q j M

=
=
=

0
Intensits de transiti n
.
o
M
j ji
i
j i
q q
=

{ }
{ }
0 0 0
0 0
0
Remplaons les valeurs des dans les quations d'quilibre:
0, ,
Donc les quations de balance deviennent
0, ,
1
j
M M M
j j i ij j ji i ij
i i i
i j i j i j
M M
j ji i ij
i i
i j i j
M
j
j
q
q q q q j M
q q j M

= = =

= =

=
= =
=
=

taux de dpart de = taux d'arrive j j


: Deux machines identiques fonctionnent de faon continue moins d'tre
briss.
Un rparateur disponible au besoin pour rparer les machines.
Temps de rparation suit une d
Exe
is
mple
tribution exponentielle avec une moyenne de
0.5 journe.
Une fois rpare, le temps d'utilisation d'une machine avant son prochain bris
suit une distribution exponentielle de moyenne de 1 journe.
Nous supposons que ces distributions sont indpendantes.
( )
Considrons le processus alatoire dfini en terme du nombre de machines en
panne. La variable alatoire
nombre de machines en panne au temps . X t t

=
( ) { }
tats de : 0,1,2 X t

( ) { }
Le temps de rparation suivant une distribution exponentielle et le temps jusqu'au
prochain bris suivant galement une distribution exponentielle entra
; 0 est une chane de
nent q
Marko
ue
v en tem X t t

ps continu
( )
nombre de machines en panne au temps . X t t

=
( ) { }
tats de : 0,1,2 X t

( ) { }
Le temps de rparation suivant une distribution exponentielle et le temps jusqu'au
prochain bris suivant galement une distribution exponentielle entra
; 0 est une chane de
nent q
Marko
ue
v en tem X t t

ps continu
Temps de rparation suit une distribution exponentielle avec une moyenne de
0.5 journe.

1
Taux de rparation = 2 machines par jour
0.5
Une fois rpare, le temps d'utilisation d'une machine avant son pr

=
ochain bris
suit une distribution exponentielle de moyenne de 1 journe.
1
Taux de bris d'une machine = 1 jour
1

=
02
20
:
Hypothses:
Les deux machines ne peuvent se briser au mme moment: 0
Le rparateur ne rpar
Taux de transition ( )
e qu'une seule machine
entre les
la fois
tats
: 0
ij
q
q
q
=
=
Temps de rparation suit une distribution exponentielle avec une moyenne de
0.5 journe
1
taux de rparation = 2 machines par jour
0.5
=
Le temps d'utilisation d'une machine avant son prochain bris suit une distribution
exponentielle de moyenne de 1 journe
1
taux de bris = 1 jour
1
=
( ) ( )
Au moment o les deux machines fonctionnent, alors
taux de bris = taux de bris de machine 1 + taux de bris de machine 1 = 1 + 1 = 2
02
20
:
Hypothses:
Les deux machines ne peuvent se briser au mme moment: 0
Le rparateur ne rpar
Taux de transition ( )
e qu'une seule machine
entre les
la fois
tats
: 0
ij
q
q
q
=
=
1
Taux de rparation = 2 machines par jour
0.5
=
1
Taux de bris d'une machine = 1 jour
1
=
Taux de bris si deux machines sont en marche = 2
0 1
2
01
2 q =
12
1 q =
21
2 q =
10
2 q =
( ) ( )
0 01 1 10 0 1
1 10 12 0 01 2 21 1 0 2 1 0 2
2 21 1 12 2 1
0 1 2
tat 0: 2 2
tat 1: 2 1 2 2 3 2 2
tat 2: 2
1
q q
q q q q
q q




= =
+ = + + = + = +
= =
+ + +
0 1
2
01
2 q =
12
1 q =
21
2 q =
10
2 q =
{ }
0 0
0
QUATIONS DE BALANCE Rappe :
0, ,
1
l
M M
j ji i ij
i i
i j i j
M
j
j
q q j M

= =

=
=
=

taux de dpart de = taux d'arrive j j


0 1
2
01
2 q =
12
1 q =
21
2 q =
10
2 q =
0 1 0 1
2 1 2 1 1 1 1 1 1
0 1 2 0 1 2
2 2
2 0.5 0.5 1 2.5 1 0.4
1 1



= =


= = + + = = =
` `

+ + = + + =
)
)
( ) ( )
0 1 2
Donc
, , = 0.4,0.4,0.2
( ) ( )
0 01 1 10 0 1
1 10 12 0 01 2 21 1 0 2 1 0 2
2 21 1 12 2 1
0 1 2
tat 0: 2 2
tat 1: 2 1 2 2 3 2 2
tat 2: 2
1
q q
q q q q
q q




= =
+ = + + = + = +
= =
+ + +
0 1
2
01
2 q =
12
1 q =
21
2 q =
10
2 q =
( ) ( )
0 1 2
Donc
, , = 0.4,0.4,0.2
( )
( )
( )
0
1
2
aucune machine brise 0.4
une machine brise 0.4

P

robabilits

l
2 machines brises 0.2
'quilibre
P
P
P

= =
= =
= =
0 1 2
(esprance mathmatique)

Nombre moy
0 1 2 0 0.4 0
en de machines brise
.4

0.8 + + = + + =