BK,GK,GR

valuation de performances et
sret de fonctionnement - OMI
Page 4
PROCESSUS STOCHASTIQUES
DEFINITION
E Famille de variables alatoires X
t
valeurs dans
E, espaces des tats, et indexe sur T, temps.
[X
t
,t)T] X: variable alatoire
E La ralisation d'un processus stochastique est
appele trajectoire du processus
Page 5
PROCESSUS STOCHASTIQUES
CLASSIFICATION
E Selon la nature de t, temps.
-Processus stochastique temps discret, T)N
-Processus stochastique temps continu, T)R
+

E Selon la nature de E, espace d'tats.
-Processus stochastique espace d'tats discrets, E
dnombrable.
-Processus stochastique espace d'tats continu, E
est alors non dnombrable.
Page 6
PROCESSUS STOCHASTIQUES
E Processus stationnaire
Un processus stochastique,[X
t
,t)T], est stationnaire si
sa fonction de rpartition, F
x
(X;t), est invariante au
dcalage dans le temps:
O F
x
(X;t+t)= F
x
(X;t)
Processus strictement stationnaire: conservation de la
fonction de rpartition quelque soit t.
Processus faiblement stationnaire: les moments
d'ordre 1 et 2 sont indpendants du temps t.
Page 7
PROCESSUS STOCHASTIQUES
Comparaison des principaux processus
stochastiques
O P
ij
: probabilit de transition de l'tat E
i
l'tat E
j

O f
t
: densit de probabilit
processus
Poisson
Processus
de renouvellement
Marche
alatoire
Processus semi-markovien
Processus de Markov
Processus de
naissances et
de morts
Processus de
naissance
P
ij
arbitraire
t
arbitraire
ij
P
arbitraire; f
t
sans mmoire
f
Pass rsum dans
les derniers tats
Changements des instants quelconques
Page 8
PROCESSUS STOCHASTIQUES
Suite discrte
dnombrable
Processus continu
Espace d'tats discrets
dnombrables
Suite stochastique
espace d'tats discret
X
n
Processus permanent
espace d'tats discrets
X
n
(t)
Espace d'tats continu Suite stochastique
espace d'tats continu
Processus permanent
espace d'tats continu
Classification
Page 9
PROCESSUS STOCHASTIQUES
Suite discrte
dnombrable
Processus continu
Espace d'tat discret
dnombrables
Pile ou Face E={P,F}
T= 1,2,....,n
File d'attente:
N
t:
nb de clients
instant t{N
t
, teR
+
}
Espace d'tat continu
File d'attente {tf
n
, neN)
tf
n
:V.A. attente file,
client n
neN nombre de clients
E= R
+
Mouvement brownien:
mouvement d'une
particule
V.A (X,Y) position de la
particule fonction du
temps t
Exemple
Page 10
2-CHAINES DE MARKOV
2-1 INTRODUCTION
E Historique:
C'est en tudiant l'alternance des voyelles et
consonnes dans l'oeuvre de Pouchkine, "Eugne
Onguine", que Markov dcouvrit cette notion.
E Trois aspects d'tude :
-aspect: probabiliste.
-aspect: algbrique.
-aspect : thorie des graphes qui donne une vision
simplifie du processus et permet lui seul, dans le
cas d'espace d'tats fini, de donner l'essentiel des
rsultats qualitatifs sur le comportement du processus.
Page 11
CHAINES DE MARKOV
E Exemple:
Un voyageur se dplace de ville en ville.
O X
n
: ville du voyageur midi le jour n
O voyageur dans la ville "i",
quitte la ville avec la premire voiture partant le soir vers
une autre ville quelconque.
S'il n'y a pas de voiture, il reste en "i" jusqu'au soir suivant
Arrive des vhicules est alatoire.
Position du voyageur est une variable alatoire, X
n
.
O Dure du trajet ville i ville j, ngligeable.
O La prochaine ville visite dpend de la ville o il se
trouve uniquement. Mmoire concentre dans la ville
prcdente.
O Si X
n
=j (ville j instant n) systme dans l'tat E
j
au
temps n.


Page 12
CHAINES DE MARKOV
2.2 Dfinition
La squence de variables alatoires X
1
,X
2
,...,X
n
forme
une chane de Markov espace d'tats discret si pour
tout n, (n=1,2...), et toutes les valeurs possibles des
variables alatoires X
n
, nous avons pour i
1
<i
2
<...<i
n

P[X
n
=j/X
1
=i
1
,X
2
=i
2
,.,X
n-1
=i
n-1
]= P[X
n
=j/X
n-1
=i
n-1
]
On appelle probabilit de transition (la quantit):
probabilit conditionnelle P[X
n
= j/X
n-1
=i
n-1
]
C'est la probabilit (conditionnelle) d'effectuer une
transition de l'tat E
i
au pas (n-1) vers l'tat E
j
au n
eme

pas.
Page 13
CHAINES DE MARKOV
Si les probabilits de transition ne dpendent pas de n
la chane est dite homogne dans le temps. On dit
aussi stationnaire.
p
ij
=P[X
n
= j/X
n-1
=i
n-1
]
O probabilit d'aller dans l'tat E
j
en un pas, sachant que
l'tat courant est E
i
.
E 2-3 Proprit
La probabilit conditionnelle d'un vnement futur est
indpendante des vnements passs, elle dpend
seulement de l'tat du systme, proprit sans
mmoire.
Page 14
CHAINES DE MARKOV
E 2.4 Matrice associe une chane de Markov
Soit une chane de Markov homogne. On peut
regrouper les probabilits de transition pour former
une matrice carre d'ordre r. (r: nombre d'tats
pouvant tre fini ou infini)
11 12 1
1 2
1
..
.. .. ..
.. .. .. ..
..
( / )
r
ij
r r rr
ij n n
P P P
P
P
P P P
P P X j X i

(
(
(
=
(
(

= = =
Le processus tant dans l'tat E
i
l'poque (n-1), il sera
dans un tat quelconque E
j
l'poque n. On a:
1
1 1,....,
j r
ij
j
P i r
=
=
= =

Page 15
CHAINES DE MARKOV
E Dfinition:
On appelle matrice stochastique une matrice carre P
dont les lments vrifient :
1
1 1,....,
j r
ij
j
P i r
=
=
= =

Cette matrice est dite bi-stochastique si de plus ses

lments vrifient :
1
1 1,....,
i r
ij
i
P j r
=
=
= =

Page 16
CHAINES DE MARKOV
2-5 Distribution de probabilits de la variable alatoire
X
n
E Le systme peut pendre les tats (E
0
, E
1
, ,E
n
), aux
instants n=0, 1, 2.
E Vecteur, H(n), des probabilits des tats :
H(n) = [t
1
(n), t
2
(n), , t
r
(1)]
P(X
n
=i)=t
i
(n)
E Problme: quelle est la distribution de probabilits de
la variable alatoire, X
n
pour tout n:
P(X
n
=i)=t
i
(n)
E Distribution initiale des probabilits des tats:
H(0)=[t
1
(0), t
2
(0), , t
r
(0)]
P(X
0
=i)=t
i
(0): distribution initiale
tat E
i
linstant t=0: instant dmarrage de la chane.
Page 17
CHAINES DE MARKOV
E distribution de probabilits de transition:
P(X
n
=j/ X
n-1
=i)=p
ij
(n)
Chane homogne: p
ij
(n)=p
ij

( ) | | | |
( ) ( )
( ) ( )
( ) ( )
1 1
d'aprs le thorme des probabilits totales:
( ) .
1 .
On peut crire si n=1:
1 0 .
Si n=2:
2 1 .
t
t t
t t
t t

= = = = = =
=
=
=

j n n n n
j
j i ij
i
j i ij
i
j i ij
i
n P X j P X jIX i P X i
n n p n
p
p
Page 18
CHAINES DE MARKOV
E On peut ainsi de proche en proche calculer t
j
(1),t
j
(2),....
E Si la chane de Markov est finie, Card E =m, nombre
d'tats possibles:
( ) ( )
1
1 t t
=
=

m
j i ij
i
n n p
A partir de l'instant o l'on connat H(0) et M on peut
thoriquement calculer H(n) pour toutes valeurs de n
existence de limite?
H(n):vecteur probabilit d'tats l'instant n, form des t
j
(n)
M matrice de transition
( ) ( 1)
( ) (0)
H = H
H = H
n
n n M
n M
Page 19
CHAINES DE MARKOV
Exemple:
E voyageur 3 villes A, B, C
Ville initiale A: H=[1 0 0]
Matrice des transitions M
Position au temps n=1:
O H(1)= H(0)*M
| | | |
0 3/ 4 1/ 4
(1) 1 0 0 1/ 4 0 3/ 4
1/ 4 1/ 4 1/ 4
0 3/ 4 1/ 4 H =
(
(
=
(
(

H(2)= H(1)*M= [0 3/4 1/4]*M
H(2)= [0,25 0,062 0, 688]
A
B
C
3/4
1/4

3/4
1/2
1/4
E={A, B,C}

1/4
1/4
Page 20
CHAINES DE MARKOV
E 2-6 Probabilit de rester dans l'tat E
i
durant
m pas (temps ou transitions)

Le temps pass dans un tat E
i
donn est
gomtriquement distribu.
Le systme vient d'arriver dans l'tat E
i
il y reste avec
la probabilit p
ii
et la probabilit conditionnelle de
quitter tat E
i
au 2
eme
pas est (1-p
ii
)
Proprit de Markov : Le temps dj passe dans un
tat donn, n'a pas d'effet sur la probabilit d y rester
ou non au pas suivant
P(systme de rester dans l'tat E
i
, pour exactement m
pas supplmentaires sachant qu'il vient d'y en E
i
)
= (1-p
ii
) p
ii
m

Page 21
CHAINES DE MARKOV
E 2-7 quation de
Chapman Kolmogorov
E C'est une gnralisation
de la probabilit de
transition en plusieurs pas.
E qui donne la probabilit
que le systme sera en E
j

au pas n sachant qu'il tait
en E
i
au pas m.
E Si le systme va de l'tat
E
i
au temps m, l'tat E
j

au temps n alors un
instant intermdiaire q, il
passera par un tat E
k
.
tats
temps

m q n
a
b
c
d
Ei
Ek Ej
Ei Ek Ej
La probabilit p
ij
(m,n) de passer de l'tat E
i
au temps m l'tat
E
j
au temps n, peut s'exprimer comme la somme des
probabilits de tous les tats intermdiaires mutuellement
exclusifs
Page 22
CHAINES DE MARKOV
E L'quation de Chapman-Kolmogorov indique que l'on peut
partitionner (n-m) probabilits de transitions en une
somme de (q-m) et (n-q) de produits de probabilits vers
un tat intermdiaire et de celui-ci vers l'tat final.
( , ) ( , / ) m q n
( , ) ( / ). ( / , )
partir de la proprit de Markov:
( / ) ( , )
( / , ) ( , )
( , ) ( , ). ( , )
ij n q m
k
ij q m n m q
k
q m ik
n m q kj
ij ik kj
k
p m n P X j X k X i
p m n P X k X i P X j X i X k
P X k X i p m q
P X j X i X k p q n
p m n p m q p q n
= = = = s s
= = = = = =
= = =
= = = =
=

Page 23
CHAINES DE MARKOV
E Cette quation existe du pass vers le futur mais nous
aurions pu crire de faon symtrique l'quation du futur
vers le pass.
E Conclusion:
L'quation de C-K permet de connatre la probabilit
d'atteindre l'tat E
j
en n pas sachant qu'on tait en l'tat E
i

en m pas.
Ce rsultat traduit le caractre sans mmoire d'une chane
de Markov. Le processus oublie son histoire au fur et
mesure de ses transitions.
Page 24
CHAINES DE MARKOV
E 2.8 Graphe associ une chane de Markov
A la matrice des transitions P peut tre associe le
graphe G=(E,I)
O E: ensemble des tats de la chane, sommets du graphe
O G: application multivoque telle que:
I(E
i
) = {E
j
, P
ij
>0} arc du graphe
O Deux tats i, j, sont dits communicants, ssi, il existe un
circuit passant par i et j
O Si un tat E
i
, quelconque communique avec lui mme:
p
ii
(0) = 1
Page 25
CHAINES DE MARKOV
E Exemple: Soit le processus dont la matrice de transition
est la suivante:
1 1 1 1 1 1
3 3 3 3 3 3
1 1 1 1 1
2 4 4 2 2
1 1 1
2 4 4
1 1 1 2
2 2 3 3
1 2
3 3
E1 E3 E5 E2 E4 1 2 3 4 5
E1 0 0 1 0 0
E3 0 0 2 0 0 0

E5 1 0 0 0 0 3 0 0
E2 0 0 0 4 0 0 0
E4 0 0 0 5 1 0 0 0 0
E E E E E
E
E
E
E
E
E1


E5

1
1/3
1/3

1/2

1
1/4

1/3
1/2
E4
2/3
E2

1/2
1/3
E3
2 composantes connexes
tat final dpend de l'tat initial
Page 26
CHAINES DE MARKOV
E 2-9 tats d'une chane de Markov
Chane irrductible
O Une chane est irrductible si elle ne contient aucun sous-
ensemble ferm autre que celui de tous ses tats. Le graphe
correspondant est connexe.
O Tous les tats communiquent et sont de mme nature. Le
graphe est fortement connexe.
O Dans une chane de Markov irrductible, l'ensemble de tous
ses tats forme un ensemble ferm et il est unique.
O Une chane de Markov {X
n
,n0} est irrductible ssi son graphe
G=(X,U) est fortement connexe, une seule classe de
communication.
Remarque : La classification des tats dune chane de Markov
telle quelle est aborde par rfrence aux proprits des
graphes nest correcte et strictement quivalente la
classification probabiliste que dans le cas des espaces dtats
finis.
Page 27
CHAINES DE MARKOV
Matrice irrductible d'une chane de Markov:
O SSI on ne peut la dcomposer:
en sous-matrices carres M
1
, M
2
,M
n
non nulles
M
t
matrice rectangulaire
autres lments sont nuls
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
x x x
x x x
x x x
y y y
y y y
y y y
z z
z z
T T T T T T T T T T
T T T T T T T T T T
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(

M
1

M
2

M
r

M
t

0
0
C1 C2
C1
C2
Page 28
CHAINES DE MARKOV
EXEMPLE:
O Graphe 2 composantes fortement connexes
O 2 Classes C1 et C2
44 45
54
11 12 13
21
3
5
3 3
5
1 2 3
E1 E2 E3 E4 E5
E1 0 0
E2 0 0

E
p p p
p 0 0
3 0 0
E4 0 0 0
E5
p p
0 0 p
p p
p 0
p
E4
E5
E1
E3
E2
C1
C2
Page 29
CHAINES DE MARKOV
Diffrenciation des tats
O On dfinit la nature d'un tat E
i
d'une chane de Markov
discrte partir des considrations suivantes:
a- Partant d'un tat E
i
, on est sr, ou non, que le systme
repassera par l'tat E
i
.
b- Que le temps moyen de retour l'tat E
i
est fini ou
infini.
Page 30
CHAINES DE MARKOV
O Soit F
ii
, la probabilit que le systme a, partant de l'tat
E
i
d'y revenir.
O a- tats transitoires (F
ii
()<1): ):
le systme partant de l'tat E
i
a une chance de ne pas
repasser par E
i
.
O b- tats rcurrents F
ii
()=1):
le systme partant de l'tat E
i
repassera coup sr par E
i
au cours de son volution.
On peut distinguer les tats d'une chane de Markov par
une proprit de renouvellement des tats : la priodicit
Page 31
CHAINES DE MARKOV
O c-Priodicit d'un tat E
i
:
Un tat est dit priodique, de priode d(i), si :
d(i)=[pgcd(n/p
ij
n
>0]>1
Si n est diffrent d'un multiple de d(i) alors p
ii
n
=0
L'tat E
i
ne peut se reproduire qu'au bout d'un nombre de
transitions multiple de d(i).
O Si p
ii
>0 , il existe une boucle au sommet E
i
du graphe
reprsentatif de l'volution de la chane de Markov.
Dans ce cas d(i) =1 et la chane est apriodique.
O d(i) exprime en termes de graphe le chemin parcourir,
partant de E
i
pour y revenir avec une probabilit non
nulle
Page 32
CHAINES DE MARKOV
O d-Exemple de chane priodique: une classe d'tats
priode E3: PGCD{4,8,12,16,}
circuits (E6), longueur =(k*4) k entier=1,2,3...
E4
E2
E3
E1
E5
E6
1
1/4
1/3
3/4
2/3
1
1
0 2 / 3 1/ 3 0 0 0
0 0 0 1 0 0
0 0 0 1 0 0
0 0 0 0 1 0
1 0 0 0 0 0
0 0 0 0 1 0
E1
E2
E3
M
E4
E5
E6
(
(
(
(
=
(
(
(
(
(

P
66
(4)
=1/4
Page 33
CHAINES DE MARKOV
O d-Exemple de chane priodique: une classe d'tats
priode E1: PGCD{4,8,12,16,}
circuits (E1), longueur =(k.4) k entier=1,2,3...
E9
E1
E8
E6 E4
E3
E2
E10
E5
E7
1
1
1/4
1/3
3/4
2/3
1
1
1
1
1
0 1 0 0 0 0 0 0 0 0
0 0 1/ 3 2/ 3 0 0 0 0 0 0
0 0 0 0 3/ 4 0 0 0 0 1/ 4
0 0 0 0 0 1 0 0 0 0
0 0 0 0 0 0 1 0 0 0
0 0 0 0 0 0 0 1 0 0
0 0 0 0 0 0 0 0 1 0
0 1 0 0 0 0 0 0 0 0
0 0 1 0 0 0 0 0 0 0
1 0 0 0 0 0 0 0 0 0
E1
E2
E3
E4
E5
M
E6
E7
E8
E9
E10
(
(
(
(
(
(
(
= (
(
(
(
(
(
(
(

P
11
(4)
=1/12
Page 34
CHAINES DE MARKOV
0
0
0
0
0
0
0
0
0
R1
R2
R3
Rd
R
d-1
0
R
i
..
..
C1 C2 Ci Cd
Matrice stochastique priodique :
Une matrice M, priodique si on peut trouver d sous-ensembles d'tats
R
1
,..R
d
, de cardinal r
1
,.., r
d
et (r
1
++r
d
)=r
m

Les sous-matrices Rd sont non nulles
de dimensions (r
j
,r
j+1
)
Une matrice qui ne peut se mettre sous
cette forme est apriodique.
Si on part d'une classe C
i
on y revient
en d tapes
Graphe rduit associ la matrice
priodique
Page 35
CHAINES DE MARKOV
O Les zros de la diagonale principale sont des sous-matrices
carres (r
i
,r
i
).
O Les sous-matrices R
d
sont non nulles, de dimensions (r
j
,r
j+1
) .
O Tous les autres lments de M sont nuls.
Une matrice qui ne peut tre mise sous cette forme est
dite apriodique.
Graphe rduit associ une matrice priodique:
O Si on part d'une classe C
i
on y revient au bout de "d" tapes:
C1 C2 Ci Cd
Page 36
CHAINES DE MARKOV
E Exemple: Soit M, la matrice stochastique associe une
C.M. et le graphe associ G=(X,U)
1 1 1
2 4 4
1 1 1 1 1 1
8 4 4 4 16 16
1 1 1
4 2 4
1 2 3 4 5 6
1 0 0 1 0 0 0
2 0 0 0
3
4 0 0 0
5 0 0 0 0 1 0
6 0 0 0 0 0 1
E E E E E E
E
E
M E
E
E
E
=
E5
E2
E3
E1
E4
E6
S3
S1
S2
Classe finale:
absorbante
Classe apriodique
Page 37
CHAINES DE MARKOV
E 2-10 Ergodicit d'une chane de Markov
Problme du vecteur stochastique limite:
O a- Que devient P(n) lorsque n tend vers l'infini
O b- Conditions d'existence d'une telle limite
O c- Si il existe un tat stationnaire.
Chanes de Markov dont la limite, si elle existe, est
indpendante de l'tat initial P(0), sont dites
ergodiques.

Page 38
CHAINES DE MARKOV
E Vecteur limite
tat du systme l'instant n partir de la
connaissance du vecteur d'tat l'instant initial, P(0):
H(n)=H(0).M
n
lim
n4
H(n)= lim
n4
H(0).M
n

Si cette limite existe, alors elle fournit les probabilits
dune C.M. de se trouver dans les divers tats
{E
1
,E
2
,....,E
m
} et cela toute date suffisamment
loigne de l'instant origine de dmarrage du systme.
Si cette limite H
*
existe, on dit que la C.M. est
ergodique et, dans ce cas, la limite H
*
est
indpendante de la distribution initiale H(0), c'est
dire de l'tat initial du systme.
Page 39
CHAINES DE MARKOV
E Exemple: prenons l'exemple du voyageur prcdent
voluant entre trois villes A, B, et C. Son volution est
reprsente par une C.M. dont le graphe de transition est
reprsent ci-dessous:
A
B
C
3/4
1/4
1/4
3/4
1/2
1/4
1/4
E={A,B,C}
3 1
4 4
3 1
4 4
1 1 1
4 4 2
0
0
A B C
A
M
B
C
=
H(0)=(1 0 0) H(n+1)=H(n).M
Page 40
CHAINES DE MARKOV
0 1 2 3 4 .... infini
H
0
(n) 1 0 0.25 0.187 0.203 0.2
H
1
(n) 0 0.75 0.062 0.359 0.254 0.28
H
2
(n) 0 0.25 0.688 0.454 0.543 0.52
Supposons :P(0)=(1 0 0) P(n+1)=P(n).M
Page 41
CHAINES DE MARKOV
0 1 2 3 4 .... infini
H
0
(n) 0 0.25 0.187 0.203 0.199 0.2
H
1
(n) 1 0. 0.375 0.250 0.289 0.28
H
2
(n) 0 0.75 0.438 0.547 0.512 0.52
Supposons :P(0)=(0 1 0) P(n+1)=P(n).M
Page 42
CHAINES DE MARKOV
E Vecteur limite
Thorme:
O Pour qu'une C.M. soit ergodique il faut et il suffit
que la matrice stochastique qui lui correspond soit
irrductible et apriodique.
Si la matrice est rductible, on a par dfinition:
T C1
C2
Cn
ij j
ij j
p 0 si E 1 l n
p 0 un E 1 i n
i l l
i
E C C
E T T
e = e s s
e > - e s s
Page 43
CHAINES DE MARKOV
Cas priodique, si la matrice est priodique, le graphe
correspondant est reprsent ci-dessous:
C1 C2 Ci Cd
Chaque classe C
i
ne contient aucune boucle. On sort
alors de la classe l'tape suivante. Le processus n'est
pas ergodique.
Si on part de C
1
, on y revient coup sr au bout de "d"
transitions.
Si l'tat initial est E:

( )
( )
0 si = + r>0 r<d
0 si = k N
P(n) n'est pas stable
n
i
n
i
p n kd r
p n kd
=
e
Page 44
CHAINES DE MARKOV
Calcul du vecteur limite
O Soit une C.M. homogne, finie et telle que la matrice
stochastique, M, soit irrductible et apriodique.
O Le calcul de, P*, limite de P(n) lorsque n tend vers
l'infini est donn par la rsolution du systme
d'quations linaires:
* *
m
*
i
i 1
* * * *
1 2 m
.M
1
...
=

H = H

H =

(
H = H H H

Page 45
CHAINES DE MARKOV
Exemple:
O Reprenons l'exemple du voyageur circulant entre les
villes A, B, C
O Le calcul de, P*, limite de P(n) lorsque n tend vers
l'infini est donn par la rsolution du systme
d'quations linaires:
* *
2
*
0
* * * *
0 1 2
.
1
=

H = H

H =

(
H = H H H

i
i
M
Page 46
CHAINES DE MARKOV
Exemple:

* * *
0 1 2
* * *
1 0 2
* * * *
2 0 1 2
* * *
0 1 2
1 1
4 4
3 1
4 4
1 3 1
4 4 2
1

H = H + H

H = H + H

H = H + H + H

H + H + H =

| |
*
0
*
1
*
3
*
0.2
0.28
0.52
0.2 0.28 0.52
H =

H =

H =

H =
Page 47
3-PROCESSUS DE MARKOV
3-1 INTRODUCTION
E Prsentation
On prsente, ici, les processus de Markov espace
d'tats discret et temps continu.
Page 48
PROCESSUS DE MARKOV
3.2 Dfinition
E {X
t
,t)T} caractrise un processus stochastique X
t
est un
processus de Markov si:
1- t est continu et appartient T, TR
+
par exemple.
2- X
t
appartient l'espace d'tats S, fini ou infini
dnombrable.
3- Proprit sans Mmoire (proprit de Markov). La
probabilit de passer dans l'tat E
j
l'instant (t+t),
sachant que l'tat atteint t tait E
i
, ne dpend pas de
la trajectoire suivie par le processus avant t.
{ } { }
1 1 2 2
1 2
/ ; ;....; /
t ...
t j t i t i t i t j t i
P X E X E X E X E P X E X E
t t
t t + +
= = = = = = =
< < <
Page 49
PROCESSUS DE MARKOV
E 3-3 Proprit d'homognit
O Le processus de Markov est homogne si:
P{X
t+t
=E
j
/X
t
=E
i
} est indpendante de t, elle ne dpend
que de la dure de l'observation t. On note p
ij(
(t) cette
probabilit de passer de l'tat E
i
l'tat E
j
pendant la
dure t.
M(t)=[p
ij
(t)], la matrice des probabilits de transition
dans le temps t.
E 3-4 Proprit sans mmoire
O t
i
: variable alatoire reprsentant le temps pass par
le processus dans l'tat E
i
.
O E
i
4

E
i+1
indpendant chemin suivi pour arriver en E
i
.
(proprit de Markov)
Page 50
PROCESSUS DE MARKOV
E 3-5 quation de Chapman-Kolmogorov
Soit la probabilit de passer de l'tat E
i
, l'instant t,
l'tat E
j
l'instant (t+t).
{ }
{ }
0
0
( ) ( ). ( )
( ) / par dfinition
( ) ; /
k
k
ij ik kj
E S
ij t j i
ij t j t k i
E S
p t p t p
p t P X E X E
p t P X E X E X E
t
t
t t
t
t
e
+
+
e
+ =
+ = = =
+ = = = =

Page 51
PROCESSUS DE MARKOV
{ } { } { } Mais on sait que : / / . / P A B C P A B C P B C =
{ } { }
{ } { }
{ }
{ }
0 0
0
0
( ) / . / ;
En utilisant la proprit de Markov:
( ) / . /
: / ( )
/ ( )
Soit en remplaant:
(
k
k
ij t k i t j t k i
E S
ij t k i t j t k
E S
t k i ik
t j t k kj
ij
p t P X E X E P X E X E X E
p t P X E X E P X E X E
Mais P X E X E p t
P X E X E p h
p t
t
t
t
t
t
+
e
+
e
+
+ = = = = = =
+ = = = = =
= = =
= = =
+

) ( ). ( )
Expression qui s'crit sous forme matricielle:
M(t+ )=M(t).M( )
k
ik ik
E S
p t p t t
t t
e
=

Page 52
PROCESSUS DE MARKOV
3-6 Gnrateur infinitsimal
( ' ) ( '). ( ) (1)
En soustrayant, ( ), dans les deux membres de l'quation (1), nous obtenons:
( ' ) ( ) ( '). ( ) ( )
En sortant le terme,
ij ik kj
k S
ij
ij ij ik kj ij
k S
i
p h h p h p h
p h
p h h p h p h p h p h
p
e
e
+ =
+ =

| |
' 0
' 0
( ') du signe , il vient:
( ' ) ( ) ( '). ( ) ( '). ( ) ( )
( ' ) ( ) ( '). ( ) ( ') 1 . ( )
( ' ) ( )
( ') (
lim ( )
' '
i
ij ij ik kj ii ij ij
k i
ij ij ik kj ii ij
k i
r
ij ij
ik ii
h kj
k i
h
h
p h h p h p h p h p h p h p h
p h h p h p h p h p h p h
p h h p h
p h p h
p h
h h
=
=

=

+ = +
+ = +
+
(
= +
(

' 0
'
' 0 ' 0 ' 0
') 1
. ( )
'
Si h' 0, dure (i k) tend vers 0 et:
( ' ) ( ) ( ')
( ')
lim = lim lim
' ' '
( ) . ( ) ( )
ij
h
ij ij ij ij
ii
h ij h ik h i
r
ik kj i ij
k i
p h
h
p h h p h dp p h
p h
p q q
h dh h h
p h q p h q p h

=
(
(


+
= = =
' =

Page 53
PROCESSUS DE MARKOV
E quation du pass, quation du futur
En appelant , la matrice infinitsimale du processus dont les lments
sont , pour ,
et - si = , cette quation s'crit sous forme matricielle:
( ) . ( )
Cette quation est app
ij
i
ij ij
Q
q i j
q i j
p h Q p h
=
' ( ( =

ele quation du pass vers le futur.
La matrice Q, est appele le gnrateur infinitsimal du processus.
L'quation du futur vers le pass s'crit sous forme matricielle,:
( ) ( ) .
ij ij
p h p h Q ' ( ( =

Page 54
PROCESSUS DE MARKOV
3-7 Expression des probabilits de transition sur
un intervalle de temps trs petit At
E Expression du taux de transition
( )
( )
( )
0 0
( ) si j
( ) 1 si
En appelant :
( ) 1
lim o( t)=0 et lim
ij ij
ii ij
i j
ij i
i j
ii i
t t
p t t o t i
p t t o t i j
q
p t q t o t

=
=
A A
A = A + A =

`
A = A + A =

)
=
A = A + A
A

( )
i j 0
o( t)
=0 ( notation de LANDAU)
( )
: taux de transition de l'tat E E , en effet lim =
Puisque ( ) 0, 0
ij
ij t ij
ii ij
o t
t
p t
t
p t

A
A
A
A
A

A
A > >
Page 55
PROCESSUS DE MARKOV
3-8 Gnrateur infinitsimal d'un processus de
Markov homogne fini
Probabilits de transitions de l'tat E
i
l'tat E
j
lorsque
At tend vers 0, pour toutes valeurs des indices i et j.
. .
1 12 13
. .
21 2 23
avec . .
31 32 3
. . . . .
. . . . .
( ) ( ) ,
Proprit: 0
ij
1
q
q
q q
ij
i
E t E t t i j
i j
n
q
i
j
Q

(
(
=
(
(
(

+A
=
=
=
Page 56
PROCESSUS DE MARKOV
E 3-9 Graphe de transition d'un processus de
Markov
Processus de Markov 4graphe G=(X,U)
O X=S (sommets * tats)
O U= {(E
i
,E
i
)/E
i
)S} ^ {(E
i
,E
j
)/
ij
>0, >ij}
O G a boucle en chaque sommet
O arcs associs transitions taux de non nuls
O arcs valus probabilits de transition entre t et (t+At)

Page 57
PROCESSUS DE MARKOV
Exemple :
E Des personnes se prsentent pour visiter un collgue: s'il
est occup, elles renoncent attendre repartent et
reviendront plus tard... s'il est libre, elles discutent un
moment avec lui, puis repartent.
E Sur l'intervalle de temps At, la probabilit qu'une personne
se prsente est :At + o(At), celle que plusieurs se
prsentent en mme temps est ngligeable.
E Une discussion en cours l'instant t, se terminera entre t et
(t+At) avec une probabilit At+o(At). Le processus de
Markov associ comporte deux tats, S=(E
0
,E
1
), l'tat E
0
,
correspondant au cas o le collgue est libre l'instant de
la visite et E
1
, celui o il est occup.
Page 58
PROCESSUS DE MARKOV
Exemple :
E le graphe de transitions correspondant:
E0
E1
t


1t

1t


t


Graphe du processus de Markov Graphe simplifi
E0
E1




Page 59
PROCESSUS DE MARKOV
3-10 Probabilits d'tats
| |
{ }
{ } | |
i
0 1 2
0
j
0 0
E
Soit une rpartition initiale des probabbilits d'tat:
(0) (0), (0), (0),..., (0),....
o (0)
A l'instant, t, la probabilit de l'tat E est:
( ) .
Cett
H = H H H H
H = =
( H = = = = = =

i
i i
j t i t j i i
P X E
t P X E P X E IX E P X E
( ) ( ) ( )
j
e probabilit peut s'exprimer partir du fait que le processus
tait, au temps t=0 dans l'tat .
Tous les tats forment un systme complet dvnements.
0 .

t t =

i
i
i ij
i
E
E
t p t
Page 60
PROCESSUS DE MARKOV

| |
0 1 2
Ecrivons le vecteur, probabilit d'tat l'instant t,
ainsi que la matrice de transitions:
( ) ( ), ( ), ( ),..., ( ),....
( ) ( )
Nous obtenons sous forme matricielle:
( ) (0). ( )
i
ij
t t t t t
M t p t
t M t
H = H H H H
( =

H = H
Page 61
PROCESSUS DE MARKOV
E 3-11 quations diffrentielles d'un processus de
Markov
Soit un processus de Markov fini ,de n tats et soit Q
son gnrateur infinitsimal.
( ) ( ). ( ) ( ). ( ) ( ). ( )
( ) ( ) ( ). ( ) ( ). ( ) ( )
( ) ( ) ( ). ( ) ( ) ( ) 1
: ( ) . ( )

j k kj k kj j jj
k k j
j j k kj j jj j
k j
j j k kj j jj
k j
kj kj
t t t p t t p t t p t
t t t t p t t p t t
t t t t p t t p t
Mais p t t o t
=
=
=
H + A = H A = H A + H A
H + A H = H A + H A H
( H + A H = H A + H A

A = A + A

( ) 1 . ( )
( ) ( ) ( ). ( )(1 1) ( )
( ).
( ) ( ) ( )
( )
jj j
j j k kj j j
k j
k kj
j j k j j j
p t q t o t
t t t t t t q t o t
t t
t t t t q t
o t
t t t t

=
=
A = A + A
H + A H = H A + H A + A
H A
H + A H H A
A
= +
A A A A

Page 62
PROCESSUS DE MARKOV
E
0
'
( ).
( ) ( ) ( )
( )
( )
lim ( ) '( )
( ) ( ). ( )
Soit sous forme matricielle:
( ) ( ).
k kj
j j k j j j
t
j k kj j j
k j
t t
t t t t q t
o t
t t t t
df t
f t f t
dt
t t q t
t t Q

=
A
=
H A
H + A H H A
A
= +
A A A A
= =
'
H = H H
H = H

Page 63
PROCESSUS DE MARKOV
E quations diffrentielles d'un processus de
Markov: exemple
Cherchons l'expression des probabilits de transition
en fonction du temps
E
0
E
1
(1 -


dt)

(1 -


dt)



dt



dt

01
00
10
11
( ) ( )
( ) 1 ( )
( ) ( )
( ) 1 (
p t t o t
p t t o t
p t t o t
p t t o t

A = A + A

A = A + A

A = A + A

A = A + A

(
=
(

gnrateur infinitsimal
Le vecteur d'tat :
| |
0 1
( ) ( ) ( ) t t t H = H H
Page 64
PROCESSUS DE MARKOV
Le systme diffrentiel s'crit:
'
00 00 01
'
01 00 01
'
10 10 11
'
11 10 11
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
p t p t p t
p t p t p t
p t p t p t
p t p t p t




= +

= +

= +

= +

On a galement:
00 01
10 11
( ) ( ) 1
( ) ( ) 1
p t p t
p t p t
+ =

+ =

le systme diffrentiel s'crit:

'
00 00 00 00
'
01 01 01 01
'
10 10 10 10
'
11 11 11 11
( ) ( ) (1 ( )) ( ) ( )
( ) (1 ( )) ( ) ( ) ( )
( ) ( ) (1 ( )) ( ) ( )
( ) (1 ( )) ( ) ( ) ( )
p t p t p t p t
p t p t p t p t
p t p t p t p t
p t p t p t p t




= + = + +

= + = + +

= + = + +

= + = + +

Page 65
PROCESSUS DE MARKOV
Solution du systme en tenant compte des conditions
initiales
( )
00
( )
01
( )
10
( )
11
( )
( )
( )
( )
t
t
t
t
p t e
p t e
p t e
p t e












+
+
+
+

= +

+ +

= +

+ +

= +

+ +

= +

+ +

Page 66
PROCESSUS DE MARKOV
Solution du systme en tenant compte des conditions
initiales
| |
| |
| |
| |
( )
00
( )
01
( )
10
( )
11
lim ( ) lim
lim ( ) lim
lim ( ) lim
lim ( ) lim
t
t t
t
t t
t
t t
t
t t
p t e
p t e
p t e
p t e












+

+

+

+

(
= + =

(
+ + +

(
= + =
(
+ + +

= + =
(

+ + +

(
= + =
(
+ + +

| | | |
| | | |
00 10
01 11
lim ( ) lim ( )
lim ( ) lim ( )
t t
t t
p t p t
p t p t

Le comportement limite est indpendant de l'tat l'instant

t=0
Page 67
PROCESSUS DE MARKOV
Consquences quant aux tats.
O Supposons qu' t=0 on ait:
H
0
(0)=P(X
0
=E
0
)= a et H
1
(0)=P(X
0
=E
1
)=b
Nous avons : a+b=1
O Les probabilits des tats E
0
et E
1
sont alors t:
0 0 00 1 10
1 0 01 1 11
( ) (0). ( )
( ) (0). ( ) (0). ( )
( ) (0). ( ) (0). ( )
( ) (0).
j i ij
i
t p t
t p t p t
t p t p t
t M
H = H
H = H + H

H = H + H

H = H

Page 68
PROCESSUS DE MARKOV
O En remplaant p
ij
(t) et H
j
(0) par leur valeur:
( )
0
( ) ( )
t
a b
t a b e



+

H = + +
+ +
0
( ) ( ) t a b


H = + =
+ +
Si t4,
Indpendant de la rpartition initiale
Page 69
PROCESSUS DE MARKOV
1 0 01 1 11
( ) ( )
1 0 1
( )
1 1
1
0
( ) (0). ( ) (0). ( )
( )
( ) ( )
( )
( )
Si t , les probabilits d'tat tendent v
t t
t
t
t
t p t p t
t e e
a b
t a b e
t
t

+ +
+

H = H + H
( (
H = H + H +
( (
+ + + +

( (
H = +
( (
+ +

H =
+
H =
+
ers une limite indpendante
de la rpartition initiale des tats.
Page 70
PROCESSUS DE MARKOV
2.8.2 Dfinition de la forte ergodicit
O Un processus de Markov est fortement ergodique si:
* *
j j
p 0 : p lim ( )
i t ij
E p t

- > =
Les probabilits des transitions tendent vers une
limite positive indpendante de l'tat de dpart.
La matrice:
*
lim ( )
t ij
M p t

( =

aura toutes ses lignes gales :
* * *
1 2 3
, , ,..... P P P
(

Page 71
PROCESSUS DE MARKOV
Consquence: comme
* *
( ) (0). ( )
Par passage la limite:
lim ( ) (0). ( )
: (0) 1
j i ij
i
j t j i ij j
i
i
i
t p t
t p t P
car

H = H
( H = H = H =

H =

Condition de forte ergodicit: la condition suffisante pour

qu'un processus de Markov soit ergodique est que le graphe
associ ses tats soit fini et fortement connexe.
Un processus de Markov ayant son graphe associ infini et
fortement connexe peut galement sous certaines conditions tre
fortement ergodique (ex: processus de naissance et de mort).
Les probabilits d'tats
tendent vers une limite
positive, H*(i)=H*
i
indpendante de la
rpartition initiale. On dit que
le rgime permanent est
atteint.

Page 72
PROCESSUS DE MARKOV
E 2.9 Calcul de la distribution stationnaire
Une CNS pour que [H*=H*(i) i)S] soit une
distribution stationnaire du processus cad :P[X(t)=i]=
H*(i) =p
i
*

H*Q=0

Pour tout i)S
* *
( ). ( ).
i ji
j
i q i q H = H

quation dite balance globale de Kolmogorov
Page 73
PROCESSUS DE MARKOV
E Interprtation graphique de l'quation H*Q=0
q
ji
est le flot moyen par unit de temps de l'tat E
j
vers
l'tat E
i
si l'tat E
j
est actif.
E
j
est actif avec la probabilit H(j)
Flux moyen par unit de temps entrant dans l'tat E
i
:
*
( ).
ji
i S
j q
e
H

Flux moyen sortant de l'tat E

i
:
H*(i).q
i

Ej
q
ij
q
mj
q
q
jk
jl
Diagramme de balance globale
q
ji
Page 74
PROCESSUS DE MARKOV
E Exemple



{ }
*
*
* *
0 1
* *
0 1
* *
1 0
* *
0 1
* *
0 1
0
quation de normalisation
( ) 1
-
Q=
-
1
La rsolution du sytme donne:
;
j
Q
j


t t
t t
t t

t t

H =

H =

(
(

H = H H
=
=
+ =
= =
+ +

E
0


E
1

Graphe simplifi d'un processus
de Markov
E
0
E
1
(1 -


dt)

(1 -


dt)



dt



dt