Chaines de

Chaines de Markov
Markov ::
de la
de la modélisation
modélisation àà l’analyse
l’analyse des
des systèmes
systèmes
Chaînes de Markov à temps discrèt
CMTD
Encore un petit rappel :

L’idée intuitive de la notion de probabilité est ce que l’on appelle « la loi des fréquences »,
c.à.d. que si un événement « A » se réalise avec une probabilité « p »,
Chaines de Markov :
la « fréquence de réalisation de A » , noté ici par A » converge vers « p » quand
de la modélisation à l’analyse des systèmes
le nombre d’épreuves (indépendantes) augmente. On peut écrire :
p= A

Ce concept devient précis grâce à la Loi des Grands Nombres.

3
1. Processus stochastique discret
Suite de variables aléatoires  X t  , t  T
T est un ensemble d'entiers non-négatifs et
X t représente une mesure d'une caractéristique au temps t

2. Processus stochastique discret avec un espace d'états fini

Processus stochastique décrivant l'évolution d'un système qui est modifié dans
le temps.
Structure:
M  1 états mutuellement exclusifs: 0,1, , M
X t = état du système au temps t : X t  0,1, , M 
 X t  =  X 0 , X 1 , représentation du statut du système dans le temps.
Exemple de la météo
Évolution de la météo d'un jour à l'autre. Souvent la météo à un jour donné peut
dépendre de la météo de la veille.
Observations sur les jours t  0,1,
États de la météo le jour t :
état 0: beau
état 1: pluie.
Dénotons
0 beau le jour t
Xt  
1 pluie le jour t.

Processus stochastique  X t    X 0 , X 1 ,

3. Chaînes de Markov
Propriété markovienne est souvent une hypothèse souvent faite pour faciliter
l'étude d'un processus stochastique  X t    X 0 , X 1 , .

Le processus stochastique  X t    X 0 , X 1 , est une chaîne de Markov

 ou possède la propriété markovienne  si
P  X t 1  j | X 0  k0 , X 1  k1 , X t  i   P  X t 1  j | X t  i .

Probabilité conditionnelle de l'état demain X t 1 étant donné les états passés

 0,1, , t  1 et de celui d'aujourd'hui t est indépendantes des états passés;
i.e., probabilité conditionnelle de l'état de demain X t 1 depend uniquement
de l'état d'aujourd'hui X t .

Le processus stochastique est dit sans mémoire

 4. Probabilités de transition
Probabilités de transition entre deux moments consécutifs t et  t  1
pij  P  X t 1  j | X t  i   P  X 1  j | X 0  i  i, j  0, , M 

Propriétés:
pij  0 i, j  0, , M 
M

p
j 0
ij 1 i  0, , M 

probabilités de transition restent stationnaires dans le temps

P  X t 1  j | X t  i   P  X 1  j | X 0  i  i, j  0, , M 
P  beau demain| beau aujourd'hui   0.8
Exemple de la météo:
P  beau demain| pluie aujourd'hui   0.6
p00  P  X t 1  0 | X t  0  0.8
0 beau le jour t
Xt  
p10  P  X t 1  0 | X t  1  0.6 1 pluie le jour t.
p00  p01  1  p01  1  p00  1  0.8  0.2 P10=0.8
P00=0.8 P11=0.4
p10  p11  1  p11  1  p10  1  0.6  0.4 0 1
P01=0.2
4. Probabilités de transition
Probabilités de transition entre deux moments consécutifs t et  t  1
pij  P  X t 1  j | X t  i   P  X 1  j | X 0  i  i, j  0, , M 
Matrice de transitions
états 0 1  M 
0   p00 p01  p0 M 
1  p p11  p1M 
  P  10
     
   
M   pM 0 pM 1  pMM 

Exemple de la météo:
p00  P  X t 1  0 | X t  0   0.8
0.8 0.2 
p10  P  X t 1  0 | X t  1  0.6 P
0.6 0.4 
p00  p01  1  p01  1  p00  1  0.8  0.2
p10  p11  1  p11  1  p10  1  0.6  0.4
Exemple du jeu:
Tant qu'un joueur a de l'argent en main, il joue en misant $1.
Il gagne $1 avec une probabilité de p.
Il perd sa mise ($1) avec une probabilité de 1  p  .

Le jeux s'arrête lorsque le joueur n'a plus d'argent ou lorqu'il a $3 en main.

États (somme que le joueur peut avoir en main): 0, 1, 2, 3

Matrice de transition
états  0 1 2 3
0   1 0 0 0
1   
   1  p  0 p 0
P
2  0 1  p  0 p
   
3   0 0 0 1 
5. Équations de Chapman-Kolmogorov
Probabilités de transition entre les deux moments t et  t  n 
(incluant n transitions)
pij   P  X t  n  j | X t  i   P  X n  j | X 0  i  i, j  0, , M 
n

Les équations de Chapman-Kolmogorov permettent de determiner les probabilités

de transition pij( n ) à partir des probabilités de transition entre deux moments
consécutifs pij :

M
pij   pik m  pkj n  m 
 n
i, j  0, , M 
k 0

m  1, 2, , n  1
n  m  1, m  2,
Les équations de Chapman-Kolmogorov permettent de determiner les probabilités
de transition pij( n ) à partir des probabilités de transition entre deux moments
consécutifs pij :

M
pij   pik m  pkj n  m 
 n
i, j  0, , M 
k 0

m  1, 2, , n  1
n  m  1, m  2,

n étapes
i  n j
pij
 m
pkj
nm
p
m étapes ik  n  m étapes

k
On doit considérer tous les états k comme intermédiaires.
Probabilités de transition entre les deux moments t et  t  n 
(incluant n transitions)
pij   P  X t  n  j | X t  i   P  X n  j | X 0  i  i, j  0, , M 
n

M
pij   pik pkj
 2
i, j  0, , M  P    PP
2

k 0

P    PP 
n 1
M
pij   pik pkj
 n
i, j  0, , M   PP n 1
n 1 n

k 0

M
P   P
n 1
pij   pik
 n
i, j  0, , M 
n 1
P  P n 1 P
n
pkj
k 0
Probabilités de transition entre les deux moments t et  t  n 
(incluant n transitions)
pij n   P  X t  n  j | X t  i   P  X n  j | X 0  i  i, j  0, , M 

Exemple de la météo:
0.8 0.2   2 0.8 0.2  0.8 0.2  0.76 0.24 
P  P  PP  P  
2
 0.6 0.4   0.72 0.28 
 0.6 0.4   0.6 0.4    
 3 0.8 0.2   0.76 0.24  0.752 0.248
P  PP  P  
2 3
  0.72 0.28   0.744 0.256
 0.6 0.4    

 4 0.8 0.2  0.752 0.248  0.75 0.25 

P  PP  P  
3 4
    
 0.6 0.4  0.744 0.256   0.749 0.251
0.8 0.2   0.75 0.25   0.75 0.25
P    PP 4  P 5   
5
   
0.6 0.4   0.749 0.251  0.75 0.25

 6 0.8 0.2  0.75 0.25 0.75 0.25

P  PP  P  
5 6
    
 0.6 0.4  0.75 0.25   0.75 0.25 
P5  P 6  P 7  P8  
6. Probabilités non-conditionnelles des états
Dans le cas où n est petit et que le système n'a pas atteint son stage d'équilibre,
il faut connaître les probabilités des états au départ (i.e., à t  0)
P  X0  i i  0, , M  .
Alors
P  X n  j   P  X n  j & X 0  0    P  X n  j & X 0  M 
P  X n  j   P  X n  j | X 0  0 P  X 0  0    P  X n  j | X 0  M  P  X 0  M 
 p0 j P  X 0  0     pMj
 
P X0  M 
n n

Exemple de la météo:
Supposons que P  X 0  0   0.3 et P  X 0  1  0.7
Quelle est la probabilité qu'il pleuve le jour 3, P  X 3  1 ?  3 0.752 0.248 

P 
 0. 7 44 0. 25 6 
P  X 3  1  p01
3
P  X 0  0   p113 P  X 0  1
 0.248  0.3  0.256  0.7
 0.0744  0.1792  0.2536
7. Classification des états d'une chaîne de Markov
Un état j est accessible à partir de l'état i si
pij   0 pour un certain n  0
n

Exemple de la météo:
Les états 0 et 1 sont accessibles à partir des états 0 et 1 puisque
0.8 0.2 
P   pij  0 i, j  0,1 .
 0.6 0.4 
Un état j est accessible à partir de l'état i si
pij   0 pour un certain n  0
n

Tant qu'un joueur a de l'argent en main, il joue en misant $1.

Exemple du jeu: Il gagne $1 avec une probabilité de p.
Il perd sa mise ($1) avec une probabilité de  i  p  .
L'état 3 est accessible à partir
de l'état 2 car Le jeux s'arrête lorsque le joueur n'a plus d'argent ou lorqu'il a $3 en main.

p23  p  0
 1 0 0 0
 
1  p  0 p 0
P
Les états 0, 1, 2 ne sont pas  0 1  p  0 p
 
accessibles à partir de l'état 3  0 0 0 1 

car on ne peut repartir vers

 n n n
d'autres états à partir de 3  p30  0, p31  0, p32 0 n  0
Les états i et j communiquent si
l'état i est accessible à partir de l'état j et l'état j est accessible à partir de l'état i

 i communique avec lui-même  pii0  P  X 0  i | X 0  i   1

 i communique avec j  j communique avec i
 i communique avec k et k communique avec j  i communique avec j

n1 >0 tel que pik n1   0 et n2 >0 tel que pkj n2   0
M
Donc  n1  n2 
pij   pil n1  plj n2   pik n1  pkj n2  >0
l 0

Exemple de la météo:
Les états 0 et 1 communiquent
0.8 0.2 
P   pij  0 i, j  0,1 .
 0.6 0. 4 
Les états i et j communiquent si
l'état i est accessible à partir de l'état j et l'état j est accessible à partir de l'état i

 i communique avec lui-même  pii0  P  X 0  i | X 0  i   1

 i communique avec j  j communique avec i

 i communique avec k et k communique avec j  i communique avec j

Exemple du jeux:
Les états 1 et 2 communiquent

états  0 1 2 3
0   1 0 0 0
1   
   1  p  0 p 0
P
2  0 1  p  0 p
   
3   0 0 0 1 
Une classe est un sous-ensemble de tous les états communiquant entre eux.

... the states may be partitioned into one or more separate classes
such that those states that communicate with each other are in the
same class. H.L.
Une classe est un sous-ensemble de tous les états communiquant entre eux.

Une chaîne de Markov est irréductible si elle ne comporte qu'une seule classe.
Exemple de la météo:
Les états 0 et 1 communiquent 

0.8 0.2    chaîne de Markov irréductible
P   pij  0 i, j  0,1 .
 0.6 0.4  
Exemple du jeux:
Les états 1 et 2 communiquent

états  0 1 2 3 

0   1 0 0 0
1   
   1  p  0 p 0    3 classes: 0 , 1, 2 , 3
P
2  0 1  p  0 p  
   
3   0 0 0 1  
 Etat transient:
i est un état transient si après y avoir accédé (upon entering this state),
le processus peut ne plus y revenir:
i est transient   j   i  accessible de i, mais i n'est pas accessible de j

Exemple du jeux:
les états de la classe 1,2 sont transients:
états  0 1 2 3  
 
0   1 0 0 0   0 accessible de 1, mais
1    
   1  p  0 p 0    1 n'est pas acessible de 0;
P  
2  0 1  p  0 p 
   
3   0 0 0 1   3 accessible de 2, mais
2 n'est pas acessible de 3.

Etat récurrent:
i est un état récurrent si après y avoir accédé, le processus y reviendra:
i est récurrent  i n'est pas transient

A state is said to be récurrent if, upon entering this state, the process
definitely will return to this state again. H.L.

Exemple du jeux:
états  0 1 2 3 
 les états 0 et 3 sont récurrents:
0   1 0 0 0 
1    
 1  p  0 p 0   
  P après avoir atteint 0  ou 3
2  0 1  p  0 p   
     on y reste, donc on y revient.
3   0 0 0 1  
 Une chaîne de Markov est irréductible si elle ne comporte qu'une seul classe.
Etat récurrent:
i est un état récurrent si après y avoir accédé, le processus y reviendra:
i est récurrent  i n'est pas transient

Tous les états d'une chaîne de Markov irréductible sont récurrents.

Exemple de la météo:
Les états 0 et 1 communiquent  chaîne de Markov irréductible
 
0.8 0.2    
P   pij  0 i, j  0,1 . 0 et 1 sont récurrents
0.6 0.4   
Etat absorbant:
i est un état absorbant si après y avoir accédé, le processus ne peut en repartir:
i est absorbant  pii =1

Exemple du jeux:
états  0 1 2 3 

0   1 0 0 0
1     les états 0 et 3 sont absorbants
   1  p  0 p 0   
P puisque p00  p33 =1
2  0 1  p  0 p   
   
3   0 0 0 1  
Période d'un état (Hillier & Lieberman).
i is of périod d if pii   0 for all values of n other than
n

d , 2d , 3d ,... H.L.
et d est la plus grande valeur entière ayant cette propriété.
états  0 1 2 3
Exemple du jeux:  1 0 0
0  0
1   
Considérons l'état 1 (joueur possède $1 au départ) 1  p  0 p 0
  P
2  0 1  p  0 p
1 0  
3 

 0 0

0 1 

 revient à 1 au temps 2 p11(2)  0

2 1 0
  revient à 1 au temps 4 p11(4)  0
3 2 1 0 donc d  2

  revient à 1 au temps 6 p11(6)  0

3 2 1 0
  revient à 1 au temps 8 p11(8)  0
3 2 1 0
 
Période d'un état (Taylor & Karlin).
La période d  i  de i est le plus grand commun diviseur de tous les entiers n
pour lesquels pii   0. (Par convention, d  i   0 si pii   0 pour tout n  1.)
n n

états  0 1 2 3
Exemple du jeux:  1 0 0
0  0
1   
Considérons l'état 1 (joueur possède $1 au départ) 1  p  0 p 0
  P
2  0 1  p  0 p
1 0  
3 

 0 0

0 1 

 revient à 1 au temps 2 p11(2)  0

2 1 0
  revient à 1 au temps 4 p11(4)  0
donc d (i )  2
3 2 1 0
  revient à 1 au temps 6 p11(6)  0
3 2 1 0
  revient à 1 au temps 8 p11(8)  0
3 2 1 0
 
 Période d'un état (Hillier & Lieberman). Période d'un état (Taylor & Karlin).
i is of périod d if pii   0 for all values of n other than
n
La période d  i  de i est le plus grand commun diviseur de tous les entiers n
d , 2d , 3d ,... H.L. pour lesquels pii n   0. (Par convention, d  i   0 si pii n   0 pour tout n  1.)
et d est la plus grande valeur entière ayant cette propriété.

On peut démontrer que la période est la même pour tous les états d'une classe.
i est apériodic si sa période d  1
i.e.  deux moments consécutifs s et s  1 où pii   0 et pii
s 1
0
s

i est apériodic si sa période d (i )  1 i est un état récurrent si après y avoir accédé, le processus y reviendra:
i est récurrent  i n'est pas transient
i.e. si p  0 pour tout n  1
n
ii

Dans une chaîne de Markov avec un espace d'états fini,

un état récurrent qui est apériodic est dit ergodic.
Une chaîne de Markov avec un espace d'états fini est ergodic,
si tous ses états sont ergodics.
Chaine de Markov ergodique :
Une CM est dite ergodique ou irréductible si tout état est atteignable depuis tout
autre état. Elle est dite régulière s’il existe une puissance Pk de sa matrice de transition P dont tous les éléments sont
strictement positifs.
Une chaîne régulière est donc ergodique.
Les états ergodiques
Un état i est dit ergodique si le temps moyen entre le premier passage à l'état i et le second est fini.
Encore des définitions !
8. Probabilités à l'équilibre
Exemple de la météo:
0.8 0.2 
P 
0.6 0.4 

 5 0.75 0.25
P  
0.75 0.25
 6 0.8 0.2   0.75 0.25  0.75 0.25
P      
0.6 0.4   0.75 0.25  0.75 0.25

Après le jour 5, la probabilité qu'il pleuve P  X t  1 , t  5

ne depend pas des probabilités des états au depart: P  X 0  0  et P  X 0  1
P  X t  1  P  X 0  0  p01
t
 P  X 0  1 p11t
 P  X 0  0  0.25  P  X 0  1 0.25  0.25.
8. Probabilités à l'équilibre
Exemple de la météo:
0.8 0.2 
P 
0.6 0.4 

 5 0.75 0.25
P  
0.75 0.25
 6 0.8 0.2   0.75 0.25  0.75 0.25
P      
0.6 0.4   0.75 0.25  0.75 0.25
Probabilité qu'il fasse beau  i  1 = 0.75
 ne dépend plus de l'état initial du système
Probabilité de pluie  i  1  0.25 

Donc en général quand il existe une valeur de n assez grande pour que les lignes de
la matrice de transition P  n  soient identiques, alors la probabilité que le système se
trouve dans l'état j ne dépend plus de l'état initial du système (à t  0)
Les probabilités à l'équilibre sont des propriétés à long terme des chaînes de Markov

On peut démontrer que pour toute chaîne de Markov irréductible (ne comportant
qu'une seule classe) qui est ergotic
lim pijn existe et ne dépend pas de l'état i
n 
0.75 0.25
P  5  P  6      
0.75 0.25
De plus
lim p01 (n)
 lim p11( n )  0.25
lim pijn   j  0
n  n 

n 

où les probabilités  j
M
 j    i pij
i 0
M


j 0
j 1
De plus
lim pijn   j  0
n 

où les probabilités  j
M
 j    i pij
i 0
M


j 0
j 1

Le système précédent comporte  M  1 inconnus et  M  2  équations,

et par conséquent une équation est redondante.
M
Si nous éliminons la dernière contrainte 
j 0
j  1, nous obtenons plusieurs
M M
solutions à un multiple près.  j     i pij    i pij
i 0 i 0

M
Nous devons conserver cette dernière contrainte   j  1 pour sauvegarder
j 0

la propriété des probabilités.

De plus
lim pijn   j  0
n 

où les probabilités  j
M
 j    i pij
i 0
M


j 0
j 1

Le  j est donc une probabilité au stage d'équilibre de se retrouver à l'état j après

après un très grand nombre d'itérations indépendemment de l'état initiale à t  0
De plus
lim pijn   j  0
n 

où les probabilités  j
M
 j    i pij
i 0
M


j 0
j 1

0.8 0.2 
Exemple de la météo: P 
0.6 0.4 
 0   0  0.8   1  0.6   0  0.2   1  0.6 
   0  3 1
 1   0  0.2   1  0.4   1  0.6   0  0.2 

 0   1  1
  4 1  1   1  0.25
 0  3 1 

Donc  1  0.25 et  0  0.75

 j est une probabilité stationnaire (ne pas confondre avec le fait que les
probabilités de transition sont stationnaires) dans le sens où si la probabilité
initiale d'être dans l'état j est donné par  j P X 0  j    j  , alors la probabilité
de retrouver le système dans l'état j aux temps n  1, 2, est aussi  j :
P Xn  j   j

Exemple de la météo:
Supposons que P  X 0  0    0  0.75 et P  X 0  1   1  0.25
Quelle est la probabilité qu'il pleuve le jour 3, P  X 3  1 ?

P  X 3  1  p01
3
P  X 0  0   p113 P  X 0  1
 0.248   0  0.256   1  3 0.752 0.248 
P  
 0.248  0.75  0.256  0.25  0. 7 44 0. 25 6 
 0.186  0.064  0.25
Propriétés additionnelles

 Si les états i et j sont récurrents dans des classes différentes alors

p ij   0 n  1
n

 Si l'état j est transient alors

lim pij   0 i.
n
n 

Donc la probabilité de retourner dans un état transient après un grand

nombre d'itérations tend vers 0.

 On peut démontrer que pour une chaîne de Markov irreductible

 1 n k  
lim   pij    j
 k 1
n  n
