THEORIE DE L’INFORMATION

Sources d’Information de Markov

ABDI.M –INTTIC-Oran

V-Chaines de Markov

V-1 Définitions:

Définition1:soit un système E={E1 ,E2 ,...,Ei ,...,En} caractérisé par n états, à chaque état est

n (0)
attachée une probabilité initiale (ie; à Ei p i( 0) de telle sorte que p i  1) i 1

Le système évolue séquentiellement à partir d'un instant initial to selon un processus

imposé par un ensemble { pij } de probabilités conditionnelles


n i
avec pij  0 et j1 p j  1 i .

 
La matrice   p ij i, j = 1,...,n est appelée :matrice de transition
E1  Ej  En
E1  p11  p1j  p1n 
 
     
    E
pij i
 pi
 1
 pij  pin 

     
 n 
En  p1  p nj  p nn 
1   j  n
Définition2: Toute matrice carré dont les éléments i sont / i  0 et i =1 pour chaque ligne
 a11 a12  a1k 
  a2k
 a 21 a 22  et  k a ij  1 i
     j=1

 
 a k 1 a k 2  a kk 
Est appelée matrice de Markov ou matrice stochastique, et peut servir comme matrice de
transition à la chaîne de Markov et réciproquement.

On peut ainsi donner une représentation sagittale d'une chaîne de Markov, les sommets du
graphe étant les états du système, tandis que les transitions sont représentés par des arcs valués
de la probabilité correspondante.

j i
pj pi
Ei
p ik
p
j Ej
j
Ek
j
p i k
pj

1
 THEORIE DE L’INFORMATION
Sources d’Information de Markov
ABDI.M –INTTIC-Oran

V-2 Introduction à la théorie des chaînes de Markov finies

Définition: on définit une séquence de variables aléatoires Z0,Z1,Z2,... comme suit:

a) Chaque variable aléatoire Zi prend ses valeurs dans l'ensemble E et possède une
distribution de probabilités arbitraire
 E 1i , E 2 i  E ni

n
Zi   p ji  1 i
 p 1i p 2 i  p ni
j =1

b) en supposant que les distributions de Z0,Z1,Z2,..., Zr connues, on définit la

distribution de probabilité de Zr+1 (l'état du système à l'instant t=r+1) par:
PZ r  1  E k / Z 0  E i 0 ,..., Z r  E ir  p ir k
La séquence Z0,Z1,Z2,...est alors appelée :chaîne de Markov finie

Question: supposons qu'on soit à l'instant t, quelle est la probabilité que le système passe à
l'état i à l'instant suivant (t+1).On se propose donc de calculer la probabilité Pi( t 1)

1. On commence à l'instant t=0, en associant une probabilité initiale à chaque état. On a donc:
( 0) ( 0) ( 0)
P  p1 , p 2 ,  , p n le vecteur des probabilités initiales du système
( 0)

2. A l'instant t (t entier) on a: P( t )  p1( t ) , p (2t ) ,  , p (nt )

avec p (j t )  Zt  E j :la probabilité d'être dans l'état Ej à l'instant t
3. On peut donc calculer Pi( t 1) par l'expression suivante:
 P1( t ) x P1i  P(2t ) x P2i ... P(jt ) x Pij ... P(nt ) x P nn   j1 P(jt ) Pij
( t 1) n
Pi
P(jt ) x Pij1 : {Le système se trouve dans l'état j à l'instant t, et passe à l'état i à l'instant t+1
L'expression de Pi( t 1) peut se mettre sous la forme de produit matricielle.
 p1i 
 2
(t) (t) (t)  pi  (t)
Pi  p1 , p2 ,  , pn x   p x i
( t  1)


 n
 pi 
Généralisation:(Passage de l'instant t=0 à t=k)
 t  0 p( 0 )
 (1) ( 0)
 t  1 p  p x

k transitions t  2 p( 2 )  p(1) x  p( 0) x 2

 
 t  k p( k )  p( k 1) x  p( 0) x  k

Donc, p ( k )  p (0) x  k
où P ij( k ) est le terme général de la matrice  k
on note :  k   P ij( k ) 
 

2
 THEORIE DE L’INFORMATION
Sources d’Information de Markov
ABDI.M –INTTIC-Oran

Conclusion: Le vecteur probabilités à l'instant t=k, est le produit du vecteur des probabilités à
l'instant initial t=0 par la kieme puissance de la matrice de transition.

Cas particulier: supposant qu'à l'instant t=0 la chaîne démarre de l'état i alors:

p ( 0 )  0 ,0 ,...,1 ,0 ,...,0
i
et donc
E1  Ej  En
1  p 11( k )  p 1j( k )  p 1n( k ) 
  
      

i
 
p ( k )  0 ,0 ,...,1 ,0 ,...,0 x  k  0 ,0 ,...,1 ,0 ,...,0 x i
i
 p i( k )
 1
 p ij( k )  p in( k ) 

       
 n( k ) 
n  p 1  p nj( k )  p nn( k )

eme k
P sera constitué des éléments de la i ligne de la matrice 
k

i( k )
P k  p1 , pi2( k ) ,  , pin( k )

et donc Pij( k )  PZk  E j / Z0  Ei est la probabilité que, partant de l'état i à l'instant t=0,
le système se trouve dans l'état j à l'instant t=k
 k est une matrice de transition d'une chaîne de Markov, c'est donc une matrice
n
stochastique  Pij( k )  0 i , j et P j=1
i( k)
j  1 i = 1,2,..., n

V-2-1 Régime stable: mathématiquement, la condition de régime stable s'exprime par:

lim P j  P j (i, j = 1,2,..., n) et P j est indépendant de i
i( k) * *
k 

P est appelée probabilité en régime stable de Ej

*
j

Remarque: quand le système atteint son régime stable (k très grand), la probabilité d'être dans
l'état Ej (à t=k) est presque indépendante de l'état initiale (à t=0).

Définition: Si l'ensemble des nombres P1* ,..., P*n / P*j  lim Pij( k ) (i, j = 1,2,..., n) existe, on
k 
dira que les probabilités en régime stable existent pour la chaîne et que cette chaîne est
complètement ergodique. Dans ce cas toutes les lignes de la matrice deviennent identiques.
lim  k   ou bien   avec
k 
1  j  n

1  p*  p*j  p*n 
 1 
     
  i  p*  p*j  p*n 
 1 
     
 * 
n  p1  p*j  p*n 

3
 THEORIE DE L’INFORMATION
Sources d’Information de Markov
ABDI.M –INTTIC-Oran

Définition : Une distribution de probabilité P est dite stationnaire si P x  P

 Une chaîne de Markov peut avoir une distribution de probabilités stationnaires sans
avoir de probabilités en régime stable.
 Les probabilités en régime stable (steady state) sont des probabilités stationnaires.

La chaîne suivante, ne possède pas de probabilités en régime stable , mais a une distribution
de probabilités stationnaires qui est de ½ pour chaque état.
1

S1 S2
1

 
Théorème1:Soit une chaîne de Markov avec sa matrice de transition   p ij i, j = 1,...,n
et les probabilités en régime stable P (j = 1,2,..., n) alors
*
j

a )  j=1 P*j  1 P*  P1* ,..., P*j ,..., P*n étant le vecteur des probabilités en régime stable
n

b) P*  P1* ,..., P*j ,..., P*n est une distribution stationnaire pour la chaîne ie ; P* x  P*
si P ( 0 )  P* alors, P ( n )  P* pour tout n .
c) P* est l’unique distribution stationnaire pour la chaîne.

ie; Quand la chaîne atteint son régime stable, alors toute transition n'apporte aucun
changement dans les probabilités su système.

Théorème 2:(Existence des probabilités en régime stable).

Soit  une matrice de transition (nxn) associée à une chaîne de Markov finie:
Le vecteur des probabilités en régime stable existe   NN* / N possède une colonne
où tous les éléments sont strictement positifs.

Corollaire: Si pour un certain N, N a tous ses éléments positive alors toutes les probabilités
en régime stable sont strictement positives

V-2-3Chaîne de Markov décomposable:

Définition 1 :Un ensemble d’états B d’une chaîne de Markov est dit essentiel , si chaque état
dans B peut être atteint à partir d’un autre état de B (en un ou plusieurs étapes), et
il est impossible d’atteindre un autre état à l’extérieur de B à partir d’un état de B .

4
 THEORIE DE L’INFORMATION
Sources d’Information de Markov
ABDI.M –INTTIC-Oran

Exemple :

B1 B2
Essentiel
Essentiel : Chaque état dans
B1 est atteinte à partir d’un
autre état dans B1

Définition 2 : Une chaîne est dite indécomposable si elle possède un et un seul ensemble
essentiel

Exemple : La chaîne caractérisée par la matrice de transition suivante, est indécomposable.

1 / 2 1 / 2 0 
   0 1 / 3 2 / 3
 0 1 / 2 1 / 2 
 Une chaîne possédant des probabilités en régime stable est toujours indécomposable.

V-3 Sources d'information de Markov:

V-3-1 Définitions:

Définition1:(Source d'information de Markov). Étant donné une chaîne de Markov

Z0,Z1,Z2,... et une fonction f : S   ( appelé alphabet de la source).
Si l'état initiale Z0 correspond à la distribution de probabilité P=[P1 ,...,Pr ] ie; P{ Z0= Ej}= Pj
j
Alors la séquence stationnaire Xn=f(Zn) n = 0,1,... est appelée source d'information de
Markov
de la chaîne Z0,Z1,Z2,...de la fonction f et, de la distribution P=[P1 ,...,Pr ]

Définition2:(Source régulière).Si la chaîne possède un vecteur de probabilités en régime

stable, alors la source résultante est appelée source d'information de Markov régulière.

Définition3:(Source de Markov unifilaire).

Soit une source d'information de Markov avec un ensemble d'états E={E1 ,E2 ,...,Ei ,...,Er}, un
alphabet , une fonction f : S   et une distribution de probabilités P=[P1 ,...,Pr ].

5
 THEORIE DE L’INFORMATION
Sources d’Information de Markov
ABDI.M –INTTIC-Oran

Soit E k 1 , E k 2 ,..., E knk les états qui peuvent être atteintes en un seul pas à partir de Ek ie; P kj  0
La source est dite unifilaire si, pour chaque état Ek , les lettres f  E k 1 ,..., f  E k 1 sont distinctes.
Exemple: Soit une source de Markov d'alphabet ={A,B}
Une telle source est :
1. Unifilaire si on prend: f(E1)=f(E4)=A et f(E2)=f(E3)=B
2. Non unifilaire si on prend : f(E1)=f(E2)=f(E4)=A et f(E3)=B

Explication: Chaque état atteint directement à partir de Ek , lui est associé une lettre distincte
de l'alphabet.
D'une façon équivalente, l'état à l'instant t et le symbole produit à l'instant t+1 déterminent
l'état à l'instant t+1.

V-3-2 Entropie d'une source de Markov:

Définition: Étant donné une source de Markov unifilaire, et E k 1 , E k 2 ,..., E knk les états
directement atteints à partir de Ek k=1,2,....,r
On définit alors l'entropie de l'état Ek par: H k  H p k 1 , p k 2 ..., p knk  .
Théorème: L'entropie d'une source de Markov unifilaire est donnée par
HX   k 1 pk H k
r

pk sont les probabilités stationnaires.

Remarque: Si la source est régulière, alors: HX   k 1 p*k H k

r

V-3-3 Ordre d'une source:

Remarque: (Approximation d'une source d'information générale par une source d'ordre finie)
On aimerait voir la dépendance statistique du symbole Xn produit par une source
d'information des symboles précédents X1 , X2 ,... Xn-1 disparaître quand n tend vers l'infini.
Soit alors une source unifilaire dans laquelle la distribution de Xn est déterminée par un
nombre (fini) M de symboles précédents Xn-1,...,Xn-M , une telle source est dite d'ordre fini ou
de mémoire finie.
Analysons la source de la figure suivante :

E1 E2
A
B

A B
B

E4 E3
f(E1)=f(E4)=A
f(E2)=f(E3)=B
A

6
 THEORIE DE L’INFORMATION
Sources d’Information de Markov
ABDI.M –INTTIC-Oran

Description: Dans le diagramme on remarque que si f(E1)= alors, toutes les flèches entrant
l'état Ej sont marquées par .Les probabilités de transition ne sont pas spécifiées dans la
figure(sauf le fait que l'on suppose que Pij  0 si les états Si et Sj sont connectés directement).
Pour pouvoir conclure sur l'ordre d'une source de Markov, on peut dresser un tableau dans
lequel on met la liste de toutes les séquences possibles de deux ou plusieurs symboles, avec
les états finaux correspondant pour un état initial donné.

Exemple: Si Zt-3=E2 , Xt-2=B, Xt-1=A, Xt=A, alors Zt=E1.

Les cases marquées d'un trait correspondent à des transitions impossibles.

Exemple: Si Zt-2=E3 alors, il est impossible que Xt-1=B et Xt=B

Xt-2 Xt-1 Xt Xt-1 Xt

Zt-3 AAA AAB ABA ABB BAA BAB BBA BBB Zt-2 AA AB BA BB
E1 E1 E2 E1 E3 E1 E2 E4 - E1 E1 E2 E1 E3
E2 E1 E2 E1 E3 E1 E2 - - E2 E1 E2 E4 -
E3 E1 E2 E1 E3 - - - - E3 E1 E2 - -
E4 E1 E2 E1 E3 E1 E2 E4 - E4 E1 E2 E1 E3

Définition: On dira qu'une source unifilaire de Markov est d'ordre M si l'état Zt est déterminée
par les symboles Xt , Xt-1 ,..., Xt-M+1,mais pas par les symboles Xt , Xt-1 ,..., Xt-i pour i M-1

Conclusion: Pour déterminer l'ordre d'une source, on examine les états finaux associés aux
séquences de symboles de longueur 1,2,3,..., jusqu'à trouver un nombre M, tel que pour toutes
les séquences de longueur M, l'état final est indépendant de l'état initial .M sera alors l'ordre
de la source.

Le théorème suivant permet d'arrêter la recherche, lorsque l'ordre est infini.

Théorème: Si une source d'information de Markov unifilaire de r états , est d'ordre fini M
alors M  0,5 r(r-1)

Exemple: (source de Markov d'ordre infini).

B B
E3
f(E1)=f(E2)=A
f(E3)=B
A
f(E4)=C
A
E1 E2
A C

C C
A
E4

7
 THEORIE DE L’INFORMATION
Sources d’Information de Markov
ABDI.M –INTTIC-Oran

Entropie d'une source d'ordre M:Si une source est d'ordre M, alors:

PX t   t / X t 1   t 1 ,..., X t  M   t  M 
 PX t   t / X t 1   t 1 ,..., X t  n   t  nn  M
donc : H X   H  X t / X t 1 ,..., X t  M 
= H  X t , X t 1 ,..., X t  M   H  X t 1 ,..., X t  M 
   
J M +1 JM
J1:unigramme
J2:digramme
...

Etant donné une source d’information arbitraire S={Xn , n = 0 , 1 , …}, on construit une
séquence Sn de sources de Markov unifilaires d’ordre fini comme suit.

V-4 Modèles de Markov cachés:

Une source probabilistique est appelée model de Markov caché si sa séquence aléatoire de
sortie X1,X2,X3,… peut être exprimée par :
X1=f(S1), X2=f(S2), X3=f(S3), ...
Pour une fonction f, où S1 , S2 , S3 , … sont les sorties d’une source de Markov de 1er
ordre .L’entropie d’une chaîne de Markov cachée est en général extrêmement difficile à
calculer .( Il n’existe pas une expression mathématique pour cette entropie.) Cependant, pour
un model de Markov caché unifilaire, l’entropie est facile à calculer. Un model de Markov est
unifilaire si Si est calculable à partir de Si-1 et Xi .Par exemple le diagramme suivant montre
un model de Markov caché.

b/0
a/1

c/0

L’alphabet pour les sorties de la source de Markov {Si} est {a,b,c}, et l’alphabet pour les
sorties du model de Markov caché {Xi}est {0,1}. Le model est unifilaire car
Xi =1  Si = a
Si-1 = a  Xi = 0  Si= b
Si-1 = b  Xi = 0  Si= b
Si-1 = c  Xi = 0  Si= c
On peut montrer que l’entropie d’un model de Markov caché est égale à l’entropie de la
source de Markov de 1er ordre correspondante.