CHANES DE MARKOV

Chanes de Markov
Les chanes de Markov sont des outils statistiques et probabilistes simples et puissants
mais dont la forme de prsentation mathmatique prte parfois l'horreur. Nous allons
tenter ici de simplifier un maximum les notations pour introduire cet outil formidable trs
utilis au sein des entreprises pour grer la logistique, les files d'attentes aux centrales
d'appel ou aux caisses de magasins jusqu' la thorie de la dfaillance pour la maintenance
prventive, en physique statistique ou en gnie biologique (et la liste est encore longue et
pour plus de dtails le lecteur pourra se reporter aux chapitres concerns disponibles sur le
site...).

Dfinition: Nous noterons

un processus probabiliste fonction du temps (c'est

donc un processus stochastique) dont la valeur chaque instant dpend de l'issue d'une
exprience alatoire. Ainsi, chaque instant t, X(t) est donc une variable alatoire.
Si nous considrons un temps discret, nous notons alors

un processus

stochastique temps discret. Si nous supposons que les variables alatoires

ne

peuvent prendre qu'un ensemble discret de valeurs. Nous parlons alors de "processus
temps discret et espace discret".

Remarque: Il est tout fait possible comme dans l'tude du tltrafic d'avoir un
processus temps continu et espace d'tat discret.
Dfinition :

est une "chane de Markov" si et seulement si:

(6.65)
en d'autres termes (c'est trs simple!) la probabilit pour que la chane soit dans un certain
tat la n-me tape du processus ne dpend que de l'tat du processus l'tape n - 1 et
pas des tapes prcdentes!

Remarque: En probabilit un processus stochastique vrifie la proprit markovienne si

et seulement si la distribution conditionnelle de probabilit des tats futurs, tant donn
l'instant prsent, ne dpend que de ce mme tat prsent et pas des tats passs. Un
processus qui possde cette proprit est donc appel "processus de Markov".
Dfinition: Une "chane de Markov homogne" est une chane telle que la probabilit qu'elle
a pour passer dans un certain tat la n-me soit indpendante du temps. En d'autres
termes, la loi de probabilit caractrisant la prochaine tape ne dpend pas du temps (de
l'tape prcdente), et en tout temps la loi de probabilit tout moment de la chane est
toujours la mme pour caractriser la transition l'tape en cours.

Nous pouvons alors dfinir la (loi) de "probabilit de transition" d'un tat i vers un tat j par
:

(6.66)
Il est alors naturel de dfinir la "matrice de transition" ou "matrice stochastique":

(6.67)
Les chanes de Markov peuvent tre reprsentes graphiquement sous la forme d'un graphe
orient G (cf. chapitre de Thorie Des Graphes) ayant pour sommet les point i et pour
artes les couples orients (i, j). Nous associons alors chaque composante un arc orient
et sa de probabilit de transition.
Exemple:

(6.68)
Ainsi, les seules transitions permises par les 4 tats (matrice 4x4) sont celles indiques par
les flches. Ce qui fait que la matrice de transition s'crit alors :

(6.69)
o le lecteur remarquera que nous avons la proprit triviale (par construction!) que la
somme des termes d'une colonne de la matrice transpose de P est toujours unitaire:

(6.70)

et que la matrice est positive (ce qui signifie que tous ces termes sont positifs ou nuls).

Remarque: Se rappeler que la somme des probabilits des colonnes T obtenues est
toujours gale 1 pour la transpose de la matrice stochastique!!
L'analyse du rgime transitoire (ou promenade alatoire) d'une chane de Markov consiste
dterminer (ou imposer!) la matrice-colonne (vecteur) p(n) d'tre dans un tat j
l'tape n (ou en la n-me tape autrement dit...) :

(6.71)
avec la somme des composantes qui vaut videmment toujours 1 (car la somme des
probabilits de se trouver dans un quelconque des sommets du graphe un moment/tape
donn(e) doit tre gale 100%).
Dmonstration:
Si p(n) est un vecteur stochastique, alors son image:

(6.72)
l'est aussi. Effectivement,

car:

(6.73)
est une somme de termes positifs ou nul. De plus, nous trouvons:

(6.74
)
C.Q.F.D.
Nous appelons frquemment cette matrice colonne "vecteur stochastique" ou "mesure de
probabilit sur le sommet i".
Ce vecteur de probabilits, dont les composantes sont positives ou nulles, dpend (c'est
assez intuitif) de la matrice de transition P et du vecteur de probabilits initiales p(0).
Bien que cela soit dmontrable (thorme de Perron-Frobenius) le lecteur pourra vrifier
par un cas pratique (informatis ou non!) que si nous choisissons un vecteur d'tat p(n)
quelconque alors il existe pour toute matrice stochastique P un vecteur unique de
probabilit not traditionnellement

tel que:

(6.75)
Une telle mesure de probabilit

vrifiant la relation prcdente est appele une "mesure

invariante" ou "mesure stationnaire" ou encore "mesure d'quilibre" qui reprsente l'tat

d'quilibre du systme. En termes d'algbre linaire, pour la valeur propre 1,

est un

vecteur propre de P (cf. chapitre d'Algbre Linaire).

Nous en verrons un exemple trivial dans le chapitre de Thorie des Graphes qui sera
redvelopp sous forme dtaille et complte ainsi que dans le chapitre de Thorie Des
Jeux Et De La Dcision dans le cadre de la pharmaco-conomie. Mais signalons galement
que les chanes de Markov sont galement utilises en mtorologie par exemple:

(6.76)
ou dans le domaine mdical, financier, des transports du marketing, etc.