Séance 3

Chaines de Markov à temps discret -

Suite
 Décision dans une chaine absorbante
• Un état k d’une chaine de Markov est dit
absorbant si le processus ne peut plus quitter
cet état une fois qu’il y est entré, c.à.d. pkk=1.

• Une chaine de Markov est dite absorbante si

elle comprend au moins un état absorbant et
si l’on peut passer de n’importe quel état à un
état absorbant.
Décision dans une chaine absorbante
 Décision dans une chaine absorbante
• Analyse des chaines absorbantes:
- Combien de temps faudra-t-il en
moyenne pour que le processus soit absorbé,
étant donné son état initial ?

- S’il existe plusieurs états absorbants,

quelle est la probabilité pour un processus
d’être absorbé par un état donné?
 Décision dans une chaine absorbante
Étude du comportement asymptotique:
• Formuler la matrice de transition P en plaçant au
début les états absorbants, on a la forme canonique
suivante:
 Décision dans une chaine absorbante
Étude du comportement asymptotique:

(𝑛)
L’élément 𝑞𝑖𝑗 de la matrice 𝑄𝑛 est égal à la probabilité qu’un
processus initialement dans l’état transitoire i se retrouve après
n transitions dans l’état transitoire j.
 Décision dans une chaine absorbante
• Or on a :
lim 𝑄 𝑛 = 0
𝑛→∞
• D’où on montre que :
𝑛 𝐼 0
lim 𝑃 = −1
𝑛→∞ (𝐼 − 𝑄) 𝑅 0

Avec N = (𝐼 − 𝑄)−1 appelée la matrice

fondamentale de la chaine.
 Décision dans une chaine absorbante
• Théorème:
Dans une chaine absorbante, le nombre moyen 𝑛𝑖𝑗 de visites de l’état transitoire j
avant absorption sachant que le processus débute dans l’état transitoire i est
donné par :
𝑛𝑖𝑗 = ((𝐼 − 𝑄)−1 )𝑖𝑗
• Corollaire:
Pour un processus débutant dans l’état transitoire i, le nombre moyen Ni de
transition avant absorption est
𝑁𝑖 = 𝑛𝑖𝑗
𝑗 𝑡𝑟𝑎𝑛𝑠𝑖𝑡𝑜𝑖𝑟𝑒

(il s’agit de la somme des termes de la 𝑖 è𝑚𝑒 ligne de la matrice fondamentale N)

 Décision dans une chaine absorbante
Probabilité d’absorption:
• Dans une chaîne de Markov absorbante avec P
mise sous forme canonique, le terme aij de la
matrice A = N·R est la probabilité d'absorption
par l'état absorbant j sachant que l'on part de
l'état i.