Vous êtes sur la page 1sur 12

CHAÎNES DE MARKOV À TEMPS DISCRET ET ESPACE D’ÉTATS FINI OU DÉNOMBRABLE

1. Processus stochastiques

Très souvent, lorsque que nous étudions un phénomène qui dépend du hasard, il y a lieu de prendre en compte
l’évolution de ce phénomène au cours du temps. L’observation d’un phénomène réel est modélisée par une variable
aléatoire réelle; l’étude de phénomènes évoluant dans le temps va donc être modélisée par une famille de variables
aléatoires, appelée processus stochastique.

Définition d’un processus stochastique. Soit E un ensemble représentant l’espace des états. Un processus
stochastique est une famille de variables aléatoires réelles, (Xt) 𝑡 ∈ 𝑇, à valeurs dans 𝐸.

L’ensemble T représente le temps. Par suite la variable aléatoire X t correspond à l’état du phénomène à l’instant t.

Si l’ensemble T est :

• dénombrable, le processus stochastique est dit discret ; par exemple T = N ou tout ensemble possédant un
nombre fini d’éléments. Nous employons le terme de chaîne et indexons la variable aléatoire par la lettre n.

• continu, le processus stochastique est dit continu; par exemple T = IR+, [0,t0 ] ou tout sous-ensemble de réels
positifs. Nous indexons la variable aléatoire par la lettre t.

Les premiers processus étudiés sont, les suites de variables aléatoires indépendantes, ce qui a conduit à la loi des
grands nombres et au théorème central limite. Le mathématicien russe Andreï Andreïevitch Markov [1856-1922]
poussé vers la théorie des probabilités par son maître, Pafnoutï Lvovitch Tchebychev, qui démontra, sous des
conditions assez générales, le théorème central limite, chercha à généraliser ce théorème à des suites de variables
aléatoires dépendantes. Il est amené ainsi à considérer des variables faiblement dépendantes, c’est à dire que
l’évolution future ne dépend que de l’état présent, fondement de la théorie des processus auxquels fût donné son
nom. (Le processus de Markov ou chaine de Markov)

2. Les chaines de Markov

1. Définition.

Une chaine de Markov est une suite de variables aléatoires(𝑋𝑛 ) qui décrivent à chaque instant n l’état d’un système
aléatoire défini par récurrence : les chaînes de Markov, pour lesquelles la loi des états futurs du processus ne dépend
que de l’état du processus au présent.

Dans ce cours, nous allons étudier les processus de Markov, qui constituent les processus stochastiques les plus
simples une fois l’hypothèse d’indépendance abandonnée. Nous supposons que l’ensemble T est l’ ensemble des
entiers naturels N, nous étudions exclusivement des chaînes de Markov à valeurs dans un espace des états E
dénombrable (fini ou infini), c’est-à-dire discret.

2. Propriété de Markov

Définition Soient E un ensemble fini ou dénombrable et (𝑋𝑛 )( 𝑛 ∈ 𝑁) une suite de variables aléatoires définies sur
le même univers Ω muni de la mesure de probabilité P et à valeurs dans E. On dit que (𝑋𝑛 ) est une chaîne de Markov
si :

1
o (Propriété de Markov) pour tout entier 𝑛 et tous 𝑥 0 ,𝑥1 … … . . 𝑥𝑛+1 ∈ 𝐸

𝑃( 𝑋𝑛+1 = 𝑥 𝑛+1|𝑋𝑛 = 𝑥 𝑛, … , 𝑋0 = 𝑥𝑜] = 𝑃[𝑋𝑛+1 = 𝑥 𝑛+1|𝑋𝑛 = 𝑥 𝑛](1)

L’indice 0 représente l’instant de départ, il est appelé l’instant initial et l’état X 0 du processus en cet instant
correspond à l’état initial.

L’égalité (1) est interprétée de la façon suivante : l’état 𝑥𝑛+1 du processus à l’instant n + 1 ne dépend pas du
déroulement passé, 𝑥0 , . . . , 𝑥 𝑛−1, mais seulement de l’état présent 𝑥 𝑛. Ceci se traduit encore par : le déroulement
futur est le même quel que soit le déroulement passé. Cette propriété est connue sous le nom de propriété de
Markov.

Exemples conducteurs

① Exemple de chaîne à deux états: La prévision météo.

Dans une région, s'il pleut un jour alors également le lendemain il pleut avec une probabilité de 0,7. par contre, s'il
ne pleut un certain jour le lendemain il pleut avec une probabilité égale à 0.2.
Problématique : si aujourd’hui il pleut, quelle est la probabilité de pleuvoir dans n jours ?
On considère une variable aléatoire 𝑋𝑛
1 𝑠’𝑖𝑙 𝑝𝑙𝑒𝑢𝑡 𝑎𝑝𝑟è𝑠 𝑛 𝑗𝑜𝑢r
𝑠𝑜𝑖𝑡 𝑋𝑛 = { ′
2 𝑠 𝑖𝑙𝑓𝑎𝑖𝑡 𝑏𝑒𝑎𝑢 𝑎𝑝𝑟è𝑠 𝑛 𝑗𝑜𝑢𝑟𝑠
𝐸 ∶L’ensemble des états : est l’ensemble des valeurs que peut prendre 𝑋𝑛 : E  1,2
On suppose que le 1er jour il pleut c’est à dire X 0  1 ,

Le 2ème jour il fait beau donc X 1  2

 X 3  1 avec une proba de 0.7


si X 2  1 alors 
 X 3  2 avec une proba de 0.3

 X 3  1 avec une proba de 0.2


si X 2  2 alors 
 X 3  2 avec une proba de 0.8

Propriété de Markov : L’état futur du processus X 3 ne dépend que de l’état du processus au présent X 2

3. La matrice de transition

Définition Soit (𝑋𝑛 ) 𝑛 ≥ 0 une chaîne de Markov à valeurs dans un espace E. On appelle probabilités de transition
pour tout n ≥ 0, pour tout (x, y) ∈ 𝐸 2 , des P[𝑋𝑛+1 = 𝑦|𝑋𝑛 = 𝑥] = 𝑝𝑛 (𝑥, 𝑦).

o Une chaîne de Markov (𝑋𝑛 )𝑛 ≥ 0 est dite homogène si 𝑝𝑛 (𝑥, 𝑦) ne dépend pas de l’instant n :

∀𝑛 ≥ 0, ∀(𝑥, 𝑦) ∈ 𝐸 2 𝑝𝑛 (𝑥, 𝑦) ≡ 𝑝(𝑥, 𝑦).

2
En mots cela signifie que la probabilité de transiter d’un état x à un état y ne dépend pas de l’instant auquel la
transition se fait. Dans la suite nous supposons toujours que la chaîne de Markov est homogène.

Définition Étant donné une chaîne de Markov (𝑋𝑛 ) 𝑛 ≥ 0 à valeurs dans un espace dénombrable

𝐸 = {𝑥1 , 𝑥2 ,. . . 𝑥𝑘 }, nous lui associons une matrice appelée matrice de transition, notée 𝑃 = (𝑝(𝑥𝑖, 𝑥𝑗)), dont les
coefficients ij , 𝑝(𝑥 𝑖 ,𝑥𝑗 ) , sont les probabilités de transiter de l’état 𝑥𝑖 vers l’état 𝑥𝑗 :

𝑝(𝑥1 ,𝑥1 ) 𝑝(𝑥1 , 𝑥2 ) … 𝑝(𝑥1;𝑥𝑘 )


𝑃=( ⋮ ⋱ ⋮ )
𝑝(𝑥 𝑘, 𝑥1 ) … 𝑝(𝑥𝑘 ,𝑥 𝑘)

Remarque. La matrice de transition est une matrice carré 𝑐𝑎𝑟𝑑(𝐸) × 𝑐𝑎𝑟𝑑(𝐸). Si l’espace E est fini, la matrice est
de taille finie; si l’espace des états est dénombrable (infini), elle est alors infinie (voir par exemple le cas de la marche
aléatoire où l’espace des états est l’ensemble Z des entiers relatifs).

La matrice de transition P pour l’exemple① Dans une région, s'il pleut un jour alors également le lendemain il
pleut avec une probabilité de 0,7. Par contre, s'il ne pleut un certain jour ; le lendemain il pleut avec une probabilité
égale à 0.2.

1 2
1
0.7 0.3
𝑃= ( )
2 0.2 0.8

0.3 est la probabilité de transition de 1 à l'état 2

Exercice 1 (Disponibilité de 2 machines avec 1 technicien, Ruegg(1989)). Une unité de production comprend 2
machines automatiques qui fonctionnent indépendamment l’une de l’autre. Chaque machine fonctionne toute la
journée avec la probabilité 𝑝 ou bien tombe en panne durant la journée avec probabilité 1 − 𝑝. L’unité de
production possède 1 technicien travailleur de nuit qui peut réparer une machine tombée en panne et la remettre
en état de marche pour le lendemain. En revanche, le technicien ne peut réparer qu’une et une seule machine par
nuit. On souhaite comprendre le comportement du processus (𝑋𝑛 ) n>1,où (𝑋𝑛 ) représente le nombre de machines
en panne au matin du nième jour. Déterminer la matrice de transition de cette chaîne.

L’espace d’états est 𝐸 = {0,1} et les probabilités de transition sont données par :

𝑝 (0,0) = 𝑝 2 + 2𝑝 (1 − 𝑝) = 𝑝(2 − 𝑝),

𝑝(0,1) = (1 − 𝑝) 2 ,

𝑝(1,0) = 𝑝,

𝑝(1,1) = (1 − 𝑝) ,

Que l’on peut résumer à l’aide de la matrice de transition suivante :

0 1
0
𝑝(2 − 𝑝) (1 − 𝑝) 2
𝑃= ( )
1
𝑝 (1 − 𝑝)

3
4. Matrices stochastiques

La matrice de transition P est une matrice carrée, telle que toutes les lignes sont des probabilités, elle vérifie les
propriétés suivantes :

• tous les coefficients sont positifs ou nuls : ∀(𝑥, 𝑦) ∈ 𝐸 2 , 𝑝(𝑥, 𝑦) ≥ 0,

• les coefficients de chacune des lignes somment à 1 : ∀𝑥 ∈ 𝐸, ∑𝑦∈𝐸 𝑝(𝑥, 𝑦) = 1.

Une telle matrice est dite stochastique et on remarque que chaque ligne d’une telle matrice est une mesure de
probabilité sur E.

5. Graphe associé à une chaîne de Markov homogène

A partir de la matrice de transition d’une chaîne de Markov, nous construisons un graphe. Il donne les mêmes
informations que la matrice mais, comme toute représentation graphique, a l’avantage d’être plus parlant.

Définition : Étant donnée une chaîne de Markov (𝑋𝑛 ) 𝑛 ≥ 0 définie sur un espace d’états E, le graphe de la chaîne
est le graphe construit à partir de la matrice de transition ainsi : les sommets sont les états et les arêtes (orientées)
représentent les transitions possibles d’un état vers un autre. Au dessus de chaque arête on écrit la probabilité de
transition correspondante.

Pour l’exemple ① : la chaîne de Markov peut être représenté un graphe orienté pondéré qui résume le système :

Les sommets sont les états du système. Les arêtes sont pondérées par les probabilités de transition.

Pour l’exercice ①le graphe est le suivant.

Exercice 2 Dessiner le diagramme correspondant à la matrice de transition suivante :

0 1 0
𝑃 = ( 0 1/2 1/2)
1/2 0 1/2

Exercice 3 Donner la matrice de transition correspondant au diagramme suivant.

4
A B C
𝟎. 𝟒 𝟎. 𝟑 𝟎. 𝟑
𝑷 = (𝟎. 𝟒 𝟎. 𝟓 𝟎. 𝟏)
𝟎. 𝟐 𝟎. 𝟕 𝟎. 𝟏

6. Distribution de Xn

Une distribution de probabilité est d’affecter une probabilité à chaque valeur de la variable aléatoire. Soit Xn une
chaîne de Markov, la distribution après n transitions, notée (𝜋𝑛 ) , est la loi de probabilité de 𝑋𝑛 . On a la note avec
une matrice ligne, le nombre de colonnes correspond aux nombres d'états du système.

Distribution après n transition 𝜋𝑛 = ( 𝑝⏟


𝑛𝑖 ; 𝑝⏟
𝑛𝑗 )
𝑙𝑎 𝑝𝑟𝑜𝑏𝑎 𝑑′ê𝑡𝑒 à 𝑙′ é𝑡𝑎𝑡 𝑥 𝑖 𝑙𝑎 𝑝𝑟𝑜𝑏𝑎 𝑑′ê𝑡𝑒 à 𝑙′é𝑡𝑎𝑡 𝑥𝑗
𝑎𝑝𝑟è𝑠 𝑛 𝑡𝑟𝑎𝑛𝑠𝑖𝑡𝑖𝑜𝑛𝑠 𝑎𝑝𝑟è𝑠 𝑛 𝑡𝑟𝑎𝑛𝑠𝑖𝑡𝑖𝑜𝑛𝑠

On a la distribution de probabilité après n+1 transition est :

𝜋𝑛+1 = 𝜋𝑛 × 𝑃

 On suppose qu’il peut le jour 0 autrement 𝑋0 =1 donc la probabilité de pleuvoir égale à 1 et la probabilité
qu’il fait beau =0 → 𝜋0 = (1; 0) : 𝑐 ′ 𝑒𝑠𝑡 𝑙𝑎 loi de probabilité de X 0 ; elle s’appelle la loi initiale
 𝑙𝑒 1𝑒𝑟 𝑗𝑜𝑢𝑟 𝑜𝑛 𝜋1 = (0.7; 0.3)

0.7 0.3
𝜋1 = (0.7; 0.3) = (1; 0) ( )
0.2 0.8
0.7 0.3
 Le 2ème jour 𝜋2 = (0.7; 0.3) ( ) = (0.55; 0,45)
0.2 0.8

Ces résultats peuvent être trouvés d’une autre façon :

D’après le Théorème de Probabilité totale :

𝑃(𝑋2 = 1) = 0.7 × 0.7 + 0.3 × 0.2 = 0.55

5
𝑃( 𝑋2 = 2) = 0.3 × 0.7 + 0.8 × 0.3 = 0.45

0.7 0.3
 𝜋3 = (0.55; 0.45) ( ) = (0.475 ; 0.525)
0.2 0.8

Nous donne la loi de la trajectoire d’une chaîne de Markov mais ne permet pas de répondre à la question :

Supposons qu’aujourd’hui, il pleut; I Quelle est la probabilité qu’il fasse soleil dans deux jours ? Dans une
semaine ?

«Quelle est la probabilité qu’après n transitions, la chaîne de Markov soit dans un état donné ?». Nous
allons voir que ce problème se réduit au calcul de la puissance nième de la matrice P.

𝜋1 = 𝜋0 × 𝑃

𝜋2 = 𝜋1 × 𝑃

𝜋3 = 𝜋2 × 𝑃

⇒ 𝜋𝑛+1 = 𝜋0 × 𝑃 𝑛

(𝑛)
𝑝𝑖𝑗 ∶ 𝑙𝑒𝑠 𝑐𝑜𝑒𝑓𝑓𝑖𝑐𝑖𝑒𝑛𝑡𝑠 en ligne i et colonne j 𝑑𝑒 𝑙𝑎 𝑚𝑎𝑡𝑟𝑖𝑐𝑒 le coefficient 𝑃 𝑛 :, est la probabilité de passer de
l'état 𝑥 𝑖 à l’état 𝑥𝑗 en n transitions(pour tout entier naturel n supérieur ou égal à 1).

Si on calcule

0.7 0.3 5 0.42 0.58


𝑃5 = ( ) =( )
0.2 0.8 0.39 0.61

0.42 est la probabilité de passer de l’état 1 à l’état 2 après 5 jours

0.42 0.58
𝜋5 = 𝜋0 × 𝑃 5 = (1 0) ( ) = ( 0.42 0.58)
0.39 0.61

Après 5 jours la probabilité qu’il pleut est de 0.42 .

Exercice N°4 Dans une équipe de Hockey, on étudie les passes de la rondelle que font les trois joueurs A, B et C entre
eux.

Les probabilités qu'un joueur passe la rondelle à un autre sont représentées sur le graphe ci -dessous.

À partir de ce graphe, on déduit la matrice de transition P correspondante. Si c'est le joueur B qui possède la
rondelle au début du jeu, quelle est, la probabilité que le joueur C la possède après la troisième passe ?

6
Solution

A B C
1 2
A 0
3 3
1 1
𝑃= B 0 𝜋0 = (0 1 0)
2 2
1 3
C (4 0
4 )
7 17 17
24 72 36
17 7 17 17 7 17
𝜋3 = 𝜋0 × 𝑃 3 = (0 1 0) =( )
48 24 28 48 24 48
17 17 7
(96 32 24)
17
La probabilité que le joueur C possède la balle après la troisième passe est = = 0.35
48

7. La convergence de la distribution d’une chaine de Markov

On constate que après un certain nombre de transition la distribution converge vers une distribution invariante .

𝜋6 = 𝜋5 × 𝑃 = (0.41 0.59)

𝜋7 = (0.405 0.595)

On peut remarquer que 𝜋6 et 𝜋7 sont proches. On montre que la loi de 𝑋𝑛 converge quand n est grand.

𝜋𝑛+1 = 𝜋𝑛 =𝜋

On aura :

𝜋 =𝜋×𝑃

On dit que la mesure de probabilité 𝜋 est invariante(ou stationnaire) pour P.

0.7 0.3
Exemple pour l’exemple ① on (0.4 0.6) × ( ) = (0.4 0.6) ⇒ 𝜋 = (0.4 0.6)
0.2 0.8
1 1

Exercice N°5. Considérons la matrice de transition suivante : 𝑃 = (21 2)


3
4 4

1 2
Vérifier que 𝜆 = ( )est une mesure de probabilité invariante pour P.
3 3

Théorème :
Toute chaîne de Markov finie possède toujours au moins une distribution invariante.

7
a. Condition de convergence de 𝝅𝒏

Théorème Soit P la matrice de transition associée à une chaîne de Markov. Soit 𝜋0 la distribution initiale. S’il existe
un entier naturel k tel que 𝑃 𝑛 ne comporte pas de zéro (la puissance de P n'a que de termes strictement positif). La
chaîne est alors dite régulière.

La Distribution 𝜋𝑛 converge vers la distribution invariante quelle que soit la distribution initiale 𝜋0 .

𝜋𝑛 → 𝜋

𝑃 𝑛 → 𝑃 ∗ Lorsque 𝑛 → +∞

𝜋 est un vecteur de probabilité strictement positif.

𝑃 ∗ est une matrice dont toutes les lignes sont identiques au vecteur limite 𝜋.

b. Méthode de calcul de 𝝅

Le calcul de revient à résoudre le système d’équations linéaire suivant :

𝜋 =𝜋×𝑃

En plus de l’équation de normalisation de 𝜋

∑ 𝝅𝒌 = 𝟏
𝒌∈𝑬

Exemple calculer pour l’exemple 1 la distribution invariante :

(𝜋1 𝜋2 ) = (𝜋1 𝜋2 ) × (0.7 0.3)


0.2 0.8

𝜋1 = 0.7𝜋1 + 0.2𝜋2 0.3𝜋1 − 0.2𝜋2 = 0


𝜋 = 0.4
{𝜋2 = 0.3𝜋1 + 0.8𝜋2 ⇔ {0.3𝜋1 − 0.2𝜋2 = 0 ⇒ { 1
𝜋2 = 0.6
𝜋1 + 𝜋2 = 1 𝜋2 = 1 − 𝜋1
1 1
0
2 2
Exercice N°6 : Soit la matrice stochastique 𝑃 = 0
1 ) Montrez que la chaîne de Markov définie par P
(1
2 2
0 1 0
converge et calculez la distribution limite.

Solution :

0.5 0.25 0.25 + + +


𝑃 2 = ( 0.25 0.75 0 ) → 𝑃 4 = 𝑃 2 × 𝑃 2 = (+ + +)
0.5 0 0.5 + + +

Donc la chaine de Markov converge vers une distribution limite 𝜋:


𝜋 =𝜋×𝑃

8
𝜋1 = 0.5𝜋1 + 0.5𝜋2 𝜋1 = 𝜋2 𝜋1 = 0.4
𝜋2 = 0.5𝜋1 + 𝜋3 𝜋 = 0.5𝜋
{ ⇔ { 3 2 → {𝜋2 = 0.4
𝜋3 = 0.5 𝜋2 𝜋2 + 𝜋2 + 0.5𝜋2 = 1 → 𝜋2 =
1
= 0.4 𝜋3 = 0.2
𝜋1 + 𝜋2 + 𝜋3 = 1 2.5

⇒ 𝜋 = (0.4 0.4 0.2)

On utilisant un logiciel de calcul matriciel ou une calculatrice, on trouve qu’à partir de 𝑛 = 33; on a :

0.4 0.4 0.2


𝑃 𝑛 = 𝑃 33 = ( 0.4 0.4 0.2)
0.4 0.4 0.2

8. Décomposition en classes de communication

Il est parfois possible de «casser» une chaîne de Markov en composantes plus petites, chacune, et qui tout
ensemble permette de comprendre le comportement de la chaîne globale. Ceci est possible grâce aux classes de
communication de la chaîne.

(𝑛)
Définition Soient i et j deux états de E. On dit que i mène à j,𝑛𝑜𝑡é 𝑖 → 𝑗 si, S’il existe un entier 𝑛 > 0 tel que 𝑝𝑖𝑗 >
0 On dit que 𝑖 communique avec 𝑗, noté 𝑖 ↔ 𝑗 si 𝑖 mène à 𝑗 et j mène à i.

Autrement s’il existe au moins un chemin de longueur n débutant en i et finissant en j dans le diagramme de la
chaîne de Markov.

La relation ↔ est une relation d’équivalence sur E. En effet,

 si 𝑥 𝑐𝑜𝑚𝑚𝑢𝑛𝑖𝑞𝑢𝑒 𝑎𝑣𝑒𝑐 𝑦 𝑒𝑡 𝑦 𝑐𝑜𝑚𝑚𝑢𝑛𝑖𝑞𝑢𝑒 𝑎𝑣𝑒𝑐 𝑧, 𝑎𝑙𝑜𝑟𝑠 𝑥 𝑐𝑜𝑚𝑚𝑢𝑛𝑖𝑞𝑢𝑒 𝑎𝑣𝑒𝑐 𝑧


 l’état 𝑥 communique avec lui-même;
 si 𝑥 communique avec 𝑦, alors 𝑦 𝑐𝑜𝑚𝑚𝑢𝑛𝑖𝑞𝑢𝑒 𝑎𝑣𝑒𝑐 𝑥.

a- Les chaines irréductibles.

On dit qu’une chaîne de Markov est irréductible s’il est possible d’atteindre tout état à partir de tout état; En
d’autres termes si elle ne possède qu’une seule classe de communication.

Autrement dit, une chaîne de Markov est irréductible si on ne peut pas casser la chaîne en plusieurs sous-chaînes.
Exemples les chaines de l’exemple ① et ② sont irréductibles.

Une chaîne de Markov régulière ( 𝑃 𝑛 𝑐𝑜𝑛𝑡𝑖𝑒𝑛𝑡 𝑡𝑜𝑢𝑗𝑜𝑢𝑟𝑠 𝑑𝑒𝑠 𝑡𝑒𝑟𝑚𝑒𝑠 𝑛𝑢𝑙𝑠) est forcément irréductible, puisque
chaque état peut atteindre tout autre état.

En revanche, une chaîne de Markov irréductible n’est pas nécessairement régulière.

Etre Irréductible est donc une condition nécessaire mais pas suffisante pour la convergence de la chaine vers la
probabilité invariante.
1
0 1
Exemple Soit la chaîne ① ② ; P la matrice de transition donnée par 𝑃 = ( ) ¶.
1 0
1
Cette chaîne est formée par une seule classe. Elle est irréductible. Pourtant
𝑒𝑙𝑙𝑒 𝑛′ 𝑒𝑠𝑡 𝑝𝑎𝑠 𝑟é𝑔𝑢𝑙𝑖è𝑟𝑒 𝑐𝑎𝑟 𝑃 𝑛 𝑐𝑜𝑛𝑡𝑖𝑒𝑛𝑡 𝑡𝑜𝑢𝑗𝑜𝑢𝑟𝑠 𝑑𝑒𝑠 𝑡𝑒𝑟𝑚𝑒𝑠 𝑛𝑢𝑙𝑠. Nous constatons que 𝑃 2 = 𝐼𝑑 ; ce qui
implique que 𝑃 2𝑛 = 𝐼𝑑 et 𝑃 2𝑛+1 = 𝑃 pour tout entier naturel 𝑛. Une telle matrice ne peut pas converger.
9
9. Les Chaînes absorbantes

Définition. Un état 𝑖 est dit absorbant si 𝑝𝑖𝑖 = 1. Autrement un état absorbant est tel qu’on ne peut jamais le
quitter.

Une chaîne de Markov est absorbante si et seulement si :

 il y a au moins un état absorbant,


 de tout état non absorbant, on peut atteindre un état absorbant.

Dans une chaîne absorbante, tout état non absorbant est appelé transitoire.

Proposition La chaîne absorbante est pas réductible, alors la loi de Xn ne converge pas vers la distribution
stationnaire lorsque n croît vers l’infini.

Exemple On considère la chaîne de Markov correspondant au diagramme suivant.

1. Décomposer la chaîne en classes de communication. Que peut-on dire de l’état 4 ?

Exercice N°7
On considère une chaîne de Markov correspondant au graphe suivant :

1- Décomposer la chaîne de Markov en classes de communication.


2- Cette chaine, Peut-elle converger. Justifier votre réponse.

Propriété Pour toute chaîne de Markov absorbante et pour tout état de départ, la probabilité de se trouver dans un
état absorbant au temps t tend vers 1 lorsque t tend vers l'infini.

a- Délais d'absorption et probabilité d'absorption

Lorsque l'on a affaire à une chaîne de Markov absorbante, on est généralement intéressé par les deux questions
suivantes :

10
• Combien de temps faudra-t-il en moyenne pour arriver dans un état absorbant, étant donné son état initial ?

• S'il existe plusieurs états absorbants, quelle est la probabilité de tomber dans un état absorbant donné ?

b- Forme canonique de la matrice P

Si une chaîne de Markov est absorbante, on placera au début les états absorbants ; on aura alors une matrice de
transition de la forme suivante (I est une matrice unité et 0 une matrice de 0) :

La matrice 𝑁 = (𝐼 − 𝑄) −1 est appelée la matrice fondamentale de 𝑃, indique le nombre de passages dans les
états non absorbants.

Propriété 𝑒𝑖𝑗 = (𝑁)𝑖𝑗. ∶ Le nombre moyen de passages à l'état 𝑗 (non absorbant) quand on part de l'état 𝑖 (non
absorbant)

Le nombre moyen d'étapes avant absorption sachant que l'on part de l'état i (non absorbant) est la somme des
termes de la i ème ligne de N.

Exemple : la marche de l’ivrogne

Un homme se balade sur Park Avenue; S’il se trouve au coin d’une rue, alors il marche à gauche ou à droite avec la
même probabilité; Par contre, s’il atteint sa maison ou le bar, alors il y reste, les états « Maison » et « Bar » sont
absorbants.

0.5
1 0.5

bar ① ② ③ maison 1
0.5 0.5

Bar Maison 1 2 3
Bar  1 0 0 0 0 
 
Mais  0 1 0 0 0  0 0.5 0 3/2 1 1/2
P= 1  0.5 0 0 0.5 0  𝑸 = (0.5 0 0.5) 𝑁 = (𝐼 − 𝑄) −1 = ( 1 2 1 )
 
2  0 0 0.5 0 0.5  0 0.5 0 1/2 1 3/2
3  
 0 0.5 0 0.5 0 

En partant de de l’état 1, il passe en moyenne (3/2 fois par l’état 1) avant d’être absorbé.

En partant de de l’état 1, il passe en moyenne (1 fois par l’état 2) avant d’être absorbé.

En partant de l’état 1 il fait en moyenne (3 déplacements) avant d’être absorbé.

11
Propriété Dans une chaîne de Markov absorbante avec P mise sous forme canonique, le terme 𝑏𝑖𝑗 de la matrice 𝐵 =
𝑁 × 𝑅 est la probabilité d'absorption par l'état absorbant j sachant que l'on part de l'état i.

Exemple pour l’exemple précédent


Bar maison

0.5 0 3/2 1 1/2 1 3/4 1/4


𝑅=(0 0 ) N= ( 1 2 1 ) 𝐵 = 𝑁 × 𝑅 =2 (1/2 1/2)
0 0.5 1/2 1 3/2 3 1/4 3/4

En partant de l’état 1 on a une probabilité de ¾ d’être absorbé par l’état Bar.

En partant de l’état 3 on a une probabilité de ½ d’être absorbé par l’état maison.

12