CHAPITRE V - CHAÎNES DE MARKOV

V.1. RAPPELS DE THEORIE

1) Soit A est une matrice non négative. Si la somme des éléments de chaque ligne (colonne)
est inférieure ou égale à 1, alors toutes les valeurs propres de A sont de module inférieur
ou égal à 1.
2) Soit A est une matrice non négative. Si la somme des éléments de chaque ligne (colonne)
est inférieure à 1, alors toutes les valeurs propres de A sont de module inférieur à 1.
3) Soit A est une matrice non négative. Si la somme des éléments de chaque ligne (colonne)
 1
 
est égale à 1, alors 1 est valeur propre de A avec U =  »  comme vecteur propre associé.
 1
 
4) Si toutes les valeurs propres de A sont de module inférieur à 1, alors lim Ak = 0 .
k →+∞

5) Si toutes les valeurs propres de A sont de module inférieur à 1, alors I-A est régulière et
+∞
-1
(I-A) = ∑A
j =0
j
.

V.2. Chaînes de Markov

a) Définition
On appelle chaîne de Markov une succession d’épreuves E1, …, Ek, appelées transitions, au
cours desquelles un système S passe d’un état à un autre en respectant les conditions
suivantes :
- le nombre d’états possibles du système {S1, …, Sn} doit être fini
- la probabilité pour que le système passe en une seule transition d’un état Si à l’état Sj
ne varie pas au cours du temps (donc ne dépend pas du numéro de la transition)
b) Matrice stochastique
Les probabilités pij de passer directement de l’état Si à l’état Sj forment la matrice P de
transition. La matrice est dite stochastique si chacune de ses lignes constitue un vecteur de
probabilité càd
- chaque élément est positif ou nul
- la somme des éléments de chaque ligne vaut 1.

Algèbre linéaire – Chaînes de markov - YH 11/12/2005 1

c) Probabilité de transition après k épreuves
n
La probabilité de passer de l’état Si à l’état Sj en deux transitions est donnée par ∑p
k =1
ik . pkj

(somme des probabilités de passer de l’état Si à l’état Sk puis de Sk à Sj, k=1,…,n). C’est donc
la matrice P2 qui donne les probabilités de transitions en deux temps. Plus généralement, Pk
donne les probabilités de transitions d’un état à l’autre après k épreuves.
d) A long terme
Lorsqu’on étudie le comportement à très long terme d’un processus stochastique, on est
amené à étudier quand les matrices Pk convergent vers une matrice P lorsque k tend vers
l’infini.
Lorsque les hypothèses suivantes sont vérifiées, P existe.
Il faut que P soit diagonalisable, que 1 soit valeur propre de multiplicité 1 et que les
autres valeurs propres soient en module strictement inférieures à 1.

Pour trouver P , on peut alors utiliser deux méthodes

1) Passer par la diagonalisation de P

Il existe R inversible telle que R-1.P.R= diag(1 λ2 λ3…λn) où la première colonne de R est

 1
 
U = 
 .
 
 1

 L1 
 
On peut alors démontrer que P = lim P = U.L1= 
 où L1 est la première ligne de R-1.
n
n→ +∞
 
 L1 
Cette méthode implique donc le calcul de toutes les valeurs propres de P, les vecteurs propres
correspondants, la construction de la matrice R ( en plaçant le vecteur U en première colonne)
et le calcul de la première ligne L1 de R-1.

2) Utiliser la méthode du point fixe

n
Soit un vecteur ligne Y = ( y1
yn ) de probabilité (yi ≥0, ∀i et ∑y i = 1 ). Il est qualifié
i =1

de point fixe de P s’il vérifie YP = Y.

Algèbre linéaire – Chaînes de markov - YH 11/12/2005 2

Si Y est un point fixe de P, on a aussi Y P = Y. On peut démontrer que ce vecteur Y est égal
au vecteur L1 défini dans la première méthode.
 n
∑ y = 1
Il suffit donc de résoudre le système  i =1 i pour obtenir le vecteur L1.
 YP = Y


Y 
 
La matrice P =  »  .
Y 
 

e) Chaîne de Markov avec état(s) absorbant(s)

Considérons une chaîne de Markov qui possède parmi ses n états possibles, r (r<n) états
absorbants (càd des états tels qu’un système qui y aboutit y reste indéfiniment).
I 0
Quitte à permuter les lignes, on a P =  r .
A B

 I 0 
Par multiplications successives, on montre que Pk =  k −1 k 
. Toutes les
 ( I + B + ...B ) A B 
valeurs propres de B sont de module inférieur ou égal à 1. Si elles sont toutes de module
+∞
 I 0
strictement inférieur à 1, alors ∑B j
= (I-B)-1 et lim B k = 0 . D’où, P =  − .
 ( I − B) A 0 
k →+∞ 1
j =0

V.3. Exercices
1) Une matrice stochastique 3-carrée est de déterminant égal à –0.15 et de trace égale à 1.2.
Calculer la trace de P3. (1993)

2) La lande d’Oz n’est pas bénie pour son climat. On n’y jouit jamais de deux jours de beau
temps consécutifs. S’il y fait beau un jour, il y a autant de chance qu’il y ait de la pluie ou
de la neige le lendemain. S’il neige ou s’il pleut, on a une chance sur deux d’avaoir le
même temps le lendemain. Si à la pluie ou à la neige succède un temps différent, il y a
seulement une chance sur deux restantes que ce soit du beau temps. Trouver la probabilité
à long terme pour une journée de pluie, de neige ou de beau temps.(1992)

3) Des expérimentateurs placent des souris dans un labyrinthe. Si elle arrivent dans la pièce
I, elles sont récompensées par un bout de fromage. Si elles arrivent dans la pièce II, elles

Algèbre linéaire – Chaînes de markov - YH 11/12/2005 3

 n’ont pas de récompense. Quand on répète l’expérience, on constate que 80% des souris
qui sont entrées dans la pièce I y retournent la fois suivante, par contre, 60% des souris
qui sont entrées dans II vont la fois suivante dans le même pièce. On suppose que la
première fois que l’on fait l’expérience, autant de souris choisissent la pièce I que la pièce
II. A très long terme, quelle sera la répartition des souris entre les deux pièces ? (1993)

 1 . . . 
 
 . 1 . . 
4) Soit A = . Calculer lim Ak .(1993)
 0,3 0,3 0, 2 0, 4  k →+∞
 
 0,1 0, 2 0, 4 0,3 

5) Le fabricant d’un bien A , concurrent des produit B et C, mène une enquête pour savoir
comment évoluent mensuellement les acheteurs de ces biens après une campagne
publicitaire en faveur de A. On suppose que chaque individu achète soir A, soit B, soit C.
Initialement, les consommateurs sont répartis en 20% de A, 50% de B et 30% e C.
Chaque mois de publicité fait que
– 80% de A restent chez A, les autres choisissent les deux produits concurrents
dans le même proportion
– parmi les clients de B, 70% restent fidèles, 20% deviennent A, les autres C
– parmi les clients de C, 60% restent fidèles, 10% deviennent B.
Le fabricant prétend que si la campagne publicitaire dure 4 mois, plus de la moitié des
clients seraient acheteurs de A . Est-ce vrai ? Que devient la répartition lorsque la
campagne s’éternise ? (1995)

1 . . .
. 1 . . 

 1  (1996)
6) Calculer lim A où A =  1
k
0
1

k →+∞
4 2 4
1 1 1 1
 
5 5 5 4

Algèbre linéaire – Chaînes de markov - YH 11/12/2005 4

7) Le directeur d’un magazine souhaite connaître les parts de marché qui seront prises par sa
revue. Par expérience, il sait que 90% des abonnés renouvellent chaque année leur
souscription. Par ailleurs, 1% de la population des non abonnés prend une nouvelle
souscription l’année suivante. Si 20% du marché possède cette année un abonnement au
magazine, quel sera la taux des souscripteurs à long terme ? (1997)

8) Une société comprend trois catégories A,B et C de travailleurs. A tout instant entier n, sa
composition est donnée par un vecteur Xn = ( xn yn zn ) représentant le nombre de

travailleurs de la catégorie A, B ou C au temps n. Chaque année, 30% de travailleurs de C

sont admis à la retraite, 10% de B passent en C, 20% de B sont admis à la retraite, 20% de
A vont en B, 15 % de A sont admis à la retraite. De plus, chaque départ à la retraite (pour
une personne de A, B ou C) est automatiquement remplacé par une embauche d’un
travailleur de A.
(1) Exprimer Xn+1 en fonction de Xn, puis en fonction des données et du vecteur X0 donnant
les proportions de travailleurs dans les trois catégories à l’instant initial n = 0.
 0,8 0, 2 0 
 
(2) Démontrer que les valeurs propres différentes de 1 de la matrice P =  0, 2 0, 7 0,1 
 0,3 0 0, 7 
 
sont telles que le carré de leur module soit égal au déterminant de P.
(3) Calculer lim P n
n →+∞

(4) En déduire la répartition des travailleurs de la société dans les trois catégories à très long
terme. (Janvier 2004)

9) Deux grandeurs x et y sont estimées à la fin de chaque année. Sachant que les valeurs xt+1
 x = 0,3 xt + 0,5 yt + 2
et yt+1 dépendent des valeurs xt et yt selon les relations suivantes  t +1 ,
 yt +1 = 0,5 xt + 0,3 yt + 5
déterminer l’évolution temporelle des deux grandeurs en supposant connues les valeurs
initiales x0 et y0. Que deviennent ces grandeurs à très longue échéance ?

Algèbre linéaire – Chaînes de markov - YH 11/12/2005 5