- Spécialité - CHAPITRE 6.

Suites de matrices, états stables et convergence -1-

Marches aléatoires. Suites de matrices,

états stables et convergence

Dans ce chapitre, on cherche à décrire et étudier l’évolution d’un processus aléatoire au cours temps (secondes, heures, mois ou
années par exemple) : par exemple le nombre de personnes saines ou atteintes d’une maladie dans une population au cours du
temps, l’évolution du nombre de proies et prédateurs dans un écosystème, la fréquentation de pages web au cours du temps…

Nous nous intéresserons aux processus pour lesquels la probabilité de passer d’un état donné (à l’instant t) à un autre (à l’instant
t+1), ne dépend que de l’état dans lequel il se trouve à l’instant t (et pas des autres états antérieurs), et cette probabilité ne dépend
pas du temps (c’est-à-dire de la valeur de t).

On parle de marche aléatoire. Un élément soumis à ce processus peut se trouver dans n états distincts.

Nous serons donc amenés à travailler avec des probabilités conditionnelles, que nous appellerons probabilités de transition :
aij étant la probabilité qu’un élément donné se trouve dans l’état j à un instant T sachant qu’il était dans l’état i à l’instant précédent
T 1 .

Visionner la vidéo d’introduction :  https://tinyurl.com/y7pmn667

Lien long :

1- Probabilités de transition, matrices stochastiques

Définition : On dit qu’un vecteur ligne (ou colonne) est stochastique lorsque ses coordonnées sont des réels positifs, et
que leur somme est égale à 1.

On dit qu’une matrice est stochastique selon les lignes lorsque chacun de ses vecteurs lignes est stochastique

De la même manière, on définit une matrice stochastique selon les colonnes.

 0, 7 0, 2 0,1 
 
 Exemple 1. La matrice A   0 0 1  est stochastique selon les lignes.
 0 0,5 0,5 
 

Définition : Un graphe fléché (ou graphe orienté) est un ensemble de sommets et d’arrêtes qui relient certains sommets
entre eux. A chaque arrête peut être associée la probabilité de passage entre les deux sommets.

 Exemple 2. On considère une maladie contagieuse. On constate que dans la population d’une ville, chaque mois, une
personne saine peut tomber malade avec une probabilité 0,03, et une personne malade peut guérir avec une
probabilité 0,05. Au départ, personne n’est malade. La ville compte au total 1000 habitants.

On peut assimiler cette situation à une marche aléatoire à deux états : S (sain) et A (atteint).

Représenter la situation à l’aide d’un graphe.

0,03

0,97 S A 0,95

0,05
- Spécialité - CHAPITRE 6. Suites de matrices, états stables et convergence -2-

Définition : On considère un graphe orienté représentant les probabilités de transition entre plusieurs états numérotés de 1 à n.
On appelle probabilité de transition de l’état i vers l’état j la probabilité qu’un élément donné se trouve dans
l’état j à un instant, sachant qu’il était dans l’état i à l’instant précédent.

On appelle matrice de transition la matrice A carrée de taille n dans laquelle chaque coefficient aij est égal à la
probabilité de passage de l’état i à l’état j.

Propriété : La matrice de transition (avec les notations précédentes) est une matrice stochastique selon les lignes.

Remarque : De la même manière, soit A la matrice dans laquelle chaque coefficient aij est égal à la probabilité de passage de
l’état j à l’état i, est une matrice stochastique selon les colonnes. Elle est aussi appelée matrice de transition.

 Exemple 2 (suite) : On considère la situation précédente.

0,03

0,97 S A 0,95

0,05

a) Modélisation avec un arbre de probabilité et des suites :

A(n+1)
0,95
Soient an et bn les nombres respectifs de personnes atteintes et saines le n-ième mois :
An
 an 1  0,95an  0, 03bn  a0  0 0,05
 avec  .
bn 1  0, 05an  0,97bn b0  1000 (effectif total de la population) an A(n+1)

bn A(n+1)
b) Modélisation matricielle : 0,03
An
 Modélisation avec des matrices lignes : 0,97
A(n+1)
Soit P0   0 1000  , et pour tout n   , Pn   an bn  .
La matrice de transition (celle des probabilités mij de passage de l’état i vers l’état j au bout d’un mois) est :

 0,95 0, 05 
M  . Stochastique
 0, 03 0,97  suivant les lignes

Pour tout n   , d’après l’arbre et la formule des probabilités totales : Pn 1  Pn M .

Et par récurrence, on prouve que Pn  P0 M n .

Le coefficient aij de M 2 correspond à la probabilité que le processus passe de l’état i vers l’état j après 2 mois.

Le coefficient bij de M n correspond à la probabilité que le processus passe de l’état i vers l’état j après n mois.

 Modélisation avec des matrices colonnes :

 0   an 
Soit P0    , et pour tout n   , Pn    .
1000   bn 
La matrice de transition (celle des probabilités mij de passage de l’état j vers l’état i au bout d’un mois) est :

 0, 95 0, 03 
M  . Stochastique suivant
 0, 05 0,97  les colonnes

Pour tout n   : Pn 1  MPn . Et par récurrence, on prouve que Pn  M n P0 .

- Spécialité - CHAPITRE 6. Suites de matrices, états stables et convergence -3-

Remarque : On a considéré ici les vecteurs Pn des effectifs dans chaque état.
On aurait pu aussi considérer les vecteurs Qn des probabilités d’être dans chaque état (appelés vecteurs des
états probabilistes).

Les résultats auraient été similaires : par exemple, dans le cas de matrices lignes, on aurait trouvé :
pour tout n   : Qn 1  Qn M . Et par récurrence, on prouve que Qn  Q0 M n .

2- Etude asymptotique d’une marche aléatoire

Dans toute cette partie, n et N désignent des entiers naturels non nuls.

On considère dans ce paragraphe une marche aléatoire sur un graphe à N sommets.

A) Suite de matrices

L’état probabiliste à l’étape n est représenté par un vecteur stochastique colonne (de dimension N  1 ) ou ligne (de
dimension 1  N ) , noté Pn , qui contient la probabilité de se trouver dans chacun des états à l’instant n.
La loi de probabilité d’une telle marche aléatoire est donc décrite par une suite de vecteurs stochastiques  Pn  .

Propriétés :  La suite  Pn  de vecteurs lignes (respectivement de vecteurs colonnes) est définie par la donnée de P0 ,

ainsi que de la relation de récurrence Pn 1  Pn A (respectivement Pn 1  APn ), pour tout n   ,

où A est la matrice carrée de dimension N, de transition du graphe associé à la marche aléatoire.

 Pour tout n   , on a Pn  P0 An (respectivement : Pn  An P0 ).

Remarques :  La démonstration sera demandée dans la plupart des exercices. Le  se démontre par récurrence sur n.

 Propriété : Soit A la matrice carrée de dimension N, de transition du graphe associé à une marche aléatoire,
dont les états probabilistes sont représentés par des vecteurs lignes.

Pour tout entier naturel k, le coefficient à la i-ème ligne et j-ème colonne A 

k
i j
représente la

probabilité de passage de l’état i à l’état j après une marche aléatoire de k pas sur le graphe.

 On peut dans chaque situation (résolution matricielle d’un système linéaire, matrice de transition d’une marche
aléatoire…) représenter les vecteurs soit en lignes soit en colonnes.

Par habitude, on représente souvent

- les systèmes linéaires avec des vecteurs colonnes X et Y (et donc un produit de la forme Y=AX)
- les états probabilistes  Pn  par des vecteurs lignes (et donc des relations de la forme Pn 1  Pn A ).

Par la suite, on énoncera chacun des résultats, avec les écritures « en ligne » et de manière similaire avec les écritures
« en colonne ».
- Spécialité - CHAPITRE 6. Suites de matrices, états stables et convergence -4-

B) Etat stable

Définition : On considère un processus modélisable par une marche aléatoire, de matrice de transition A.
On dit que ce processus admet un état stable (ou stationnaire) lorsqu’il existe un vecteur S tel que SA  S ,
si les états probabilistes sont décrits par des matrices lignes

(respectivement AS  S si les états probabilistes sont décrits par des matrices colonnes).

S est alors appelé état stable (ou stationnaire).

3 5
 Exemple 2 (suite). L’état probabiliste S    est-il un état stable pour la marche aléatoire de l’exemple 2 ?
8 8
En lignes
3 5   0,95 0, 05   3 5 3 5  3 5
SM        0,95   0, 03  0, 05   0,97    0,375 0, 625    S
8 8   0, 03 0,97   8 8 8 8  8 8

Donc l’état S est stable.

C) Convergence vers un état stable

Définition : Soit  M n  une suite de matrices, et M une matrice de même format.

On dit que la suite de matrices  M n  converge vers la matrice M lorsque chaque coefficient de la matrice M n

converge, quand n tend vers +∞, vers le coefficient correspondant de la matrice M (placé à la même ligne et
même colonne).

 0, 7 n 0,1
  ?  0 0,1
 Exemple 3. Vers quelle matrice converge la suite de matrices  M n  , avec M n  M   car  1  0,7  1
 1 1 
 n 0 1 
 2 
et 2  1

Théorème 1 : On considère un processus modélisable par une marche aléatoire, de matrice de transition A.

(admis) Alors il existe un état stable S.

Existence (tel que AS  S ou tel que SA  S suivant le cas d’états probabilistes en colonnes ou en lignes)
(Mais il n’y a pas forcément convergence vers l’état stable.)

Remarques :  Ce premier théorème donne l’existence, mais pas l’unicité (voir exemple 4).

 Et ce théorème ne garantit pas qu’il y a convergence vers l’état stable.

 AS  S  AS  S  la matrice nulle   A  I  S  la matrice nulle

Théorème 2 : On considère un processus modélisable par une marche aléatoire, de matrice de transition A.
(de Perron- Si la matrice A admet une puissance dont tous les coefficients sont strictement positifs, alors :
Froebinius)
(admis)  le processus admet un unique état stable S
 la suite  Pn  des états probabilistes converge vers cet état stable S, et ceci, quel que soit l’état probabiliste
Existence
Et unicité initial P0 .
- Spécialité - CHAPITRE 6. Suites de matrices, états stables et convergence -5-

 Exemple 2 (suite et fin). Revenons au cas de l’exemple 2. Y a-t-il convergence vers l’état stable trouvé page 4 ?

Nous sommes ici dans les conditions du théorème 2, puisque la matrice de transition a tous ses coefficients
strictement positifs (donc « admet une puissance… ») .

Il y a donc unicité de l’état stable, et convergence des états probabilistes converge vers cet état stable S, et ceci,
quel que soit l’état probabiliste initial P0 .

 Exemple 4. Ecrire la matrice de transition M correspondant au graphe ci-contre.

1
Conjecturer l’expression de M n , suivant la parité de n.
La matrice M satisfait-elle aux conditions du théorème 2 ? 1 2
Admet-elle un état stable ?

1
0 1
Matrice de transition (en ligne) : M   
1 0

n1 0
Conjecture : - si n est pair : M  
0 1
n 0 1
- si n est impair : M    (cette conjecture se démontre par récurrence : exercice !)
1 0

La matrice M ne satisfait pas aux conditions du théorème 2, aucune puissance n’aura tous ses coefficients
strictement positifs.

Recherche d’un état stable :

0 1
S  x y  est stable  S  SM  x
y    x y   y x   x y  x  y
1 0
De plus, on cherche un état stable probabiliste, donc x  y  1, donc x  y  0,5 .
Le seul état stable est donc S   0, 5 0,5  .

Donc il se peut qu’il y ait existence d’un état stable (et même convergence vers l’état stable) même si la condition
de stricte positivité des coefficients d’une puissance de a matrice de transition n’est pas satisfaite.

Propriété : On considère un processus modélisable par une marche aléatoire à N sommets, de matrice de transition A.
(admise) Si la matrice A admet une puissance dont tous les coefficients sont strictement positifs,
alors elle admet un unique état stable S, et en notant (notation en lignes ) S   a1 a2  aN  ,
 a1 a2  aN 
 
a1 a2  aN
alors la suite de matrices An   converge vers la matrice L  
  


 a a  a 
 1 2 N 

Remarque : De la même manière avec les notations en colonnes :

 a1   a1 a1  a1 
   
a2  , alors la suite de matrices An converge vers la matrice L   a2 a2  a2 
Si S  
          
 a   a 
a N  a N 
 N   N
 - Spécialité - CHAPITRE 6. Suites de matrices, états stables et convergence -6-

0 1 0
 
 Exemple 5. Réaliser le graphe probabiliste correspondant à la matrice A  1 0 0 , stochastique suivant les lignes.
 
0 0 1
 
Cette matrice ne satisfait pas aux conditions du théorème 2. En s’aidant du graphe, déterminer deux états stables.

1
Graphe probabiliste : 1 2 1 3
1

1 1 1
Le graphe suggère les états stables suivants :S   0 0 1 , S    0,5 0,5 0  ou S    …
 3 3 3
On prouve que ce sont effectivement des états stables par le calcul en vérifiant que S  SA , que S   S A
et que S   S A .

3- Suite de matrices colonnes ou lignes vérifiant une relation de la forme

U n 1  AU n  B

A) Suite de matrices générée par une relation de récurrence

Dans ce paragraphe, on s’intéresse aux suites de matrices colonnes U n  (de dimension N  1 ) définies par leur premier terme U 0 ,

et par une relation de récurrence, de la forme U n 1  AU n  B , pour tout entier n   ,

où A est une matrice carrée d’ordre N , et B une matrice colonne de dimension N  1 .

Remarque : De manière analogue, on peut s’intéresser aux suites de matrices lignes U n  (de dimension 1  N ), définies par leur

premier terme U 0 , et par une relation de récurrence, de la forme U n 1  U n A  B , pour tout entier n   ,
où A est une matrice carrée d’ordre N , et B une matrice colonne de dimension 1  N .

B) Etat stable

De manière analogue au paragraphe précédent :

Définition : On dit que l’état S est stable lorsque S  AS  B . De manière équivalente : S  AS  B , c’est-à-dire ( I  A) S  B .

Propriété : Si la matrice ( I  A) est inversible, alors il existe un unique état stable S tel que S  ( I  A)1 B .

 0,5 0   4 6
 Exemple 6 : La suite de matrices U n  définies par la relation U n 1  AU n  B avec A    , B    et U 0   
 1,5 1  2  6
admet-elle un état stable ? si oui, lequel ?

 x
S    est stable  S  ( I  A) 1 B
 y
- Spécialité - CHAPITRE 6. Suites de matrices, états stables et convergence -7-
 1  0,5 0   0,5 0 
Or, I  A    .
 1, 5 1  ( 1)   1,5 2 
 2 0 
.
1
det( I  A)  0,5  2  0  1  0 , donc I  A est inversible et son inverse est  I  A  
1, 5 0, 5 
 2 0  4   8 
     .
1
L’unique état stable est donc S  ( I  A) B  
1,5 0, 5  2   5 

C) Etude de la convergence

Méthode (dans le cas de matrices colonnes) :

A l’aide d’un logiciel, ou en utilisant la propriété vue au B), on peut conjecturer la tendance à long terme et/ou l’existence ou non
d’un état stable.

Lorsqu’il existe un état stable S, on introduit la suite auxiliaire de matrices Vn  définie par Vn  U n  S .
En effet :
U n 1  AU n  B U  S  AU n  B   AS  B  U  S  A U n  S  V  AVn
   n 1   n 1   n 1
 S  AS  B  S  AS  B  S  AS  B  S  AS  B
On étudie alors la suite Vn  , dont on prouve que pour tout n   , Vn  AnV0 .
Ceci permet d’exprimer explicitement Vn , puis U n en fonction de n, et d’étudier une éventuelle limite.

La méthode est analogue avec une suite de matrices lignes.

 Exemple 6 (suite) : a) Reprenons l’exemple précédent. Poser Vn  U n  S : en déduire une relation entre Vn1 et Vn .
 0,5n 0 
On admettra que, pour tout n   , A  
n
 (démonstration par récurrence) .
 0,5n  ( 1)n (1) n 
 
b) En déduire que pour tout n   , Vn  AnV0 , ainsi qu’une formule explicite exprimant U n en fonction de n.

c) Y a-t-il convergence vers l’état stable trouvé précédemment ?

 6 8  2 
a) Soit Vn  U n  S , où S est l’état stable trouvé précédemment. V0  U 0  S         
 6 5 1 

U n1  AU n  B
 U n1  S  AU n  B   AS  B   U n1  S  A U n  S   Vn1  AVn
(avec S  AS  B )

b) On démontre par récurrence que pour tout n   , Vn  AnV0 .

 0,5n 0   2   2  0,5n 
Alors Vn  AnV0       .
 0,5n  ( 1)n n 1  n n
(1)     2  0,5  3  ( 1) 


 2  0,5n   8  2  0,5n  8 
D’où U n  Vn  S       .
 2  0,5n  3  (1) n   5   2  0,5n  3  (1) n  5 
   
c) Puisque 1  0, 5  1 , lim 0, 5n  0 . Mais (1)n oscille entre 1 et 1, donc la suite U n  n’admet pas de limite…
n

donc pas de convergence de U n  vers l’état stable !