Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

4. UTLISATION DES CHAINES DE MARKOV

4.1 Exemple introductif

Sur une machine à café on a fait des statistiques. On a relevé :

- Le nombre de pannes sur un mois.
- Les probabilités de passage de l’état de fonctionnement à l’état de panne
et de l’état de panne à l’état de fonctionnement.
 Si au jour j la machine est en fonctionnement :
75% la machine fonctionne
à j+1 :  .
25% la machine est en panne
 Si au jour j la machine est en panne :
50% la machine reste en panne
à j+1 :  .
50% la machine est réparée
4.1.1 Représentation par un graphe de transition

Soit E1 l’état de marche et E2 l’état de panne.

P12 = 0,25

P11 = 0,75 P12 = 0,5

E1 E2

P21 = 0,5

4.1.2 Représentation par une matrice de transition

Jour j+1
E1 E2

E1 P11 = 0,75 P12 = 0,25

Jour j
E2 P21 = 0,5 P22 = 0,5


t
Soit i : probabilité d’état en fonction du temps. C’est la probabilité de se
trouver dans l’état i à l’instant t.
Or la probabilité d’être dans l’état E1 au jour j+1 est égale à :

Notes de cours 29 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

proba. d' être dans E1 à j  proba. de transition de E1 à E1 .



proba. d' être dans E à j  proba. de transition de E à E .
 2 2 1

  1j 1   1j P11   2j P21 .
 11   10 P11   20 P21
Nous pouvons donc écrire : .
 21   10 P12   20 P22

  ( 1t ;  2t ) le vecteur de probabilité d’état à l’instant t.

t
Soit

P P 
  ( 1j ;  2j )  ( 1j 1 ;  2j 1 ). 11 12  .
j

 P21 P22 
Deux cas se présentent :

 1er cas : à t  0 la machine fonctionne    ( 10 ; 20 )  (1 ; 0) .

0

Jour 0 1 2 3 4 5 6 7 8 9

E1 1 0,75 0,6875 0,6718 0,6679 0,66699 0,66678 0,66668 0,66667 0,6666  2/3

E2 0 0,25 0,3125 0,3282 0,3321 0,33301 0,33322 0,33332 0,33333 0,3333  1/3

 1er cas : à t  0 la machine est en panne    ( 10 ; 20 )  (0 ; 1) .

0

Jour 0 1 2 3 4 5 6 7 8 9

E1 1 0, 5 0,625 0,6562 0,6640 0,6665 0,666628 …… …… 0,6666  2/3

E2 0 0, 5 0,375 0,3438 0,3360 0,3335 0,333372 …… …… 0,3333  1/3

On remarque que qu’après avoir fonctionné pendant longtemps, la probabilité

de trouver la machine en service se stabilise en une valeur égale à 2/3, c’est la
disponibilité de cette machine.
On peut facilement retrouver cette valeur de la disponibilité en appliquant la

formule : A()  .

Or  = 0,25 pannes par jour,
 = 0,5 réparation par jour.
 0,5 2
 A()    .
 0,25  0,5 3
Donc la machine est disponible deux jours sur trois.

Notes de cours 30 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

À priori ce type de calcul parait bien fastidieux si nous devons calculer un

grand nombre de valeurs avant d’atteindre l’infinie. En réalité nous allons voir
que l’utilisation des chaînes de MARKOV nous permettra d’avoir un calcul tout à
fait simple. De plus nous pouvons l’étendre au cas où nous aurons la possibilité
d’un nombre d’états supérieur à deux.

4.2 Processus stochastique et chaînes de MARKOV

4.2.1 Définition

On appelle processus stochastique, une famille de variables aléatoires. Notre

variable X évoluera dans ce que nous appellerons l’espace des états, en fonction
du temps t. on s’intéresse au cas où le temps est discret et l’espace des états est
discret.
Ce processus est caractérisé par :
- le nombre d’états (fini ou infini).
- Les intervalles t, ou étapes.
- La probabilité Pij de passage d’un état Xi à un état Xj au cours de t.

1 t

2
3

i
Pij
j

État m

Un processus stochastique sera une chaîne de MARKOV si :

- Le temps est discret.
- L’espace d’états est discret et est fini.
- Les probabilités de transition sont stationnaires dans le temps ( Pij  cte ).

-  
On connaît un vecteur de probabilité initial :  0   10 ,... m0 , donnant la
probabilité d’être dans chacun des m états au temps t.

Notes de cours 31 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

4.2.2 Représentation d’une chaîne de MARKOV

4.2.2.1 Matrice de transition

État à t+1
E1 E2 E3 E4
E1 1 / 6 1 / 2 0 1 / 3 
 
État à t

E2  0 0 1/ 4 3 / 4
E3 1 / 2 0 1 / 2 0 
 
E4  0 0 
 0 1
4.2.2.2 Graphe de transition

1/6
1/2 E2
E1

1/2
1/4
1/3
3/4

E4 E3 1/2
1

4.2.3 Matrice stochastique

Une matrice de transition est une matrice stochastique, c'est-à-dire

caractérisée par :
 0  Pij  1  i, j
  Pij  1,  i
 j

Une propriété importante des matrices stochastiques est : le produit de deux

matrices stochastiques est une matrice stochastique.
4.2.4 Probabilité de transition d’un état i à un état j en n étapes

 Transition en 2 étapes :
Comme il est montré dans la figure ci-après, l’étape intermédiaire à t+1 peut
se faire en n’importe lequel des états Ek (k = 1…m). La probabilité de transition
de i à j en 2 étapes que nous désignerons par : Pij( 2 ) prendra donc en compte toutes
ces possibilités d’état intermédiaire, donc :
Pij( 2)  Pi1 .P1 j  Pi 2 .P2 j  .........  Pim .Pmj
m
d’où : Pij( 2)   Pik .Pkj
k 1

Notes de cours 32 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

t t+1 t+2
1
2
3

i
j

État m

Nous observons clairement que cette probabilité est l’élément ij de la matrice

produit : Pij  .
2

 Transition en un nombre d’étapes n quelconque :

Par récurrence, nous obtenons immédiatement :
- Proba de transition en 3 étapes = Pij(3) = l’élément ij de la matrice Pij 
élevée au cube.
- ………….
- ………….
- Proba de transition en n étapes = Pij(n ) = l’élément ij de la matrice Pij  .
n

4.2.5 Vecteur d’état et probabilité de transition

Comme l’on a déjà mentionné le vecteur d’état est le vecteur dont les
éléments sont les m probabilités d’être dans chacun des m états à un instant
donné.
Nous avons déjà établi une relation très importante qui exprime le vecteur
d’état à l’instant j+1 en fonction du vecteur d’état à l’instant précédent j :
 j 1   j Pij 
Si nous connaissons le vecteur d’état initial à l’instant t = 0, nous pouvons
facilement déduire le vecteur d’état, une transition plus tard :  1   0 Pij 

De même, nous pouvons écrire :  2   1 Pij    0 Pij 

2

Et d’une manière générale :    Pij 

n 0 n

Nous verrons que nous utiliserons beaucoup cette très importante relation.

Notes de cours 33 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

Remarque :
Ceci correspond tout à fait au calcul que nous avions fait dans l’exemple de la
machine à café où nous avions seulement deux états et donc une matrice de
transition de dimension 2x2. Les multiplications successives de notre vecteur
d’état par cette matrice nous avaient permis de déterminer les probabilités
d’avoir ou de ne pas avoir du café.
Nous avions également vu dans cet exemple que la probabilité de se trouver
dans l’état E1 ou dans l’état E2 tendait vers les limites 2 3 et 1 3 lorsque t tendait
vers l’infini.
Nous allons bien évidemment nous demander, ici également, si le vecteur
 n tendait vers une limite quand n tend vers l’infini.
Nous allons voir qu’il ne sera généralement pas nécessaire de multiplier une
infinité de fois la matrice de transition Pij  par elle-même pour le savoir.

4.3 Matrices stochastiques régulières

4.3.1 Définition

Une matrice stochastique (M) est dite régulière s’il existe une puissance k
quelconque de (M) telle que tous les éléments de M  sont strictement positifs.
k

Le graphe de transition correspondant à une matrice de transition régulière

est fortement connexe (il existe un chemin de tout sommet i à tout sommet j).
4.3.2 Exemples

 0 1  1/ 2 1/ 2 
M    M 
2
  ;  
 1/ 2 1/ 2  1/ 4 3 / 4 
Il existe k = 2 tel que (M)²0. Donc la matrice (M) est régulière.
 1 0   1 0 
M     ; M   
2
 .
 1/ 2 1/ 2   3 / 4 1/ 4 
Toutes les puissances de (M) auront la même forme, donc non régulière.
On peut distinguer de différentes formes de matrice régulière et non
régulière :
0 a a b
  ;  sont deux formes de matrices régulières.
b c   c 0
 a 0  a b
  ;  sont deux formes de matrices non régulières.
b c 0 c

Notes de cours 34 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

4.3.3 Propriétés

Si (M) est une matrice stochastique régulière :

1. (M) contient un vecteur de probabilité particulier  * dont toutes les
composantes sont strictement positives.
2. La suite des puissances ( M ) 2 , ( M )3 , ..., converge vers une matrice (T ) dont
toutes les lignes sont identiques à un même vecteur  * appelé « point
fixe ».
3. Si  est un vecteur de probabilité quelconque, la suite des
vecteurs  ( M ),  ( M ) 2 , …, converge vers le vecteur point fixe  * .
Nous avons déjà rencontré cette dernière propriété dans notre exemple de la
machine à café.
n  n 
 0, 75 0, 25   0, 75 0, 25 
On avait déjà : 1 0      0 1     *   2 / 3 1/ 3  .
 0,5 0,5   0,5 0,5 
 *   ( M )n ; quand n   :  *   ( M )n   ( M )n1 .

  *   * (M ) .
Soulignons que le vecteur limite ne dépend pas de l’état initial.
4.3.4 Détermination du vecteur limite (point fixe)

Nous pouvons déterminer ce vecteur par deux méthodes :

- En utilisant la relation :  *   * ( M ) .
- En utilisant la méthode de balance.
 Utilisation de la relation  *   * ( M ) :

 0 1 
Exemple : soit  M     une matrice régulière.
 1/ 2 1/ 2 
D’après les propriétés des matrices stochastiques régulières, il doit exister un
 
vecteur de probabilité limite  *  1* ,  2* tel que 1*   2*  1.

 0 1 
Nous pouvons écrire que  1* ,  2*      1 ,  2  . Ceci nous donne un
* *

 1/ 2 1/ 2 
système de deux équations à deux inconnues, qui est très facile à résoudre.
1 *
 2  2   1
*


 *  1  *   *
 1 2 2 2

1 2
En plus de la relation 1*   2*  1, nous obtenons :  *   ,  .
3 3

Notes de cours 35 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

 Méthode de « Balance » :
C’est une autre façon d’écrire les relations tirées du produit matricielle :
   * ( M ) . Elle se résume par la formule lapidaire : « ce qui sort d’un sommet est
*

égal à ce qui y rentre ».

  i* Pij    *j Pji  i.
j j
Ce qui sort Ce qui
de i rentre en i

 0, 4 0,3 0,3 
 
Exemple : soit  M    0,1 0,8 0,1  , une matrice régulière.
 0,1 0,3 0, 6 
 

 
Il existe  *  1* ,  2* ,  3* tel que 1*   2*   3*  1 .

L’application de la méthode de balance nous conduit au système d’équations :

0, 6  1*  0,1  2*  0,1  3*
 1 3 9 
0, 2  2  0,3  1  0,3  3  *   , , .
* * *

  7 5 35 
0, 4  3  0,3  1  0,1  2
* * *

4.4 Typologie des états d’une chaîne de MARKOV

Nous avons vu que si la matrice de transition était régulière, le graphe de

transition était fortement connexe et que le vecteur des probabilités d’états
tendait vers une limite  * lorsque le nombre de transition tendait vers l’infini.
Bien évidemment, les matrices de transitions ne sont pas toujours
régulières ; à titre d’exemple examinons la matrice suivante :

A B C D E F G H
A 0,1 0,3 0,6
B 0,2 0,4 0,4
C 1
D 0,8 0,2
E 0,4 0,1 0,5
F 0,3 0,5 0,2
G 1
H 1

Nous pouvons souligner, sur cette matrice, un certain nombre de

particularités :
- si on est dans l’état C, on n’en sort plus, nous dirons que C est état
absorbant.

Notes de cours 36 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

- Le seul élément différent de zéro dans la colonne D se trouve sur la

diagonale, ce qui signifie que D n’est alimenté que par lui-même. Donc si
nous quittons l’état D nous n’y reviendrons jamais, nous dirons que D est
un état transitoire.
- Il en est de même pour l’état B.
- Les états G et H forment un groupe particulier qui constitue un sous
ensemble absorbant périodique.
- Les derniers états A, E et F forment de la même manière que G et H un
sous ensemble absorbant apériodique.
Il est généralement commode de réorganiser la matrice de transition de
manière à regrouper ensemble les états d’une même catégorie.
Cette réorganisation apparaît dans la matrice suivante :

C A E F G H B D
C 1
A 0,1 0,3 0,6
E 0,4 0,1 0,5
F 0,3 0,5 0,2
G 1
H 1
B 0,2 0,4 0,4
D 0,8 0,2

4.5 Application à la fiabilité

Les différents états des chaînes de MARKOV que nous utiliserons pourront
représenter entre autre plusieurs états d’usure. (ième état correspond au ième degré
d’usure)
En absence de réparation, l’évolution est généralement à sens unique : du
matériel neuf vers une usure de plus en plus avancée. S’il n’y aura pas
d’intervention, le matériel finira par tomber en panne et restera dans cet état de
panne qui est donc un état absorbant. Dans ce cas, la matrice sera triangulaire
supérieure.
Exemple :
Dans une importante société de transport, on veut suivre l’évolution des états
des pneus des autobus utilisés.
Selon la profondeur des empruntes, les pneus sont classés dans les quatre
états suivant :
- état 1 : h  10 mm  pneu neuf
- état 2 : 5  h  10 mm  pneu faiblement usée.
- état 3 : 1  h  5 mm  pneu fortement usée.

Notes de cours 37 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

- état 4 : h  1 mm  pneu hors usage.

h est la profondeur des empruntes.
Les statistiques réalisées sur ces pneus ont conduit à établir la matrice de
transition suivante :
État à t+1
E1 E2 E3 E4
E1  0,3 0,5 0,1 0,1 
 
tat à t

E2 Transitoires
 0 0, 4 0, 4 0, 2 
E3  0 0 0,5 0,5 
E4  0 1 

Absorbant
 0 0

a b
Cette matrice est de la forme   : non régulière.
0 c
S’il y aura réparation, tous les pneus hors usage (se trouvant dans l’état 4)
vont être remplacés par des neufs (passage à l’état 1). La matrice de transition
avec réparation sera :
État à t+1
E1 E2 E3 E4
E1  0,3 0,5 0,1 0,1 
État à t

E2  
 0 0, 4 0, 4 0, 2 
E3  0 0 0,5 0,5 
 
E4  1 0 0 0 

a b
Elle est de la forme   : régulière.
 c 0

 
Il existe donc un vecteur de probabilité d’états limite  *  1* ,  2* ,  3* ,  4* tel
que         1 .
*
1
*
2
*
3
*
4

Ce vecteur nous permettra, entre autres, de prévoir quelle sera la proportion

de pneus dans chacun des états, après quelques mois de transitions. En
particulier, la probabilité  4* , permettra de déterminer la quantité de pneus à
changer chaque mois.
En appliquant la méthode de balance, nous obtenons :
 *   0.294 ; 0.245 ; 0.254 ; 0.205
Nous devons prévoir qu’il faudra changer environ 20% des pneus chaque
mois.
Bien évidemment si nous imaginons que nous sommes dans le premier cas
(sans réparation), l’état limite prendra la forme particulière :  *   0, 0, 0, 1 .

Notes de cours 38 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

Il est néanmoins intéressant de déterminer l’évolution de notre matériel et de

calculer la probabilité de se trouver dans chacun des états d’usure, au bout d’une
période, de deux périodes,…
Ainsi, dans l’exemple précédent des pneus, si au temps 0, tous les pneus sont
neufs :  0  1, 0, 0, 0  , on aura au bout d’une période :

 0,3 0,5 0,1 0,1 

 
 1  11 ,  21 ,  31 ,  41 
0 0, 4 0, 4 0, 2 
 1, 0, 0, 0     0.3, 0.5, 0.1, 0.1 .
 0 0 0,5 0,5 
 
 0 0 0 1 
10% des pneus vont être inutilisable après une période.
Au bout de deux périodes :
 0,3 0,5 0,1 0,1 
 
 2   12 ,  22 ,  32 ,  42   0 0, 4 0, 4 0, 2 
  0.3, 0.5, 0.1, 0.1   0.09, 0.35, 0.26, 0.28 
 0 0 0,5 0,5 
 
 0 0 0 1 

Après deux périodes nous aurons 28% des pneus hors d’usage. S’il n’y aura
pas d’intervention cette propagation va évidemment croître jusqu’à 100%.

4.6 Probabilité d’absorption

Dans un système comportant plusieurs états absorbants comme, par

exemple, différents états de panne en fiabilité (panne par usure, panne par
rupture, panne par grippage…), il est évidemment intéressant de déterminer à
l’avance quelles sont les probabilités des différentes « fin de carrière ». Ceci
correspond aux probabilités d’absorbtion par chacun des états absorbants j
lorsque le système se trouve dans l’état transitoire i.
Si nous désignons par :
aij : la probabilité d’absorbtion par j (absorbant) lorsque l’on est dans l’état i,

E : l’ensemble de tous les états du système,

Ea : l’ensemble des états absorbants,
Et : l’ensemble des états transitoires,
k : le premier état visité en partant de i.
Nous pouvons écrire :
aij   Pik .akj   Pik .akj   Pik .akj .
kE kEa kEt

Or si k est absorbant akj  0 sauf pour k  j où akj  akk  1 .

Donc aij  Pij .1   Pik .akj  aij  Pij   Pik .akj

kEt kEt

Notes de cours 39 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

En écrivant une expression identique pour les différentes akj (avec k non
absorbant), nous obtiendrons un système de t équations linéaires à t inconnues
qui nous permettra de déterminer les t probabilités aij correspondant aux t états
transitoires.
Exemple :
Supposons un système sans réparation pour lequel nous avons défini deux
états de fonctionnement (1 et 2) et deux états de panne (3 et 4). Supposons que la
matrice de transition soit :
 0,3 0,5 0,1 0,1 
 
 Pij    0 0 1 0  .
 0 0, 7 0,1 0, 2 

 0 1 

 0 0
 Calculons les probabilités d’absorbtion par l’état 3 (rupture) :
- à partir de l’état 1 : a13  P13  P11.a13  P12 .a23 .

- à partir de l’état 2 : a23  P23  P21.a13  P22 .a23 .

Ces deux équations constituent un système à deux inconnues.
a13  0,380
0, 7.a13  0,5.a23  0,1
 ; d’où 1 .
0,3.a23  0,1 a23 
3
 Calculons les probabilités d’absorbtion par l’état 4 (usure) :
- à partir de l’état 1 : a14  P14  P11.a14  P12 .a24  0,1  0,3.a14  0,5.a24 .

- à partir de l’état 2 : a24  P24  P21.a14  P22 .a24  0, 2  0  0, 7.a24 .

a14  0, 618
0, 7.a14  0,5.a24  0,1
D’où le système :  , donc 2 .
0,3.a24  0, 2 a24 
3
Remarque :
Les états, 1 et 2 étant transitoires, on est certain qu’à partir de l’un ou l’autre
de ces états, le système finira forcément par se faire absorber soit par l’état 3, soit
par l’état 4.
On vérifie bien cette propriété, en effet :
a13  a14  0,380  0, 618  1
1 2 .
a23  a24    1
3 3

4.7 Temps d’attente avant absorbtion

Lorsque notre matrice de transition comporte un ou plusieurs états

absorbants, nous pouvons nous interroger sur le nombre de transitions entre les

Notes de cours 40 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

états transitoires auquel nous pouvons nous attendre, avant de « tomber »

définitivement dans un état absorbant.
Ce nombre de transitions ou de périodes avant l’état de panne nous indiquera
sur la durée de vie probable du système.
Ce nombre de transition noté Nij est évidemment une variable aléatoire
dépendant de l’état de départ, i et de l’état d’absorbtion, j.
Nous allons essayer de calculer la moyenne de cette variable aléatoire
notée : nij  E( Nij ) .

Nous désignons par :

E : l’ensemble de tous les états du système,
Ea : l’ensemble des états absorbants,
Et : l’ensemble des états transitoires,
Hypothèse Hk : k le premier état visité en partant de i.
Nous pouvons écrire : p  Nij   p  Nij / H k  . p  H k  ,

d’où : E  Nij    E  Nij / H k  . p  H k  .

kE

Mais dans ces conditions : N ij  1  N kj et donc : E  Nij   E 1  Nkj  .

Nous pouvons donc écrire sous forme récursive :

nij  E  N ij    E 1  N kj  .Pik
kE
.
nij   E 1  N kj  .Pik   E 1  N kj  .Pik
kEa kEt

Or si k  Ea, Nkj  N jj  0 .

Il reste donc : nij   Pik   Pik   nkj .Pik  nij  1   nkj .Pik
kEa kEt kEt kEt

En écrivant une expression identique pour les différentes nkj (avec k non
absorbant), nous obtiendrons un système de t équations linéaires à t inconnues
qui nous permettra de déterminer les t probabilités nij correspondant aux t états
transitoires.
Exemple :
 0, 4 0,5 0,1 
 Pij    0 0, 7 0,3  ; L’état 3 est absorbant.
 0 1 
 0

- à partir de l’état 1 : n13  1  P11.n13  P12 .n23 .

- à partir de l’état 2 : n23  1  P21.n13  P22 .n23 .

Notes de cours 41 I. KHEMILI / 2021

Utilisation des chaînes de MARKOV Fiabilité des Systèmes Industriels

0, 6.n13  0,5.n23  1 n13  4, 44 périodes

D’où le système :  , on en tire .
0,3.n23  1 a23  3,33 périodes

Si l’état 3 correspond à l’état de panne ces nombres moyens de transitions

nous donnent le nombre moyen de périodes avant la panne.
Exercice :
Une pièce mécanique est examinée à la fin de chaque semaine par le
technicien de maintenance.
Cette pièce non réparable peut se trouver dans différents états :
E1 : pièce neuve.
E2 : pièce faiblement usée.
E3 : pièce fortement usée.
E4 : pièce totalement usée (non utilisable).
E5 : pièce cassée (rupture accidentelle).
Si une pièce est dans un état i (=1, 2, 3) à la fin d’une semaine, elle peut à la
fin de la semaine suivante se trouver :
- dans le même état avec la probabilité p.
- dans l’état i+1 avec la probabilité q.
- dans l’état E5 avec la probabilité r.
Il n’y a évidemment pas d’évolution à partir des états E4 et E5.
1°) représentez l’évolution de l’état de cette pièce par une chaîne de
MARKOV à 5 états et établir la matrice de transition.
2°) Déterminer la probabilité pour que cette pièce finisse sa vie par rupture.
3°) déduire la probabilité de finir par usure.
4°) déterminez la durée de vie moyenne de cette pièce.

Notes de cours 42 I. KHEMILI / 2021