Chaines de Markov 4ème Année STI: Y. Hou

CHAINES DE MARKOV
4ème année STI
Y. Hou
1
PLAN DU COURS
 Probabilité et Processus stochastique

 Chaînes de Markov finies et homogènes à temps discret
 Étude des chaînes de Markov à temps discret : comportement transitoire
et asymptotique
 Chaînes de Markov à temps continu
 Processus de naissance et mort
 Les files d'attentes
 Les réseaux de files d'attente
2
PLAN DU COURS
 Probabilité & Processus stochastique

 Étude des chaînes de Markov à temps discret : comportement
transitoire et asymptotique
Révision: Probabilité
 Qu'est qu'un processus stochastique ?

 Exemple
 Pourquoi étudier les processus stochastiques ?
Processus stochastiques
 Qu'est qu'un processus stochastique ?

 Exemple
 Pourquoi étudier les processus stochastiques ?
Qu'est qu'un processus stochastique ?
 Premières choses d'abord...
 Quel est le sens de stochastique ?
 synonyme d'aléatoire
 Qu'est ce que l'aspect aléatoire ?
 incertitude au sujet des événements futurs
 Pourquoi existe-t-il ce type de problème en évaluation des
performances ?
 nous de savons pas, a priori, qui est loggé, quels jobs
sont lancés et quelles ressources vont être sollicitées.
Définition
 un processus stochastique {X(t), t ∈ T} est une collection de
variables aléatoires indexées sur le temps,
 c'est-à-dire, pour chaque t, X(t) est une variable aléatoire,
 nous disons que X(t) (ou Xt) est l'état du processus
stochastique au temps t.
 Les processus stochastiques
La variable Xt représente l’état du processus au temps t et

l’ensemble de toutes les valeurs possibles pour cette variable
est appelée l’espace des états du processus et sera noté S.
Un processus stochastique est
 discret, et on parle alors d’une chaîne, si son ensemble
d’états S est dénombrable (typiquement fini) ;
 {Xn, n = 0, 1, 2, …}
 à temps continu si l’ensemble T est non dénombrable

(typiquement T = R+) ou à temps discret si l’ensemble T
est dénombrable (typiquement T = Z+).
 {Xt, t ∈ T}
Exemple de processus stochastiques
 Exemple discret
 Xn = nombre de composants défaillants au début du jour n,
 Xn = détérioration de machine (aucune, minimale,
défaillante) à la fin de l'heure n,
 Le nombre d’appels arrivant dans un central téléphonique
pendant un intervalle de temps [0, t],
 La fortune du joueur après avoir joué n parties,
 Le nombre de clients dans une file d’attente à un instant
donné.
Pourquoi étudier les processus stochastiques ?
 Nous ne savons pas ce qui se produira à l'avenir, mais...

 ... en étudiant les processus stochastiques nous pouvons
apprendre comment faire des énoncés, en termes de probabilités
descriptives au sujet du futur ...
 pourcentage de temps que la machine est en
fonctionnement/arrêt
 nombre moyen de jobs en fonctionnement
 ... qui peut nous aider à faire des décisions prescriptives
intelligentes (optimales) !
 nombre de ressources utilisées
 quand lancer des backups ou des mise à jours de machine
PLAN DU COURS
 Processus stochastique
CHAINES DE MARKOV FINIES ET HOMOGENES
A TEMPS DISCRET
• La propriété de Markov
Un processus stochastique {Xt, t ≥ 0} défini sur un espace d’états S
satisfait la propriété de Markov si, pour tout instant t ≥ 0 et tout
sous-ensemble d’états I ∈ S, il est vrai que
P [Xt+D ∈ I | Xu; 0 ≤ u ≤ t] = P [Xt+D ∈ I | Xt] ∀ D > 0.
Un processus stochastique vérifiant la propriété précédente est

appelé un processus de Markov ou processus markovien.
Un processus est markovien si, pour tout instant t, l’état courant Xt
résume, à lui seul, toutes les informations passées susceptibles
d’influencer l’évolution future du processus.
12
A TEMPS DISCRET
• Chaînes de Markov homogènes à temps discret

Une chaîne de Markov à temps discret est un processus
stochastique {Xn ; n = 0, 1, …} à temps discret, défini sur un espace
d’états S dénombrable et vérifiant la propriété de Markov
P [Xn = i | X0, …, Xn-1] = P [Xn = i | Xn-1] ∀ i ∈ S ; ∀ n ≥ 1.
Une chaîne de Markov à temps discret est homogène (dans le

temps) si, pour tout paire d’états (i; j) et tout instant n,
P [Xn = j | Xn-1 = i] = P [Xn+k = j | Xn+k-1 = i] ∀ k ≥ 0.
Hypothèse : le terme chaîne de Markov (CM) = CM à temps discret,

homogène dans le temps et définie sur un ensemble d’états S fini.
13
A TEMPS DISCRET
• Probabilités et matrices de transition
Pour une chaîne de Markov homogène {Xn ; n = 0, 1, …} on a :
P [Xn = j | Xn-1=i] = P [X1 = j | X0=i] ∀ n ≥ 1.
On définit la probabilité de transition (en 1 étape) de i à j par
pij = P [X1 = j | X0 = i] ∀ (i; j) ∈ S2.
La probabilité pij est donc égale à la probabilité conditionnelle que le

système se retrouve dans l’état j à l’étape suivante sachant qu’il se
trouve actuellement dans l’état i.
14
A TEMPS DISCRET
Si la chaîne possède N = [S] états, les probabilités précédentes

peuvent être rangées dans une matrice de transition P = (pij) de
taille N × N dont les lignes et les colonnes sont indexées par les
éléments de S.
 p0,0 p0,1  p0, N 1 

 p p1,1 
P 
1,0
    
 
 p N 1,0  p N 1, N 1 
15
A TEMPS DISCRET
• Graphes représentatifs
La matrice de transition P d’une chaîne de Markov peut être
représentée par un graphe orienté G = (V,E) dont les sommets
correspondent aux états de la chaîne et où un arc relie les sommets
associés aux états i et j si la probabilité de transition de i à j est
positive, c.-à-d. si pij > 0.
Le graphe ainsi défini est appelé le graphe représentatif, ou
graphe de transitions, de la chaîne de Markov.
REMARQUE. Les sommets du graphe représentatif G d’une chaîne
étant en bijection avec les états de cette dernière, nous parlerons
souvent de l’état i de G tout en gardant à l’esprit qu’une telle
expression désigne, en fait, le sommet de G associé à l’état i.
16
Graphe représentatif
• Graphe représentatif (ou graphe de transitions)
• : un graphe orienté
• Sommets : les états de la chaîne
• Arcs : les transitions entre les états dont la probabilité est positive ( )
0,97
0,03
0 1 0,98
0,02
Révision : la théorie de graphe
• Un chemin est une suite de sommets telle que les

arcs appartiennent au graphe.
• Un circuit est un chemin de longueur non nulle et dont l’origine et
l’extrémité sont identique.
Révision : la théorie de graphe
• Une composante fortement connexe d’un graphe est

un sous-ensemble maximal de sommets tels que deux quelconques
d’entre eux soient reliés par un chemin : si ,alors:
• , il existe un circuit passant par et ;
• , il n’existe pas de circuit passant par et .
A B C A B
• Graphe réduit
D E C D E
A,B
A,B C,D,E C D,E
A TEMPS DISCRET
 0 1 4 3 4
P   0 1 2 1 2 
1 3 0 2 3
3/4
2/3
1/4 1/2
0 1 2
1/2
1/3
20
A TEMPS DISCRET
• Exemple
Considérons une machine qui est soit en marche soit à l'arrêt. Si

elle est en marche au début du jour n elle est en marche au début
du jour n +1 avec la probabilité 0,98. Une fois qu'elle est arrêtée,
elle est réparée. Si elle est arrêtée au début du jour n, elle est
arrêtée au début du jour n +1 avec la probabilité 0,03.
0 si arrêtée au début du jour n
Xn  
1 si en marche au début du jour n
0.97
 0.03 0.97  0.03
P    0 1 0.98
 0.02 0.98  0.02
21
A TEMPS DISCRET
• Matrices stochastiques
Une matrice carrée P = (pij) est stochastique si
 ses éléments sont non négatifs : pij ≥ 0 pour tout i et j ;

 la somme des éléments de chacune de ses lignes vaut 1 :
p
i
ij 1 i.
Propriété. P est stochastique  P est une matrice de transition.

Propriété. Soit P une matrice stochastique d’ordre s fini, alors toute
puissance non négative de P est une matrice stochastique.
22
A TEMPS DISCRET
• Probabilités de transition en m étapes

La probabilité conditionnelle d’aller de i à j en m étapes exactement
est
p(m)ij = P [Xm = j | X0 = i] = P [Xn+m = j | Xn = i] n  1.
Cette probabilité est indépendante de n car le processus est

homogène et est appelée la probabilité de transition en m étapes
de i à j.
La matrice P(m) dont l’élément (i, j) est égal à p(m)ij est appelée la
matrice de transition en m étapes.
REMARQUES.
 On a évidemment p(1)ij = pij et P(1) = P.
 On adoptera la convention naturelle P(0) = I.
23
A TEMPS DISCRET
• Probabilités de transition en m étapes
Théorème 1.1 Pour tout m ≥ 0, la probabilité p(m)ij de

transition de i à j en m étapes est donnée par l’élément (i, j)
de P(m).
24
A TEMPS DISCRET
• États accessibles et communiquants
On définit sur l’ensemble V des sommets du graphe représentatif

G = (V,E) d’une chaîne de Markov (et par extension sur l’ensemble
S de ses états) les relations :
 L’état j(1) est accessible depuis l’état i s’il existe, dans G, au
moins un chemin (éventuellement trivial) de i à j.
L’état est accessible depuis l’état ( ) s’il existe, dans , au moins
un chemin (éventuellement trivial) de à .
L’état est accessible depuis l’état si et seulement s’il existe
( )
tel que ;
(1) Remarque. Tout état j est accessible depuis lui-même. 25

A TEMPS DISCRET
On définit sur l’ensemble V des sommets du graphe représentatif

G = (V,E) d’une chaîne de Markov (et par extension sur l’ensemble
S de ses états) les relations :
 Les états i et j communiquent s’ils sont accessibles l’un à partir
de l’autre.
Les états et communiquent ( ) s’ils sont accessibles l’un à
partir de l’autre.
Les états i et j communiquent si et seulement s’il existe n ≥ 0 et
m ≥ 0 tels que et .
Pour , si et , on a .
26
A TEMPS DISCRET
Propriétés. Si P dénote la matrice de transition de la chaîne,

 l’état j est accessible depuis l’état i si et seulement s’il existe
n ≥ 0 tel que p(n)ij > 0 ;
 les états i et j communiquent si et seulement s’il existe n ≥ 0 et
m ≥ 0 tels que p(n)ij > 0 et p(m)ji > 0.
27
A TEMPS DISCRET
• Classes et graphes réduits

La relation "i et j communiquent " est une relation d’équivalence
dont les classes correspondent aux composantes fortement
connexes de G. Ainsi, les états i et j communiquent si et seulement
s’ils appartiennent à la même composante fortement connexe de G.
28
A TEMPS DISCRET
• Classes et graphes réduits

Les classes de la chaîne correspondent aux composantes fortement
connexes de .
• Si _1, …, _ dénotent les classes d’une chaîne de Markov, le

graphe réduit _ de la chaîne est obtenu en associant un
sommet à chaque classe _ et en reliant les sommets et
par un arc ( ; ) s’il existe _ et _ avec _ >0=>
Graphe réduit.
1 3 1,3
2 4 5 2 4 5
29
A TEMPS DISCRET
• Classification des classes et des états
 Une classe est persistante si elle correspond à un sommet sans

successeur de GR. Si tel n’est pas le cas, la classe est transitoire.
 Les états d’une classe persistante sont persistants ou

récurrents et ceux d’une classe transitoire sont transitoires.
 Une classe persistante composée d’un seul état est absorbante

et un état est absorbant s’il forme, à lui seul, une classe
persistante.
Propriété. L’état i est absorbant si et seulement si pii = 1 (on a

alors pij = 0  j ≠ i).
30
A TEMPS DISCRET
• Classification des Chaînes
 Une chaîne de Markov est irréductible si elle ne compte

qu’une seule classe. Dans le cas contraire, elle est réductible.
 Une chaîne de Markov est absorbante si tous ses états

persistants le sont.
Propriétés.
 Une chaîne de Markov est irréductible si et seulement si son
graphe représentatif est fortement connexe.
 Une chaîne de Markov est irréductible si et seulement si toutes
ses paires d’états communiquent.
31
A TEMPS DISCRET
• Période
La période d de l’état i d’une chaîne de Markov est égale au plus

grand commun diviseur de tous les n pour lesquels p(n)ii > 0.
L’état i est périodique lorsque d > 1 et apériodique lorsque d = 1.
Propriétés.
 L’état i a pour période d si et seulement si d est le plus grand
commun diviseur des longueurs des circuits (pas forcément
élémentaires) passant par i dans le graphe représentatif G de la
chaîne.
 Si pii > 0, l’état i est apériodique.

32
A TEMPS DISCRET
• Période
Théorème 1.2 Les états d’une classe ont tous la même période.
La période étant une propriété de classe, on parlera de classes et de

chaînes irréductibles périodiques / apériodiques selon les
propriétés de leurs états.
33
PLAN DU COURS
34
ETUDE DES CHAINES DE MARKOV A TEMPS DISCRET
COMPORTEMENT TRANSITOIRE ET ASYMPTOTIQUE
• Distribution des états d’une chaîne

Soit {Xn, n ≥ 0} une chaîne de Markov à temps discret. Pour tout
instant n ≥ 0, la loi de probabilité de la variable d’état Xn est
appelée la distribution des états de la chaîne et est notée p(n).
Cette distribution est un vecteur (ligne) de probabilités dont
chaque élément pi(n) est égal à la probabilité d’observer le système
dans l’état i après n transitions :
p in   P X n  i  i  S
La distribution p(n) dépend de la matrice de transition P de la
chaîne mais également de l’état dans lequel le processus a
commencé son évolution. De manière générale, cet état est choisi
selon une distribution initiale p(0).
35
• Comportement transitoire
Théorème 2.1 Soit P la matrice de transition d’une chaîne de

Markov et p(0) la distribution de son état initial. Pour tout n ≥ 1,
on a
p n   p n 1 P
et
p  n   p 0  P n
36
• Comportement asymptotique
L’étude du comportement à long terme d’une chaîne de Markov
cherche à répondre à des questions aussi diverses que :
 la distribution p(n) converge-t-elle lorsque n → ∞ ?
 si la distribution p(n) converge lorsque n → ∞, quelle est la
limite p* et cette limite est-elle indépendante de la distribution
initiale p(0) ?
 si l’état i est persistant, quelle est la proportion du temps passé
dans cet état et quel est le nombre moyen de transitions entre deux
visites successives de cet état ?
 si l’état i est transitoire, quel est le nombre moyen de visites de
cet état ?
37
• Distributions invariantes et stationnaires

Une distribution p est invariante ou stationnaire si
p = pP.
REMARQUE : si lim p   existe, alors la limite est une distribution
n
n 
invariante.
Théorème 2.2 Une chaîne de Markov possède toujours au moins

une distribution invariante.
Théorème 2.3 Une chaîne de Markov possède autant de

distributions invariantes linéairement indépendantes que la
multiplicité de la valeur propre 1 de sa matrice de transition.
38
• Distributions invariantes et stationnaires
Théorème 2.4 La distribution p(n) des états d’une chaîne de

Markov converge vers une distribution (invariante) p*
indépendante de la distribution initiale p(0) si et seulement si la
suite des puissances de la matrice de transition P de la chaîne
converge vers une matrice (stochastique) P* dont toutes les
lignes sont égales entre elles.
De plus, si tel est le cas, chaque ligne de P* est égale à p*.
39
• Les chaînes irréductibles et apériodiques

Théorèmes 2.5 à 2.10
Soit P la matrice de transition d’une chaîne irréductible et
apériodique. Les propriétés suivantes sont vérifiées :
 La matrice Pn tend vers une matrice stochastique P* lorsque n
tend vers l’infini.
 Les lignes de P* sont toutes égales entre elles et p*ij > 0 pour
tout i, jS.
 Pour toute distribution initiale p(0),
lim p n   lim p 0  P n  p *
n n 
 La limite p* est égale à n’importe quelle ligne de P* .

40
• Les chaînes irréductibles et apériodiques

 p* est la solution unique du système
pP  p
 
p . 1  1
 Pour tout i  S , 1
pi 
*
mi
où mi est l’espérance du nombre de transitions entre deux visites
successives de l’état i.
REMARQUE. Pour n suffisamment grand, on a p(n) ≈ p* et p*i
"est" la probabilité que la chaîne se trouve dans l’état i à un instant
quelconque. Cette valeur représente aussi la proportion du
temps passé dans l’état i.
41
• Les chaînes ergodiques

Une chaîne de Markov est ergodique si elle admet une
distribution asymptotique unique et indépendante de sa
distribution initiale.
Propriété. Les chaînes irréductibles et apériodiques sont
ergodiques.
Théorème ergodique 2.11 Soit {Xn, n = 0, 1, …} une chaîne de
Markov ergodique de distribution stationnaire p* et f une fonction
réelle définie sur l’espace des états S de la chaîne.
Alors, n
1
lim
n  n  1
 f  X k    p i f i 
*
k 0 iS
presque sûrement.
42
• Les chaînes irréductibles périodiques

Lemme Si une chaîne de Markov a pour période d, l’ensemble S
de ses états peut être divisé en d classes disjointes D0, D1, …, Dd-1
de manière à ce que chaque transition se fasse d’une classe Dk à
la classe Dk+1, les indices étant pris modulo d.
En (re-)numérotant de manière consécutive les états de chaque
classe Dk, la matrice Pd prend la forme :
 P0 0 
 
P 
d
 
0 P 
 d 1 
Chaque matrice Pi définit une chaîne irréductible et apériodique

sur l’ensemble des états de la classe Di.
43
• Convergence au sens de Cesàro

Une suite {Xn, n = 1, 2, …} converge au sens de Cesàro vers X*
si
1 n
lim  X k  X 
n  n
k 1
La convergence au sens de Cesàro est une convergence en

moyenne contrairement à la définition ordinaire qui est une
convergence en valeur.
La convergence ordinaire implique la convergence au sens de
Cesàro mais la réciproque est fausse.
44
• Comportement asymptotique
En remplaçant la convergence ordinaire par celle au sens de
Cesàro, les chaînes de Markov irréductibles présentent toutes les
mêmes propriétés asymptotiques, indépendamment de leur
période.
En particulier, la suite des distributions p(n) converge, au sens de
Cesàro, vers une distribution p*, unique et indépendante de la
distribution initiale p(0).
REMARQUE. Si la chaîne a pour période d, chaque matrice Pi
définit une chaîne ergodique possédant une distribution
stationnaire unique pi*. On a alors
1 

p " " p 0 """"p d 1 .

d

45
• Les chaînes réductibles
Théorème 2.12 Pour tout état initial i, la probabilité de se

retrouver dans un état persistant à l’étape n tend vers 1 lorsque n
tend vers l’infini.
Corollaire 1.17 limn→∞ p(n)ij = 0 pour tout j transitoire, quel que

soit i.
46
• Formes canoniques
La matrice de transition d’une chaîne de Markov réductible est
sous forme canonique si
1. les sommets d’une classe (persistante) sont numérotés

consécutivement ;
2. les sommets persistants sont numérotés en premier.
Si une chaîne a k classes persistantes, sa matrice sous forme
canonique ressemble à P 0 0
 1 
  
P
0 Pk 0
 
R  R Q 
 1 k
47
• Formes canoniques
Chaque sous-matrice Pi définit une chaîne de Markov irréductible

sur l’ensemble des états de la classe persistante Ci.
REMARQUE. Pour obtenir une matrice de transition sous forme

canonique, il est important de numéroter consécutivement les états
de chaque classe persistante.
La matrice de transition, sous forme canonique, d’une chaîne

absorbante est
I 0
P   
 R Q
48
• Matrice fondamentale
Lemme Soit Q telle que limn→∞Qn = 0, alors


I  Q 
1
 I  Q  Q     Qn
2
n 0
Corollaire Soit P la matrice de transition, sous forme canonique,

d’une chaîne de Markov absorbante. Alors,
 I 0   I 0 

lim P  lim n 1 k
n

n
 I  Q 1 R Q n 
 k 0 Q R Q
n  n 
  
La matrice N = (I - Q)-1 est appelée la matrice fondamentale de

la chaîne de Markov.
49
• Temps avant absorption
Théorème 2.13 Le nombre moyen de périodes séjournées dans

l’état transitoire j par une chaîne de Markov débutant son
évolution dans l’état transitoire i est égal à l’élément nij de la
matrice fondamentale N.
Corollaire Partant de l’état transitoire i, le nombre moyen de

transitions avant d’atteindre un état absorbant (persistant) est
égal à la somme des termes de la ième ligne de la matrice
fondamentale N.
50
• Probabilités d’absorption
Théorème 2.14 La probabilité d’être absorbé par l’état j partant

de l’état transitoire i est donnée par l’élément bij de la matrice
B = NR = (I - Q)-1R.
51
• Les chaînes ergodiques
Une chaîne de Markov à temps discret est ergodique si la

distribution de ses états converge vers une distribution
stationnaire unique, qui est alors indépendante de la
distribution initiale de la chaîne.
Les chaînes irréductibles et apériodiques sont ergodiques mais ce
ne sont pas les seules.
En fait une chaîne est ergodique si et seulement si
1) elle possède une seule classe persistante ;
2) ses états persistants sont apériodiques.
52
• Étude d’une chaîne réductible
L’étude d’une chaîne de Markov réductible se décompose en deux

étapes.
1) Étude des classes persistantes
On calcule la période et la distribution stationnaire de chacune
des sous-chaînes associées aux classes persistantes.
2) Étude des classes transitoires
On rend la chaîne absorbante (par exemple en contractant les
classes persistantes en un seul état).
On calcule ensuite les temps moyens avant absorption (donnés
par la matrice fondamentale N) et les probabilités
d’absorption (données par la matrice B = NR).
53
PLAN DU COURS
54
CHAÎNE DE MARKOV A TEMPS CONTINU
• Définitions
Une chaîne de Markov homogène à temps continu et à nombre fini

d’états est un processus stochastique {X(t), t ≥ 0} tel que :
[X(t+dt) = j | X(t) = i] = pij(dt).
Où pij(dt) est la probabilité d’être dans l’état j après un intervalle
de temps dt sachant que l’état courant est i. On peut définir par qij,
le taux de transition de l’état i à l’état j (j ≠ i).
 pij dt  
qij  lim  
dt  0 dt 
Le temps de passage de la chaîne de l’état i à l’état j est un temps
aléatoire qui suit une loi exponentielle de taux qij.
55
• Définitions
Le temps pendant lequel la chaîne de Markov reste dans l’état i est

le plus petit des temps de passage de cet état i à un autre état.
D’après la dernière propriété des lois exponentielles, le temps de
séjour de la chaîne dans cet état i suit une loi exponentielle de taux
(appelé taux de sortie de l’état i) :
qii    qij
j i
56
• Remarque
On peut considérer que le fonctionnement d’une chaîne de Markov
à temps continu a le fonctionnement suivant : dans un état, le
processus reste un temps aléatoire qui suit une loi exponentielle de
taux -aii. A la sortie de cet état, le processus choisi son état
destination suivant la probabilité : -aij/aii.
La matrice A ainsi construite est appelée matrice génératrice de la
chaîne de Markov.
On peut associer à chaque chaîne de Markov un graphe orienté
construit de la façon suivante : chaque état i du processus est
représenté par un noeud. Il y a un arc entre un noeud i et un noeud
j ≠i si et seulement si l’élément i, j de la matrice A est non nul. On
donne alors un poids à l’arc i, j : le taux de transition de l’état i à
l’état j. C’est l’élément i, j de la matrice A.
57
• Exemple
Soit la chaîne de Markov définie par sa matrice génératrice :
3 2 1
 
A 0 2 2 
 1 0  1 
 
Sa représentation graphique est donnée figure ci-dessous :
2 2
2
1 1
1 3
58
• Loi de probabilité de x(t)
Si x(t) est le vecteur dont les éléments sont les probabilités de

présence du processus dans ses états, on peut écrire :
x t   xt . A
x(0) est la distribution initiale de probabilité de présence dans les
états.
La résolution de l’équation différentielle ci-dessus donne :
x  t   x  0   e A.t
59
• Calcul d’une distribution stationnaire
On constate souvent que la distribution x(t) converge vers une

distribution limite quand t → ∞.
Quand c’est le cas, cette dernière définie le régime permanent du
processus. Ce régime permanent n’est pas influencé par le choix de
la distribution initiale.
Une distribution de probabilité pt est appelée stationnaire par

rapport à une matrice génératrice A si :
 le vecteur stochastique p(t) est invariant dans le temps

(lorsque dp(t)/dt = 0), c’est-à-dire lorsque p(t)A = 0.
60
PLAN DU COURS
61
LES PROCESSUS DE NAISSANCE ET MORT
• Définition
On considère une file d’attente comportant entre 0 et n personnes.

Le nombre de personnes présentes dans la file à l’instant t est l’état
du processus. On se donne des nombres positifs quelconques (l0,
l1, . . . ¸ln−1) et (μ1, μ2, . . . μn). On suppose que pendant un
intervalle de temps infiniment petit e, sachant qu’il y a k personnes
présentes dans la file :
1. la probabilité qu’une personne arrive dans la file est lke + o(e),

2. la probabilité qu’une personne sorte de la file est μke + o(e),
3. les autres éventualités ont une probabilité en o(e).
62
• Matrice génératrice
Par exemple, pour n = 4, on trouve :
  l0 l0 0 0 0 
 
 m1  l1  m1  l1 0 0 
A 0 m2  l2  m 2  l2 0 
 
 0 0 m3  l3  m 3  l3 
 
 0 0 0 m4  m4 
63
Le processus est représenté par le diagramme
l0 l1 ln-1
0 1 2 …… n-1 n
m1 m2 mn
64
65
66
67
68
69
PLAN DU COURS
70
LES FILES D’ATTENTE
• Schéma d’une file d’attente simple
71
• Notation simplifiée de Kendall

A/S/m
 A : symbole du processus d’arrivée, i.e. symbole désignant la
loi de probabilité modélisant les temps entre deux arrivées
successives de clients.
Valeurs courantes :
M = loi exponentielle, G = loi générale
 S : symbole du processus de service, i.e. symbole désignant la
loi de probabilité modélisant le temps nécessaire au traitement d’un
client.
 m : nombre de serveurs, i.e. nombre maximal de clients pouvant
être traitées simultanément.
72
• Notation complète de Kendall

A/S/m/K/P/D
 K : capacité du système, i.e. nombre maximal de clients pouvant
se trouver à un instant donné dans le système (qu’ils soient en
attente ou en service).
 P : taille de la population, i.e. nombre total de clients circulant
dans le système (et, donc, susceptibles d’accéder au serveur).
 D : discipline de service, i.e. règle précisant l’ordre dans lequel
les clients accèdent au serveur.
Valeurs courantes :
FIFO : First In First Out, LIFO : Last In First Out
73
• Hypothèses
 Les clients arrivent les uns après les autres (i.e. pas d’arrivées
groupées) et les temps entre deux arrivées successives sont
indépendants et identiquement distribués (i.i.d.).
 Les temps de services des clients sont indépendants et
identiquement distribués.
 Dans la notation simplifiée de Kendall, on suppose que :
 la capacité de la file est infinie : K = ∞,
 la population est de taille infinie : P = ∞,
 la discipline de service D n’a pas d’impact sur les
performances du système ou est égale à FIFO.
74
• Stabilité et intensité du trafic

Pour une file A/S/m, on définit les grandeurs :
 l : taux moyen d’arrivée, i.e. nombre moyen de clients arrivant
dans le système par unité de temps.
 E(A) : temps moyen d’inter-arrivées, i.e. espérance du temps
s’écoulant entre deux arrivées successives.
 µ : taux moyen de service, i.e. nombre moyen de clients qu’un
seul serveur peut traiter par unité de temps.
 E(S) : temps moyen de service, i.e. espérance du temps
nécessaire au traitement d’un client.
1 1
l m
E  A E S 
75
• Stabilité et intensité du trafic

L’intensité du trafic dans une file A/S/m est égale à
l E S 
 
mm mE  A
Une file est stable, et admet un « régime de croisière », c.-à-d. un
régime stationnaire, où le nombre de clients en attente n’explosent
pas si et seulement si(2)
 1
L’intensité du trafic, aussi appelé facteur d’utilisation, correspond

en fait au taux d’occupation U de chaque serveur.
(2) A l’exception des systèmes déterministes, par exemple la file D/D/1, qui sont stables même si  = 1. 76
• Mesures de performances
La théorie des files d’attente a pour but principal le calcul des

performances d’un système en régime stationnaire. Les grandeurs
d’intérêt les plus courantes sont :
 N : le nombre moyen de clients dans le système,
 Q : le nombre moyen de clients en attente,
 U : le taux d’occupation de chaque serveur,
 T : le temps moyen de séjour d’un client dans le système, aussi
appelé temps moyen de réponse,
 W : le temps moyen d’attente d’un client,
 S : le temps moyen de service d’un client (S = E(S)).
77
• Formule de Little
Pour un système en régime stationnaire on a :

N = lT
Cette règle fondamentale de la théorie des files d’attente doit son
importance à sa généralité. Elle est en effet applicable à n’importe
quel système ou sous-système du moment qu’il est en régime
stationnaire (il doit, en particulier, être stable) et que les grandeurs
N, l et T peuvent être définies correctement (il ne doit, par
exemple, pas y avoir création ou disparition de clients lors du
traitement).
78
Si on observe les arrivées et les départs du système pendant une

durée t (très grande), on peut représenter les données collectées de
trois manières différentes illustrées ci-dessus.
Dans cette figure, les trois aires grisées sont égales et représentent
le temps total passé dans le système par les n clients qui y sont
entrés.
79
Notant J cette aire, le temps moyen de réponse du système est, à

partir de la représentation (c),
J
T 
n
alors que le nombre moyen de clients présents est, à partir de la
représentation (b),
J
N 
t
Le taux moyen d’arrivée des clients étant l = n/t, on obtient
J n J
N   .  lT
t t n
80
• Règles opérationnelles
Un client étant soit en attente soit en traitement, on a les relations :
N = Q + mU et T = W + S
De plus, si on applique la formule de Little uniquement aux places
d’attente (au buffer ) ou uniquement au serveur, on obtient les
relations :
Q = lW et mU = lS
Pour une file A/S/m, le taux d’occupation de chaque serveur est
l
U  m et la dernière relation s’écrit aussi
mm
mU = lS = lE(S) = m.
81
• La file M/M/1
Une file M/M/1 modélise un guichet unique où chaque client reçoit
un service dont la durée est une variable exponentielle de paramètre
µ (indépendante de tout autre élément affectant le système) et où
l’arrivée des clients correspond à un processus de Poisson de taux l
(les temps entre deux arrivées successives sont des variables
aléatoires i.i.d. selon une loi exponentielle de paramètre l).
L’état d’une file M/M/1 à un instant donné est entièrement

caractérisé par le nombre de clients présents dans la file car les
temps inter-arrivées et les temps de service sont sans mémoire (ce
sont des variables exponentielles !).
82
• Graphe de transitions et condition de stabilité

La file M/M/1 est un processus de naissance et de mort à taux
constants :
li = l > 0 i = 0, 1, … et µi = µ > 0 i = 1, 2, …
Une telle file est stable si et seulement si l’intensité du trafic (c.-à-

d. le taux d’utilisation du serveur) y est inférieure à 1 :
l
  1.
m
83
• Distribution stationnaire
Une file M/M/1 stable correspond à un processus markovien
ergodique et admet donc une distribution stationnaire unique
p*i = (1 – )i  i ≥ 0
En particulier, on a p*0 = 1 –  et la probabilité stationnaire (et
asymptotique) d’observer un système vide est 1 – . Cette
probabilité étant égale à la proportion du temps où le système est
vide, on retrouve bien l’interprétation de l’intensité du trafic  en
terme de taux d’occupation du serveur :
U = P[X > 0] = 1 – P[X = 0] = 1 – p*0 = .
84
• Mesures de performance
 Nombre moyen de clients dans le système :

 l
N   ip  *

1  m l
i
i 0
 Nombre moyen de clients en attente de service :
 
  
Q   i  1p   ip   p i*  N  1  p 0*  N  U
*
i
*
i
i 1 i 1 i 1
2 l2
 
1   m m  l 
85
 Temps moyen de réponse (de séjour) :
N  1 1 S
T     
l l 1    m  l m 1    1   
Temps moyen d’attente :
Q 2   S
W     
l l 1    m 1    m  l 1   
REMARQUES.
 On a évidemment T = W + S.
 Tous les développements et les résultats qui précèdent sont
indépendants de la discipline de service de la file (FIFO, LIFO,
SIRO : Serve In Random Order).
86
• Distribution du temps de réponse

Dans une file M/M/1 - FIFO en régime stationnaire, le temps de
réponse d’un client arrivant alors que le système compte k clients
est formé :
 de son temps de service ;
 de la somme des (k - 1) temps de service des clients le précédant
dans la file ;
 du temps de service résiduel du client occupant le serveur.
Le temps de service étant exponentiel, il est sans mémoire et ce

temps résiduel est un temps de service complet.
Le temps de réponse d’un client en trouvant k devant lui est

distribué selon une loi ek+1(µ).
87
• Distribution du temps de réponse

La fonction de répartition du temps de réponse T est donc :

FT t   PT  t    PT  t X  k PX  k 
k 0
 t
m k 1s k
  1    k
 e  ms ds
k 0 0
k!
 1  e  m 1  t  1  e  m l t
T suit une loi exponentielle de paramètres m(1 – ) = m – l.
88
• Distribution du temps d’attente

Dans une file M/M/1 - FIFO en régime stationnaire, le temps
d’attente d’un client arrivant alors que le système compte k clients
est :
 nul si k = 0 ;
 égal à la somme des (k - 1) temps de service des clients le
précédant dans la file et du temps de service résiduel du client
occupant le serveur si k > 0.
Le temps d’attente d’un client en trouvant k devant lui est

distribué selon une loi ek(µ) si k > 0 et est nul si k = 0.
89
• Distribution du temps d’attente
La fonction de répartition du temps d’attente W est donc :


FW t   PW  t    PW  t X  k PX  k 
k 0
 t
m k s k 1
 1      1    k
 k  1! e  ms ds
k 1 0
 1  e  m 1  t  1  e  m l t
W suit une loi exponentielle tronquée de paramètre :

m(1 – ) = m – l.
90
• Graphes de FT(t) et FW(t)
91
• La file M/M/m
Une file d’attente M/M/m est formée de m serveurs identiques et

indépendants, partageant les mêmes places d’attente. De plus :
 les arrivées définissent un processus de Poisson de taux l ;

 les durées des services indépendants et identiquement distribués
selon une loi exponentielle de paramètre m.
Dans un tel modèle, il n’y a aucune attente tant que le nombre i de

clients présents ne dépasse pas le nombre m de serveurs.
92
• Graphe de transitions d’une file M/M/m

L’évolution du nombre de clients dans une file M/M/m est un
processus de naissance et de mort où :
 le taux d’arrivée (de naissance) est constant et égal à l ;
 le taux de service (de mort) varie en fonction du nombre de
clients présents :
im si 0  i  m
mi  
mm si i  m
93
• Stabilité et équations du bilan détaillé

Tout comme la file M/M/1, une file M/M/m est stable si et
seulement si l’intensité du trafic y est plus petite que 1 :
l
 1
mm
L’équilibre entre le flux entrant dans un sommet et le flux sortant de
ce sommet s’écrit ici
lp 0  µp 1
l  iµp i  lp i 1  i  1µp i 1 1  i  m  1
l  mµp i  lp i 1  mµp i 1 i  m
94
• Distribution stationnaire
La solution des équations du bilan détaillé est :
1
 m  m
m  
m 1 i
p 
*
 
 m!1    i 0 i! 
0
et
 * m i
 p i  1,  , m  1
 0 i!
pi  
*

p * m
i m
i  m, m  1
 0 m!
95
• Formule C d’Erlang
Un client arrivant dans une file M/M/m en régime stationnaire doit
attendre uniquement si les m serveurs sont déjà occupés. La
probabilité d’un tel événement est :

z  p  p* m 
*
.
m
m!1   
i 0
i m
Pour une file M/M/1 on retrouve le résultat z =  correspondant au

fait que, dans un tel système, la probabilité de devoir attendre est
égale à celle de trouver le serveur occupé, c’est-à-dire son taux
d’occupation .
96
 Nombre moyen de clients présents et en attente :
 z  z
N    m   Q 
 1   1 
 Temps moyen de réponse (de séjour) et d’attente :

1 z  z
T  1   W 
µ  m1     mµ1   
l
 Taux d’occupation de chaque serveur : U   
mµ
97
• La file M/M/m/K
La file M/M/m/K est une file markovienne composée de m serveurs
et disposant de K places au total. Le nombre maximal de clients en
attente est donc K - m. Si un client arrive alors que le système est
plein, il ne peut y entrer et doit repartir.
L’évolution du nombre de clients dans un tel système est encore et
toujours un processus de naissance et de mort dont le graphe
représentatif est :
98
• Stabilité et taux effectif d’arrivée

La chaîne de Markov à temps continu décrivant l’évolution du
nombre de clients ne possède qu’un nombre fini d’états. Ainsi, pour
l et m positifs, elle est irréductible et ergodique. Une file M/M/m/K
est donc toujours stable quelle que soit l’intensité du trafic
l

mµ
Comme tout client arrivant alors que le système est plein doit
repartir, le taux effectif d’arrivée dans le système n’est pas l mais :
l    lp k*  l 1  p K* .
K 1
k 0
Ayant calculé N et Q, c’est ce taux effectif l’ qu’il faut utiliser pour
calculer T et W à l’aide de la formule de Little.
99
• La file M/G/1
La principale difficulté lors de l’étude d’une file M/G/1 réside dans

le fait que le temps de service d’un client n’est plus sans mémoire.
La connaissance du nombre de clients présents dans le système à un
instant donné n’est donc plus suffisant pour décrire complètement
l’état de la file. Il faut également connaître le temps de service déjà
reçu par le client occupant le serveur.
Il n’existe pas de formule simple pour calculer la distribution

stationnaire d’une file M/G/1 stable mais il est possible d’établir les
formules (exactes) pour les performances d’un tel système
directement.
100
• La formule de Pollaczek-Khinchin
Le temps moyen d’attente dans une file M/G/1 stable est :
S  1  CS2 
W   
1   2 
où C2S est le carré du coefficient de variation du temps de service S
Var S 
C 
2
.
S
E S 2
REMARQUE. La condition de stabilité d’une file M=G=1 est :

 = lS < 1
et correspond, ici aussi, au taux d’occupation du serveur.
101
• Autres mesures de performances
Utilisant la relation T = W + S et la formule de Little, on peut

calculer facilement les autres mesures de performance de la file :
 2  1  CS2 
Q  lW   
1   2 
S  1  CS2 
T W S  S   
1   2 
 2  1  C S2 
N  lT     .
1   2 
102
• Les autres files d’attente simples
Les files d’attente G/M/1, M/G/m, G/M/m, G/G/1, G/G/m, … sont

des processus stochastiques complexes, difficiles voir très difficiles
à traiter de manière exacte et en toute généralité.
Les développements se simplifient parfois pour les files où m = ∞
mais les résultats exacts n’existent essentiellement que pour des cas
particuliers.
De nombreuses approximations sont cependant disponibles, de plus
ou moins bonne qualité. L’une des plus simples est directement
issue de la formule de Pollaczek-Khinchin.
103
• Approximations pour les files G/G/m

Rappelons que pour une file quelconque, on note :
 E(A) le temps moyen entre deux arrivées successives de clients
(l= 1/E(A) est le taux d’arrivée) et
 E(S) = S le temps moyen de service d’un client (µ = 1/E(S) = 1/S
est le taux de service).
Une file G/G/m est stable si et seulement si

l E S 
  1
mm mE  A
et l’intensité du trafic  représente alors le taux moyen
d’occupation de chaque serveur : U = .
104
• Approximations pour les files G/G/m

Le nombre moyen de clients en attente dans une file G/G/m est
approximativement :
 C A2  C S2 
Q G/G/m   Q M/M/m
 2 
 C A2  C S2   2
  
 2  1 
Var  A Var S 
où C 
2
et C 
2
A
E  A2 S
E S 2
sont, respectivement, les coefficients de variation au carré des
temps entre deux arrivées successives et des temps de service.
105
Un client arrive en moyenne toutes les 12 minutes au guichet d’une

banque et la durée moyenne de service est de 8 minutes.
1/ Modéliser ce système à l’aide d’une file d’attente

2/ calculer la probabilité que le guichet soit libre
3/ calculer le nombre moyen de clients dans la file
4/ un client très pressé ne peut attendre que 10 minutes pour être servi,
a t-il intérêt à rentrer dans la file d’attente?
Exercice 106
1/ Modélisation du problème par une file d’attente M/M/1/

• taux d’arrivée l :
1 client arrive toutes les 12 minutes soit 5 clients par heure
l=5 clients/h
• taux de service m :
8 minutes en moyenne de service par client, soit 7.5 par heure
m=7.5 clients/h
• facteur d’utilisation : = l/ m=0.66 (état stationnaire)
Correction exercice 107

2/ probabilité que le guichet soit libre :

l
P(guichet libre)  p  1 -  0.33
*
m
0
3/ nombre moyen de clients dans la file :


N  2
1 
4/ le client pressé a t-il intérêt à attendre?

temps moyen d’attente : W   0.26 heure  16 minutes
m l
W =16 minutes > 10 minutes donc il n’a pas intérêt à faire la queue

Un aéroport souhaite réguler les files d’attentes sur chacune de ses

pistes d’atterrissage. Un avion met environ 2 minutes pour décoller et 20
avions arrivent en moyenne chaque heure sur la piste.
1/ Modéliser ce système à l’aide d’une file d’attente

2/ Combien de temps passe en moyenne un avion sur la piste ?
3/ La tour de contrôle souhaite limiter le nombre d’avions en attente de
décollage. Modéliser ce système à l’aide d’une nouvelle file d’attente
4/ Reprendre la question 2/ en limitant le nombre d’avions en attente à
2,3 et 5. Quel est l’impact de cette limitation ?
Exercice 109
1/ Modélisation du problème par une file d’attente M/M/1/

• taux d’arrivée l :
l=20 avions/h
• taux de service m :
m=30 avions/h
• facteur d’utilisation :
= l/ m=0.66 (état stationnaire)
2/ Temps moyen que passe un avion sur la piste

N 1
T   = 6 minutes
l m l

3/ Modélisation du problème par une file d’attente M/M/1/K

• facteur d’utilisation :
= l/ m=0.66 (état stationnaire)
4/ Temps moyen que passe un avion sur la piste
2 avions en attente : T = 1.78 minutes

PLAN DU COURS
112
LES RESEAUX DE FILES D’ATTENTES
Réseaux de files d’attente

Un réseau de files d’attente est simplement un système composé
d’une ou plusieurs files d’attente reliées entre elles.
Les clients (dans les cas les plus simples, tous « identiques »), une
fois leur service terminé dans une station (file), se déplacent vers
une autre station ou quittent le système selon des règles de routage
(déterministes ou stochastiques).
113
Réseaux ouverts, fermés et mixtes

Un réseau est ouvert si tout client présent ou entrant dans le
système peut le quitter.
Un réseau est fermé si les clients ne peuvent le quitter. Dans un
réseau fermé, le nombre de client est fixe et ces derniers sont
présents dans le système dès le début de son évolution.
Finalement, un réseau est mixte s’il est ouvert pour certains clients
et fermé pour d’autres.
114
Réseaux à formes produits

La définition la plus simple de l’état d’un réseau consiste à définir
l’état x(t) du système au temps t comme le vecteur (x1(t), …, xn(t))
où xj(t) est le nombre de clients présents à l’instant t dans la file j.
Sous certaines conditions, un réseau stable possède une

distribution stationnaire p* de la forme :
p x   p x1  xn    p *j x j 
n
* *
j 1
Un tel réseau est dit à forme produit et se comporte comme autant

n files indépendantes de distributions stationnaires respectives p*j,
j = 1, …, n.
115
Les réseaux de Jackson

Un réseau de Jackson est composé de n files exponentielles c’est-
à-dire de files d’attente
 comportant chacune un ou plusieurs serveurs identiques (mj
pour la file j),
 fournissant des services de durée exponentielle (le taux de
service de la file j est noté mj),
 de capacité infinie,
 utilisant une discipline de service FIFO.
Les clients (appartenant tous à la même classe) arrivent dans le

système selon des processus de Poisson indépendants, le taux
d’arrivée externe dans la file j étant égal à gj .
116
Les réseaux de Jackson : règles de routage

Après avoir terminé son service à la station j, un client se déplace à
la station k avec probabilité rjk et quitte le système avec une
probabilité rj0 où
n
r j 0  1   rjk
k 1
De telles règles définissent un routage markovien.
117
Exemple : chaque file n’a qu’un seul serveur
118
Exemple : chaque file n’a qu’un seul serveur
 1/ 4 1/ 2 1/ 4   0 
   
R 0 0 2 / 3 r.0  1 / 3 
4/5 0 0  1 / 5 
   
119
Conditions de stabilité
Sans surprise :
Un réseau est stable <═> chacune de ses files l’est.
Notant lj le taux effectif (ou taux moyen) d’arrivée dans la file j,

on peut écrire les équations de conservation :
n
l j  g j   li rij
i 1
Sous forme matricielle, ces équations deviennent
l  g  lR  l I  R   g
120
Conditions de stabilité
Pour un réseau ouvert, on a limn→Rn = 0 et l’unique solution du

système précédent est
l  g I  R 1
Connaissant les taux effectifs d’arrivée l, la file j est stable si et
seulement si
lj
j  1
mjm j
et le réseau est stable si et seulement si chacune des files le
composant l’est.
REMARQUE. Un réseau fermé est toujours stable !
121
Exemple
122
Exemple
Les équations de conservation du flot dans le réseau sont

 l1  g 1  l1r11  l3 r31

l2  g 2  l1r12
l  l1r13  l2 r23
 3
123
Exemple
 l1  g1  l1 / 4  4l3 / 5

 l2  g2  l1 / 2
l  l1 / 4  2l2 / 3
 3
 60 32
 l1 
17
g1 
17
g2
 30 33
 l2  g1  g2
 17 17
l 35 30
 g1  g2
 3 17 17
Le réseau est donc stable si g1, g2, µ1, µ2 et µ3 sont tels que :
l1 l2 l3
1   1 2  1 3  1
m1 m2 m3
124
Distribution stationnaire
Les réseaux de Jackson sont des réseaux à forme

produit.
La distribution stationnaire d’un réseau ouvert et stable est
p * x   p *  x1  xn    p *j x j .
n
j 1
où pj*(xj) est égal à la probabilité stationnaire d’observer xj clients
dans une file M/M/mj.
Un tel système se comporte donc comme n files M/M/mj
indépendantes d’intensité respective   l1 ,    ln
m1m1 mn m n
1 n
125
Réseau de Jackson ouvert
126
Réseau de Jackson ouvert
Équations de conservation du flot :

 l1  g 1  l1r11  l2 r21  l1  61  1 5 l1  1 5 l2
 
l2  g 2  l1r12  l2 r22 l2  4 5 l1
75 15
Solution unique : l1  , l2  .
8 2
127
Stabilité du réseau
 Première file stable  75
l1 8 75 5
1   1  1    1 
m1m1 1.15 120 8
 Deuxième file stable 
15
l2 2 15 3
2   1 2    1 
m2 m 2 1.10 20 4
le réseau est stable et possède une distribution stationnaire unique
et à forme produit : x1 x2 x1 x2
35 1  3 3 5  3
p x1 , x2   1  1 1 1   2  2          
* x1 x2
88 4 4 32  8   4 
où x1 ≥ 0 et x2 ≥ 0 représentent, respectivement, le nombre de
clients dans la première et la deuxième file.
128
Mesure de performance
Le nombre moyen de clients présents dans la première file est :
   
N1    x1p *  x1 , x2     x1 1  1 1x1 1   2  2x2
x1  0 x2  0 x1  0 x2  0
    
   x1 1  1 1   1   2  2 
x1 x2
 x1 0  
x2  0
1 5/8 5
   .
1  1  1  5 / 8 3
De même, le nombre moyen de clients dans la deuxième file est
2 3/ 4
N2    3.
1   2  1  3 / 4
129
Mesure de performance
Le temps moyen de séjour d’un client dans le système est :
N sys N1  N 2 5 / 3 3 7
T     h
lsys g1 6 9
où lsys est le taux global d’arrivée dans le système (ici, simplement
g1).
Remarque. Une erreur à ne pas commettre est de calculer T à l’aide

de
T  T1  T2
avec
N 5/3 8 N 3 2
T1  1   et T2  2  
l1 75 / 8 45 l2 15 / 2 5
130
Réseau de Jackson fermé : exemple
Le système contient à tout instant K = 10 clients.
131
Réseau de Jackson fermé : exemple
Le système contient à tout instant K = 10 clients.

l1  l2
Équations de conservation du flot : 
l2  l1
 le système possède une infinité de solutions !
Le système est toujours stable car le nombre de clients est fixe !
132
Les probabilités stationnaires p(x1, x2) d’avoir x1 clients dans la

première file et x2 clients dans la seconde ne sont définies que pour
les valeurs entières et non négatives de x1 et x2 vérifiant :
x1 + x2 = 10.
Il n’y a donc que 11 couples différents pour lesquelles elles sont
définies.
La distribution stationnaire du système est, ici aussi, à forme

produit et est donnée par :
x1 x2
1  l1   l2 
a
1
p x   p x1 , x2  
* *
F1  x1 F2 x2      
G 10  G 10  m1   m 2 
a G(10) est une constante de normalisation 133
Dans l’expression :
x1 x2
1  l1   l2 
p  x1 , x2  
*
   
G 10   m1   m2 
qui n’est applicable que pour
(x1, x2)  S = {(x1, x2)  IN2  x1 + x2 = 10}
les « taux » l1 et l2 correspondent à une solution quelconque des

équations de conservation du flot. Fixant, arbitrairement, l1 = 1, on
obtient dans notre cas l2 = l1 = 1 et
x1 x2
1 1 1
p * x1 , x2       (x1, x2)  S
G 10   15   10 
134
Constante de normalisation
La constante G(10) est une constante de normalisation assurant
que la somme des probabilités stationnaires est égale à 1 :
x1 10  x1 10 10 x1
10
1 1 1  10 
G 10           
x1  0  15   10   10  x1  0  15 
  2 11 
10 10 x1 10  1    
1 2  1   3 
         .
 10  x1 0  3   10   1  2

 3 
 
135
Constante de normalisation : cas général

Pour un réseau de Jackson fermé comptant n files exponentielles et
K clients, la distribution stationnaire n’est définie que pour les états
x = (x1, …, xn) vérifiant :
 n 
x   x1 ,  , xn   S K   x1 ,  , xn   IN  x j  K .
n
 j 1 
Même pour des valeurs modérées de n et K, l’ensemble SK est
énorme :
 n  K  1 n  K  1!
S K    
 K  K !n  1!
 le calcul de la constante G(K) constitue l’une des principales
difficultés lors de l’étude d’un réseau de Jackson fermé.
136
Réseaux BCMP
Les réseaux de Jackson ne sont pas les seuls réseaux possédant une
distribution stationnaire à forme produit. Une classe importante de
tels réseaux, englobant ceux de Jackson, sont les réseaux BCMP
dont le nom fait référence à leurs "inventeurs " : Baskett, Chandy,
Muntz et Palacios.
Ces réseaux généralisent ceux de Jackson et sont formés
a) de files exponentielles -/M/m - FIFO
b) de centre de délai -/M/ ou -/G/
c) de files -/G/1 - LIFO - RR
d) de files -/G=1 - PS
La forme produit est cependant loin d’être la règle !
137
Réseaux BCMP
Round Robin (RR) : on définit un "quantum de temps de service" :
le serveur traite à tour de rôle chaque client pour une portion du
temps égale au quantum ; il accomplit ainsi une sorte de cycle sur
les clients en attente. Dès qu'un client a reçu, en plusieurs fois, le
service qu'il réclame, il quitte le serveur.
 Processor Sharing (PS): version asymptotique du "round robin":

le quantum tend vers 0 ; si n clients sont présents entre t et t+Dt,
chacun d'eux reçoit un service élémentaire égal à Dt/n pendant ce
temps (avec Dt  0).
138
Exercice
Des pièces arrivent selon un processus de Poisson de paramètre g =

1 dans un atelier composé de quatre machines M1, …, M4 dont les
temps de traitement obéissent a des lois exponentielles
indépendantes de paramètres respectifs µ1 = 5/2, µ2 = 2, µ3 = 3/2, µ4
= 5/2. Sachant que :
_ les pièces pénètrent dans l'atelier par M1 et le quittent par M4 ;
_ la probabilité qu'une pièce soit traitée incorrectement par une
machine et doive donc être retraitée (par cette machine) est de
1/5 pour M1 et M2, de 1/10 pour M3, et de 0 pour M4 ;
_ les pièces correctement traitées par M1 sont acheminées avec
probabilités égales vers M2 ou M3, alors que celles traitées par
M2 ou M3 sont directement envoyées vers M4.
139
Exercice
a) représenter schématiquement le système ;
Puis déterminer :
b) si le système est stable ;

c) la loi de probabilités conjointes du nombre de requêtes dans le
système ;
d) quelle est la machine critique de l'atelier ;
e) le temps moyen de réponse du système pour une requête
quelconque.
140
Exercice / corrigé
a) L'atelier peut être assimile a un réseau de files d'attente

schématisé par la figure suivante :
141
Exercice / corrigé
b) La matrice de routage R du réseau de Jackson s'écrit :
1 / 5 2 / 5 2 / 5 0 
 
 0 1/ 5 0 4/5 
R
0 0 1 / 10 9 / 10 
 
 0 0 0 0 
 
et le vecteur l des taux effectifs d'arrivée dans les files est donné par
l'unique solution du système l = g + lR où g = (1 0 0 0) est le
vecteur des taux d'arrivée externes.
Après calcul, on trouve :
l = (5/4 5/8 5/9 1).
142
Exercice / corrigé
Le système est stable si et seulement si i = li/µi < 1  i = 1, …, 4,

ce qui est le cas comme le montre le calcul suivant :
5 2 1
1  .   1
4 5 2
5 1 5
2  .   1
8 2 16
5 2 10
3  .  1
9 3 27
2 2
 4  1.   1
5 5
143
Exercice / corrigé
c) Le système se comporte comme 4 files M/M/1 indépendantes

d'intensités 1, 2, 3, 4 et la distribution stationnaire du réseau
vaut donc :
p *  x1 , x2 , x3 , x4    1   j  j
4
xj
j 1
où xj dénote le nombre de pièces dans la machine j.
d) La machine critique est celle dont l'intensité du trafic  est

maximale, c'est à dire la machine M1.
144
Exercice / corrigé
e) Le nombre moyen de pièces N est la somme des Ni, où Ni = li

/(µi-li) est le nombre moyen de pièces pour la machine i. Or
après calcul, on trouve :
N1  1
5
N2 
11
10
N3 
17
2
N4 
3
145
Exercice / corrigé
4
En conséquence : N   Ni
i 1
Pour calculer le temps moyen nécessaire au traitement d'une pièce,

on utilise la formule de Little :
1520
T N
g 1  561 s
146

Chaines de Markov 4ème Année STI: Y. Hou

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chaines de Markov 4ème Année STI: Y. Hou

Transféré par

Droits d'auteur :

Formats disponibles

CHAINES DE MARKOV

4ème année STI

 Probabilité et Processus stochastique

 Probabilité & Processus stochastique

 Qu'est qu'un processus stochastique ?

 Qu'est qu'un processus stochastique ?

La variable Xt représente l’état du processus au temps t et

 à temps continu si l’ensemble T est non dénombrable

 Nous ne savons pas ce qui se produira à l'avenir, mais...

P [Xt+D ∈ I | Xu; 0 ≤ u ≤ t] = P [Xt+D ∈ I | Xt] ∀ D > 0.

Un processus stochastique vérifiant la propriété précédente est

• Chaînes de Markov homogènes à temps discret

Une chaîne de Markov à temps discret est homogène (dans le

P [Xn = j | Xn-1 = i] = P [Xn+k = j | Xn+k-1 = i] ∀ k ≥ 0.

Hypothèse : le terme chaîne de Markov (CM) = CM à temps discret,

• Probabilités et matrices de transition

Pour une chaîne de Markov homogène {Xn ; n = 0, 1, …} on a :

P [Xn = j | Xn-1=i] = P [X1 = j | X0=i] ∀ n ≥ 1.

On définit la probabilité de transition (en 1 étape) de i à j par

pij = P [X1 = j | X0 = i] ∀ (i; j) ∈ S2.

La probabilité pij est donc égale à la probabilité conditionnelle que le

• Probabilités et matrices de transition

Si la chaîne possède N = [S] états, les probabilités précédentes

 p0,0 p0,1  p0, N 1 

• Graphe représentatif (ou graphe de transitions)

• Un chemin est une suite de sommets telle que les

• Une composante fortement connexe d’un graphe est

• Probabilités et matrices de transition

Considérons une machine qui est soit en marche soit à l'arrêt. Si

Une matrice carrée P = (pij) est stochastique si

 ses éléments sont non négatifs : pij ≥ 0 pour tout i et j ;

Propriété. P est stochastique  P est une matrice de transition.

• Probabilités de transition en m étapes

p(m)ij = P [Xm = j | X0 = i] = P [Xn+m = j | Xn = i] n  1.

Cette probabilité est indépendante de n car le processus est

• Probabilités de transition en m étapes

Théorème 1.1 Pour tout m ≥ 0, la probabilité p(m)ij de

• États accessibles et communiquants

On définit sur l’ensemble V des sommets du graphe représentatif

(1) Remarque. Tout état j est accessible depuis lui-même. 25

• États accessibles et communiquants

On définit sur l’ensemble V des sommets du graphe représentatif

• États accessibles et communiquants

Propriétés. Si P dénote la matrice de transition de la chaîne,

• Classes et graphes réduits

• Classes et graphes réduits

• Si _1, …, _ dénotent les classes d’une chaîne de Markov, le

• Classification des classes et des états

 Une classe est persistante si elle correspond à un sommet sans

 Les états d’une classe persistante sont persistants ou

 Une classe persistante composée d’un seul état est absorbante

Propriété. L’état i est absorbant si et seulement si pii = 1 (on a

• Classification des Chaînes

 Une chaîne de Markov est irréductible si elle ne compte

 Une chaîne de Markov est absorbante si tous ses états

La période d de l’état i d’une chaîne de Markov est égale au plus

L’état i est périodique lorsque d > 1 et apériodique lorsque d = 1.

 Si pii > 0, l’état i est apériodique.

La période étant une propriété de classe, on parlera de classes et de

• Distribution des états d’une chaîne

Théorème 2.1 Soit P la matrice de transition d’une chaîne de

• Distributions invariantes et stationnaires

Théorème 2.2 Une chaîne de Markov possède toujours au moins