Vous êtes sur la page 1sur 233

Programme

1. Chaînes de Markov
1.1. Introductions aux processus Stochastiques
1.2. Définitions : Chaine d’ordre 1, probabilités de transition,
Matrice de transition, graphe associé
1.3. Relations de Chapman Kolmogorov
1.4. Vecteur d’états.
1.5. Classification des états : caractérisation des états persistants,
transitoires, périodiques
1.6. Etude du Comportement asymptomatique : cas des chaines
faiblement et fortement ergodiques
1.7. Etude des chaines absorbantes ;
1.8. Etude algébrique des chaînes de Markov
2. Processus de Markov
2.1.Chaines de Markov à temps continu : Introduction,
définitions, exemples
2.2. Equations de Kolmogorov et comportement transitoire
2.3. Comportement asymptotique dans le cas d'un
processus irréductible
2.4. Processus de Poisson
2.5. Processus de naissance et de mort

3. Files d'attente
Introduction, définitions, exemples
Etude de quelques systèmes de files d’attente : M/M/1,
M/M/1/N, M/M/c, M/M/c/N
Bibliographie

1. P. CHRETIENNE, R. FAURE : « Processus aléatoires


utilisés en Recherche opérationnelle »
2. W. FELLER : “An introduction to probability theory and its
applications”, Ed Wiley
3. J.M. HELARY, R. PEDRONO "TD et TP de recherche
opérationnelle"
4. J. KLEINROCK : "Queueing systems" Tome 1et 2 , Ed Wiley
5. ROSEAUX : "Exercices et problèmes résolus de recherche
opérationnelle, phénomènes aléatoires en RO" tome 2,
Masson 1993.
1. Chaînes de Markov
1.1. Introductions aux processus Stochastiques

L’étude des processus stochastiques a commencé au début du


20ème siècle grâce à un mathématicien Russe, Markov Andreï
Andreïevitch.

Son étude statistique du langage l’a conduit à formuler l’hypothèse


Markovienne, qui peut se résumer ainsi : « L’évolution future d’un
système ne dépend que de son état présent ».

Autrement dit, cette hypothèse implique que l’état courant du


système contient toute l’information apportée par le passé.
Exemple
On veut observer l’évolution de l’état d’une machine de production.
On peut constater 4 états possibles de la machine.

0 : Comme neuve
1 : Utilisable avec détérioration mineure
2 : Utilisable avec détérioration majeure
3 : Inutilisable

On pourra alors, spécifier les transitions entre les états d’une semaine à
l’autre

Une telle évolution est appelée chaîne de Markov


Définitions

Chaîne d’ordre 1

Processus de Markov du 1er ordre à temps discret où les états


Xn forment une suite d’indice {0,1,2,…}

Propriété de Markov :

P{ X n1  j | X n  i, X n1  in1, ..., X 0  i0 }  P{ X n1  j | X n  i }


Hypothèse de stationnarité : P{ X n 1  j | X n  i }  Pij

Probabilités de transition entre états : Pij  0, P


j 0
ij 1

Matrice des probabilités de transition P=[Pij]

m
Probabilités initiales :  i 0 ,  1
i 0
i
Dans notre exemple

états 0 1 2 3 
0   7 1 1
  0 8 16 16 
   
1  0 3 1 1
  P 4 8 8
   
0 1 1
2 0
   2 2
3  0 1 
 0 0
graphe associé

0
7/8
1/16
1/16

2 1/2
1/8
1/2
3
1
1/8
3/4 1
Relations de Chapman Kolmogorov

Probabilité de faire une transition en n sauts !

P  P{X nm  j | X m  i}, n, m  0, i, j  0


n
ij

Les équations de Chapman-Kolmogorov permettent des


« pauses » 
Pijn m   Pikn Pkjm , n, m  0, i, j  0
k 0

Dans notre exemple


• Quelle est la probabilité que la machine se trouve dans un état
inutilisable dans 2 semaines sachant qu’elle est comme neuve
cette semaine?
Vecteur d’états

Le vecteur d’états est le vecteur des probabilités que le système se


trouve dans les états possibles

Le vecteur d’états initial, noté π0 est le vecteur des probabilités que


le système se trouve dans les états possibles, à l’état initial.

Π0 = (p(X0=1), p(X0=2),…p(X0=k))

Le vecteur d’états à l’étape n, noté πn est le vecteur des


probabilités que le système se trouve dans les états possibles, à
l’étape n.

Πn = (p(Xn=1), p(Xn=2),…p(Xn=k))
Relation entre Πn et Π0

Par récurrence !

Π1 = (p(X1=1), p(X1=2),…p(X1=k))

Π1 = (σ𝑘𝑖=1 𝑝𝑖1p(X0=i), σ𝑘𝑖=1 𝑝𝑖2p(X0=i),…σ𝑘𝑖=1 𝑝𝑖𝑘 p(X0=i))

Ecriture matricielle!

Π1 = Π0 P
Relation entre Πn et Π0

Π2 = (p(X2=1), p(X2=2),…p(X2=k))
Π1 = (σ𝒌𝒊=𝟏 𝒑𝒊𝟏 p(X1=i), σ𝒌𝒊=𝟏 𝒑𝒊𝟐 p(X1=i),…σ𝒌𝒊=𝟏 𝒑𝒊𝒌 p(X1=i))

Ecriture matricielle!

Π 2 = Π1 P

Par récurrence !
Πn = Π0 Pn
Classification des états

• Un état j est accessible depuis l’état i soit si i=j , soit s’il


existe dans le graphe de la chaîne au moins un chemin de i à j.

• Si deux états i et j sont accessibles l ’un à partir de l ’autre,


on dit qu’ils communiquent.

• On dit alors qu’ils appartiennent à une composante


fortement connexe

On se propose d’étudier la relation « communiquer », notée ( ).


Exemple

Une machine peut se trouver dans 4 états d ’usure différente.


L ’état 1 correspond à une machine fonctionnant correctement ;
l ’état 4 à une machine inutilisable ; les états 2 et 3 dénotent des
stades de dégradation croissante. Les probabilités que la machine
se retrouve dans l ’état j un certain matin sachant qu’elle était
dans l ’état i la veille au matin sont résumées dans la matrice de
transition P.
0.95 0.04 0.01 0.00 
0.00 0.90 0.05 
0.05 
P
0.00 0.00 0.80 0.20 
 
1.00 0.00 0.00 0.00 
Graphe de transition G
0.95 0.80
0.01
1 3
1

0.04 0.20
0.05

2 4
0.05
0.90
Propriété :
Les états i et j communiquent (c’est-à-dire qu’il
est possible de passer de l’état i à l’état j et
inversement) si et seulement si :

il existe n≥0 et m≥0 tels que :

𝒑 𝒏𝒊𝒋 > 𝟎et 𝒑 𝒎


𝒋𝒊 >0
Résultats
• La relation communiquer (↔) est une relation d’équivalence

• les classes correspondent aux composantes fortement


connexes de G .

• Les états communiquent si et seulement s’ils appartiennent à


la même composante fortement connexe.

• On appelle « classes de la chaine » les classes


d’équivalence induites par la relation (↔) sur l’espace de
probabilités.
• L ’ensemble de ces composantes constituent une partition
du graphe et forme le graphe réduit.
Caractérisation des états

• Une classe est récurrente si elle correspond à un sommet


sans successeur dans le graphe des composantes connexes

• dans le cas contraire, elle est dite transitoire.

• Les états d’une classe récurrente sont récurrents.

• Les états d’une classe transitoire sont transitoires

• Une classe récurrente composée d’un seul état est absorbante


Propriétés

1. L’état i est dit absorbant si et seulement pii = 1

2. Une chaine de Markov est dite irréductible si elle ne compte


qu’une seule classe

3. elle est dite réductible dans le cas contraire.

4. Une chaine de Markov est irréductible si et seulement si


son graphe représentatif est fortement connexe
tous ses états communiquent
Période
La période de l'état d'une chaine de Markov est égale au plus
grand commun diviseur de tous les n pour lesquels :

𝒑 𝒏𝒊𝒊 > 𝟎

Remarque :

L'état est périodique lorsque d >1 et …

apériodique lorsque d=1

Propriété :

Si 𝒑 𝒊𝒊 >0 alors l’état est apériodique.


Considérons le graphe ci-dessous

1
6

2
3

5
4
Les classes de communication sont :
{1, 2,3} classe transitoire

{4,5} classe récurrente

{6} classe récurrente

Déterminons donc la période de chaque élément


pour l’état transitoire 1

pour aller de 1 à 1 on a :

• le chemin 1->2->3->1 qui est de longueur 3

• le chemin 1->3->1 qui est de longueur 2

etc.

Ces deux seuls chemins suffisent pour trouver la période de l’état 1

d(1) = PGCD(2,3) = 1
pour les états 4 et 5
On a :
• Le chemin 4->5->4
• Le chemin 5->4->5
Tous deux de longueur 2
d(4) = d(5) = PGCD(2,2) = 2

Ainsi la classe transitoire {1, 2,3} et la classe


récurrente {6} sont apériodiques tandis que la
classe récurrente {4,5} est périodique.
Etude du Comportement
asymptomatique
L’étude du comportement à long terme d’une
chaine de Markov cherche à répondre à des
questions diverses telles que:

• la distribution Πn converge-t-elle, lorsque n→∞?

• Si la distribution Πn converge lorsque n→∞,


quelle est la limite Π*?
• et cette limite Π* est-elle indépendante de
la distribution initialeΠ0
• Si l’état est persistant, quel est la proportion
du temps passé dans cet état et quel est le
nombre moyen de transitions entre deux
visites successives de cet état?

• Si l’état est transitoire, quel est le nombre


moyen de visites de cet état ?
Distribution invariante
Une distribution Π est dite invariante ou stationnaire
si …
Π= Π P
Propriétés :
1. Une chaine de Markov possède toujours au
moins une distribution invariante

2. Une chaine de Markov possède autant de


distributions invariantes linéairement
indépendantes que la multiplicité de la valeur
propre 1 de sa matrice de transition.
3. La distribution Πn des états d’une chaine de
Markov converge vers une distribution
(invariante) Π* indépendante de la distribution
initiale Π0 si et seulement si …

la suite des puissances de la matrice P de


transition de la chaine converge vers une matrice
P* (stochastique) …

dont toutes les lignes sont égales entre elles.

De plus, si tel est le cas, chaque ligne P* de est


égale à Π*
Exemple (chaîne de Markov à deux états)

On pense qu’un individu non endetté a une


possibilité sur 3 de devenir endetté. Un individu
endetté a une possibilité sur 6 de régler ses dettes.

On représente une chaîne de Markov avec une


matrice de transition.

Chaque rangée de la matrice correspond à un état


et donne la probabilité de passer à un autre état.
Dans le cas de notre individu endetté, la matrice
de transition est :
• Dans notre cas, supposons qu’à chaque
jour qui passe, la matrice de transition
s’applique.
• Si l’individu n’est pas endetté au départ, après
un jour il y aura une probabilité de 1/3 qu’il
soit endetté :
Après deux jours, il aura autant de possibilités
d’être endetté que de ne pas l’être :

Et ainsi de suite.

On se demande ce qui se passera après un très


long délai, un an par exemple?
On voit, par ces matrices, qu’après un an, 2 ans
ou 10 ans, un individu, qu’il débute avec une
dette ou sans dette, aura une probabilité de 2/3
d’être endetté
Chaînes ergodiques
Définition 1
Une chaîne de Markov est dite ergodique (ou
irréductible) si elle permet de passer de n’importe
quel état i à n’importe quel autre état j (mais pas
nécessairement en une seule étape).
Définition 2
Une chaîne de Markov est dite régulière s’il
existe une puissance Pk de P , dont tous les
éléments sont strictement positifs.

Une chaîne de Markov régulière est donc ergodique


Exemple (Modèle d’Ehrenfest)

Quatre boules sont réparties sur deux urnes. A chaque


étape du processus, une boule parmi les quatre est
choisie au hasard, de manière équiprobable et
changée d’urne. Soit Xk, le nombre de boules dans la
première urne après k tirages.
La suite des Xk forme une chaîne de Markov…
qui peut être représentée par le graphe suivant:
Sa matrice de transition est donnée par:
Commentaires
1. A partir de tout état, on peut trouver un chemin
vers tout autre état
2. La chaîne est donc ergodique
3. Cependant, si on part par exemple de l’état
« 0 », on se retrouvera dans l’un des états « 0 »,
« 2 » ou « 4 » seulement après un nombre pair
de tirages
4. La chaîne n’est donc pas régulière.

5. En effet 𝒑 𝒏𝒊𝒋 =0 dès que i+j+n est impair


𝑛
6. 𝑝 CVGE quand n →∞ ?
Théorème

Soit la matrice P d’une chaîne de Markov régulière.


Alors…
Exemple
On dispose de 2 machines identiques fonctionnant
indépendamment et pouvant tomber en panne au cours d’une
journée avec la probabilité q = 1/ 4 . On note Xn le nombre
de machines en panne au début de la nième journée.
a) On suppose que, si une machine est tombée en panne un
jour, elle est réparée la nuit suivante et qu’on ne peut
réparer qu’une machine dans la nuit. Montrer que l’on
peut définir ainsi une chaîne de Markov dont on
déterminera le graphe, la matrice de transition et
éventuellement les distributions stationnaires.
b) Même question en supposant qu’une machine en panne
n’est réparée que le lendemain, le réparateur ne pouvant
toujours réparer qu’une machine dans la journée.
Théorème :
Soit P la matrice de transition d’une chaîne de
Markov régulière et (𝜫)ij = π*j pour tout i. Alors…

1. π*P = π*, et tout vecteur propre à gauche de P est


colinéaire à π*
1
1
.
2. Soit c=
.
.
1
Alors P c= c, et tout vecteur propre à droite de P est
colinéaire à c
3. Si v = (v1,…,vk) un vecteur ligne tel que :
vi≥ 0 pour tout i et σ𝑘𝑖=1 𝑣𝑖 = 1 alors
lim 𝑣 𝑃𝑛= π*
𝑛→∞
Remarques :

1. Si la chaîne de Markov est ergodique mais non


régulière, la suite 𝑃𝑛des ne tend en général pas
vers une matrice constante. Par exemple, les
𝑃𝑛 peuvent osciller entre plusieurs valeurs.

2. Certaines propriétés du Théorème précédent


restent vraies pour les chaînes ergodiques
générales.
• Essayons de déterminer d'autres propriétés d'une
chaîne de Markov que son comportement
asymptotique.

• Une mesure importante est la fréquence moyenne


de passage dans les différents états de la chaîne.

Temps de premier passage et de récurrence


Définition
Soit une chaîne de Markov ergodique partant de X0 = i
• La variable aléatoire τij= inf{k>0:Xk=j} est
appelée temps de premier passage de i à j
• Son espérance mij = Ei(τij) est appelée temps
moyen de premier passage de i à j

• Par convention mii = 0


• La matrice M de composantes mij est la matrice
temps moyen de premier passage
• La variable aléatoire τii= inf{k>0:Xk=i} est
appelée temps de premier retour en i.
• Son espérance ri = Ei(τii) est appelée temps
moyen de récurrence en i
• La matrice diagonale D de composantes dii = ri
est la matrice récurrence moyenne.

Pb : Comment retrouver M et D?
Théorème :
Soit P La matrice de transition d’une chaîne
ergodique.
1. Soit C La matrice k*k dont tous les éléments
valent 1. Alors…
(I – P) M = C – D
2. Les composantes π*i de la distribution
stationnaire sont toutes strictement positives
3. Le temps de récurrence moyen est donné par :
ri = 1/π*i
Pb : (I – P) n’étant pas inversible, comment retrouver
M?
Théorème :
Soit P La matrice de transition d’une chaîne
ergodique, π* sa distribution stationnaire, et 𝜫 la
matrice dont toutes les lignes sont égales à π*
1. La matrice I – P +𝜫 est inversible.
2. Si on pose Z = (I – P +𝜫) -1 , alors…
Zc = c π* Z = π* Z (I – P ) = I - 𝜫
3. Les temps moyen de premier passage sont
𝑧𝑗𝑗 −𝑧𝑖𝑗
donnés par:𝑚𝑖𝑗 =
π∗𝑗
Etude des chaines absorbantes
Définition
Un état i ∈ X est dit absorbant si pii = 1 (et donc
nécessairement pij = 0 pour tout j ≠ i). Une chaîne
de Markov est dite absorbante s’il existe, pour
tout état de X , un état absorbant accessible depuis
cet état.

Dans ce qui suivra, nous allons considérer des


chaînes absorbantes avec r ≥1 états absorbants.
Exemple
Supposons le graphe représentatif de chaîne de
Markov suivant
1
3/4 1/2

1/2 3
2
1/4

1
Sa matrice de transition est donc :

1 1
0
2 2
P= 3 1
0
4 4
0 0 1
Nous conviendrons de numéroter les états de
manière à placer d’abord les q = N − r états non
absorbants, et ensuite les r états absorbants.

La matrice de transition prend alors la forme


canonique…,

𝑄 𝑅
P=
0 𝐼
• Q est une matrice de taille q × q
• R est une matrice de taille q × r
• 0 désigne la matrice nulle de taille r×q
• I la matrice identité de taille r.

On peut facilement montrer montrer par


récurrence que …
2 ]
Pn = 𝑄𝑛 [𝐼 + 𝑄 + 𝑄 + ˗1
⋯ 𝑄𝑛 𝑅
0 𝐼
Proposition:
Soit P la matrice de transition d’une chaîne de
Markov absorbante, écrite sous forme canonique.
Alors…
1. On a lim Qn = 0
𝑛→∞

2. La matrice I − Q est inversible, et son inverse


vaut

(I-Q)-1 = σ∞
𝑘=0 𝑄 𝑘
Nous noterons F la matrice [I − Q] −1 , et nous
l’appellerons la matrice fondamentale de la chaîne
0 𝐹𝑅
lim Pn =
𝑛→∞ 0 𝐼
Résultats
1. Si Qn tend vers zéro alors, la probabilité
d’absorption tend vers 1 lorsque le temps tend
vers l’infini.
2.La matrice B = F R devrait représenter les
probabilités de transition, dans la limite des temps
infinis, entre états non absorbants et absorbants.
Théorème
Soit F la matrice fondamentale d’une chaîne de
Markov absorbante…
1. L’élément de matrice fij de F est l’espérance du
nombre de passages en j partant de i
2. Soit τ = inf{n > 1: Xn > q} la variable aléatoire
donnant le temps jusqu’à absorption. Alors…
Ei (τ) =
3. Les éléments bik de la matrice de B = F R donnent
les probabilités d’être absorbés dans les différents
états :
bik = Pi (Xτ = k)
Reprenons notre exemple

R
Etude algébrique des chaînes de Markov
la décomposition spectrale de la matrice de transition
L’approche alternative algébrique au comportement
limite des chaînes de Markov est utile pour mieux
comprendre l’ergodicité, ainsi que pour examiner la
vitesse de convergence vers la distribution limite
Lemme :
a)
• Supposons qu’une matrice A satisfait A = CΛL
où Λ = diag(λi) est une matrice diagonale.
• Soit ci les colonnes de C, et li les lignes de L.
Alors, on a une décomposition en matrices de
rang 1 :𝐴 = σ𝑖 λ𝑖 𝑐𝑖 𝑙𝑖
b)
Soit une matrice A de dimension n ayant un
ensemble de n vecteurs propres à droite indépendants
di, et donc aussi un ensemble de n vecteurs propres à
gauche indépendants g′i, calculés en prenant les
lignes de la matrice G = D−1, où D = (d1 | d2 | ... dn)
Alors, la décomposition spectrale A = DDiag(λi)D−1
= DDiag(λi)G peut être aussi écrite comme :

𝐴 = ෍ λ𝑖 𝑑𝑖 𝑔𝑖
𝑖
Le calcul de la limite des matrice des transitions
à l’infini
Le calcul de lim π0Pn= π0 P
n→∞
est facile à obtenir via une approche complètement
algébrique, en utilisant :

1. le théorème de Perron-Frobenius.

2. La décomposition spectrale
Théorème de Perron-Frobenius
Définition
Une matrice carrée positive A est dite primitive s’il
existe k > 0 tel que Ak > 0, i.e. A(k) ij > 0 pour tout i,
j.
Théorème
Soit A une matrice positive et primitive. Alors il
existe une valeur propre r telle que
1. r est réelle et strictement positive, r > 0 ;
2. à r sont associés des vecteurs propres à gauche et
à droite strictement positifs ;
3. r > |λ| pour toute valeur propre λ ≠ r.
4. les vecteurs propres associés à r sont uniques à
une constante multiplicative près.
pour les matrices stochastiques P …

(a) 1 est la valeur propre PF (réelle, maximale)

(b) dans l’absence des classes périodiques, toutes


les autres valeurs propres sont strictement
inférieures à 1 en valeur absolue (ou en module).
Exemples

1 0,5
X1 X2

X4 X3

0,5 0,5 0 0

P= 0 0 1 0
0 0 0 1
1 0 0 0
Les valeurs propres de la matrice P sont :
λ1 =1;
λ2 = 0.119492+0.813835i;
λ3 = 0.119492−0.813835i;
λ4 = −0.738984
Nous remarquons ici que la chaînes ne possède
effectivement pas de classes périodiques
Donc il existe 1 valeur propre réelle égale à 1;c’est
la valeur propre PF ;
Toutes les autres valeurs propres sont inférieures en
module à la λPF.
2 X1 X2

X3
X4

0 1 0 0

P= 0 0 1 0
0 0 0 1
1 0 0 0
Les valeurs propres de la matrice P sont :
λ1 =1;
λ2 = -1;
λ3 = i;
λ4 = - i.
Nous remarquons ici que la chaînes possède une
classe périodique de période 4.
il existe 1 valeur propre réelle égale à 1;c’est la
valeur propre PF mais elle peut ne pas être unique
en module ou en valeur absolue;
Effectivement, toutes les autres valeurs propres sont
égales en module à la λPF.
La décomposition spectrale
Soit Λ la matrice diagonale des valeurs propres, et
soit V une matrice ayant les vecteurs propres à
droite vi comme colonnes.

la diagonalisation nous permet d’écrire :

PV = V Λ ⇔ P = V ΛV −1

Et donc …
P = V ΛΠ
où Π = V −1 et une matrice dont les lignes πi sont
des vecteurs propres à gauche

La représentation de P s’écrit aussi comme :

𝑃 = ෍ λ𝑖 𝑣𝑖 π𝑖
𝑖
Remarque :
Cette représentation nous permet d’écrire une matrice
arbitraire comme somme de n matrices de rang 1.
n 𝑛
𝑃𝑛 = V Λ Π = ෍ λ 𝑖 𝑣𝑖 π𝑖
𝑖
La convergence peut avoir lieu seulement dans
l’absence des valeurs propres λi ≠λPF tq |λi| = λPF
(c-à-d., de périodicités).

On peut écrire que :


𝑅

𝑃𝑛 → 𝑃 = ෍ 𝑣𝑖 π𝑖 = V Π
𝑖

R est le nb des classes récurrentes;


V Π sont les matrices ayant vi et πi comme colonnes
et lignes, respectivement
Exemple
3 𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐

𝟏 𝟏 𝟏
𝟎 𝟎
𝟐 𝟒 𝟒
P= 𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐
𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐
𝟏 𝟑
𝟎 𝟎 𝟎
𝟒 𝟒

Les valeurs propres de la matrice P sont :


1 , 1 , 1/2 , 1/4 , 0
De ce fait, nous trouvons une infinité de distributions
invariantes générées par deux vecteurs linéairement
indépendants

par exemple (1/2, 0, 1/2, 0, 0) et (0, 0, 0, 1/3 , 2/3).

La distribution stationnaire n’étant pas unique, elle


n’existe pas!

Pas de convergence vers l’état stationnaire.


Remarque
• Cette chaîne présente des “anomalies”, qu’on peut
percevoir en examinant le graphe de
communication de la chaîne

afin d’apercevoir la structure de la chaîne et de


calculer plus facilement Pn…

il peut être intéressant de renuméroter les états en


sorte que des états qui conduisent l’un `a l’autre
soient groupés ensemble.
Dans notre exemple, si on échange les états e2 et e3,
on obtient, après réarrangement des éléments dans
l’ordre 1, 3, 2, 4, 5, la matrice de transition :
𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐

𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐
P= 𝟏 𝟏 𝟏
𝟎 𝟎
𝟐 𝟒 𝟒
𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐
𝟏 𝟑
𝟎 𝟎 𝟎
𝟒 𝟒
La matrice P a la structure :
𝑨 𝟎
P=
𝟎 𝑩
Avec : 𝟏 𝟏 𝟏 𝟏 𝟏
𝟐 𝟐 𝟐 𝟒 𝟒
A= B= 𝟏 𝟏
𝟏 𝟏 𝟎
𝟐 𝟐
𝟐 𝟐 𝟏 𝟑
𝟎
ou encore 𝟒 𝟒

𝑨 𝟎 𝟎
P= 𝟎 𝑩𝟏 𝑩𝟏, 𝟐
𝟎 𝟎 𝑩𝟐
Remarques
1. il existe un élément “transitoire” 2 (qu’on peut
quitter sans retour pour toujours)
2. le graphe associé à la chaîne de Markov
comprend deux classes récurrentes : (1, 3) et ( 4, 5)
qui ne communiquent pas et la matrice de
transition a une structure block diagonale, appelée
“réductibilité” en probabilités.
La réductibilité se traduit par une structure de
matrice à ”blocs”,
Ceci nous permet de traiter (1, 3) et (4, 5)
séparément.
3. Remarquons aussi que l’ordre de multiplicité de
λPF =1 est égal au nombre de classes récurrentes
Théorème
1. La multiplicité de la valeur propre 1 est égale au
nombre R des classes récurrentes.
2. Les vecteurs propres à gauche/droite correspondant
à une classe récurrente r sont respectivement de la
forme πr1r, où πr est la distribution stationnaire de la
classe r (complété en suite par des 0 en multipliant par
1r), et vr = (ar, 1r), où ar dénote le vecteur des
probabilités d’adsorption dans la classe r.
3. P = limn→∞ Pn existe ssi la matrice P n’a pas des
valeurs propres avec |λ| = 1 à λPF = 1
Corollaire
1. La distribution stationnaire est unique ssi la valeur
propre de Perron-Frobenius λ = 1 est de multiplicité 1.

2. Une chaîne de Markov est ergodique, c-à-d.Pn ⇒ 1π


ssi les deux conditions ci-dessous sont vérifiées.

a)La valeur propre de Perron-Frobenius λ = 1


est de multiplicité 1

b ) la matrice P n’a pas des valeurs propres


avec |λ| = 1 `a part la valeur propre de Perron-
Frobenius λPF = 1
Résultats
1- l’étude de l’existence et l’unicité de distributions à
la longue, et l’étude du comportement asymptotique
de Pn, peuvent être abordés algébriquement.

2 - Il convient quand-même de nous intéresser aussi


aux cas général où nous sommes en présence de
plusieurs classes récurrentes.
Reprenons notre exemple

𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐

𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐
P= 𝟏 𝟏 𝟏
𝟎 𝟎
𝟐 𝟒 𝟒
𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐
𝟏 𝟑
𝟎 𝟎 𝟎
𝟒 𝟒
𝑨 𝟎 𝟎
P= 𝟎 𝑩𝟏 𝑩𝟏, 𝟐
𝟎 𝟎 𝑩𝟐

Par récurrence :
𝐀𝐧 𝟎 𝟎
Pn = 𝟎 𝐁𝐧𝟏 𝐁𝟏, 𝟐(𝐧)
𝟎 𝟎 𝐁𝐧𝟐
Remarques
1. on peut étudier les trois chaînes correspondant
aux matrices A, B1 et B2 séparément.
2.la matrice B1 contient les probabilités de
transition entre les éléments transitoires

3. B1 est appelée aussi projection de la matrice P


sur la réunion des classes transitoires

4. elle est une matrice sous-stochastique


Définition de la matrice sous-stochastique
Une matrice Q s’appelle sous-stochastique si la
somme des éléments de chaque ligne est ≤ 1, avec
inégalité stricte dans au moins une ligne.
Théorème
Toutes les valeurs propres d’une matrice sous-
stochastique Q ont valeurs absolues strictement
inferieurs `a 1. Par conséquent….
lim 𝑄 𝑛 = 0
𝑛→∞
la limite des probabilités de transition entre les
états transitoires est 0.
Pour notre exemple :
𝑛
lim 𝐵1 =0
𝑛→∞
1 1
2 2
lim 𝐴𝑛 = 1 1
𝑛→∞
2 2

1 2
𝑛 3 3
lim 𝐵2 = 1 2
𝑛→∞
3 3
𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐

𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐
lim 𝑃𝑛 = 𝟎 𝟎 𝟎 𝒙𝟏 𝒙𝟐
𝑛→∞
𝟏 𝟐
𝟎 𝟎 𝟎
𝟑 𝟑
𝟏 𝟐
𝟎 𝟎 𝟎
𝟑 𝟑
Il reste encore à déterminer x1, x2!
Pour cela, on se servira du lemme suivant
Lemme
Etant donné i un état transitoire et j un état récurrent et.
a)pi(j),
Ƹ la probabilité de finir dans la classe de
récurrence de j à partir de l’élément transitoire i;
b) π(j) la probabilité stationnaire que la chaîne soit
observée dans l’état j ,
Alors…
limn→∞Pn(i, j) = pi(jƸ ) π(j)
Donc, dans notre cas,…
On veut retrouver les probabilités d’absorption du
seul état transitoire « 2 » par les états « 4 » et « 5 »; à
savoir x1 et x2

Comme la probabilité que l’état « 2 » soit absorbé par


la classe {4,5} est égale à 1:
X1 = 1/3
X2 = 2/3
On aura donc

𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐

𝟏 𝟏
𝟎 𝟎 𝟎
𝟐 𝟐
lim 𝑃𝑛 = 𝟎 𝟎 𝟎
𝟏 𝟐
𝑛→∞ 𝟑 𝟑
𝟏 𝟐
𝟎 𝟎 𝟎
𝟑 𝟑
𝟏 𝟐
𝟎 𝟎 𝟎
𝟑 𝟑
La structure probabiliste de la matrice de
distributions à la longue
En général, une matrice de transition peut être écrite
sous la forme:

𝐐𝐭 𝐓𝟏 𝐓𝟐 … 𝐓𝐈

𝟎 𝐏𝟏 𝟎 … 𝟎
P=
𝟎 𝟎 𝐏𝟐 … 𝟎
… … … … ….
𝟎 𝟎 𝟎 𝟎 𝐏𝐈
avec Pi, i = 1, ..., I étant les projections de la matrice
P sur les classes récurrentes, et Qt étant la projection
de la matrice P sur les classes transitoires. Il est
facile de vérifier que la puissance Pn est de la forme :
𝐐𝐧𝐭 𝐓𝟏, 𝐧 𝐓𝟐, 𝐧 … 𝐓𝐈, 𝐧

𝟎 𝐏𝐧𝟏 𝟎 … 𝟎
P=
𝟎 𝟎 𝐏𝐧𝟐 … 𝟎
… … … … ….
𝟎 𝟎 𝟎 𝟎 𝐏𝐧𝐈
Cette formule de décomposition traduit les résultats
suivants :
1. Les classes récurrentes ”ne savent” pas du tout
qu’il existe un ”monde extérieur” ; par conséquent,
la projection Pi de la matrice P sur une classe
récurrente i est elle même une matrice stochastique
et la projection de la puissance Pn sur la classe i est
précisément Pni ; ce calcul peut être effectué en
ignorant le reste des éléments. Ceci reste vrai pour
les probabilités de transition Qn(i, j) entre i et j
transitoires, c.-`a-d, laprojection de la puissance Pn
sur les classes transitoires est précisément Qn et peut
être donc aussi calculée en ignorant le reste des
2. Les probabilités Pn(i, j) pour i, j récurrentes, mais
dans des classes différentes sont toujours 0 (comme
pour n = 1) et alors la limite est aussi 0. Ceci reste
vrai pour les probabilités Pn(i, j) pour i récurrentes
et j transitoires.

3. La limite de Qn sera toujours 0, parce que la


matrice Q est sous-stochastique, et les limites de
Pni seront données par le théorème ergodique.
En conclusion, si la limite P existe, elle est de la
forme :

𝐐𝐧𝐭 𝐗𝟏 𝐗𝟐 … 𝐗𝐈

𝟎 𝜫𝟏 𝟎 … 𝟎
P=
𝟎 𝟎 𝜫𝟐 … 𝟎
… … … … ….
𝟎 𝟎 𝟎 𝟎 𝜫𝐈

Conclusion : On voit que la connaissance de la


structure du graphe de communication simplifie
considérablement le problème du calcul de la
limite P.
2. Processus de Markov
2.1.Chaines de Markov à temps continu

Introduction

Dans le chapitre précédent sur les chaînes de


Markov, les moments (temps) étaient discrets
(t = 0,1, … ).

Nous allons essayer d’analyser des situations où


les observations se font de façon continue plutôt
qu'à des moments discrets.
Formulation
M + 1 états mutuellement exclusifs : 0, 1, …, M
L'analyse débute au temps 0 et le temps s'écoule
de façon continue
X (t)= état du système au temps : 0,1, … , M
X (t) ∈ {0, 1, …, M}
Les points de changement d'états t1, t2, t3 sont
des points aléatoires dans le temps (pas
nécessairement entiers):
0 t1 t2 t3 …

X(0) X(1) X(2)


Considérons trois points consécutifs dans le temps
où il y a eu changement d'états:
• r (r ≥ 0) temps passé;

• s (s>r) temps courant (actuel);

• s+t (t ≥0) t unités de temps dans le futur


Supposons que et que X (s )= i et que X (r ) = l
avec i, l ∈ {0,… , M} .
L'évaluation de P(X(s+t)=j/X(s)=i et X(r)=l) j=0,…, M
est facilité par la propriété de Markov (i.e., sans
mémoire).
Définition

Un processus stochastique en temps continu {X(t) ;t ≥ 0}


a la propriété de Markov si…

P (X(s+t)= j/X(s)=i,X(r)=l) = P (X (s +t )=j / X (s)= i)


∀i ,j, l ∈ {0,… , M} ∀ r ≥0, s >r, t >0

Le processus stochastique est alors une chaîne de


Markov en temps continu
Les probabilités P (X (s +t )=j / X (s)= i) sont des
probabilités de transition similaires à celles que
nous avions en temps discret.
Les probabilités de transition sont stationnaires
puisqu'elles sont indépendantes de s
P (X (s+t)=j / X(s)= i) = P (X (t)=j / X (0)= i) ∀ s >0

Par analogie au cas discret:

Pij(t) = P (X (t)=j / X (0)= i)

Pij(t) dénote la fonction de probabilité de transition


en temps continu
Exemples
1
On considère l'évolution de la population d'une
bactérie dans un tube, suivant les conditions
suivantes :
1.Toute bactérie, indépendamment des autres et
indépendamment du passé, peut se diviser en deux
avec la probabilité dans l'intervalle de
temps .
2.Les bactéries ne meurent jamais.
3.A l'instant 0, il y a une seule bactérie dans le
tube.
Considérons un atome radioactif (par exemple un
atome d'uranium) qui peut se transformer en émettant
des particules (ou rayon gamma) en un autre atome.
Les différents atomes représentent les états du
système, et l'évolution du processus est considérée
comme une suite de transitions :

Suivant des théories physiques, la probabilité d'une


transition , pendant l'intervalle de temps ,
reste la même aussi longtemps que l'atome reste dans
le même état . On pose le taux de transition
de vers .
Notations
On pose :

• pij(t) = P(X(t+s) = y/X(s) = x) = P(X(t) = y/X(0)= x)

• P(t) =(pi,j(t)) i,j∈ {0,…,M} la matrice de


transition associée au processus de Markov :
Noyau de transition
• π (t) = PX(t) vecteur ligne de composantes
πi(t) = P(X(t) = i)
Propriétés :
a) P(t) est une matrice stochastique, i.e. pij(t) ≥ 0
etσ𝑗 pij(t) = 1 pour tout i.

b) Pour tout s et pour tout t, P(s + t) = P(s)P(t).


Par analogie au cas discret, Les noyaux de transition
Pt obéissent à l´équation de Chapman-Kolmogorov :

𝑴
σ
pij (t+s) = 𝒌=𝟎 𝒑𝒊𝒌 𝒕 𝒑𝒌𝒋(𝒔)

c) Pour tout s et pour tout t, π (s + t) = π (s)P(t).


2.2. Equations de Kolmogorov et comportement
transitoire
Contrairement à ce qui se passe pour les chaînes de
Markov à temps discret, on ne dispose pas ici d’un
historique complet du processus : on l’observe à
certains instants dans le temps, choisis aussi
nombreux que l’on veut et répartis comme on veut
mais la notion d’ « unité de temps» n’a plus de
sens ici et la matrice P = P(1) ne permet pas de
déterminer P(t) pour tout t.

L’idée est alors de considérer P(s) lorsque s → 0.


P(t + s) = P(t)P(s) = P(s)P(t)
P(0) = I
P(t + s) − P(t) P(s) − I P(s) − I
= P(t) = P(t)
s s s

Sous réserve d’existence des limites,


P(s) − I
si on pose A = lim = 𝑃′(0)
𝑠→0 s
on a alors : P′(t) = P(t)A = AP(t) et P(0) = I.
Cette équation différentielle matricielle admet
l’unique solution
tn
P(t) = etA= σ+∞
n=0 n! An

Définition
La matrice A est appelée le générateur infinitésimal
du processus ou matrice de sauts, de la chaîne de
Markov en temps continu.
On pose A = (aij)i,j∈ {0,… , M}.
Ainsi
pij(s) −δij
aij= lim
𝑠→0 s
• Si i ≠ j, aij ≥ 0 et pij(t) = aijt + o(t)
Si la chaîne est dans l’état i initialement, la probabilité
qu’elle soit dans l’état j à l’instant s est environ aijt,
avec t “petit”

Le nombre aij est alors appelé taux de transition


instantané de l’état i vers l’état j.
• Si i = j, aii ≤ 0 et pii(t) = 1+aiit + o(t)
Si la chaîne est dans l’état i initialement, la probabilité
qu’elle l’ait quitté à l’instant t est environ −aiit.

Le coefficient positif −aii est le taux instantané de


départ de l’état i.
Par ailleurs, pour tout i fixé et pour tout t ≥ 0, la
somme des pij (t) vaut1.

1 = σ𝑗 pij(t) = 1 + (aii+ σ𝑗≠𝑖 aij)t + o(t)

• pour tout i ∈ {0,… , M} , aii = - σ𝑗≠𝑖 aij


Résultat
la somme de chaque ligne de A est nulle. Résultat à
ne pas confondre avec celui concernant les matrices
de transition P(t), pour lesquelles la somme sur
chaque ligne vaut 1.

Concrètement, la somme des taux de transition de


l’état i vers l’ensemble des autres états j est égale au
taux de départ de l’état i.

La relation précédente n’est bien sûr valable que si


la série σ𝑗≠𝑖 pij est convergente, ce que nous
supposons dans la suite.
Remarques

• L’existence de l’exponentielle d’une matrice ne


pose aucun problème lorsque celle-ci est de taille
finie.

• On peut aussi la justifier lorsque A est de taille


infinie, du moins sous certaines conditions qui
seront vérifiées dans les situations qui vont nous
intéresser par la suite.
Propriétés

1. Si A est diagonale, à coefficients diagonaux λ0, λ1,


. . . , alors eA est diagonale, à coefficients diagonaux
eλ0 , eλ1 , . . .

2. Si A est diagonalisable, sous la forme A = QΛQ−1 ,


alors e A = QeΛQ−1

3. Si A et B sont deux matrices telles que AB = BA,


alors : e A+B = eA eB = eB eA.
Exemple
−1 1
On considère la matrice A=
1 −1
Grâce à trois méthodes différentes :
1.En calculant directement les puissances successives
An ;
2.En diagonalisant A ;
3.En remarquant que A = U − 2I, où U est la matrice
uniquement composée de 1, montrer qu’on obtient
pour son exponentielle :

1 + e −2 1 − e −2
e A= ½
1 − e −2 1 + e −2
Loi (Distribution) de Xt
Corollaire
La loi à la date t de la chaîne de Markov en temps
continu (Xt)t≥0, de loi initiale µ et de générateur
infinitésimal A, est donnée par : p(t) = µetA.
Exemple
Le fonctionnement d’une machine est modélisé par
un processus de sauts à 2 états, 0 (panne) ou 1 (bon
état de fonctionnement), de générateur :
−1 1
A=
1 −1
Supposons qu’à l’instant initial la machine est en
bon état de fonctionnement, c’est-à-dire que : µ =
[P(X0 = 0), P(X0 = 1)] = [0, 1],
alors à l’instant t, la loi du processus p(t) = [P(Xt =
0), P(Xt = 1)] donne la probabilité que la machine
soit en panne ou bon état de fonctionnement et vaut,
en remplaçant A par tA dans l’exemple ci-dessus :

1 + e −2t 1 − e −2t
p(t) = µetA = [0, 1]½ =
1 − e −2t 1 + e −2t
½ [1 − e −2t , 1 + e −2t ]
Distribution asymptotique
• l’étude en temps long de (Xt)t≥0 est souvent
suffisante pour comprendre le comportement du
processus. On se pose donc les questions : a-t-on
convergence de (pt)t≥0 vers une loi limite π
lorsque le temps t tend vers l’infini ?
On commence par un résultat qui permet de
comprendre le lien entre générateur infinitésimal et
communication entre états. Considérons par exemple
que le processus est initialement dans l’état i. Deux
questions se posent :
1. que va-t-il se passer ?
2. dans combien de temps ?
Proposition
(Temps de séjour dans un état)
Soit (Xt)t≥0 une chaîne de Markov en temps
continu, de générateur infinitésimal A.

1. Le temps de séjour dans l’état i suit une loi


exponentielle de paramètre - aii= σ𝑗≠𝑖 pij

2. De plus, lorsqu’il quitte l’état i, le processus


se retrouve dans l’état j0 avec probabilité :
aij𝑂 aij𝑂
σ𝑗≠𝑖 pij
=-
aii
Exemple
On considère un processus de Markov sur un espace
à 4 états E = {1, 2, 3, 4}, de générateur infinitésimal :
−5 2 3 0
4 −7 0 3
A=
0 0 −4 4
0 6 0 −6
Si on est initialement dans l’état 1,
• on le quitte au bout d’un temps qui suit une loi
exponentielle ɛ(5)
• on va vers l’état 2 avec probabilité 2/5

• vers l’état 3 avec probabilité 3/5


Supposons qu’on aille dans l’état 3 :

• on va y rester pour une durée aléatoire de loi


exponentielle ɛ(4)

• pour entrer alors nécessairement dans l’état 4, etc.

Ainsi de l’état i, on a une probabilité non nulle


d’aller vers tout état j tel que aij > 0

Ceci justifie la représentation du processus sous


forme de graphe.
Graphe des transitions instantanées
On représente les transitions possibles d’une chaîne
de Markov en temps continu grâce à un graphe de
transition.

ce graphe est construit à partir du générateur


infinitésimal
Il y a une flèche entre i et j si aij > 0

La flèche entre i et j sera éventuellement étiquetée aij


Pour notre exemple:

Le graphe de transition associé au générateur A est

3
1 3
2 4 4
3
2 4
6
Etats communicants, Processus irréductible
Définition
On dit que i communique avec j et on note i → j s’il
existe une suite d’indices i0 = i, i1, . . . , in = j
telle que : ∀k ∈ {0, . . . , n − 1} aik,ik+1 > 0.

Autrement dit, sur le graphe de transition, on peut


aller de i à j en un certain nombre d’étapes

• Si tous les états communiquent entre eux, on dit


que le processus est irréductible.
Pour notre exemple:

Le graphe de transition associé au générateur A est

3
1 3
2 4 4
3
2 4
6
Ici, tous les états communiquent entre eux

Le processus est donc irréductible


Limite des probabilités de transition
Théorème
Si la chaîne de Markov à temps continu (Xt)t≥0 est
irréductible, alors il existe une unique limite
π= [π 0, π 1, . . . ] telle que :

pij(t) → πj
∀(i, j) ∈ N²
t→+∞
De plus, soit f : E → R n, une fonction bornée, ou
positive, alors on a :
1 𝑇 𝑝𝑠
න 𝑓 𝑋𝑡 𝑑𝑡 → ෍ 𝑓(𝑗)𝜋𝑗
𝑇 0 𝑡→∞
j ∈ {0,… , M}
Loi (Distribution) stationnaire)
Définition
Le vecteur de probabilité π= [π0, π1, . . . ] est appelé
loi stationnaire, ou loi d’équilibre, du processus si :

∀t ≥ 0 π P(t) = π

En particulier, si la loi initiale du processus est μ = π ,


la loi du processus à tout instant est encore π . On dit
alors qu’on est à l’équilibre.
Dans le cas irréductible, on a convergence de la
fonction matricielle t → P(t) :

P(t) → 𝜫
t→+∞

𝜫 est la matrice dont toutes les lignes sont égales à


au vecteur ligne π.
Loi stationnaire et convergence en loi
Proposition
Soit (Xt)t≥0 un processus irréductible. Alors, s’il
admet une loi stationnaire π , celle-ci est unique.

De plus, pour toute loi initiale μ de X0, on a


convergence de la loi de Xt vers :

μP(t) → π
t→+∞
Remarque
En général, il est déjà difficile de calculer P(t)

Donc, pour savoir si un processus admet une loi


stationnaire, on ne va pas chercher un vecteur π tel
que π P(t) = π pour tout t ≥ 0

on va essayer trouver π à partir de la matrice de


sauts A puisque Le processus est souvent défini par
celle-ci

En effet, passant à la limite en t dans l’équation


P′(t) = AP(t), on obtient :
P′(t) → A 𝜫 = 0
t→+∞
le vecteur est solution du système d’équations :
πA=0
Proposition Loi stationnaire et matrice de sauts
Le processus admet pour loi stationnaire si et
seulement si est solution du système linéaire :
πA=0
൞෍ πj = 1
𝑗
Remarques
1.Pour savoir si on est dans la situation d’un
processus irréductible, le plus commode est en
général de résoudre le système d’équations πA = 0
et de voir s’il admet une solution non nulle.
2. Si la seule solution est le vecteur nul, on est dans
le cas transitoire.
Proposition

Soit (Xt)t≥0 une chaîne de Markov à temps continu


irréductible sur un espace d’états fini, alors il existe
une unique loi stationnaire π.
Reprenons l’exemple de générateur infinitésimal :

−5 2 3 0
4 −7 0 3
A=
0 0 −4 4
0 6 0 −6

(π1,π2,π3,π4) A = 0

π1+π2+π3+π4= 1
π =(8/33 , 10/33 , 6/33 , 9/33)
Remarques
• La proportion du temps passé dans l’état i tend
vers πi lorsque le temps croît vers l’infini.
• En particulier, si le processus est transitoire, la
proportion de temps passé dans chaque état tend
vers zéro.

• Cette interprétation du vecteur limite d’un


processus irréductible (qu’il soit transitoire ou
récurrent positif) se généralise à un espace d’états
quelconque.
2.4. Processus de Poisson
Introduction
De nombreux phénomènes aléatoires se manifestent
par des « arrivées » survenant une par une à des
instants aléatoires successifs.
Exemples
• Arrivées d’appels à un central téléphonique ;
• Impacts de micrométéorites sur un satellite ;
• Passage de véhicules à un péage d’autoroute ;
• Arrivées de clients à un guichet;
• Pannes de machines dans une usine...
De tels phénomènes peuvent se définir par la famille
(An) n∈IN* des temps d’arrivées qui sont des variables
aléatoires…

Mais on peut aussi le faire à partir du processus de


comptage (Nt) t∈IR+,

Ou par la famille (Tn) n∈IN* des intervalles de temps


entre deux arrivées.
Nt est le nombre d’événements apparus jusqu’à
l’instant t.

Nt+u - Nu est le nombre d’événements apparus


entre les instants u et u + t.
L’espace des états du processus (Nt)t∈IR+ est E = IN

L’espace des temps est T = IR+.

Le processus qui modélise convenablement les


exemples cités est le processus de Poisson
•On conviendra que N0 = 0.
•On note :
An l’instant de réalisation du nième événement ;
Tn la durée séparant le (n - 1)ième événement du
nième événement pour n≥2 et T1 = A1.
•On a :
An = T1 + T2 +··· + Tn pour tout n∈ IN*
T1 = A1 et Tn = An - An-1 pour tout n ≥ 2.
Ainsi, la connaissance de la famille (An)n∈IN*
équivaut à celle de la famille (Tn) n∈IN* .
•D’autre part
An ≤ t signifie que le nième événement a eu lieu à
l’instant t ou avant;

A l’instant t, au moins n événements ont eu lieu,


c’est-`a-dire que Nt ≥ n.
•Ainsi
FAn (t) = P (An≤t) = P (Nt≥n) = 1-

P (Nt=n) =P(Nt≥n)-P (Nt≥n + 1)= P (An≤t)-P (An+1≤t)


Définitions
•Soit (Nt)t∈IR+ un processus aléatoire à valeurs dans
IN tel que N0 = 0.

1.Le processus (Nt)t∈IR+ est appelé processus de


comptage si c’est un processus croissant, c’est-`a-
dire si pour tout s≤t, Ns≤Nt. La variable aléatoire
Nt-Ns est alors appelée accroissement du
processus sur ]s, t].
2. Un processus de comptage (Nt)t∈IR+ est appelé
processus à accroissements indépendants si pour
tout n ∈ IN* et pour tous t1,···,tn tels que t1<t2···<
tn, les accroissements Nt1- N0, Nt2- Nt1,···,
Ntn- Ntn-1 sont des variables aléatoires
indépendantes.

3. Le processus est dit stationnaire (ou homogène


dans le temps), si pour tout s et pour tout t,
l’accroissement Nt+s - Ns a la même loi que Nt.
4.Un processus à accroissements indépendants
stationnaire (Nt)t∈IR+ est dit à événements rares si

5. Un processus de comptage (Nt)t∈IR+tel que N0 = 0


est un processus de Poisson si
C1 : (Nt)t∈IR+ est stationnaire
C2 : (Nt)t∈IR+ est un processus à accroissements
indépendants ;
C3 : (Nt)t∈IR+est un processus à événements rares .
Propriété
Un processus de comptage (Nt)t∈IR+ tel que N0 = 0 est
un processus de Poisson si et seulement si :
C1 : (Nt)t∈IR+ vest stationnaire ;
C2 : (Nt)t∈IR+ est un processus `a accroissements
indépendants ;
C3’ : il existe λ > 0 tel que, pour tout t≥ 0, la variable
aléatoire Nt suive la loi de Poisson de paramètre λt.

Le nom donné au processus de Poisson s’explique


par cette dernière proposition
Exemple
Les admissions à l’urgence d’un hôpital se font
selon un processus de Poisson (ici, l’événement est
l’arrivée d’un patient). Nous savons qu’en moyenne
un patient se présente à l’urgence toutes les 12
minutes.
Modélisons cette situation : nous commençons
l’observation du processus à de partir 7 heures du
matin, aujourd’hui. Le temps sera exprimé en
heures.
•N (t) = le nombre de patients s’étant présentés à
l’urgence au temps t depuis le moment où nous
avons commencé l’observation du processus.
Caractérisation d’un processus de Poisson par
ses temps d’arrivée
Soit An l’instant de la nième arrivée :
An = inf{t≥0 ; Nt =n}
Soit Tn le nième temps d’attente pour n ∈ IN* :
Tn = An - An-1
En convenant A0 = 0… Alors
An =
Et…
Nt =max{n≥0 ; An≤t}
fAn(t) =

Théorème
(Nt) t∈IR+ est un processus de Poisson de paramètre λ
si et seulement si les variables aléatoires Tn sont
indépendantes de même loi exponentielle ɛ(λ) (de
densité fTn(t) = λe-λt 1I]0,+∞[(t))

Conséquence

Les variables aléatoires An suivent la loi Gamma


γ(λ, n) (ou loi d’Erlang), de densité définie par
f (t) = (t∈]0,+∞ [)
An
Propriété
Si (Nt)t∈IR+ est un processus de Poisson de paramètre
λ, le temps aléatoire U qui sépare un instant θ du
prochain événement et le temps aléatoire V qui
sépare θ du dernier événement suivent la loi
exponentielle ɛ(λ).
Remarques
IE(N1) = λ E(Tn) =1/λ
plus λ est grand, plus le nombre moyen d’arrivées
par unité de temps est important, et plus l’intervalle
entre 2 arrivées est court.
Pour cette raison, on appelle également le paramètre
λ l’ intensité du processus
Pour l’exemple précédent
Question1. Quelle est l’intensité du processus de
Poisson impliqué dans la modélisation?
Réponse 1.
Si, en moyenne, il y a une arrivée de patient toutes
les douze minutes, alors il y a, en moyenne, cinq
arrivées par heure, c’est-à-dire cinq arrivées par
unité de temps. Par conséquent, l’intensité est λ = 5.
Question2. Si le préposé aux admissions prend 3
minutes pour remplir le dossier d’un patient, quelle
est la probabilité qu’il ait le temps de se reposer
entre l’arrivée de deux patients sachant qu’il était
inoccupé lors de l’arrivée du premier des deux?
Réponse2. Nous savons que le temps d’attente
entre deux arrivées suit une loi exponentielle
d’espérance 1/ λ = 1/ 5
3 minutes = 3/1 heure = 3/60 minutes =1/20 heure
•P( le préposé ait le temps de se reposer entre l’arrivée
de deux patients sachant qu’il était inoccupé lors de
l’arrivée du premier des deux ) = P (Tn – Tn-1 > 1/20 )
Question3. Supposons que le préposé aux
admissions commence sa journée de travail à 7
heures du matin, qu’il la termine à 15 heures et qu’il
va dîner de midi à 13 heures. Quelles sont
l’espérance et la variance du temps que le préposé
passe, au cours de la journée, à remplir des
demandes d’admission?
Réponse3. Le nombre X de patients se présentant à
l’urgence au cours de la période de travail du
préposé est
X = N (5) - N (0) + N (8) - N (6)
Le nombre Y de minutes passées à remplir des
formulaires d’admission est Y = 3X .
E [Y ] = E[3X] = 3E[X] = 3E[N (5)-N (0) +
N (8)-N (6)]
= 3 (E [N (5)-N (0)] + E [N (8)-N (6)])
= 3 (25 + 10) = 105

Var [Y ] = Var [3X] = 9Var [X] = 9Var [N (5)-N (0)


+ N (8)-N (6)]
= 9 (Var [N (5)-N (0)] + Var [N (8)-N (6)])
= 9 (25 + 10) = 315
Propriétés supplémentaires
Décomposition
On peut décomposer en deux un processus de
Poisson suivant un certain critère.
Exemples
1. Compteur à fonctionnement aléatoire :
Des particules arrivant vers un compteur forment
un processus de Poisson de paramètre λ= 6 part/mn.
Chaque particule a la probabilité 2/3 d’être
enregistrée par le compteur. Les particules
enregistrées forment un processus de Poisson de
paramètre λ’ = 6 × 2/3 = 4 part/mn.
2. station service

les voitures qui passent devant une station service


forment un processus de Poisson de paramètre λ.
Chaque voiture a la probabilité p de s’arrêter à la
station. Alors, les voitures qui s’arrêtent à la station
forment un processus de Poisson de paramètre λp et
les voitures qui passent devant la station sans
s’arrêter forment un processus de Poisson de
paramètre λ(1-p).
De plus, ces deux processus sont indépendants!
Superposition
Inversement, on pourrait montrer que :
la somme de deux processus de Poisson
indépendants de paramètres respectifs λ1 et λ2 est un
processus de Poisson de paramètre λ1 + λ2
Propriété

Si (N(1)t)t≥0 et (N(2)t)t≥0 sont deux processus de


Poisson indépendants de paramètres respectifs λ1 et
λ2, alors la loi conditionnelle de N(1)t sachant [N(1)t+
N(2)t = n] est la loi binomiale B ( n,λ1/ (λ1 + λ2) )
Processus de Poisson et loi binomiale.
Propriété
Pour s≤t, la loi conditionnelle de Ns sachant [Nt = n]
est la loi binomiale B ( n,s/t)
Processus de Poisson et loi uniforme
La loi de (A1,A2, ···,An) sachant [Nt = n] est celle
de (U*1,U*2, ···,U*n);U*i étant la ième plus petite
valeur parmi les U1,U2, ···,Un, variables aléatoires
indépendantes de même loi uniforme sur [0,t]. ( En
particulier U*1= min(U1, ···,Un) et U*n= max(U1,
··· ,Un)). Cette loi a pour densité f* définie par :
n!/tn si 0≤s1 ≤ s2 ≤ ··· ≤ sn ≤ t ;
f* (s1,s2, ···,sn) =
0 sinon
Processus de Poisson composés
Pour un processus de Poisson, la condition C3
entraîne l’impossibilité d’une réalisation simultanée
de deux événements ou plus. Si on supprime cette
condition, les événements peuvent se produire par
« grappes », l’effectif de la grappe étant lui-même
aléatoire.
Exemples
→Arrivées d’avions dans un aéroport : chaque avion
transporte un certain nombre de passagers ;
→Traffic routier : chaque accident engendre un
certain nombre de blessés...
•Les instants d’occurrence des grappes
d’événements sont les An d’un processus de Poisson
de paramètre λ.
•A chaque instant An est associée une variable
aléatoire Yn désignant le nombre d’événements se
produisant à l’instant An
•On suppose les Yn indépendantes et de même loi.
•Zt est le nombre d’ événements apparus jusqu’à
l’instant t.
Zt = Y1 + Y2 + ··· + YNt.
•Cette relation permet de retrouver l’espérance de
Zt et sa variance.
Propriété
IE(Zt) = λtIE(Y ) var(Zt) = λtIE(Y2 ).
Exemple
Le nombre d’accidents par jour dans une ville suit
un processus de Poisson de paramètre 2 et le nombre
de personnes impliquées suit la loi géométrique de
paramètre1/2.
Quelle est la moyenne et la variance du nombre de
personnes accidentées durant une semaine ?
Processus non homogènes

Soit (Xt)t≥0 un processus de comptage à


accroissements indépendants vérifiant X0 = 0
P ([Xt+h = i + 1]/[Xt = i]) = λ(t)h + o(h)

P ([Xt+h = i]/[Xt = i]) = 1-λ(t)h + o(h)

On note An le nième temps d’arrivée du processus.


Xt suit la loi de Poisson de paramètre Λ(t) =
et T1 = A1 suit la loi de densité
t→λ(t)exp( )1I]0,+∞[(t)
2.4. Processus de Naissance te de Mort
Généralités

Utilisés plus particulièrement en biologie,


démographie, physique, sociologie, pour rendre
compte de l’évolution de la taille d’une
population, les processus de naissance et de mort
sont des processus de Markov continus (T = IR+),
à valeurs dans E = IN tels que les seules
transitions non négligeables possibles à partir de
k soient vers k + 1 ou vers k-1.
Le générateur infinitésimal du processus est donc
une matrice dite « trigonale » A = (aij)i,j∈IN
vérifiant aij = 0 si |i- j| =2.
On posera:
ak,k+1 = λk
pour k≥1 ( et a0,1 = λ0 )
ak,k-1 = µk

•λk représente le taux de naissance à partir de l’état k

•µk représente le taux de mort à partir de l’état k


Le graphe associé:
λ0 λ1 λ2 λn

0 1 2 3 … n n+1

μ1 μ2 μ3 μn+1

Régime transitoire

On rappelle que si P (t) = (pi,j(t)), où


pi,j(t) = P([Xu+t = j]/[Xu = i]), alors…

P (t) = eAt
La loi de Nt est alors donnée, en théorie, par :
π(t) = π(0) P(t)

Rappelons aussi, que le calcul de eAt est bien souvent


très compliqué. On préférera garder l’expression
différentielle.
En dérivant l’équation ci-dessus :
π'(t) = π(0) P' (t)
Equations de Kolmogorov!
π'(t) = π(0) P(t) A
On retrouve:

π'(t) = π(t) A

Ceci nous mène au système suivant, dit d’équations


de Kolmogorov :

π'0(t) =-λ0 π0(t) + µ1 π1(t)


π'n(t) =λn-1πn-1(t)-(λn + µn)πn(t)+µn+1πn+1(t) pour n≥1
Régime permanent

Lorsque, quand t→+∞, les limites π’n = lim πn(t)


quand t→+∞ existent et sont indépendantes de
l’état initial du processus, on a alors
π’= 0 et π A =0 i.e.

π est distribution stationnaire du processus si le


régime permanent existe. Ceci se traduit par les
équations dites « de balance »
0 =-λ0 π0+ µ1 π1
0 =λn-1πn-1-(λn + µn)πn+µn+1πn+1pour n≥1
En écrivant en chaque état l’égalité du flux entrant et
du flux sortant :
•état 0 : µ1 π1 = λ0 π 0 ;
•état 1 : µ2 π 2 + λ0 π0 = µ1 π1 + λ1 π1 ;
.
.
.
•état n : µn+1 π n+1 + λn-1 πn-1 = µn πn + λn πn

Aux quelles il faut ajouter l’´equation


Ces équations se simplifient successivement pour
donner les égalités suivantes :
• µ1 π1 = λ0 π 0 ;
• µ2 π 2 = λ1 π1 ;
.
.
.
• µn πn= λn-1 πn-1

On en déduit alors πn =(λ0··· λn-1/µ1··· µn) π0 pour n≥1

avec
Etude de quelques cas particuliers
On étudie ici les cas particuliers des populations où
les taux de naissance et de mort sont linéaires :
λn = nλ + α

→ α représente le taux d’immigration : arrivées


venant de l’extérieur. Il est supposé constant (et
donc indépendant du nombre d’individus déjà
présents).
→ λ représente le taux de naissance : chaque
individu est susceptible de donner naissance
À un nouvel individu avec le taux λ et s’il y a déjà n
individus, la probabilité qu’il y ait une naissance sur
l’intervalle [t, t + h[ est alors : n λ h + o(h).
µn = nµ + ß si n ≥ 1

→ ß représente le taux d’émigration : départs vers


l’extérieur. Il est supposé constant (sauf s’il n’y a
personne, auquel cas il est nul).

→ µ représente le taux de mort : chaque individu est


susceptible de mourir avec le taux µ et s’il y a déjà n
individus, la probabilité qu’il y ait une mort sur
l’intervalle [t, t + h[ est alors
N µ h + o(h).
Croissance pure, par immigration

C’est le cas λn = α et µn = 0 pour tout n∈IN

π'0(t) =-α0 π0(t) + µ1 π1(t)


π'n(t) =απn-1(t)-α πn (t) pour n≥1

On retrouve les équations vérifiées par le processus


de Poisson (Nt) de paramètre α.
Enparticulier Xt suit la loi de Poisson P(αt) :
πn(t) = e-αt (at)n/n!
Croissance pure, par naissance
C’est le cas λn = nλ et µn = 0 pour tout n∈IN.
Ceci n’a de sens que si X0≥1 On supposera que X0 = 1

π'0(t) =0
π'n(t) = (n-1)λπn-1(t)- nλ πn (t) pour n≥1

Xt suit la loi géométrique G(e-λt ) : πn(t) =e-λt (1-e-λt )n-1


Décroissance pure, par décès
C’est le cas λn = 0 et µn = nµ pour tout n ∈IN
On suppose X0 = N≥1
•Ce modèle décrit l’évolution d’un système
composé de N dispositifs indépendants non
réparables, dont les durées de fonctionnement
obéissent à une même loi exponentielle de
paramètre µ (durée de vie moyenne 1/µ).
•la probabilité qu’un dispositif de durée de vie T
fonctionne encore à l’instant t est P ([T > t]) = e-µt
•Donc la probabilité qu’il ne fonctionne plus est 1-e-µt
πn(t) est la probabilité qu’il y ait exactement n
dispositifs qui fonctionnent à l’instant t
il y a exactement CnN façons de choisir les n qui
fonctionnent
πn(t) = CnN e-nµt (1-e-µt )N-n pour n∈ {0, 1, ···,N}
On peut le retrouver avec les équations de
Kolmogorov :
π'n(t) = -nμπn(t) + (n+1)μ πn (t) pour n<N
π'N(t) = -NμπN(t)
Xt suit la loi binomiale B(N, e-µt ) :
πn(t) = CnNe-nµt (1-e-µt )N-n
Processus de Yule-Ferry

C’est le cas λn = nλ et µn = nµ pour tout n∈IN.


π'0(t)=µ1 π1(t)
π'n(t)=(n-1)λπn-1(t)-n(λ+µ)πn(t)+(n+1)µπn+1(t) pour n≥1
•Dans ce cas, la matrice A n’est plus triangulaire et
les πn(t) sont plus difficiles à déterminer.
•On peut toutefois déterminer IE(Xt)
Si λn = nλ + a et µn = nµ et si X0 = N, alors
αt + N si λ = µ
M(t) = IE(Xt) =
Ne(λ-µ)t+α (e (λ-µ)t-1)/(λ-µ) si λ ≠ µ
Problème de l’extinction de l’espèce
Lorsque l’on étudie une population telle que λ0 = 0,
on peut chercher la probabilité qu’elle ait de
disparaître un jour, et, si elle doit disparaître…

le temps qu’elle va mettre pour disparaître. On est


donc conduit à considérer les probabilités …

→ak : probabilité d’extinction de l’ espèce si la taille


initiale est k ;
ainsi que les variables aléatoires :
→Tk : temps écoulé jusqu’à l’extinction de l’ espèce
si la taille initiale est k.
Dans ce cas, si Xt = 0, alors…
X  = 0 pour  ≥t
Et…
P ([Tk≤t]) = P( [Xt = 0]/ [X0=k] ) = pk,0(t).
La fonction de répartition de Tk est donc FTk:
t→Pk,0(t) = π0(t)

π0 est déterminé par les équations de Kolmogorov,


avec la condition initiale πk(0) = 1.

ak = P ([Tk < +∞]) = limt→+∞ P ([Xt = 0] /[X0=k])


En pratique, la détermination du régime transitoire
est bien souvent compliquée : ainsi, on se
contentera de déterminer k = IE(Tk) : temps moyen
jusqu’à l’extinction, lorsque la taille initiale est k

Pour la détermination de ak, on considèrera la


chaîne de Markov induite
pn,n+1 = λn/(λn + µn) = pn
et
pn,n-1 = µn/(λn + µn) = qn
0 est l’état absorbant,
Et
IN*constitue une classe transitoire.
On a alors les résultats suivants
Théorème
On pose dj =q1··· qj/(p1··· pj)=µ1··· µj/(λ1··· λj)
et ρj =λ1··· λj-1/(µ1··· µj)=1/(djλj)
•La probabilité d’extinction à partir de la taille
initiale k est :

•Le temps moyen jusqu’ à l’extinction est :


Exemple

1 - Devant une cabine téléphonique, les usagers


arrivent un par un pour téléphoner. Si elle est
libre, le premier occupe la cabine, sinon il s'en va
définitivement.
On suppose que, dans l'intervalle de
temps la probabilité pour qu'un usager
arrive est et que, dans le même intervalle
de temps, la probabilité pour qu'une conversation
téléphonique engagée prenne fin est ; et
ceci indépendamment des événements qui
précèdent l'instant t.
Le système est modélisé par un processus de naissance
et de mort à deux états : libre 0 et occupé 1 . On a :

Le processus admet le diagramme de transition


suivant :
π'0(t) =-λ π0(t) + µ π1(t) …….1
π'1(t) =λπ0(t)-µπ1(t)…………2

Or , π0(t) + π1(t) = 1

1 devient π'0(t) =-λ π0(t) + µ(1- π0(t))

π'0(t) =-(λ+µ) π0(t) + µ

C'est une équation différentielle linéaire avec second


membre
π0(t)

Si l'on impose la condition initiale que la cabine est


libre à l'instant t = 0, on aura
π0(0)

Nous aurons alors


π0(t)

π1(t) π0(t)
3.les files d’attente
Introduction
Les files d’attente sont des phénomènes que l’on
rencontre dans les domaines d’activité les plus divers
(guichet de poste, traffic routier, central
téléphonique, atelier de réparation,...).
On parle de phénomène d’attente chaque fois que
certaines unités appelées “clients” se présentent
d’une manière aléatoire à des “stations” afin de
recevoir un service dont la durée est généralement
aléatoire.
L’objectif de l’étude d’une telle la structure est de
définir et de calculer des valeurs caractéristiques
permettant de décrire les performances de tels
systèmes
La file simple
Une file simple (ou station) est un système constitué
d’un ou plusieurs serveurs et d’un espace d’attente.
Les clients arrivent de l’extérieur, patientent
éventuellement dans la file d’attente, reçoivent un
service, puis quittent la station.

Afin de spécifier complètement une file simple, on


doit caractériser le processus d’arrivée des clients, le
temps de service ainsi que la structure et la
discipline de service de la file d’attente.
File d'attente

Serveur
Arrivée Départ
des clients des clients

système d'attente
Processus d’arrivée
•L’arrivée des clients à la station sera décrite à
l’aide d’un processus stochastique de comptage
(Nt)t≥0. [On notera indifféremment Nt ou bien N(t)].
•Si An désigne la variable aléatoire mesurant
l’instant d’arrivée du nième client dans le
système,on aura ainsi : A0 = 0 (par convention) et
An =inf{t ; Nt = n}.
Si Tn désigne la variable aléatoire mesurant le temps
séparant l’arrivée du (n-1)ème client et du nème
client, on a alors : Tn = An-An-1
La plupart du temps, l’arrivée des clients à une file
simple est supposée décrite par un processus de
renouvellement.

Définition

• Un processus de comptage (Nt)t≥0 est un processus


de renouvellement si et seulement si les variables
aléatoires (Tn) sont des variables indépendantes et
identiquement distribuées. La loi décrivant le temps
d’interarrivée suffit alors à caractériser le processus
de renouvellement.
•Le processus d’arrivée le plus simple et le plus
couramment employé est le processus de Poisson.
C’est un processus de renouvellement qui est tel que
les interarrivées sont distribuées selon une loi
exponentielle.

On note λ le taux des arrivées :

1/λ est l’intervalle moyen entre deux arrivées


consécutives
Temps de service
Considérons tout d’abord une file à serveur unique.
On note Dn la variable aléatoire mesurant l’instant
de départ du nème client du système et…
Yn la variable aléatoire mesurant le temps de
service du nème client (temps séparant le début et la
fin du service).
Un instant de épart correspond toujours à une fin de
service, mais ne correspond pas forcément à un
début de service.
En effet, il se peut qu’un client laisse la station vide
en la quittant . Le serveur est alors inoccupé
jusqu’à` l’arrivée du prochain client.
•On considèrera uniquement des stations dont les
temps de service consécutifs sont décrits par des
variables Yn indépendantes et identiquement
distribuées (i.i.d.).

•On note µ le taux de service :

•1/µ est la durée moyenne de service

La distribution du temps de service la plus simple à


étudier est la distribution exponentielle.
La propriété «sans mémoire» de la loi
exponentielle n’est généralement pas vérifiée pour
modéliser les phénomènes réels.

On est donc souvent obligé de recourir à d’autres


distributions de service.
Structure et discipline de la file
Nombre de serveurs
•Une station peut disposer de plusieurs serveurs en
parallèle. Soit C le nombre de serveurs.
•Dès qu’un client arrive à la station, soit il y a un
serveur de libre et le client entre instantanément en
service, soit tous les serveurs sont occupés et le
client se place dans la file en attente de libération
d’un des serveurs.
•La plupart du temps, les serveurs sont supposés
identiques (ils possèdent donc la même distribution)
et indépendants les uns des autres.
•Une station particulière est la station IS (infinite
servers) dans laquelle le nombre de serveurs est
infini.
Cette station ne comporte donc pas de file d’attente.
D`es qu’un client s’y présente, il trouve,
instantanément, un serveur disponible et entre donc
directement en service.

Elle permet de représenter des systèmes pour


lesquels le nombre de serveurs est toujours
supérieur au nombre de clients qui peuvent s’y
trouver.
Capacité de la file
La capacité de la file à accueillir des clients en
attente de service peut être finie ou infinie. Soit K
la capacité de la file (incluant le ou les clients en
service).

Une file à capacité illimitée vérifie K = +∞.


Lorsque la capacité de la file est limitée et qu’un
client arrive alors que cette dernière est pleine, le
client est perdu.
Discipline de service
La discipline de service détermine l’ordre dans
lequel les clients sont rangés dans la file et y sont
retirés pour recevoir un service. Les disciplines les
plus courantes sont :

- FIFO (first in, first out) ou FCFS (first come first


served) ou PAPS (premier arrivé, premier servi) :
c’est la file standard dans laquelle les clients sont
servis dans leur ordre d’ arrivée.
- LIFO (last in, first out) ou LCFS (last come, first
served) ou DAPS (dernier arrivé , premier servi).
Cela correspond `a une pile, dans laquelle le dernier
client arrivé (donc posé sur la pile) sera le premier
traité (retiré de la pile)
Notations de Kendall
La notation de Kendall normalise la description
d’une file simple :
T/Y/C/K/m/Z
avec
T : distribution d’interarrivées
Y : distribution de service
C : nombre de serveurs
K : capacité de la file
m : population des usagers
Z : discipline de service
Lorsque les trois derniers éléments de la notation de
Kendall ne sont pas précisés, il est sous-entendu que
K = +∞, m = +∞, et Z= FIFO.

Le paramètre m précise le nombre maximum


d’usagers susceptibles d’arriver dans la file, cette
dernière étant “plongée” dans un monde fermé
contenant m clients.
Paramètres de performance d’une file d’attente

L’étude d’un système d’attente se fait le plus


souvent par l’introduction d’un processus
stochastique approprié.

En premier lieu, on s’intéresse au nombre Xt de


clients se trouvant dans le système à l’instant t. En
fonction des quantités qui définissent la structure du
système, on cherche à calculer ….
• les probabilités d’état πn(t) = P ([Xt = n]) qui
définissent le régime transitoire du processus (Xt)t≥0 ;
• le régime stationnaire du processus, défini par
πn = lim πn(t) =limP ([Xt = n]).
t→+∞ t→+∞

A partir de la distribution stationnaire du processus


(Xt)t≥0, on pourra obtenir d’autres caractéristiques
d’exploitation du système telles que …
•le nombre moyen Ls de clients dans le système ;
•le nombre moyen Lq de clients dans la file
d’attente ;
•la durée d’attente moyenne Wq d’un client ;
•la durée de séjour moyenne Ws dans le système
(attente + service) ;
•le taux d’occupation des postes de service ;
•le pourcentage de clients n’ayant pu être servis ;
•la durée d’une période d’activité, c’est-`a-dire de
l’intervalle de temps pendant lequel il y a toujours
au moins un client dans le système...
Files d’attente markoviennes

Les files d’attentes makoviennes sont celles pour les


lesquelles les interarrivées et les durées de service
sont exponentielles.

Leur notation de Kendall sera de la forme M/M/ ···


(M comme markovien...)
La file M/M/1
Cette file est caractérisée par une arrivée
poissonnienne de taux λ et une durée de service
exponentielle de taux µ.
On pose ρ = λ/µ.
Cette quantité est appelée intensité du traffic
La file peut être considérée comme un processus de
naissance et de mort, pour lequel :
λn = λ
µ si n≠ 0
µn =
0 si n = 0
La probabilité d’état (ρ < 1 pour qu’il y ait un
régime permanent) est donnée par :
πn = π0ρn

π0 = = 1-ρ

Donc πn = (1 -ρ)ρn

La file est dite stable si λ < µ, (c’est-à-dire ρ < 1)

Dans ce cas les paramètres de performances


peuvent être calculés
Loi de Little
La relation entre les paramètres L est W est un peu
plus compliquée, néanmoins jouant un rôle très
important dans la théorie des files d'attente.
Introduisons alors représentant le taux d'entrée
moyen des clients dans le système (nombre moyen
de clients entrant dans le système par unité de
temps). La relation liant toutes ces données s'appelle
loi de Little et est définie par :

Ici λeff= λ car λn = λ pour tout n ≥0


(les clients ne repartent pas)
Nombre moyen de clients dans le système Ls
Le nombre moyen de clients se calcule à partir des
probabilités stationnaires de la façon suivante :
Temps moyen de séjour dans le système Ws
En utilisant la loi de Little :

Ws =1/µ + ρ/µ(1-ρ)
Temps moyen de séjour dans la file Ws
Wq =ρ/µ(1-ρ)

Nombre moyen de clients dans la file d’attente Lq


Taux d’utilisation du serveur U

Par définition, le taux d’utilisation est la probabilité


pour que le serveur de la file soit occupé

U = ρ = λ/ µ
Exemple 1
Les clients se présentent à l'agence d’une banque au
rythme moyen de 10 clients par heure. Ils sont
servis par l'unique employé de l'agence, auprès
duquel chaque client passe 5 minutes en moyenne.
Selon les données recueillies par le directeur de
l’agence, les arrivées de clients et les temps de
service semblent caractéristiques de processus de
Poisson.

Déterminer les performances de ce système de file


d’attente
Réponse
Nous avons un système M/M/1
La file M/M/1/K
On considère un système à serveur simple identique
àla file M/M/1 excepté que la capacité de la file
d’attente est finie.
On a donc toujours les hypothèses suivantes : le
processus d’arrivée des clients dans la file est un
processus de Poisson de taux λ et le temps de
service d’un client est une variable aléatoire
exponentielle de taux µ.
Soit K la capacité de la file d’attente : c’est le nombre
maximal de clients qui peuvent être présents dans le
système, soit en attente, soit en service.
Quand un client arrive alors qu’il y a déjà K clients
présents dans le système, il est perdu. Ce système
est connu sous le nom de file M/M/1/K. L’espace
d’´etats E est maintenant fini : E = {0, 1, 2, ···,K}.
La capacité de la file étant limitée, même si les
clients arrivent en moyenne beaucoup plus vite que
ce que le serveur de la file est capable de traiter, dès
que celle-ci est pleine, les clients qui se présentent
sont rejetés.
Le processus de naissance et de mort modélisant ce
type de file d’attente est défini de la façon suivante :

λ si n < K
λn =
0 si n = K

µ si n≠ 0
µn =
0 si n = 0
L’intégration de l’équation récurrente permettant de
calculer πn se fait alors comme suit :
π0ρn pour n≤K
πn=
0 pour n > K

si λ≠ µ

ou
1/(K + 1) si λ = µ
λeff = P ([ file non vide ])µ (cas d’un serveur)

λeff =P ([ file non pleine aux instants d’arrivée ])λ

si λ≠ µ

ou
K λ /(K + 1) si λ = µ
Taux d’utilisation du serveur U(K)

si λ≠ µ

ou
K /(K + 1) si λ = µ
•Nombre moyen de clients dans le système Ls
si λ≠ µ

ou K /2 si λ = µ
•Temps moyen d’attente dans le système Ws
Ws = Ls / λeff

•Temps moyen d’attente dans la file Wq


Wq = Ws – 1/μ
•Nombre moyen de clients dans la file Lq
Lq = λeff Wq
Exemple 2
Des clients arrivent à une station service à une seule
pompe à un taux de 20 voitures par heure. Si un client
arrive et trouve deux voitures dans la station, il
poursuit sa route à la recherche d’une nouvelle station.
On suppose que le temps de service est exponentiel de
moyenne 6 minutes.
1.Déterminer la distribution stationnaire du nombre de
voitures dans la station.
On se place dans toute la suite en régime stationnaire.
2. Quel est le temps moyen de séjour ?
3. Quel est le temps moyen d’attente ?
4. Vérifier la formule de Little sur cet exemple.
La file M/M/C
On considère un système identique àla file M/M/1
avec C serveurs identiques et indépendants les uns
des autres.
On a un processus de naissance et de mort de taux :
λn = λ
0 si n = 0
µn = nµ si 0 < n < C
Cµ si n =C
La condition de stabilité est λ < Cµ et exprime le
fait que le nombre moyen de clients qui arrivent à la
file par unité de temps doit être inférieur à celui de
clients que les serveurs traitent par unité de temps.
λ πn-1 = nµ πn pour n = 1, ···,C -1
λ πn-1= Cµ πnpour n = C, C + 1, ···

πn = π0 ρn/n! pour n = 1, ···,C -1

πn = π0 ρn/(Cn-CC! ) pour n = C, C + 1, ··

la condition de stabilité de la file étant λ < Cµ,


π0
exemple 3
Reprenons l’exemple 1. Le directeur de l’agence
juge que ces 30 minutes passées (en moyenne) par
chaque client dans le système sont longues et
envisage d’engager un second employé de
qualifications similaires à celles de l'employé actuel
et laisser chaque client s'adresser au premier
employé disponible.
Calculer les nouvelles performance du système
ainsi considéré
La file M/M/∞

On considère un système composé d’un nombre


illimité de serveurs identiques et indépendants les
uns des autres.

Dès qu’un client arrive, il rentre donc instantanément


en service. Dans cette file particulière, il n’y a donc
pas d’attente.

Ce système est connu sous le nom de self-service


•Le taux de transition d’un état n vers l’´etat n + 1
est égal à λ
•Le taux de transition d’un état n quelconque vers
l’état n- 1 est égal à nµ
•La capacité de traitement de la file est infinie
puisque tout nouveau client se présentant à l’entrée
de la file est instantanément servi
•Les équations d’équilibre nous donnent
λ πn-1= nµ πn pour n = 1, 2, ···
soit πn =ρn πn-1 pour n = 1, 2, ··· , où ρ =λ/µ
πn =π0 ρn/n! pour n = 1, 2, ···

πn =e-ρ ρn/n!

•Nombre moyen de clients Ls =ρ


•Temps moyen de séjour Ws =1/µ
Conclusion
Il existe bien d’autres types de files d’attente non traités ,
dans ce cours, et qui présentent un axe de recherche
important pour les spécialistes; tels que les modèles de files
d’attente de distribution quelconque (Générale) et de
notation G/G/1, G/G/C…
Une étude plus poussée des ce genre de systèmes
est nécessaire pour améliorer et mieux évaluer les
performances des systèmes informatiques, des
réseaux de communications, systèmes industriels et
systèmes complexes dans nombreux domaines.

Vous aimerez peut-être aussi