Vous êtes sur la page 1sur 105

INFO416 : Processus & Files d’attente

Chapitre II : Chaînes de Markov à temps continu

Mouhamadou Lamine BALDE


Université Gaston Berger de Saint-Louis
UFR de Sciences Appliquées et de Technologie
UFR de Sciences Economiques et de Gestion
Master MIAGE

24 novembre 2017

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Travaux de percement d’un tunnel


Le problème qui va nous occuper apparaît lors de la planification
des travaux de percement d’un tunnel.

La réalisation d’un tel ouvrage dépend, en bonne partie, de la


composition du terrain à creuser qui est généralement formé de
plusieurs couches de roche différentes. Les propriétés de
ces roches influencent directement les techniques d’excavation
et de construction à mettre en oeuvre ainsi que la vitesse à
laquelle le percement se fait.

Afin de faciliter la prévision des ressources et du temps


nécessaires à la réalisation d’un tunnel, nous allons développer
un modèle de la composition du terrain à creuser.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Idéalement, la galerie d’un tunnel peut être vue comme une


demi-droite infinie formée d’une succession de segments repré-
sentant les différentes couches de roches.

La composition du terrain le long du tracé retenu est alors don-


née par la suite {Xt , t ≥ 0} des types de roches présents à
une distance t de l’entrée du tunnel.
Les réalisations possibles de cette suite présentent toutes la
même structure.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

1 La première couche rencontrée, de type X0 , s’étend entre


le point T0 = 0 et le point T1 . Le début de la suite
{Xt , t ≥ 0} est donc

Xt = XT0 = X0 , t ∈ [T0 , T1 [

2 Une nouvelle couche de roche apparaît au point T1 et


s’étend jusqu’à une distance T2 de l’entrée du tunnel.
Nous avons alors :

Xt = XT1 , t ∈ [T1 , T2 [

3 La suite de la composition du terrain est construite selon


le même schéma.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Pour la troisième couche de roche, présente entre les distances


T2 et T3 , nous avons :

Xt = XT2 , t ∈ [T2 , T3 [

et ainsi de suite pour les couches suivantes.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Lors de la planification des travaux, la suite {Xt , t ≥ 0} repré-


sentant la composition du terrain est évidemment inconnue.

Afin d’étudier les caractéristiques de cette suite, il nous faut faire


des hypothèses concernant la succession des types de roches
rencontrés et l’épaisseur des différentes couches.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Le modèle développé ici repose sur les deux hypothèses sui-


vantes :
1) L’épaisseur d’une couche dépend uniquement du type i de sa
roche et est distribuée selon une loi exponentielle de paramètre
λi (indépendante de la taille des autres couches et du type de
leur roche).

2) La probabilité de rencontrer une couche de type j après une


couche de type i ne dépend que de i et j et est égale à qij . Dans
certaines situations, il sera judicieux de postuler qij = qji , mais
d’autres cas de figure, sont également envisageables.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Rappel : Loi exponentielle

Une variable exponentielle de paramètre λ est une variable


aléatoire τ , non négative, de fonction de densité :

f (t) = λe −λt , t≥0

La fonction de distribution de τ est :

F (t) = P[τ ≤ t] = 1 − e −λt , t≥0

et son espérance et sa variance sont :


1 1
E [τ ] = et Var [τ ] =
λ λ2

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Les deux hypothèses précédentes établissent les lois probabi-


listes gouvernant les changements de valeurs des variables Xt
et chaque composition possible du terrain correspond mainte-
nant à une réalisation particulière du processus stochastique
{Xt , t ≥ 0}.

Afin d’établir les propriétés de ce processus, définissons Yn


comme le nème type de roche rencontré (en commençant la nu-
mérotation à partir de 0). Nous avons Y0 = XT0 = X0 , Y1 = XT1
et, plus généralement,

Yn = XTn , n = 0, 1, . . .

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

La collection {Yn , n = 0, 1, . . .} définit, elle aussi, un proces-


sus stochastique (à temps discret) et, en utilisant la seconde
hypothèse de modélisation, nous avons, pour tout n ≥ 0,

P[Yn+1 = j | Yn = i] = qij

Ainsi, la suite {Yn , n = 0, 1, . . .} des différents types de roches


rencontrés n’est rien d’autre qu’une chaîne de Markov à
temps discret de matrice de transition Q = (qij ).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Remarque
Les réalisations du processus {Xt , t ≥ 0} conservent la même
valeur Yn , pendant tout l’intervalle [Tn , Tn+1 [ dont la "durée"
τn = Tn+1 − Tn représente l’épaisseur de la nème couche de
roche.

D’après la première hypothèse de modélisation, les variables τn


sont indépendantes les unes des autres et chacune d’elles est
distribuée selon une loi exponentielle dont le paramètre ne
dépend que du type Yn de la couche associée.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Or, pour toute variable exponentielle τ de paramètre λ, nous


avons, pour tout u, v ≥ 0,

P[τ > u + v , τ > v ]


P[τ > u + v | τ > v ] =
P[τ > v ]
−λ(u+v )
e
=
e −λv
−λu
=e
= P[τ > u]

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Cette caractéristique de la loi exponentielle est appelée la pro-


priété d’absence de mémoire et montre que, connaissant le
type de roche à une distance t de l’entrée du tunnel, le fait de
savoir où la couche en question a commencé n’est d’aucune uti-
lité pour prédire où elle va se terminer et quel sera le prochain
type de roche rencontré.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel
En résumé
Le processus stochastique {Xt , t ≥ 0} proposé comme modèle
de la composition du terrain à creuser possède les propriétés
suivante :

1 Le processus est à temps continu.


2 L’espace de ses états correspond aux différents types de
roches et est donc fini (ou, du moins, dénombrable).
3 Le processus est markovien car, connaissant son état cou-
rant Xt , son évolution future est indépendante de son
passé.

La suite {Xt , t ≥ 0} définit donc une chaîne de Markov à


temps continu.
Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Exemple introductif : Percement d’un tunnel

Remarque
Sous certaines conditions de régularité, toute chaîne de Mar-
kov à temps continu possède la structure du modèle présenté
ici et peut donc être vue comme un processus stochastique
{Xt , t ≥ 0} à temps continu où :
la suite {Yn , n = 0, 1, 2, ...} des états visités par le
processus est une chaîne de Markov à temps discret ;
le temps pendant lequel le processus reste dans un état
donné est une variable aléatoire exponentielle dont le
paramètre ne dépend que de cet état et pas de ceux
occupés avant ou après le changement.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

L’évolution d’une chaîne de Markov à temps continu {Xt , t ≥ 0}


peut être décrite par des probabilités de transition pij (t) où

pij (t) = P[Xt = j | X0 = i], t≥0

Remarque
Cependant, contrairement à leurs analogues à temps discret,
il n’existe pas de formules simples pour calculer les probabili-
tés de transition d’une chaîne de Markov à temps continu et
leurs évaluation nécessite la résolution de tout un système
d’équations différentielles linéaires.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Pour notre problème de planification, une des informations les


plus utiles concerne les proportions relatives des différentes
roches qui devront être creusées.

Comme dans le cas discret, ces proportions sont données par les
limites des probabilités de transition pij (t) lorsque t tend vers
l’infini.

En effet, sous certaines conditions similaires à celles établies


au chapitre précédent, une chaîne de Markov à temps continu
admet une distribution stationnaire π ∗ et ses probabilités de
transition vérifient

lim pij (t) = πj∗ > 0


t→∞

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple introductif : Percement d’un tunnel

Cette interprétation permet d’estimer le temps nécessaire au


percement d’une galerie de longueur D. Notant vi la vitesse de
percement d’une roche de type i, la vitesse moyenne à laquelle
avance le chantier est :

vi πi∗
X
V =
i∈S

et une approximation du temps moyen T nécessaire est :

vi πi∗
X
T = DV = D
i∈S

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Définitions et résultats préliminaires

Propriété de Markov
Soit S un ensemble fini ou, plus généralement, dénombrable et
{Xt , t ≥ 0} un processus stochastique à temps continu prenant
ses valeurs dans S. Ce processus vérifie la propriété de Markov
si, pour tout t, u ≥ 0 et tout état j ∈ S, il est vrai que :

P[Xt+u = j | Xv , 0 ≤ v ≤ t] = P[Xt+u = j | Xt ] (1)

Cette condition est vérifiée si la distribution conditionnelle de


l’état d’un système au temps t + u, connaissant son état
courant Xt ainsi que tous ses états antérieurs, ne dépend que
de Xt et est donc indépendante du passé.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Définitions et résultats préliminaires

Définition
Une chaîne de Markov à temps continu est un processus sto-
chastique {Xt , t ≥ 0} satisfaisant les trois propriétés suivantes :

le processus est à temps continu ;


l’espace des états S est fini ou dénombrable ;
le processus satisfait la propriété de Markov (1).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Définitions et résultats préliminaires

Les probabilités conditionnelles P[Xt+u = j | Xt ] apparaissant


dans (1) dépendent, a priori, non seulement de j et de la valeur
de Xt , mais également de t et de u. Lorsqu’elles sont indépen-
dantes de t, c’est-à-dire lorsque :

P[Xt+u = j | Xt = i] = P[Xu = j | X0 = i]

pour tout t ≥ 0, i, j ∈ S et u ≥ 0, la chaîne est homogène


(dans le temps).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Définitions et résultats préliminaires

Nota Bene
Dans ce chapitre, nous ne considérerons que des chaînes de
Markov homogènes et, pour tout t ≥ 0, nous noterons :

pij (t) = P[Xt = j | X0 = i] (2)


leurs probabilités de transition.

Ces dernières peuvent être rangées dans des matrices de tran-


sition P(t) = (pij (t)) aux lignes et aux colonnes indexées par
les états de S.

Nous supposerons le plus souvent les états numérotés consécu-


tivement à partir de 0 ou 1.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Définitions et résultats préliminaires

Lors de l’étude des chaînes de Markov à temps discret, une


seule matrice de transition suffisait à décrire complètement un
processus car les changements d’états ne prenaient place qu’à
des dates précises, souvent égales à des multiples de l’unité de
temps.

Cette dernière propriété n’est plus vraie dans le cas à temps


continu et, pour décrire l’évolution d’une chaîne à l’aide de pro-
babilités de transition, il nous faut spécifier une famille entière
de matrices stochastiques {P(t), t ≥ 0}.

Evidemment, les éléments de cette famille ne peuvent pas être


choisis au hasard et doivent satisfaire certaines conditions.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Définitions et résultats préliminaires

Ainsi, les matrices P(t) étant toutes stochastiques, elles doivent


vérifier, pour tout t ≥ 0,

pij (t) ≥ 0, ∀i, j ∈ S

et X
pij (t) = 1, ∀u ∈ S
j∈S

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Définitions et résultats préliminaires

Théorème : Equations de Chapman-Kolmogorov


Pour tout t, u ≥ 0

P(t + u) = P(t)P(u) (3)

ce qui s’écrit sous forme développée


X
pij (t + u) = pik (t)pkj (u), ∀i, j ∈ S (4)
k∈S

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Définitions et résultats préliminaires
Les propriétés précédentes sont très générales et sont vérifiées
par toutes les chaînes de Markov à temps continu homogènes,
même par celles présentant les comportements les plus erra-
tiques.

Afin d’obtenir un minimum de régularité, nous supposerons tou-


jours que les probabilités de transition pij (t) vérifient, pour tout
i, j ∈ S, (
1 si i = j
lim pij (t) = δij =
t→0 0 si i 6= j

Cette hypothèse n’est pas restrictive pour la modélisation des


systèmes réels et suffit à assurer la continuité des probabilités
pij (t) (vues comme des fonctions de t).
Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Définitions et résultats préliminaires

Nota Bene
La classification des états d’une chaîne de Markov à temps
continu repose sur les mêmes critères que ceux utilisés au cha-
pitre précédent et, reprend, également, la même terminologie.

Définitions
Un état j est accessible depuis un état i s’il existe t ≥ 0
tel que pij (t) > 0.
Deux états i et j communiquent s’il existe t1 ≥ 0 et
t2 ≥ 0 tels que pij (t1 ) > 0 et pji (t2 ) > 0.
Une chaîne de Markov à temps continu est irréductible
si tous ses états communiquent et réductible dans le cas
contraire.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Structure des chaînes de Markov à temps continu

Afin de mieux comprendre la structure des chaînes de Markov


à temps continu, il nous faut étudier la durée des intervalles
de temps s’écoulant entre deux transitions successives d’un
processus ainsi que les règles de sélection de l’état atteint lors
d’une transition.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Distribution du temps avant la prochaine transition

Considérons une chaîne de Markov à temps continu Xt , t ≥ 0


et, pour tout t ≥ 0, notons τt la durée de l’intervalle de temps
avant que le processus quitte l’état qu’il occupe à l’instant t.

Le résultat suivant montre que la variable aléatoire τt est sans


mémoire et doit donc être distribuée selon une loi exponentielle.
Théorème
Pour tout i ∈ S et t ≥ 0,

P[τt > u | Xt = i] = e −λi u , u≥0

avec λi ∈ R+ ∪ {+∞} (si λi = +∞, e −λi u = 0 pour tout


u ≥ 0).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Distribution du temps avant la prochaine transition

Remarque
Une chaîne de Markov à temps continu se retrouvant à l’instant
t dans l’état i reste dans cet état pendant une durée aléatoire
τt distribuée selon une loi exponentielle dont le paramètre λi ne
dépend que de i.

Une chaîne de Markov atteignant un état absorbant à un ins-


tant quelconque ne le quitte plus jamais. En revanche, un pro-
cessus se retrouvant à un instant donné dans un état stable le
quitte, avec une probabilité 1, après un temps positif mais fini.
Finalement, une chaîne quitte un état instantané dès qu’elle
l’atteint.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Distribution du temps avant la prochaine transition

Si les états instantanés, dont l’existence est théoriquement pos-


sible lorsque le processus possède un nombre infini dénombrable
d’états, posent des questions intéressantes, ils sont d’une utilité
toute relative pour la modélisation d’un système réel.

Les trajectoires d’un processus possédant de tels états sont en


effet très irrégulières et peuvent même présenter un nombre
infini de transitions pendant un intervalle de temps fini.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Distribution du temps avant la prochaine transition
Définition
Une chaîne de Markov à temps continu est régulière si, avec
probabilité 1, le nombre de transitions qu’elle effectue pendant
un intervalle de temps fini est fini.

L’absence d’états instantanés est une condition nécessaire (mais


pas suffisante) de régularité. L’existence d’une constante c < ∞
telle que 0 ≤ λi < c pour tout i ∈ S suffit, cependant, à
assurer la régularité d’un processus. Cette dernière condition
est toujours vérifiée lorsque le nombre d’états est fini et toute
chaîne de Markov possédant un nombre fini d’états est régulière.

Dans la suite, toutes les chaînes de Markov considérées seront


supposées régulières.
Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Choix du nouvel état

Le théorème précédent spécifie la distribution de l’intervalle de


temps avant qu’une chaîne ne quitte l’état qu’elle occupe à un
instant donné mais il ne donne aucune information sur le nouvel
état atteint. Plus précisément, nous savons qu’un processus se
trouvant en i au temps t quitte cet état après un temps aléatoire
τt distribué selon une loi exponentielle de paramètre λi .

La question qui nous intéresse maintenant concerne la probabi-


lité que la chaîne se déplace en j au temps t + τt .

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Choix du nouvel état

Afin de calculer cette probabilité, remarquons premièrement


qu’elle ne dépend pas de t car la chaîne est homogène.

De plus, le processus étant markovien, cette probabilité doit


également être indépendante du temps passé en i et donc de
τt .

En effet, si le nouvel état de la chaîne dépendait de τt , le fait


de savoir depuis combien de temps le processus est dans l’état
i modifierait la prédiction du prochain état et la chaîne ne véri-
fierait pas la propriété de Markov.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Choix du nouvel état

Une utilisation rigoureuse des arguments précédents permet de


prouver que, pour tout état stable i et tout instant t ≥ 0,

P[Xt+τt = j | Xt = i] = qij , j ∈S

avec qij ≥ 0, qii = 0 et qij = 1.


P
j∈S

En d’autres termes, lorsqu’une chaîne de Markov quitte un


état i, elle se déplace dans l’état j (différent de i) avec une
probabilité qij indépendante de t et du temps passé en i.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Choix du nouvel état

Remarque
Si l’état i est absorbant et Xt = i à un instant t quelconque, le
processus ne quitte plus jamais cet état.

Nous avons alors τt = +∞ et Xt+u = i pour tout u ≥ 0.

En définissant correctement X∞ et τ∞ , le résultat précédent


reste appliquable à une telle situation, les probabilités qij étant
alors données par qii = 1 et qij = 0 pour i 6= j.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Structure des chaînes régulières

Nous sommes maintenant en mesure de décrire plus précisément


la structure d’une chaîne de Markov à temps continu. Il s’agit
d’un processus stochastique {Xt , t ≥ 0} vérifiant les propriétés
suivantes :
1 Chaque fois que le processus arrive dans un état i, il y
reste pendant une durée aléatoire (éventuellement infinie
si l’état est absorbant) distribuée selon une loi
exponentielle de paramètre λi .
2 Lorsque le processus quitte i (non absorbant), il choisit
son nouvel état j (différent de i) avec probabilité qij où
j6=i qij = 1.
P

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Structure des chaînes régulières

Remarque
La suite {Yn , n = 0, 1, . . .} des états atteints après chaque tran-
sition de la chaîne {Xt , t ≥ 0} définit, elle aussi, un processus
stochastique.

Les développements précédents montrent que ce processus n’est


rien d’autre qu’une chaîne de Markov à temps discret de matrice
de transition Q = (qij ).

Cette chaîne est appelée la chaîne de Markov sous-jacente


ou induite associée à {Xt , t ≥ 0}.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Structure des chaînes régulières

Notons également que tous les états d’une chaîne régulière


étant stables et absorbants, le temps passé par le processus
{Xt , t ≥ 0} dans un état i quelconque est positif avec probabi-
lité 1.

Les réalisations d’une chaîne de Markov à temps continu ré-


gulière, vues comme des fonctions de t sont donc continues à
droite et vérifient

lim Xu = Xt , ∀t ≥ 0
u→t+

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Matrices génératrices et graphes représentatifs
La description donnée jusqu’ici permet de construire une chaîne
de Markov à temps continu à partir des paramètres λi et des
probabilités qij . Le résultat suivant fournit une première relation
existant entre ces valeurs et les probabilités de transition pij (t)
de la chaîne.
Théorème
☞ Pour tout i ∈ S,
pii (t) − 1
lim = −λi
t→0 t
☞ Pour tout i, j ∈ S, avec i 6= j,

pii (t)
lim = λi qij
t→0 t

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Matrices génératrices et graphes représentatifs

Exprimé différemment, le théorème précédent montre que les


probabilités de transition pij (t) d’une chaîne de Markov ad-
mettent une dérivée à droite en t = 0. Définissant les quan-
tités : (
−λi si i = j
aij =
λi qij si i 6= j
cette dérivée est égale à :

d pij (t) − pij (0)


pij (t)|t=0 = lim = aij
dt t→0 t

Définition
La matrice A = (aij ) est appelée la matrice génératrice ou le
générateur de la chaîne de Markov.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Matrices génératrices et graphes représentatifs

Afin d’interpréter les éléments diagonaux de A, remarquons que,


pour i 6= j et t petit, nous avons :

P[Xt = j | X0 = i] = pij (t) = aij t + o(t)

et, pour t suffisamment petit, aij t est une bonne approximation


de la probabilité de transition pij (t).

Définition
La quantité aij est appelée l’intensité de transition entre i et j
et représente la fréquence avec laquelle un processus se trouvant
dans l’état i effectue une transition vers j.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Matrices génératrices et graphes représentatifs

Une interprétation similaire des termes diagonaux de A est éga-


lement possible. Nous avons, pour t petit,

P[Xt 6= i | X0 = i] = 1 − pij (t) = −aii t + o(t)

Définition
La quantité −aii est appelée l’intensité de passage hors de
l’état i et représente la fréquence avec laquelle un processus
quitte l’état i qu’il occupe actuellement.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Matrices génératrices et graphes représentatifs

La matrice génératrice A joue un rôle essentiel dans l’analyse


d’une chaîne de Markov à temps continu régulière. Elle carac-
térise, en effet, de manière unique la famille {P(t), t ≥ 0} des
matrices de transition définissant le processus et, en ce sens,
joue un rôle similaire à celui tenu, dans le cas à temps discret,
par la matrice de transition P.
Remarque
Cette propriété n’est plus vraie pour les chaînes non régulières.
Dans de telles situations une même matrice génératrice peut
correspondre à une infinité de processus différents et la matrice
A ne suffit plus à caractériser de manière unique un processus.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Matrices génératrices et graphes représentatifs

Graphe représentatif
Nous représenterons souvent la matrice génératrice A d’une
chaîne de Markov par un graphe orienté G = (V , E ), appelé
graphe représentatif, dont les sommets correspondent aux
états du processus et dont l’ensemble des arcs est donné par :

E = {(i, j) | aij > 0}

Définition
Comme pour les processus à temps discret, une chaîne de Mar-
kov à temps continu est irréductible si et seulement si son
graphe représentatif est fortement connexe.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple : Mutations d’un virus

Un virus peut se présenter sous quatre formes différentes numé-


rotées de 0 à 3. Chaque représentant de l’espèce peut changer
de forme suite à des mutations aléatoires et l’intervalle de temps
entre deux mutations d’un individu est supposé suivre une loi
exponentielle de paramètre λi > 0 ne dépendant que de la forme
qu’il possède alors.

Lors d’une mutation, un virus de type i devient, avec probabilité


égale, un virus de type (i − 1) ou (i + 1) (la numérotation des
différentes formes devant être comprise modulo 4).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple : Mutations d’un virus (Suite)

Notons Xt la forme d’un virus au temps t, la suite {Xt , t ≥ 0}


définit une chaîne de Markov à temps continu sur l’espace
d’états S = {0, 1, 2, 3}.

La matrice génératrice de ce processus est égale à :

−λ1 λ1 /2 0 λ1 /2
 
 λ2 /2 −λ2 λ2 /2 0 
A= 
0 λ3 /2 −λ3 λ3 /2
 
 
λ4 /2 0 λ4 /2 −λ4

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple : Mutations d’un virus (Fin)

Le graphe représentatif de cette chaîne est donné par :

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les équations de Kolmogorov
Soit {Xt , t ≥ 0} une chaîne de Markov à temps continu régulière
et A sa matrice génératrice. Partant des équations de Chapman-
Kolmorov, nous avons, pour i; j ∈ S, t ≥ 0 et h > 0,
X
pij (t + h) = pik (h)pkj (t)
k∈S

Soustrayant pij (t) des deux côtés de l’égalité précédente et di-


visant par h, nous obtenons

pij (t + h) − pij (t) X pik (h)pkj (t) pij (t)


= −
h k∈S h h
" #
X pik (h)pkj (t) pii (h) − 1
= + pij (t)
k6=i h h

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les équations de Kolmogorov

Prenant la limite lorsque h → 0, il vient


 
pij (t + h) − pij (t) X p (h)p (t) pii (h) − 1
  
ik kj
lim = lim + pij (t)
h→0 h h→0 
k6=i
h h 

En supposant licite l’échange de la limite et de la somme (cet


échange se justifie facilement lorsque le processus ne possède qu’un
nombre fini d’états et est, en fait, possible pour toute chaîne ho-
mogène et régulière) et en appliquant le théorème précédent, nous
obtenons finalement le résultat suivant :

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les équations de Kolmogorov

Théorème : Equations du futur


Pour tout i, j ∈ S et t ≥ 0,

pij′ (t) =
X
aik pkj (t) (5)
k∈S

ou, de manière équivalente,

P′ (t) = AP(t) (6)

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les équations de Kolmogorov
Le développement précédent est également possible en partant
de l’identité X
pij (t + h) = pik (t)pkj (h)
k∈S

Nous obtenons alors


pij (t + h) − pij (t) X pik (t)pkj (h) pij (t)
= −
h k∈S h h
" #
X pik (t)pkj (h) pjj (h) − 1
= + pij (t)
k6=j h h

et
 
pij (t + h) − pij (t) pkj (h) pjj (h) − 1
X  
lim = lim pik (t) + pij (t)
h→0 h h→0 
k6=j
h h 

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les équations de Kolmogorov

Lorsque l’échange de la limite et de la somme est possible (ce


qui est le cas pour les processus étudiés ici), les équations dif-
férentielles obtenues sont appelées les équations du passé.
Théorème : Equations du passé
Pour tout i, j ∈ S et t ≥ 0,

pij′ (t) =
X
pik (t)akj (7)
k∈S

ou, de manière équivalente,

P′ (t) = P(t)A (8)

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les équations de Kolmogorov

Pour la condition initiale P(0) = I, les systèmes d’équations


différentielles (6) et (8) possèdent la même solution. De plus,
lorsque les éléments de A sont bornés (ce qui est nécessairement
le cas si S est fini), cette solution est égale à

P(t) = e At , ∀t ≥ 0 (9)

où, comme dans le cas d’une fonction d’une variable réelle,



At
X (At)k
e =
k=0 k!

avec A0 = I.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple
Considérons la chaîne de Markov définie par la matrice généra-
trice  
−3 0 3
A =  1 −4 3 
 

0 2 −2
Les valeurs propres de A sont λ1 = 0, λ2 = −4 et λ3 = −5 et
la matrice est diagonalisable. La solution (9) des équations de
Kolmogorov est égale à :
P(t) = e At = Ve Dt V−1
avec
 
1 −3 −3
V =  1 −1 −3 
 

1 1 2
Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Exemple

et  
1 0 0
eDt =

0 e −4t
0 

0 0 e −5t
En séparant la contribution de chaque valeur propre, la solution
précédente s’écrit aussi :

P(t) = G1 + e −4t G2 + e −5t G3

avec  
1/10 3/10 3/5
 1/10 3/10 3/5 
G1 =  

1/10 3/10 3/5

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple

 
3/2 −3/2 0
 3/2 −3/2 0 
G2 =  

−1/2 1/2 0
et  
−3/5 6/5 −3/5
G3 =  −3/5 6/5 −3/5 
 

2/5 −4/5 2/5

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les équations de Kolmogorov

La résolution des équations de Kolmogorov (6) ou (8), qu’elle se


fasse par le calcul de l’exponentielle (9) ou en utilisant d’autres
techniques telles que les transformées de Laplace, n’est envisa-
geable que dans quelques situations très simples.

Le plus souvent, l’analyse d’un processus se concentre sur


l’étude du comportement à long terme de ses probabilités
de transition pij (t).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique

Soit {Xt , t ≥ 0} une chaîne de Markov à temps continu régulière


et A sa matrice génératrice. Lorsque la chaîne est irréductible, il
est possible de montrer que ses probabilités de transition pij (t)
admettent une limite, indépendante de i, lorsque t tend vers
l’infini. Autrement dit, pour tout j ∈ S, nous avons :

lim pij (t) = πj∗


t→∞

quel que soit i ∈ S.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique

Afin de calculer la valeur de πj∗ , remarquons que l’existence


d’une limite pour pij (t) implique que pij′ (t) tend vers 0 lorsque
t → ∞. Ainsi, partant des équations du passé :

pij′ (t) =
X
pik (t)akj
k∈S

et prenant la limite lorsque t → ∞, nous obtenons :

πk∗ akj
X
0 =
k∈S

et la distribution π ∗ doit vérifier π ∗ A = 0.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique

Le théorème suivant résume les propriétés asymptotiques des


probabilités de transition d’une chaîne irréductible.
Théorème
Soit {Xt , t ≥ 0} une chaîne de Markov à temps continu régulière
et irréductible. Les propriétés suivantes sont vérifiées :

1) Les matrices de transaction P(t) de la chaîne convergent


vers une matrice P∗ lorsque t → ∞.

2) Les lignes de P∗ sont toutes égales à un même vecteur π ∗ .

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique

3) Nous avons soit

πj∗ = 0, ∀j ∈ S

et la chaîne est transitoire ou récurrente nulle, soit

πj∗ > 0, ∀j ∈ S

et la chaîne est récurrente non nulle.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique

4) Si la chaîne est récurrente non nulle, π ∗ est une distribution


de probabilités et est l’unique solution du système :

πA = 0
π1 = 1

où A est la matrice génératrice de la chaîne.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique : Remarques (1)

Si une chaîne de Markov irréductible ne possède qu’un nombre


fini d’états, chacun d’eux est visité une infinité de fois. Nous
avons alors, pour tout j ∈ S,

lim pij (t) = πj∗ > 0


t→∞

indépendamment de i et tous les états de la chaîne sont ré-


currents non nuls. Lorsque le nombre d’états est infini dé-
nombrable, cette propriété n’est plus toujours vérifiée car il est
possible que chaque état ne soit visité qu’un nombre fini de fois
(avec probabilité 1).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique : Remarques (1)

Dans une telle situation, nous avons

lim pij (t) = 0, ∀i, j ∈ S


t→∞

et tous les états de la chaîne sont transitoires. De plus, même si


chaque état est visité un nombre infini de fois avec probabilité
1, il est possible que l’espérance du temps entre deux visites
successives soit infinie. Pour un tel processus, les probabilités
de transition vérifient également

lim pij (t) = 0, ∀i, j ∈ S


t→∞

et ses états sont tous récurrents nuls.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique : Remarques (2) (3)

2) Une chaîne de Markov à temps continu irréductible et ré-


currente non nulle est dite ergodique. En particulier, tout pro-
cessus irréductive ne possédant qu’un nombre fini d’états est
ergodique.
3) La limite π ∗ des probabilités de transition d’une chaîne er-
godique est appelée la distribution invariante ou stationnaire
de la chaîne. Comme pour les processus à temps discret, si la
distribution π(0) de l’état initial X0 est égale à π ∗ , nous avons,
pour tout t ≥ 0,

πj (t) = P[Xt = j] = P[X0 = j] = πj∗ , ∀j ∈ S

et la chaîne est stationnaire.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique : Remarques (4)

Quelle que soit la distribution π(0) de l’état initial d’une chaîne


ergodique, nous avons

lim πj (t) = lim P[Xt = j] = πj∗ , ∀j ∈ S


t→∞ t→∞

et le processus est asymptotiquement stationnaire. De plus, πj∗


représente la proportion du temps passé dans l’état j (à condi-
tion d’observer le processus suffisamment longtemps).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique : Remarques (5)

Les équations πA = 0 s’écrivent aussi


X
−πj aii = πj aji , ∀i ∈ S
j6=i

La partie gauche de l’égalité représente le taux de transition


hors de l’état i (πi correspond à la proportion du temps passé
en i et −aii à l’intensité de passage hors de i) et la partie droite
représente le taux de transition dans l’état i. Pour qu’une dis-
tribution de probabilités soit solution de (10), elle doit égaler
ces deux taux pour tous les états de la chaîne. Cette interpréta-
tion explique que les équations (10) soient parfois appelées les
équations du bilan.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique

Calculer la distribution invariante d’une chaîne de Markov n’est


donc pas plus compliqué dans le cas continu que dans le cas
discret.(Le problème est même simplifié pour les chaînes à temps
continu car elles ne sont jamais périodiques.)

Connaissant la matrice génératrice A de la chaîne, il suffit de


calculer un vecteur propre de sa transposée AT pour la valeur
propre 0 et de le diviser par la somme de ses composantes.
(Comme dans le cas discret, toutes les composantes d’un tel
vecteur propre sont automatiquement de même signe.)

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique

Notant π un tel vecteur propre, c’est-à-dire une solution non


nulle du système
πA = 0
la distribution invariante π ∗ de la chaîne est donnée par
πj
πj∗ = P
i∈S πi

Evidemment, si i πi = ±∞, la chaîne est transitoire ou récur-


P

rente nulle et πj∗ = 0 pour tout j ∈ S.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Comportement asymptotique
Le résultat suivant a des implications pratiques particulièrement
importantes et montre qu’il est possible d’estimer les perfor-
mances d’un système modélisé par une chaîne ergodique à l’aide
d’une seule réalisation du processus.
Théorème ergodique
Soit {Xt , t ≥ 0} une chaîne de Markov à temps continu er-
godique et π ∗ sa distribution stationnaire. Soit, encore, f une
fonction réelle définie sur l’espace S des états de la chaîne et
vérifiant
πi∗ |f (i)| < ∞
X

i∈S

Alors, pour une réalisation quelconque de la chaîne,


1Z t
πi∗ f (i) p.s.
X
lim f (Xu )du =
t→∞ t 0
i∈S
Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Les processus de naissance et de mort

Définition
Soit {Xt , t ≥ 0} une chaîne de Markov à temps continu dont
l’espace des états est égal à Z+ et A sa matrice génératrice.
Cette chaîne est appelée un processus de naissance et de
mort si ses intensités de transition vérifient

aij = 0, si |i − j| ≥ 2

Exprimé différemment, un processus de naissance et de mort est


une chaîne de Markov à temps continu définie sur l’espace des
états S = {0, 1, 2, . . .} et telle que, depuis n’importe quel état
i, les seules transitions possibles se font soit dans l’état i − 1
soit dans l’état i + 1.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les processus de naissance et de mort
L’état Xt d’un tel processus est généralement interprété
comme la taille d’une population au temps t.

Chaque augmentation d’une unité du nombre d’individus cor-


respond à une naissance et chaque diminution d’une unité à
une mort. Définissant

λi = ai,i+1 , i = 0, 1, 2, . . .

le taux de naissance dans l’état i et

µi = ai,i−1 , i = 0, 1, 2, . . .

le taux de mort dans l’état i (évidemment µ0 = 0), nous


obtenons
aii = −λi − µi , i = 0, 1, 2, . . .
Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Les processus de naissance et de mort

et la matrice génératrice de la chaîne est


 
−λ0 λ0 0 0 0 ...
µ1 −λ1 − µ1 λ1 0 0 ...
 
 
 
A=
 0 µ2 −λ2 − µ2 λ2 0 ... 


 0 0 µ3 −λ3 − µ3 λ3 ... 

 .. .. .. .. .. ... 
. . . . .

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les processus de naissance et de mort

Une autre interprétation possible des processus de naissance et


de mort consiste à supposer que, lorsque la taille d’une popu-
lation est égale à i, l’intervalle de temps avant la prochaine
naissance est une variable exponentielle de paramètre λi , indé-
pendante de l’intervalle de temps avant la prochaine mort qui
est, lui, distribué selon une loi exponentielle de paramètre µi .

Un tel processus reste dans l’état i pendant un temps exponen-


tiel de paramètre µi . Un tel processus reste dans l’état i pendant
un temps exponentiel de paramètre λi + µi et se déplace ensuite
en i − 1 avec probabilité qi,i−1 = µi /(λi + µi ) et en i + 1 avec
probabilité qi,i+1 = λi /(λi + µi ).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les processus de naissance et de mort

Les processus de naissance et de mort sont à la base des mo-


dèles classiques de la théorie des files d’attente mais trouvent,
également, des applications dans d’autres domaines comme la
biologie où ils permettent, par exemple, de modéliser l’évolution
de la taille d’une population de bactéries.

Si, à l’instant t = 0, l’état initial du processus est X0 = i, nous


pouvons (théoriquement) calculer les probabilités de transition

πj (t) = pij (t) = P[Xt = j | X0 = i], j = 0, 1, 2, . . .

à l’aide des équations du passé P′ (t) = P(t)A.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les processus de naissance et de mort

En effet, rappelant que π(t) = π(0)P(t), la distribution π(t)


doit vérifier le système d’équations différentielles

π ′ (t) = π(t)A

qui s’écrit, sous forme développée,

π0′ (t) = −λ0 π0 (t) + µ1 π1 (t)


π1′ (t) = λ0 π0 (t) − (λ1 + µ1 )π1 (t) + µ2 π2 (t)
π2′ (t) = λ1 π1 (t) − (λ2 + µ2 )π2 (t) + µ3 π3 (t)
..
. (10)
πk′ (t) = λk−1 πk−1 (t) − (λk + µk )πk (t) + µk+1 πk+1 (t)
Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Les processus de naissance et de mort

Dans quelques cas simples, il est possible de calculer la solu-


tion de ce système (infini) d’équations différentielles linéaires (à
l’aide, par exemple, des transformées de Laplace).

Remarquons que (10) ne dépend pas explicitement de l’état du


processus au temps t = 0. Cette information n’intervient que
dans la condition initiale :
(
1 si k = i
πk (0) =
0 si k =
6 i

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les processus de Poisson

Un processus de Poisson est un processus de naissance pur


(µi = 0 pour tout i) où le taux de naissance est indépendant
de la taille de la population :

λi = λ, i = 0, 1, 2, . . .

La matrice d’un tel processus est

−λ λ 0 0 0 ...
 

 0 −λ λ 0 0 ... 

A=
 0 0 −λ λ 0 ...


.. .. .. .. .. ...
 
. . . . .

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les processus de naissance et de mort

et son graphe représentatif est donné par

Si la taille de la population initiale est nulle, les probabilités


πk (t) d’observer k naissances dans l’intervalle de temps [0, t[
sont solutions du système d’équations différentielles

π0′ (t) = −λπ0 (t)


πk′ (t) = λπk−1 (t) − λπk (t), k≥1

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les processus de Poisson
La solution générale de la première de ces équations est :

π0 (t) = ce −λt

et, utilisant la condition initiale π0 (0) = P[X0 = 0] = 1,


nous obtenons :
π0 (t) = e −λt (11)

Pour k ≥ 1, l’équation à résoudre est :

πk′ (t) = λπk−1 (t) − λπk (t)

Multipliant par e λt , elle s’écrit aussi :

e λt [πk′ (t) + λπk (t)] = λe λt πk−1 (t)


Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Les processus de Poisson

ou, encore,
d λt
(e πk (t)) = λe −λt πk−1 (t) (12)
dt
Utilisant (11), cette équation devient, pour k = 1,

d λt
(e π1 (t)) = λ
dt
et sa solution générale est :

π1 (t) = (λt + c)e −λt

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les processus de Poisson

Pour la condition initiale π1 (0) = P[X0 = 1] = 0, nous obtenons


finalement :
π1 (t) = λte −λt (13)
Par induction il est alors possible de montrer que
πk (t) = e −λt (λt)k /k!, quel que soit k ≥ 0. En effet, sup-
posant le résultat vrai pour k − 1, l’équation (12) s’écrit

d λt λ(λt)k−1
(e πk (t)) =
dt (k − 1)!

et sa solution générale est :

(λt)k
!
πk (t) = + c e −λt
k!

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les processus de Poisson

Pour la condition initiale πk (0) = P[X0 = k] = 0, nous obte-


nons :
(λt)k
πk (t) = e −λt
k!
et le pas d’induction est démontré.

Dans un processus de Poisson de taux λ, la variable d’état Xt ,


représentant la taille de la population au temps t, est donc
distribuée selon une loi de Poisson de paramètre λt et nous
avons, pour tout t ≥ 0,

(λt)k
πk (t) = P[Xt = k | X0 = 0] = e −λt , k = 0, 1, 2, . . .
k!

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Les processus de Poisson

Remarque
Un processus de Poisson de taux λ peut être vu comme un
processus de comptage dont l’état Xt représente le nombre total
« d’événements » apparus dans un système jusqu’au temps t.

Ces événements se produisent à des instants aléatoires et les


durées des intervalles de temps entre deux événements successifs
sont des variables aléatoires indépendantes, distribuées selon
une loi exponentielle de paramètre λ.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple : Processus de renouvellement

Considérons une pièce d’équipement neuve au temps t = 0 et


dont la durée de vie est une variable aléatoire de distribution
exponentielle de paramètre λ.

Dès sa défaillance, cette pièce est remplacée par une


autre, neuve et de caractéristiques identiques. Le processus
{Xt , t ≥ 0} comptant le nombre de renouvellements ayant
eu lieu dans l’intervalle de temps [0, t) est alors un processus de
Poisson de taux λ et la probabilité d’observer k remplacements
avant l’instant t ≥ 0 est :

(λt)k
πk (t) = e −λt
k!

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Distribution stationnaire d’un processus ergodique

En général, un processus de naissance et de mort est irréductible


si et seulement si
λi > 0, i = 0, 1, 2, . . . et µi > 0, i = 1, 2, 3, . . .

Si il existe un entier K ≥ 0 tel que λK = 0, la taille de la popu-


lation modélisée par le processus ne dépassera jamais la valeur
K (si elle est initialement inférieure à K ). Restreignant l’es-
pace d’états d’un tel processus à l’ensemble S = {0, . . . , K },
on obtient une chaîne de Markov à temps continu possédant
un nombre fini d’états. Cette chaîne est irréductible, et donc
ergodique, si µi > 0 pour i = 1, . . . , K et l’étude de son com-
portement à long terme s’en trouve simplifiée par rapport au
cas général traité ici.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Distribution stationnaire d’un processus ergodique

Dans une telle situation, nous pouvons chercher à déterminer si


la chaîne est ergodique, auquel cas nous aurons :

lim πj (t) = lim pij (t) = πj∗ > 0


t→∞ t→∞

Ces probabilités stationnaires, si elles existent, sont solutions du


système :

πA = 0
π1 = 1

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Distribution stationnaire d’un processus ergodique

or, pour un processus de naissance et de mort, les équations de


bilan sont :

µ1 π 1 = λ0 π 0
µ2 π2 = (λ1 + µ1 )π1 − λ0 π0
µ3 π3 = (λ2 + µ2 )π2 − λ1 π1
..
.
µk πk = (λk−1 + µk−1 )πk−1 − λk−2 πk−2
..
.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Distribution stationnaire d’un processus ergodique

qui s’écrivent également, de manière équivalente,

µ1 π 1 = λ0 π 0
µ2 π2 = λ1 π1 + (µ1 )π1 − λ0 π0 ) = λ1 π1
µ3 π3 = λ2 π2 + (µ2 )π2 − λ1 π1 ) = λ2 π2
..
.
µk πk = λk−1 πk−1 + (µk−1 )πk−1 − λk−2 πk−2 ) = λk−1 πk−1
..
.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Distribution stationnaire d’un processus ergodique

La solution de ce système, en fonction de π0 , est :


λ0
π1 = π0
µ1
λ1 λ0 λ1
π2 = π1 = π0
µ2 µ1 µ2
λ2 λ0 λ1 λ2
π3 = π2 = π0
µ3 µ1 µ2 µ3
..
. (14)
k
λk−1 λ0 λ1 . . . λk−1 Y λi−1
πk = πk−1 = π0 = π0
µk µ1 µ2 . . . µk i=1 µi
..
.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Distribution stationnaire d’un processus ergodique
P∞
Pour déterminer π0 , il suffit d’utiliser k=0 πk = 1, c’est-à-dire :
k
∞ Y
!
X λi−1
π0 1 + = 1 (15)
k=1 i=1 µi

La condition d’existence d’une distribution stationnaire est


donc :
∞ Y k
X λi−1
<∞ (16)
k=1 i=1 µi
Si elle est vérifiée, le processus est ergodique et :
lim πj (t) = πj > 0, ∀j
t→∞

où πj est donné par (14) et (15). Si la somme est infinie, les


états sont tous transitoires ou récurrents nuls et Xt tend vers
l’infini avec t. Nous avons alors πj = 0 quel que soit j.
Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Exemple : File d’attente M/M/1

Une file d’attente M/M/1 est un processus de naissance et de


mort où
λi = λ > 0, i = 0, 1, 2, . . .
et
µi = µ > 0, i = 1, 2, 3, . . .
Un tel processus permet de modéliser un système où des clients
arrivent selon un processus de Poisson de taux λ (les intervalles
de temps entre deux arrivées successives sont des variables ex-
ponentielles indépendantes de paramètre λ) et y sont servis,
les uns après les autres, pendant des temps i.i.d. selon une loi
exponentielle de paramètre µ.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple : File d’attente M/M/1

Pour un tel processus, les équations (14) deviennent, en posant


ρ = λ/µ,
k k
λi−1 λ
= π 0 ρk
Y Y
πk = π0 = π0
i=1 µi i=1 µ

et la condition d’existence des probabilités stationnaires est :



ρk < ∞
X

k=1

c’est-à-dire
λ
ρ= <1
µ

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple : File d’attente M/M/1

Cette condition est très intuitive et demande simplement que le


taux d’arrivée des clients soit plus petit que celui auquel ils sont
servis.

Si λ > µ, la fréquence d’arrivée des clients est plus élevée que


celle à laquelle le système peut les servir et la taille de la file
augmente à l’infini (tous les états du processus sont transitoires
et sont visités un nombre fini de fois avec probabilité 1).

Le cas λ = µ représente une situation limite où la file se vide


une infinité de fois avec une probabilité 1 mais l’espérance du
temps s’écoulant entre deux visites successives de l’état 0 est
infinie (les états du processus sont tous récurrents nuls).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple : File d’attente M/M/1

Lorsque ρ < 1, le processus est ergodique et la distribution


stationnaire de la file est
" ∞
#−1
π0∗ k
X
= ρ = 1−ρ
k=0

et
π0∗ = (1 − ρ)ρk , k≥1

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Exemple : File d’attente M/M/1

L’espérance de la variable aléatoire X de distribution π ∗ est


égale à

∞ ∞ ∞
kπk∗ = k(1 − ρ)ρk = ρ(1 − ρ) kρk−1
X X X
E [X ] =
k=0 k=0 k=1

! !
d X
k d ρ
= ρ(1 − ρ) ρ = ρ(1 − ρ)
dρ k=1 dρ 1−ρ
ρ
=
1−ρ
et, pour une période d’observation suffisamment longue, le nombre
moyen de clients dans le système est ρ/(1 − ρ).

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Chaînes de Markov réversibles

La théorie des chaînes de Markov réversibles fournit des outils


particulièrement intéressants pour l’analyse de certains proces-
sus stochastiques apparaissant lors de l’étude des réseaux de
files d’attente ou en simulation.

Définition
Soit {Xt , t ∈ R} une chaîne de Markov homogène et régulière
à temps continu et soit τ ∈ R un instant pivot quelconque.
Le processus renversé dans le temps (par rapport au pivot τ ),
noté {X̃t , t ∈ R} est défini par

X̃t = Xτ −t

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Chaînes de Markov réversibles

Un processus renversé est donc obtenu en faisant se dérouler le


temps « à l’envers » à partir de l’instant pivot τ . Notons qu’un
tel processus est encore une chaîne de Markov.

En effet, la propriété de Markov demande qu’une fois l’état cou-


rant du processus connu, son évolution future soit indépendante
de son passé ou, de manière équivalente, que son évolution pas-
sée soit indépendante de son futur. Or ceci constitue précisé-
ment la propriété markovienne du processus renversé.

Si une chaîne de Markov est ergodique, le processus renversé


l’est également (quel que soit le pivot τ utilisé). De plus, il
possède la même distribution stationnaire comme le montre le
résultat suivant.
Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Chaînes de Markov réversibles

Théorème
Soit {Xt , t ∈ R} une chaîne de Markov ergodique de matrice
génératrice A et de distribution stationnaire π. Alors, la chaîne
de Markov renversée {X̃t , t ∈ R} est également ergodique, quel
que soit le pivot τ , et possède la même distribution stationnaire
π. De plus, sa matrice génératrice à = (ãij ) est donnée par
πj
ãij = aji , i, j ∈ S (17)
πi

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Chaînes de Markov réversibles

Remarque
Il est également possible de définir un processus renversé dans
le cas d’une chaîne de Markov à temps discret. De plus, si la
chaîne en question est irréductible et ergodique, la situation
est analogue à celle exposée dans le théorème précédent. Plus
précisément, si {Yn , n ∈ Z} est une chaîne de Markov à temps
discret irréductible et ergodique, de matrice de transition P et
de distribution stationnaire π, la chaîne renversée {Ỹn , n ∈ Z}
définie par Ỹn = Yν−n , où ν est un instant pivot quelconque,
est également irréductible et ergodique.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Chaînes de Markov réversibles

De plus, elle possède la même distribution stationnaire π et sa


matrice de transition P̃ = (p̃ij ) est donnée par
πj
p̃ij = pji
πi
A priori la matrice génératrice d’une chaîne de Markov ergodique
est différente de celle du processus renversé. Lorsque ces deux
matrices sont égales, les deux processus possèdent les mêmes
probabilités de transition et sont dits réversibles.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Chaînes de Markov réversibles
Définition
Une chaîne de Markov ergodique à temps continu est réver-
sible si elle possède la même matrice génératrice que sa chaîne
renversée, c’est-à-dire si

πi aij = πj aji , ∀i, j ∈ S

Remarque
De manière analogue, une chaîne de Markov à temps discret,
irréductible et ergodique, est réversible si elle possède la même
matrice de transition que sa chaîne renversée, c’est-à-dire si

πi pij = πj pji , ∀i, j ∈ S

où π est la distribution stationnaire commune aux deux chaînes.


Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente
Chaînes de Markov réversibles

Une méthode pour vérifier l’invariance d’une distribution π est


donnée par le résultat suivant :
Théorème : Lemme de Kelly
Soit π une distribution de probabilités sur S, avec πi > 0, ∀i ∈
S, et A et A′ deux matrices génératrices définissant des chaînes
ergodiques sur S. Si

πi aij = πj aji′ , ∀i, j ∈ S (18)

alors πA = 0 et A′ est la matrice génératrice à du processus


renversé de la chaîne définie par la matrice A et de distribution
stationnaire π.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente


Chaînes de Markov réversibles

Ce résultat trouve de nombreuses applications dans la théorie


des files d’attente. Il est en effet parfois possible de deviner la
distribution stationnaire d’une chaîne de Markov ainsi que la
matrice génératrice du processus renversé (par exemple lorsque
l’on suppose que la chaîne initiale est réversible).

Les conditions (18) permettent alors de vérifier la validité des


hypothèses faites et, tout particulièrement, l’invariance de la
distribution proposée. Cette approche permet, par exemple, de
traiter les réseaux de Jackson présentés dans la suite du cours.

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Vous aimerez peut-être aussi