CH I ProcMarkovDiscret

INFO416 : Processus & Files d’attente
Chapitre I : Chaînes de Markov à temps discret
Mouhamadou Lamine BALDE

Université Gaston Berger de Saint-Louis
UFR de Sciences Appliquées et de Technologie
UFR de Sciences Economiques et de Gestion
Master MIAGE
31 octobre 2017
Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Motivation
Les Sciences et Technologies de l’Information et de la Commu-

nication sont considérées par beaucoup comme l’un des enjeux
majeurs de développement économique et social pour le XXI e
siècle, et la demande dans ce domaine est grandissante.
Or les mathématiques discrètes sont cruciales dans le domaine

des STIC, qui font appel notamment à la combinatoire, à la
théorie des graphes, aux probabilités, etc.
Elles sont désormais essentielles aux recherches menées dans

la plupart des laboratoires d’informatique. Ce cours aborde le
thème fondamental de l’étude des processus stochastiques et de
la théorie des files d’attente, dans le cadre d’une présentation
des méthodes aléatoires.

Public
Ce cours est destiné à des informaticiens. Il ne contient donc

aucune démonstration formelle des propriétés énoncées (même
si ce public possède le niveau mathématique requis pour en
comprendre tous les développements).
Partant du principe que l’étudiant de Master connaît les fonde-

ments de la théorie des probabilités, notamment les notions de
loi de probabilités, de variable aléatoire et de probabilités condi-
tionnelles ; nous en utiliserons spontanément les notations.

Probabilités : Objet et Définition
Théorie des probabilités : discipline mathématique étudiant

les lois qui gouvernent les phénomènes aléatoires.
Elle date du milieu du 17ème siècle et est associée aux noms de

Huygens, Fermat, Pascal, James Bernoulli, . . .
Même motivée par des problèmes ludiques à l’origine, tous les

contributeurs au développement de la théorie des probabilités
ont également perçu leur capacité à établir des lois fondamen-
tales en étudiant les phénomènes aléatoires.
Les domaines d’application sont très divers : statistiques, théorie

des jeux, démographie, assurances, physique, génomique, télé-
communications, théorie de la complexité, algorithmique, ...

Introduction aux problèmes stochastiques
On dit qu’on a affaire à un problème stochastique lorsque
le hasard y intervient : c’est la difficulté principale de ces pro-
blèmes.
Or, le gestionnaire n’est pas totalement désarmé dans une telle

situation. S’il a une connaissance statistique du passé récent et
s’il estime que l’avenir proche ressemblera à ce passé, il peut
songer à utiliser son information pour se prémunir contre des
conséquences fâcheuses du hasard.
Cette attitude, toute naturelle dans les sciences expérimentales

où les lois peuvent, à l’échelle humaine, être considérées comme
permanentes et où les mêmes causes produisent les mêmes
effets, ne peut être étendue aux phénomènes d’organisation
qu’avec prudence.
Ainsi, si l’on a reconnu que les ventes de l’année passée

ont affecté la forme d’une certaine distribution statistique, de
moyenne 500 par mois, par exemple, et s’il s’agit d’un produit
en pleine expansion, on pourra estimer que la même allure sta-
tistique du phénomène se conservera cette année, la moyenne
étant toutefois relevée de x % et l’on déterminera cette propor-
tion par l’étude de la ”tendance” (trend) sur les statistiques
antérieures.
La projection du passé sur l’avenir ne peut donc se faire de façon

automatique.

Si les budgets de la publicité et du service commercial doivent

subir une sérieuse augmentation, on se donnera pour objectif
d’accroître les ventes de l’année précédente ; mais, si un puissant
concurrent vient de s’installer, sans doute faudra-t-il prévoir que
le développement du marché ne profitera pas qu’aux firmes déjà
en place.
Dans ces conditions, les indications statistiques qui seront uti-

lisées dans les divers aspects relatifs à la lutte contre le hasard,
quoique présentés comme des données résultant de l’étude di-
recte du passé, devraient en réalité faire l’objet d’une critique et
d’un rajustement convenable avant leur projection sur l’avenir.

Une autre méthode consisterait, dans bien des cas, tout en par-
tant de données non rectifiées, à mettre en cause les résultats
provisoires de l’optimisation mathématique, pour tenir compte
des expansions ou régressions dues à la conjoncture ou aux évé-
nements particuliers à l’entreprise et à son environnement im-
médiat.
Une autre caractéristique commune aux aspects en question est

d’aboutir chacun à un compromis entre le coût correspondant
à l’utilisation de moyens humains ou matériels et l’espérance
mathématique du gain résultant de l’usage de ces moyens, dans
des conditions connues seulement en probabilité.

Dans un problème de files d’attente, il s’agit, en général, de

déterminer le nombre des stations (où les ”clients” viennent
chercher un ”service”) de manière à ce que ces clients ne perdent
qu’un temps limité.
Cela revient à minimiser le coût total de déploiement des sta-

tions et de l’attente des clients ; donc à établir un compromis
entre le coût des serveurs et le coût de l’attente des clients, ces
deux coûts variant évidemment en sens inverse.
Mais le coût des serveurs est simplement proportionnel à leur

nombre, tandis que celui de l’attente des clients dépend de don-
nées aléatoires (l’affluence de la clientèle et la durée du service).

Dans un problème de maintenance (d’entretien) des équipe-

ments, c’est l’usure qui est aléatoire, et c’est sa connaissance
statistique qui peut permettre de fixer les taux d’approvision-
nement, de manière à obtenir le meilleur compromis entre le
coût des arrêts du système (matériel) et celui du stockage des
équipements (pièces) de rechange.
Tous ces problèmes font appel à la notion commune de proces-

sus stochastique.
Nous serons aidés par le fait que presque tous, étant donné le ca-
ractère discret de leurs ensembles d’états, peuvent être exposés
concrètement en utilisant la théorie des graphes.

La première idée de la théorie des processus stochastiques re-

vient sans doute à A. Einstein qui, en 1905, soutint sa thèse sur
le mouvement brownien.
Ensuite, Andreï Andreïevitch Markov, vers 1910, en

étudiant l’oeuvre de Pouchkine intitulée ”Eugène
Onéguine”, décrivit de manière probabiliste l’alternance
des consonnes et des voyelles sous la forme d’une chaîne
qui porte aujourd’hui son nom.
Le danois Erlang créa, vers 1914, la théorie des files
d’attente (pour l’aider à résoudre deq problèmes de
dimensionnement de standards téléphoniques).

C’est à A. Kolmogorov, que l’on doit la formalisation

générale du concept de processus stochastique (1933).
Des mathématiciens comme D.G. Kendall, P. Lévy, A.
Khintchine, W. Feller, J. Doob ont entrepris, dans
l’intervalle ou par la suite, de développer cette théorie.
Les processus stochastiques ont pris un énorme essor, non seule-

ment en finances, dans la prédiction de l’usure et de la fiabi-
lité des systèmes, en mécanique statistique ou encore dans les
sciences de la vie.

Définition d’un processus stochastique
Définition
Un processus stochastique (ou processus aléatoire)
{Xt , t ∈ T } est une collection de variables aléatoires indexées
par un paramètre t et définies sur un même espace de proba-
bilités (Ω, F, P). Le paramètre t est généralement interprété
comme le temps et appartient à un ensemble ordonné T .
Si T est discret, on parle plus volontiers de suite

stochastique, l’appellation de processus stochastique
étant alors réservée au cas de T continu.
Dans les applications, Xt représentera l’état pris par un
système à l’instant t : ainsi pour une file d’attente, Xt
sera le nombre de clients présents à t.

Définition
L’ensemble de toutes les valeurs que peuvent prendre les va-
riables définissant un processus stochastique est appelé l’espace
des états du processus et sera noté S. Si cet ensemble est fini
ou dénombrable, le processus est appelé une chaîne.
La lettre T a été choisie en raison du fait que, très

souvent, elle désigne un ensemble de dates ;
Lorsque T est discret, t1 , t2 , . . . , tn , . . . sont des instants
donnés ;
Lorsque T est continu (T = R+ par exemple), t désigne
un instant quelconque (t ≥ 0).

Lorsque Xt peut prendre un ensemble fini ou infini

dénombrable de valeurs (ou états), le processus est dit à
espace d’états discret.
Si, au contraire, ses valeurs appartiennent à un ensemble
continu (un intervalle de R par exemple), on dit qu’il est
à espace d’états continu.
Un processus stochastique permet de modéliser l’état d’un sys-

tème évoluant de manière aléatoire dans le temps. L’observation
du système au cours du temps peut se faire de manière continue
ou discrète et son état au temps t est représenté par la variable
aléatoire Xt .

A tout élément ω ∈ Ω correspond une affectation de

valeurs à la variable d’état Xt = Xt (ω) pour tout t ∈ T
(plusieurs ω pouvant définir la même affectation).
Ces valeurs représentent une évolution particulière du

système appelée réalisation ou trajectoire.
Pour une réalisation particulière, l’historique (ou

l’histoire) d’un processus au temps τ n’est rien d’autre
que la suite {Xt , 0 ≤ t ≤ τ } des valeurs prises par la
variable d’état Xt entre l’instant 0 (le début de l’évolution
du processus) et l’instant τ .

Exemples de processus stochastiques
Exemple 1 : Somme de variables aléatoires indépendantes
Soit {Yi , i = 1, 2, 3} une suite de variables aléatoires
indépendantes correspondant aux résultats des lancés
d’un dé équilibré.
Définissons X0 = 0 et Xn = ni=1 Yi pour n = 1, 2, 3.
P
La famille {Xn , n = 0, 1, 2, 3} est un processus

stochastique à temps discret avec S = {0, 1, 2, . . . , 18}
comme espace des états.
Une réalisation particulière des lancés, par exemple

ω = (3, 6, 2), correspond à la trajectoire {0, 3, 9, 11}. Le
nombre de trajectoires différentes du processus s’élève à 216
(63 ), ce qui est également, dans cet exemple, le nombre
d’éléments de Ω.
Exemple 2 : Files d’attente

Considérons l’unique guichet d’un petit office postal.
Notons Xt le nombre de clients présents t minutes après
l’ouverture du bureau. La collection {Xt , t ≥ 0} définit un
processus stochastique.
L’ensemble S des états du processus est égal à l’ensemble
des nombres entiers non négatifs et, à l’instant 0, X0 = 0.
L’évolution de la variable aléatoire Xt dépend du
processus d’arrivée des clients, décrivant les instants
auxquels une personne entre dans le bureau de poste, et
du processus de service, décrivant le temps passé par
chaque client au guichet.

Exemple 2 : Files d’attente

Supposons que les trois premiers clients du jour arrivent,
respectivement, 1, 4 et 5 minutes après l’ouverture du
bureau et que leurs paiements durent, respectivement, 2,
4 et 1 minutes.
Le début de la réalisation particulière du processus
{Xt , t ≥ 0} correspond aux événements décrits.

L’intérêt porté à l’étude des processus stochastiques

réside dans l’introduction de dépendances temporelles
entre les variables aléatoires Xt .
En l’absence de dépendance, l’historique d’une

réalisation n’apporte aucune information utile pour
l’étude et la prédiction de l’évolution future de la variable
d’état.
Un processus stochastique est, dans ce cas, une simple

collection de variables aléatoires indépendantes et l’étude
de tels objets amène aux résultats bien connus de la
théorie des probabilités tels que les lois forte et faible
des grands nombres ou le théorème central limite.

Processus markoviens et propriété de Markov
Remarque heuristique
Un modèle général de dépendance n’étant pas envisageable,
plusieurs classes particulières de processus stochastiques ont
fait l’objet d’études approfondies. Les processus markoviens
constituent l’une des classes offrant de vastes possibilités d’ap-
plication tout en étant basés sur des dépendances suffisamment
simples pour permettre une analyse fructueuse.
Trajectoire d’une particule amnésique

Considérons une particule amnésique qui, à chaque instant t,
choisit aléatoirement son prochain emplacement en utilisant
comme seule information sa position actuelle Xt . La trajectoire
d’une telle particule représente une réalisation d’un processus
markovien.
Exemple 3 : Jeu de pile ou face

Alassane et Babacar jouent à pile ou face. Chacun d’eux
possède initialement 3 francs et, après chaque lancé d’une
pièce équilibrée, Alassane donne 1 Fcfa à Babacar si le
résultat est face et reçoit 3 Fcfa de Babacar si le résultat
est pile.
Dès qu’un des joueurs est ruiné, le jeu s’arrête.
Afin d’obtenir un processus défini pour un nombre
quelconque de lancés, nous supposerons que, lorsqu’un
des deux joueurs est ruiné, les lancés ne modifient plus les
avoirs des joueurs, quel qu’en soit le résultat.

Exemple 3 : Jeu de pile ou face (suite)
Ainsi, si Xn représente la fortune d’Alassane après n
lancés, la suite de variables aléatoires
{Xn , n = 0, 1, 2, . . .} est une chaîne dont l’espace des
états est S = {0, 1, 2, 3, 4, 5, 6}.
Initialement X0 = 3 et, si après n lancés Xn = k, nous
avons, pour k ∈ {1, 2, 3, 4, 5},
(
1 / 2 si j = k + 1 ou k − 1
P[Xn+1 = j|Xn = k] =
0 sinon
et, pour k ∈ {0, 6},

(
1 si j = k
P[Xn+1 = j|Xn = k] =
0 sinon
Exemple 3 : Jeu de pile ou face (suite)

Si, en plus de la fortune d’Alassane après n lancés, nous
connaissions sa fortune après chacun des n − 1 premiers
lancés, les probabilités conditionnelles qu’Alassane
possède j francs après n + 1 lancés ne seraient pas
différentes de celles données ci-avant.
Le montant que possède Alassane à l’étape n résume, en
effet, toute l’information utile pour étudier et prédire
l’évolution future de sa fortune.
Cette caractéristique est appelée la propriété de
Markov et est à la base de la définition des processus de
même nom.

Définition : Propriété de Markov

Un processus stochastique {Xt , t ≥ 0} défini sur un espace
d’états S satisfait la propriété de Markov si, pour tout instant
t ≥ 0 et tout sous-ensemble d’états I ⊆ S :
P[Xt+∆ ∈ I | Xu , 0 ≤ u ≤ t] = P[Xt+∆ ∈ I | Xt ], ∀∆ ≥ 0 (1)
Un processus stochastique vérifiant la propriété précédente est

appelé un processus de Markov ou processus markovien.
On dit que le processus est sans mémoire.

L’évolution de l’état d’un système peut être modélisée par

un processus markovien si, pour tout instant t, l’état
courant Xt résume, à lui seul, tout l’historique du système
susceptible d’influencer son évolution future.
L’évolution de la particule se déplaçant aléatoirement,

satisfait la propriété de Markov si, à chaque instant t,
elle oublie comment elle est arrivée à son emplacement
actuel Xt . Sa trajectoire future obéit, alors, aux mêmes
lois que celle d’une particule débutant son évolution à
l’instant t dans l’état Xt .

Exprimée différemment, la propriété de Markov exige

que la prédiction de l’évolution d’un système, une fois son
état connu, ne puisse être améliorée par l’acquisition
d’informations supplémentaires sur le passé du système.
La définition précédente de la propriété de Markov est

très générale et est valable pour n’importe quel processus
stochastique, qu’il soit à temps discret ou à temps
continu, et que son espace d’états S soit fini ou infini.

La suite de ce chapitre se concentre sur l’étude des chaînes à

temps discret vérifiant la propriété de Markov.
Pour de tels processus, cette condition se simplifie car l’espace

de leurs états est toujours dénombrable et les instants d’obser-
vation ne prennent plus que des valeurs discrètes, typiquement
entières et non négatives.
Définition : Propriété de Markov
Une chaîne à temps discret {Xn , n = 0, 1, . . .} définie sur un
espace d’états S satisfait la propriété de Markov si pour tout
n ≥ 1 et pour tout état i ∈ S :
P[Xn = i | Xn−1 , Xn−2 , . . . , X0 ] = P[Xn = i | Xn−1 ] (2)

Chaîne de Markov à temps discret
Définition : Chaîne de Markov à temps discret

Une chaîne de Markov à temps discret est un processus
stochastique {Xn , n ≥ 0} satisfaisant les trois restrictions sui-
vantes :
le processus est à temps discret ;
l’espace des états S est fini ou dénombrable ;
le processus satisfait la propriété de Markov (2).

Exemple 4 : Marche aléatoire
Le processus décrit dans l’exemple 3 (Jeu de pile ou face) ap-
partient à une famille de processus stochastiques connus sous
le nom de marches aléatoires.
Pour comprendre l’origine de ce nom, reprenons un instant

l’image d’une particule se déplaçant dans un espace S.
L’état Xn d’un tel système correspond simplement à la
position de la particule à l’instant n.
La suite de ces positions est appelée marche aléatoire si
chaque nouvel emplacement de la particule est obtenu en
additionnant à sa position courante une quantité aléatoire
dont la distribution ne dépend ni du temps ni de l’endroit
où se trouve la particule (sauf, éventuellement, pour
quelques états ”au bord” de l’espace S).
Exemple 4 : Marche aléatoire (suite)

En d’autres termes, le processus {Xn , n = 0, 1, 2, . . .} est une
marche aléatoire (discrète) si
Xn = Xn−1 + Yn , n = 1, 2, . . .
où X0 correspond à l’état initial et Y1 , Y2 , . . . est une séquence

de variables aléatoires indépendantes et identiquement distri-
buées (i.i.d.).

Exemple 4 : Marche aléatoire (suite)
Dans le Jeu de pile ou face, la variable Xn représente la
fortune d’Alassane après n lancés et nous avons
Xn = Xn−1 + Yn où Yn est une variable aléatoire dont la
loi de probabilités est
P[Yn = 1] = P[Yn = −1] = 1/2, siXn−1 ∈ {1, 2, 3, 4, 5}
et
P[Yn = 0] = 1, si Xn−1 ∈ {0, 6}.
Cette situation correspond à l’exception mentionnée
ci-avant. Les états 0 et 6, situés ”au bord”de l’espace S,
modifient la distribution de la variable Yn et jouent ici le
rôle de parois absorbantes.

Exemple 5 : Gestion de stocks

Une entreprise doit gérer le stock d’un article dont la demande, à
chaque période n, est une variable aléatoire Dn de distribution :
P[Dn = k] = ak , k = 0, 1, 2, . . .
Supposons que ce stock soit géré de la manière suivante :

Au début de la période n, le niveau Xn du stock est observé et un

réapprovisionnement, dont le délai de livraison est suffisamment
court pour qu’il puisse servir à satisfaire à la demande de la
période, est décidé selon la règle :
Si Xn < s, commander S − Xn unités.
Si Xn ≥ s, ne rien commander.
Définition
Une telle règle de gestion est connue sous le nom de
politique (s, S) où s et S sont deux paramètres donnés.

Au début de la période n + 1, le niveau du stock est :

(
S − Dn siXn < s
Xn+1 =
Xn − Dn siXn ≥ s
Si Xn < s, commander S − Xn unités.

Si Xn ≥ s, ne rien commander.

La suite des niveaux de stock {Xn , n = 0, 1, 2, . . .} définit donc

une chaîne de Markov dont l’espace des états est égal à Z. De
plus, pour tout n ≥ 1, nous avons :

 ak
 si i < s et j = S − k, k ≥ 0
P[Xn = j|Xn−1 = i] =  ak si i ≥ s et j = i − k, k ≥ 0

0 autrement

Définition : Chaîne de Markov homogène

Une chaîne de Markov est homogène (dans le temps) si la
probabilité d’effectuer une transition d’un état dans un autre
est indépendante de l’instant auquel a lieu cette transition. En
d’autres termes, pour toute paire d’états (i, j) et pour tout ins-
tant n :
P[Xn = j | Xn−1 = i] = P[Xn+k = j | Xn+k−1 = i] (3)
quel que soit k ≥ 0.

Processus markovien
Définition : Processus markovien
Un processus aléatoire {Xt , t ∈ T } est markovien si, pour tout
instant u, pour toute valeur Xu = x donnée, la probabilité pour
que le processus prenne la valeur y (passe par l’état y ) à un
instant quelconque t ultérieur (c’est-à-dire pour tout t > u) ne
dépend pas des valeurs prises avant l’instant u :
P[Xt = y |Xs , pour s < u; Xu = x ] = P[Xt = y |Xu = x ] (4)
On dit aussi que le processus est sans mémoire.
Chaînes de Markov à espace d’états discret

C’est ainsi qu’on nomme une suite stochastique à espace d’états
discret et vérifiant la propriété ”sans mémoire” ci-dessus ; nous
supposerons, en outre le processus homogène.
On a donc T = {t0 , t1 , . . . , tn , . . .} ; le plus souvent on

confondra T avec N : on étudiera alors les états Xt par
lesquels passe un système à t = 0, 1, 2, . . .
Soit un ensemble d’états :
E = {E1 , E2 , . . . , En , . . .}
fini ou infini. On dit que ” le processus est passé par

l’état Ek à l’instant n ” si : Xn = k.

Définition : Chaîne markovienne d’ordre 1

Par définition, une chaîne de Markov possède la propriété
d’être ” sans mémoire ” :
P[Xn = j | X0 = i0 , X1 = i1 , . . . , Xn−1 = in−1 ]

(n)
= P[Xn = j | Xn−1 = in−1 ] = pij
On dit alors que la chaîne est markovienne d’ordre 1.
Elle serait d’ordre p si la probabilité de l’état atteint à l’instant

n ne dépendrait que des p états antérieurs (atteints respective-
ment à t − p, t − p + 1, . . . , t − 1) ; par une démultiplication
des états, on peut ramener une chaîne d’ordre p à une chaîne
d’ordre 1.

Homogénéité dans le temps
Définition : Homogénéité dans le temps

Une chaîne de Markov est homogène (dans le temps) si la
probabilité d’effectuer une transition d’un état dans un autre
est indépendante de l’instant auquel a lieu cette transition. En
d’autres termes, pour toute paire d’états (i, j) et pour tout ins-
tant n :
P[Xn = j | Xn−1 = i] = P[Xn+k = j | Xn+k−1 = i] (5)
quel que soit k ≥ 0.
Par exemple, si la probabilité de passer de l’état E15 à l’état E67

entre les instants t = 0 et t = 1, ou encore entre t = 1421 et
1422 est la même : elle vaut p15,67 . On dira que ces probabilités
sont stationnaires dans le temps.
Probabilités et matrices de transition
Pour un processus homogène, les probabilités conditionnelles

(5) ne varient pas au cours du temps. Nous pouvons donc
simplifier les notations et définir les probabilités :
(n)
pij = P[Xn = j | Xn−1 = i] = pij (6)
pour toute paire d’états (i, j), indépendamment de n.
Définition : Probabilités de transition

La probabilité pij est appelée probabilité de transition (ou de
passage) de l’état i à l’état j en une étape et est égale à la
probabilité conditionnelle que le système se retrouve dans l’état
j à l’étape suivante, sachant qu’il se trouve actuellement dans
l’état i.

Si une chaîne de Markov possède s = |S| états, il existe s 2

probabilités de transition qui peuvent être rangées dans une
matrice carrée, s × s, aux lignes et aux colonnes indexées par
les éléments de S.
Le plus souvent, nous supposerons les états de la chaîne numé-

rotés de 1 à s et nous parlerons alors de l’état k plutôt que du
k ieme état de la chaîne dans l’ordre retenu.
Définition : Matrice de transition

La matrice P = (pij ), dont l’élément (i, j) est égal à la probabi-
lité de transition, en une étape, de l’état i à l’état j, est appelé
matrice de transition de la chaîne de Markov.

Matrices stochastiques
Les matrices de transition sont également appelées matrices
stochastiques et satisfont les deux conditions suivantes :
1 leurs éléments sont non négatifs :
pij ≥ 0, ∀i, j ∈ S
2 la somme des éléments de chaque ligne est égale à 1 :

X
pij = 1, ∀i ∈ S
j∈S

Exemple : Jeu de pile ou face (suite)
Si les deux joueurs utilisent pour leurs lancés une pièce
tombant sur pile avec probabilité p et sur face avec
probabilité q = 1 − p, Alassane gagne un franc avec
probabilité p et perd un franc avec probabilité q.
La matrice de transition de la chaîne de Markov décrivant
l’évolution de la fortune d’Alassane est égale à
 
1 0 0 0 0 0 0
q 0 p 0 0 0 0
 
 
 

 0 q 0 p 0 0 0 

P=
 0 0 q 0 p 0 0 

0 0 0 0 0
 

 q p 


 0 0 0 0 q 0 p 

0 0 0 0 0 0 1
Exemple : Jeu de pile ou face (suite)

L’utilisation d’une pièce équilibrée correspond au cas
p = q = 1/2.

A toute chaîne de Markov correspond une matrice de

transition et, réciproquement, toute matrice stochastique
P peut être vue comme la matrice de transition d’une
certaine chaîne de Markov.
Chaque ligne de P définit une distribution (ou loi) de
probabilités et si la chaîne se trouve à un instant donné
dans l’état i, son état à l’étape suivante est choisi selon la
loi de probabilités donnée par la i eme ligne de P.
Connaissant l’état initial X0 du processus, ou tout au
moins la loi de probabilités selon laquelle il est choisi, la
matrice de transition d’une chaîne de Markov contient
toutes les informations concernant les déplacements
possibles du système dans l’espace de ses états S.

L’étude du comportement à long terme d’une

chaîne se ramène à l’étude des propriétés de sa
matrice de transition.
Les probabilités de transition pij , et plus généralement la
matrice P, décrivent l’évolution de l’état d’une chaîne de
Markov étape après étape.
Il est également possible de calculer des probabilités de
transition en plusieurs étapes. Pour cela, introduisons la
notation
(m)
pij = P[Xn+m = j | Xn = i] (7)
pour la probabilité conditionnelle d’aller de i à j en m
étapes exactement. Cette définition est possible car le
processus est homogène.

(m)
Les probabilités pij sont appelées probabilités de transition
en m étapes et la matrice P(m) dont l’élément (i, j) est égal à
(m)
pij est appelée matrice de transition en m étapes.
(1)
Nous avons évidemment pij = pi,j et P(1) = P mais de telles
écritures ne seront que rarement utilisées.
De plus, afin de simplifier certaines formulations, nous adopte-

rons la convention naturelle P(0) = I, c’est-à-dire
(
(0) 1 si i = j
pij = δi,j =
0 si i 6= j

Cette convention revient simplement à affirmer que l’état du

système à un instant donné peut être connu exactement car
(0)
nous avons pij = P[Xn = j | Xn = i].
Afin de calculer les probabilités de transition en m étapes, consi-

dérons une chaîne de Markov se trouvant initialement dans l’état
i. La probabilité que ce processus se retrouve dans l’état j après
deux transitions est, d’après la loi des probabilités totales,
(2)
pij = P[X2 = j | X0 = i]
X
= P[X2 = j | X1 = k]P[X1 = k | X0 = i]
k∈S
X X
= pkj pik = pik pkj
k∈S k∈S

(2)
Ainsi pij est simplement égal à l’élément (i, j) de la matrice
P2 .
Par ailleurs, il est facile de montrer que toute puissance Pm de la

matrice P est également une matrice de transition. Une simple
induction permet alors, à partir du calcul précédent, de démon-
trer la caractérisation suivante des probabilités de transition en
m étapes.

Théorème
(m)
La probabilité pij qu’une chaîne de Markov se retrouve dans
l’état j après m étapes, si elle se trouve actuellement dans l’état
i, est donnée par l’élément (i, j) de la matrice Pm .
Sous forme matricielle, cette propriété devient

(m)

P(m) = pij = Pm
et est à la base des équations de Chapman-Kolmogorov.

Théorème : Equations de Chapman-Kolmogorov

Soit P(m) la matrice de transition en m étapes d’une chaîne de
Markov. Alors, pour tout entier non négatif l et m,
P(l+m) = P(l) P(m) (8)
ce qui s’écrit sous forme développée :

(l+m) X (l) (m)
pij = pik pkj , ∀i, j ∈ S (9)
k∈S

Remarques : Equations de Chapman-Kolmogorov
La partie gauche de l’identité (9) représente la probabilité
de se déplacer de l’état i dans l’état j en l + m étapes.
Cette quantité est égale à la somme des probabilitésde
toutes les trajectoires débutant en i et se terminant en j
après l + m transitions.
La partie droite de l’identité (9) partitionne l’ensemble de
ces trajectoires selon l’état atteint après l étapes.
(l) (m)
Le terme pik pkj représente la probabilité de toutes les
trajectoires allant de i à k en l étapes et de k à j en m
étapes.
En sommant ces probabilités sur tous les états
intermédiaires possibles (em i.e. tous les états de S), nous
obtenons la probabilité d’aller de i à j en l + m étapes.
Graphes représentatifs
Une chaîne de Markov, ou plus précisément sa matrice de tran-

sition peut être représentée par un graphe orienté G dont les
sommets correspondent aux états de la chaîne et où un arc re-
lie les sommets associés aux états i et j si la probabilité de
transition de i à j est positive, c’est-à-dire si pij > 0.
Définition : Graphe représentatif

Le graphe ainsi défini est appelé le graphe représentatif de la
chaîne de Markov.
L’utilisation des graphes représentatifs facilite, dans bien des

cas, l’étude des chaînes de Markov.

Leur caractère visuel permet, en effet, des interprétations très

intuitives de certaines définitions et propriétés.
Nous allons introduire la plupart des notions permettant

de classifier les états d’une chaîne de Markov en utilisant
les propriétés du graphe représentatif de la chaîne.
Les définitions algébriques équivalentes, basées sur les
propriétés de la matrice de transition de la chaîne, sont
présentées dans un deuxième temps.

Chaque sommet du graphe représentatif d’une chaîne de Markov

étant associé à exactement un état du système, nous nous per-
mettrons souvent de parler de l’état i de G tout en gardant à
l’esprit qu’une telle expression désigne, en fait, le sommet de G
associé à l’état i.

Graphes représentatifs : Exemple
Vieillissement d’une machine
Une machine peut se trouver dans quatre états d’usure différents
numérotés de 1 à 4. L’état 1 correspond à une machine fonc-
tionnant parfaitement et l’état 4 à une machine inutilisable ; les
états 2 et 3 dénotent, eux, des stades de dégradation croissante
des performances de l’installation.
Les probabilités que la machine se retrouve dans l’état j un

certain matin sachant qu’elle se trouvait dans l’état i la veille
au matin sont résumées dans la matrice de transition
0, 95 0, 04 0, 01 0
 
 0 0, 90 0, 05 0, 05 
P= 
0 0 0, 80 0, 20
 
 
1 0 0 0
Graphes représentatifs : Exemple
Vieillissement d’une machine

La probabilité p41 = 1 correspond au fait que chaque
matin où la machine se retrouve inutilisable, elle subit une
révision complète, qui empêche toute production pendant
la journée, mais la laisse en parfait état pour le lendemain.
Le graphe représentatif de la chaîne de Markov définie par

P est donné par :

Classification des états et des chaînes
Afin d’aborder l’étude du comportement à long terme d’une

chaîne de Markov, nous introduirons plusieurs définitions per-
mettant de classifier les différents états d’un processus marko-
vien.
Définition
Soient i et j deux états d’une chaîne de Markov. L’état j est
accessible depuis l’état i
soit si i = j,
soit s’il existe, dans le graphe représentatif G de la
chaîne, au moins un chemin de i à j (ou, plus
exactement, du sommet associé à i à celui associé à j).

Définition
Deux états i et j d’une chaîne de Markov communiquent si
les sommets associés aux états i et j appartiennent à la même
composante fortement connexe du graphe représentatif G de la
chaîne.
Cette situation apparaît lorsque, dans le graphe représentatif de

la chaîne, il existe au moins un chemin de i à j et au moins un
chemin de j à i, c’est-à-dire lorsque i et j appartiennent à la
même composante fortement connexe de G.

Si l’état in d’une chaîne de Markov est accessible depuis l’état

i0 , notons e1 = (i0 , i1 ), . . . , en = (in−1 , in ) les arcs d’un che-
min de i0 à in dans le graphe représentatif G de la chaîne. Par
définition de G, nous avons
n−1
Y
pi0 i1 > 0, pi1 i2 > 0, . . . , pin−1 in > 0 et pik ik+1 > 0
k=0

Propriété 1
L’état j d’une chaîne de Markov est accessible depuis l’état i
(n)
si et seulement si il existe n ≥ 0 tel que pij > 0.
Propriété 2
Deux états i et j d’une chaîne de Markov communiquent si
(n)
et seulement si il existe n ≥ 0 et m ≥ 0 tels que pij > 0 et
(m)
pij > 0.

Dans un graphe orienté G, tout sommet appartient
exactement à une composante fortement connexe.
L’ensemble de ces composantes définit donc une partition
des sommets du graphe et, en les notant C1 , . . . , Cr , nous
pouvons associer à G un graphe GR dont les sommets
correspondent aux composantes fortement connexes de G
et où un arc relie deux sommets u et v s’il existe i ∈ Cu
et j ∈ Cv avec pij > 0.
Le graphe GR est appelé le graphe réduit de la chaîne de
Markov et contient toutes les informations concernant
l’accessibilité entre états de la chaîne.
Propriété 4
Le graphe réduit GR d’une chaîne de Markov est un graphe
sans circuit.
Exemple
Soit la chaîne de Markov définir sur l’ensemble d’états S =
{1, 2, 3, 4, 5} et de matrice de transition
 
1 0 0 0 0
1/3 1/6 1/4 1/4 0 
 

 
P=
 0 1/2 0 0 1/2 


 0 0 0 0 1 
0 0 0 1 0
Le graphe représentatif G et le graphe réduit GR de cette chaîne
sont donnés par
image

La partition des sommets de G en composantes fortement

connexes induit une partition des états de la chaîne associée
en classes d’équivalence.
Chacune de ces classes regroupe tous les états associés aux

sommets d’une même composante fortement connexe de G.
Le nombre de classes d’une chaîne de Markov est donc égal

au nombre de composantes fortement connexes de son graphe
représentatif ou, encore, au nombre de sommets de son graphe
réduit.

Le graphe réduit GR étant sans circuit, il possède au moins un

sommet sans successeur. Si un processus se retrouve à un instant
quelconque dans un état d’une classe associée à un sommet
sans successeur de GR , il ne quittera plus jamais cette classe et
continuera son évolution en ne visiatnt que des états de cette
dernière.
Définition
Une classe est persistante si elle correspond à un sommet sans
successeur de GR . Dans le cas contraire, la classe est transi-
toire.

Définition
Un état est
persistant (ou récurrent) s’il appartient à une classe
persistante ;
transitoire s’il appartient à une classe transitoire.
Propriété
Une chaîne de Markov possède au moins une classe persis-
tante.
Propriété
Soit C ⊆ S une classe persistante d’une chaîne de Markov.
Alors, pour tout état i ∈ C et pour tout état j ∈
/ C , pij = 0.

Exemple
La chaîne de Markov de l’exemple précédent possède trois
classes : C1 = {1}, C2 = {2, 3} et C3 = {4, 5}. Les classes
C1 et C3 ainsi que les états 1, 4 et 5 sont persistants ; la classe
C − 2 et les états 2 et 3 sont transitoires.

Les chaînes de Markov dont le graphe représentatif est forte-

ment connexe définissent une classe importante de processus
et justifient la définition suivante :
Définition
Une chaîne de Markov est irréductible si son graphe représen-
tatif est fortement connexe. Dans le cas contraire, la chaîne est
dite réductible.
Propriété
Une chaîne de Markov est irréductible si et seulement si, pour
tout état i et j, il existe m ≥ 0 (pouvant dépendre de i et j)
tel que
(m)
pij > 0

Propriété
Une chaîne de Markov est irréductible si et seulement si toutes
ses paires d’états communiquent.
Si une classe persistante n’est formée que d’un seul état, un

processus se trouvant dans cet état ne peut s’en échapper et
effectue à chaque pas une transition le laissant au même endroit.
Définition
Un état est absorbant s’il forme, à lui seul, une classe persis-
tante.

Propriété
Un état i est absorbant si et seulement si pii = 1 et pij = 0,
∀j 6= i.
Définition
Une chaîne de Markov est absorbante si tous ses états per-
sistants sont absorbants, c’est-à-dire si chacune de ses classes
persistantes ne comporte qu’un seul état.
Définition
La période de l’état i d’une chaîne de Markov est égale au plus
(n)
grand diviseur commun d de tous les n pour lesquels pii > 0.
De plus, l’état i est périodique lorsque d > 1 et apériodique
lorsque d = 1.
Exemple : Chaîne de Markov absorbante

Le graphe représentatif de la chaîne de Markov associée au jeu
de pile ou face est donné par
image
Cette chaîne possède deux classes persistantes : C1 = {0}

et C2 = {6}.
la chaîne est donc absorbante et, quel que soit son état
ititial, elle finira sa course dans l’un de ses deux états
absorbants 0 ou 6.

Exemple : Chaîne de Markov périodique

Considérons la chaîne de Markov définie par le graphe G sui-
vant :
figure

Exemple : Chaîne de Markov périodique (suite)

Cette chaîne est irréductible car G est fortement connexe.
Cependant, si le processus débute à l’instant 0 dans l’état
1, il ne peut y retourner qu’aux instants 3,6,9,. . .
Cette caractéristique n’est pas seulement valable pour
l’état 1 mais pour n’importe lequel des cinq états de la
chaîne.
De tels états sont dits périodiques et, dans cet exemple,
leur période et égale à 3.

Remarque
La définition précédente ne s’applique qu’aux états pour lesquels
il existe au moins une possibilité de retour après un certain
(n)
nombre de transitions. Si i est tel que pii = 0 pour tout n ≥ 1,
l’état est dit apériodique.
La propriété suivante donne une caractérisation de la période

d d’un état en fonction des longueurs (nombre d’arcs) des
circuits de G passant par cet état.
Théorème
Un état i a pour période d si et seulement si d est le plus
grand diviseur commun des longueurs des circuits, du graphe
représentatif G, passant par le sommet associé à i.

Corollaire
Si pii > 0, l’état i est apériodique.
Théorème
Les états d’une classe ont tous la même période.
Une chaîne de Markov irréductible ne possédant qu’une

seule classe, tous ses états ont la même période.
Nous dirons qu’une telle chaîne est périodique si ses
états le sont et apériodique dans le cas contraire.

Comportement transitoire et asymptotique
Considérons un système évoluant de manière aléatoire dans le

temps et supposons que l’évolution de l’état de ce système
puisse être modélisé par une chaîne de Markov.
Parmi les questions essentielles pour l’évaluation des perfor-

mances d’un tel système, nous pouvons citer :
1 Quelle est la probabilité que le système se retrouve dans
l’état i après n itérations ?
2 Quelle est la proportion du temps que le système passe
dans l’état i ?
3 Si le système est initialement dans l’état i, combien de
transitions fera-t-il, en moyenne, avant de visiter pour la
première fois l’état j ?

L’état d’une chaîne de Markov à un instant donné dépend évi-

demment des probabilités de transition pij mais également de
l’endroit où le processus a débuté son évolution.
Cette position initiale obéit, de manière générale, à une loi de

probabilités
(0)
πi = P[X0 = i], ∀i ∈ S
Le cas particulier, où l’état initial est connu de manière certaine,

correspond à un vecteur π (0) dont toutes les composantes sont
nulles sauf celle associée à l’état de départ qui vaut un.

(1)
Partant d’une distribution initiale π (0) , la probabilité πi que le
système se retrouve dans l’état i après une transition est
(1) X
πi = P[X1 = i] = P[X1 = i|X0 = j]P[X0 = j]
j∈S
X (0) X (0)
= pji πj = πj pji
j∈S j∈S
Sous forme matricielle, cette égalité s’écrit
π (1) = π (0) P
En utilisant l’homogénéité des probabilités de transition, nous

avons
π (n) = π (n−1) P, n = 1, 2, . . .
Théorème
Si la distribution de l’état initial d’une chaîne de Markov est
donnée par le vecteur de probabilités π (0) , la distribution des
états de la chaîne après n étapes est
π (n) = π (0) Pn (10)
où P est la matrice de transition de la chaîne.

Si, partant d’une distribution initiale π (0) , notre intérêt se

porte sur la distribution de probabilités des états d’une
chaîne de Markov après un nombre donné de transitions,
la formule (10) permet un calcul exact de la loi de
probabilités cherchée.
Le calcul de la matrice Pn représente, cependant, une
difficulté non négligeable lorsque le nombre d’états est
important.

L’étude du comportement à long terme d’une chaîne de

Markov représente, souvent, une question de plus grand
intérêt.
Cette étude cherche à déterminer si la distribution π (n)
converge vers une distribution invariante π ∗ lorsque le
nombre n d’étapes tend vers l’infini.

Toutes les chaînes de Markov ne convergent pas vers une distri-

bution à long terme et, lorsque cela se produit, la convergence
n’est pas toujours indépendante de la distribution initiale π (0) .
Questions
1 Quelles conditions doit vérifier la chaîne pour que
limn→∞ π (n) existe ?
2 Sous quelles conditions cette limite est-elle indépendante
de la distribution initiale π (0) ?
3 Lorsqu’elle existe, quelle est la valeur π ∗ de cette limite ?

Si la distribution π (n) d’une chaîne de Markov converge vers une

distribution π ∗ , cette dernière ne doit pas être affectée par une
transition.
En effet, si π (n) tend vers π ∗ , π (n+1) tend vers la même limite.

Or nous avons
π (n+1) = π (n) P
et, la matrice P ayant tous ses termes bornés, π ∗ doit vérifier
π∗ = π∗P

Définition
Une distribution de probabilités π sur les états d’une chaîne de
Markov est invariante (ou stationnaire) si elle vérifie
π = πP
Un vecteur satisfaisant l’équation précédente n’est rien d’autre

qu’un vecteur propre de la matrice PT pour la valeur propre 1.
Or, pour toute matrice stochastique P, la somme des éléments

de chaque ligne est égale à 1 et le vecteur 1, dont toutes les
composantes valent 1, est un vecteur propre de P pour la valeur
propre 1.

Ainsi, une matrice de transition admet toujours des vecteurs

invariants. Pour que ces derniers définissent une loi de probabi-
lités, il suffit que tous leurs termes soient de même signe. Il est
alors possible de normer un tel vecteur propre de manière à ce
que toutes ses composantes soient non négatives et somment à
un.
Remarque
La transposée de la matrice de transition P d’une chaîne irré-
ductible ne possède qu’un seul vecteur propre associé à la valeur
propre 1 et toutes les composantes de ce vecteur sont de même
signe.

Remarque
Si une chaîne de Markov admet une distribution à long terme,
cette dernière dépend à priori non seulement de P, mais égale-
ment de π (0) .
En effet, faisant tendre n vers l’infini dans l’équation 10, nous

obtenons
π ∗ = π (0) P∗
où P∗ désigne, si elle existe, la limite de Pn lorsque n tend vers
l’infini.

Théorème
La distribution π (n) d’une chaîne de Markov converge vers une
limite π ∗ indépendante de la distribution initiale π (0) si et seule-
ment si la matrice Pn tend vers une limite P∗ dont toutes les
lignes sont identiques entre elles et, de plus, identiques à π ∗ .

Exemple 1
Considérons la chaîne de Markov définie par la matrice de tran-
sition  
1/4 0 3/4
P=  1/4 1/4 1/2 

1/4 1/2 1/4

Cette chaîne est irréductible et apériodique (p11 > 0).
Les trois valeurs propres de P sont λ1 = 1, λ2 = 0 et

λ3 = −1/4 et les vecteurs propres associés sont, respective-
ment, x1 = (1, 1, 1)T , x2 = (−3, 1, 1)T et x3 = (6, 1, −4)T .

Exemple 1 (Suite)
Les différentes puissances de P sont égales à :
   −1
1 −3 6 1 0 0 1 −3 6
Pn = 
 1 1  0 0
1  
0  1 1

1 

n
1 1 −4 0 0 (−1/4) 1 1 −4
1 3
+ 56 ( −1 )n 9
− 65 ( −1 )n
 
4 10 4 20 4
1 3
=

4 10
+ 56 ( −1
4
)n 9
20
− 65 ( −1
4
)n 

1 3 6 −1 n 9 6 −1 n
4 10
+ 5( 4 ) 20
− 5( 4 )

Exemple 1 (Fin)
Faisant tendre n vers l’infini, nous obtenons
 
1/4 3/10 9/20
lim Pn
P∗ = n→∞  1/4 3/10 9/20 
=  
1/4 3/10 9/20
Les lignes de Pn convergent toutes vers une même limite π ∗ et

il en est de même de la distribution π (n) = π (0) P, indépen-
damment de π (0) .
Remarque
Cette convergence vers une distribution stationnaire est toujours
de mise pour les chaînes irréductibles apériodiques.

Exemple 2
La chaîne de Markov associée à la matrice
!
0 1
P=
1 0
est irréductible mais périodique. Sa période est égale à 2 et pour

tout entier k ≥ 0, nous avons :
!
1 0
P2k =
0 1
et !
2k+1 0 1
P =
1 0

Exemple 2 (Fin)
La limite de Pn lorsque n tend vers l’infini n’existe donc
pas.
La chaîne admet cependant une distribution invariante
π = (1/2, 1/2) mais, pour la distribution initiale
π (0) = (p, 1 − p), nous avons :
π (2k) = (p, 1 − p) et π (2k+1) = (1 − p, p)
Cette distribution invariante n’est donc jamais atteinte sauf si

p = 1/2 auquel cas le processus est stationnaire dès le départ.

Exemple 3
Considérons une marche aléatoire sur l’ensemble
S = {0, 1, 2, 3, 4} définie par la matrice de transition
1 0 0 0
 
 1/2 0 1/2 0 
P= 
0 1/2 0 2/3
 
 
0 0 0 1
Les valeurs propres de P sont λ1,2 = 1, λ3 = 1/2 et λ4 = −1/2.

Exemple 3 (Suite)
De plus, P est diagonalisable et la limite de ses puissances est
1 0 0 0
 
 2/3 0 0 1/3 
lim Pn = 
P∗ = n→∞ 
1/3 0 0 2/3 
 

0 0 0 1

Exemple 3 (Fin)
Les lignes de P∗ ne sont pas toutes égales entre elles et la
distribution à long terme de la chaîne n’est pas indépendante
de sa distribution initiale.
En effet, nous avons
lim π (n) = n→∞

n→∞
lim π (0) P = π (0) P∗
2 1 1 2

= π1 + π2 + π3 , 0, 0, π2 + π3 + π4
3 3 3 3

Les trois exemples précédents illustrent les comportements pos-

sibles de la distribution à long terme des états d’une chaîne de
Markov :
1) Les puissances de P convergent vers une matrice stochastique
P∗ dont toutes les lignes sont égales à un même vecteur de
probabilités π ∗ et la distribution des états de la chaîne converge,
elle-aussi, vers π ∗ , indépendamment de la distribution initiale
π (0) .
2) Les puissances de P ne convergent pas et il en va de même

pour la distribution des états de la chaîne.

3) Les puissances de P convergent vers une matrice stochas-

tique P∗ dont les lignes ne sont pas toutes égales entre elles.
La distribution des états de la chaîne admet une limite lorsque
n tend vers l’infini, mais cette limite dépend de la distribution
initiale π (0) .

Il est important de remarquer que dans le premier exemple, la

multiplicité de la valeur propre 1 de P est simple et que toutes les
autres valeur propres de P ont un module strictement inférieur
à 1.
Dans le deuxième exemple, la valeur propre 1 est bien simple,

mais il existe une autre valeur propre de module 1 (en faisant
les calculs on trouve trois valeurs propres de module 1 dont une
seule réelle et, en général, la matrice de transition d’une chaîne
irréductible de période d possède d valeurs propres de module
1, égales aux solutions de l’équation x d = 1).

Dans le troisième exemple, la multiplicité de la valeur propre

1 est égale à deux, ce qui correspond au nombre de classes
persistantes de la chaîne de Markov.
Exercice
Montrer que la multiplicité de la valeur propre 1 d’une matrice
de transition P est supérieure ou égale au nombre de classes
persistantes de la chaîne de Markov définie par P.

Les chaînes irréductibles apériodiques
Remarque
Les différences dans le comportement asymptotique des chaînes
de Markov irréductibles dépendent uniquement de la période de
la chaîne.
La caractérisation suivante des chaînes irréductibles apériodiques
ainsi que le lemme seront utiles pour établir le résultat principal
concernant le comportement asymptotique de ces processus.
Propriété
Une chaîne de Markov irréductible est apériodique si et seule-
ment si il existe un entier m tel que, pour tout entier n ≥ m et
(n)
pour toutes paires d’états i et j, on a pij > 0.

Lemme
Soit P une matrice stochastique s × s dont le plus petit élément
est ε et soit x un vecteur quelconque de Rs dont la plus petite
composante est m0 et la plus grande M0 . Soit encore m1 et M1
la plus petite et la plus grande composante du vecteur Px. Alors
m0 ≤ m1 ≤ M1 ≤ M0
et
M1 − m1 ≤ (1 − 2ε)(M0 − m0 )

Le théorème suivant et son corollaire prouvent que toute

chaîne de Markov irréductible et apériodique converge
vers une distribution stationnaire unique, indépendante de
la distribution initiale de la chaîne.
Ces résultats fournissent également un moyen simple de
calculer cette distribution asymptotique.

Théorème
Soit P la matrice de transition d’une chaîne irréductible et apé-
riodique. Les propriétés suivantes sont vérifiées :
1 La matrice Pn tend vers une matrice stochastique P∗
lorsque n tend vers l’infini.
2 Les lignes de P∗ sont toutes égales entre elles.
3 pij∗ > 0 pour tout i, j ∈ S.

Corollaire
Soit P la matrice de transition d’une chaîne irréductible et apé-
riodique. Les propriétés suivantes sont vérifiées :
1 Pour toute distribution initiale π (0) ,

n→∞
lim π (0) Pn = π ∗
2 π ∗ est la solution unique du système
πP = π (11)
π1 = 1 (12)
3 π ∗ est égal à n’importe quelle ligne de la matrice
lim Pn
P∗ = n→∞
Exemple
Pour la matrice
 
1/4 0 3/4
P =  1/4 1/4 1/2 
 
1/4 1/2 1/4
il est facile de vérifier que la solution unique du système
πP = π
π1 = 1
est π1∗ = 1/4, π2∗ = 3/10 et π3∗ = 9/20.

La distribution de probabilités des états d’une chaîne de

Markov irréductible apériodique converge donc,
indépendamment de la distribution initiale, vers une
solution invariante unique.
Un tel processus est dit asymptotiquement
stationnaire, sauf si la distribution initiale π (0) est égale
à π ∗ , auquel cas le processus est stationnaire.

Les interprétations des probabilités πi∗ sont multiples. En parti-

culier, après un nombre suffisant de transitions permettant d’éli-
miner un biais éventuel dû à la distribution initiale, la probabilité
que la chaîne se trouve dans l’état i à un instant quelconque
est égale à πi∗ (ou du moins en est très proche). Cette valeur
représente aussi la proportion du temps que le système passe
dans l’état i.

Théorème
La distribution stationnaire π ∗ d’une chaîne de Markov irréduc-
tible apériodique satisfait
1
πi∗ = (13)
µi
où µi est l’espérance du nombre de transitions entre deux visites
successives de l’état i.

Théorème ergodique
Soit {Xn , n = 0, 1, . . .} une chaîne de Markov irréductible apé-
riodique de distribution stationnaire π ∗ et f une fonction réelle
définie sur l’espace S des états de la chaîne. Alors
n
1 X X
lim f (Xk ) = πi∗ f (i) (14)
n→∞ n + 1 k=0 i∈S
presque sûrement.

Rappelons qu’en régime stationnaire, l’état d’une chaîne

de Markov à un instant donné peut être vu comme une
variable aléatoire de distribution π ∗ .
Le théorème ergodique montre que lorsque la distribution
stationnaire est unique et que le processus est
asymptotiquement stationnaire, pour presque toutes les
réalisations de la chaîne de Markov, il revient au même de
calculer l’espérance d’une fonction f (X ) de la variable
stationnaire que de prendre la limite de la moyenne des
valeurs f (Xk ) définies par une trajectoire particulière.

Remarque
Pendant de la loi forte des grands nombres, le théorème er-
godique s’applique non seulement aux chaînes irréductibles et
apériodiques mais plus généralement aux processus dits ergo-
diques, c’est-à-dire convergeant, indépendamment de leur état
initial, vers une distribution stationnaire unique.

Exemple : Vieillissement d’une machine (suite)

La chaîne de Markov de l’exemple du vieillissement d’une ma-
chine rencontré présédemment est irréductible et apériodique.
Elle converge donc vers une distribution stationnaire unique don-
née par la solution du système
πP = π
π1 = 1
avec
0, 95 0, 04 0, 01 0
 
 0 0, 90 0, 05 0, 05 
P= 
0 0 0, 80 0, 20
 
 
1 0 0 0

Exemple : Vieillissement d’une machine (suite)
Cette distribution stationnaire est
5 1 3 1
π∗ = ( , , , )
8 4 32 32
L’intervalle de temps moyen entre deux révisions successives est
donc égal à 32 jours et si les productions journalières selon l’état
de la machine sont données par le vecteur
r = (900, 800, 400, 0)
la production journalière moyenne de l’installation est

4
X 5 1 3 1
R = πk∗ rk = 900 + 800 + 400 + 0 = 800
k=1 8 4 32 32
Exemple : Gestion de stocks

Les chaînes irréductibles périodiques
Le comportement à long terme des chaînes irréductibles apé-

riodiques est simple, indépendamment de la distribution initiale
(n)
π (0) , les probabilités πi convergent vers une valeur unique πi∗
L’exemple 2 montre que cette propriété n’est pas vérifiée, en

général, par les chaînes irréductibles périodiques.
Afin de mieux comprendre le comportement de ce type de pro-

cessus, il nous faut étudier de manière plus approfondie les ca-
ractéristiques de leurs états.

Lemme
L’ensemble S des états d’une chaîne de Markov irréductible de
période d peut être partitionné en d classes D0 , D1 , . . . , Dd−1
disjointes et telles que, partant d’un état de Dj , la chaîne se
retrouve à l’étape suivante dans un état de Dj+1 pour j = 0,
1, . . . , d −2. Depuis un état de Dd−1 , la chaîne retourne à l’étape
suivante dans un état de D0 .

Dans une chaîne irréductible de période d, la matrice R = Pd

contient les matrices de transition de d sous-chaînes irréduc-
tibles et apériodiques, chacune étant définie sur l’une des classes
Dk .
En utilisant la nouvelle matrice R = (rij ), les théorèmes de

la section précédente sont applicables à chacun des ensembles
d’états Dk .
La différence principale réside dans l’unité de temps qui corrs-

pond, maintenant, à la durée de d transitions de la chaîne de
départ.

Théorème
Soit P la matrice de transition d’une chaîne de Markov irréduc-
tible de période d et soit R = Pd . Alors
(n) d
lim r
n→∞ ij
= si i et j appartiennent à la même classe Dk
µj
et
(n)
lim r
n→∞ ij
= 0 sinon
où µj est l’espérance du nombre de transitions entre deux visites
successives de l’état j (en utilisant la matrice P).

Ainsi, si la suite des puissances de la matrice de transition d’une

chaîne irréductible de période d ≥ 2 ne converge pas (Ex 2),
tel n’est pas le cas de certaines sous-suites bien choisies.
Pour étudier plus précisément le comportement à long terme des

puissances de P, nous avons besoin d’une nouvelle définition.
Définition
Une suite {Xn , n = 1, 2, . . .} converge au sens de Cesaro vers
X ∗ si n
1X
lim
n→∞ n
Xn = X ∗
k=1

Remarque 1
Exprimé différemment, une suite converge au sens de Cesaro si
la valeur moyenne de ses éléments converge au sens ordianaire.
Remarque 2
Si une suite converge au sens ordinaire, elle converge également
au sens de Cesaro et les deux limites sont les mêmes.
Remarque 3
La réciproque n’est pas vraie : la suite {1, 0, 1, 0, . . .} ne
converge pas au sens ordinaire mais, au sens de Cesaro, sa limite
est égale à 1/2.

Toute chaîne de Markov irréductible possède une distribution

invariante π ∗ unique.
Si une telle chaîne est apériodique, la distribution π (n) de ses

états converge, indépendamment de π (0) , vers cette solution
invariante.
Pour un processus de période d, chacune des d sous-chaînes in-

troduites ci-dessus possède une distribution stationnaire unique
et π ∗ est égale à la moyenne de ces d distributions.

La limite (au sens ordinaire) de π (n) lorsque n tend vers l’infini

n’existe plus mais cette distribution converge en moyenne, c’est-
à-dire au sens de Césaro, vers π ∗ .
Les valeurs πi∗ ne représentent plus la probabilité d’observer

le système dans l’état i à un instant quelconque suffisamment
grand mais correspondent toujours à la proportion du temps
passé dans l’état i.

Théorème
Soit P la matrice de transition d’une chaîne de Markov irréduc-
tible. Les propriétés suivantes sont vérifiées :
1) La suite {P, P2 , P3 , . . .} des puissances de P converge au

sens de Cesaro vers une matrice stochastique P∗ .
2) Les lignes de P∗ sont toutes égales à un même vecteur de

probabilités π ∗ .

Théorème (Suite)
3) Pour tout état i ∈ S,

1
πi∗ = >0
µi
où µi est l’espérance du nombre de transitions entre deux
visites successives de l’état i.
4) Pour toute distribution initiale π (0) , la suite {π (n) , n = 0, 1,

2, . . .}, où π (n) = π (0) Pn , converge au sens de Cesaro vers π ∗ .

Théorème (Fin)
5) π ∗ est la solution unique du système
πP = π
π1 = 1
6) π ∗ est égal à n’importe quelle ligne de la matrice P∗

Les chaînes réductibles
Notons que ces processus présentent des comportements bien

plus variés que ceux de la leçon précédente et que, de manière
générale, la convergence vers une distribution stationnaire, si elle
existe, n’est pas indépendante de la distribution initiale π (0) .
Soit donc S l’ensemble des états d’une chaîne de Markov ré-

ductible. Cet ensemble se décompose en plusieurs classes, per-
sistantes ou transitoires, correspondant chacune à un sommet
du graphe réduit GR de la chaîne.
Nous supposerons que ce graphe réduit est connexe car, si tel

n’est pas le cas, la chaîne se décompose en plusieurs sous-
chaînes pouvant être étudiées séparément.

Si la numérotation des états de la chaîne satisfait les deux condi-

tions suivantes :
les états d’une même classe sont numérotés
consécutivement et
les états des classes persistantes sont numérotés en
premier,
la matrice de transition a la forme :
P1 0
 
 ... .. 

 0 . 

P= ... .. 

 0 . 

Pk 0
 
 
R1 . . . . . . Rk Q

Nous dirons que P est sous forme canonique. Chaque matrice

Pi est une matrice stochastique et définit une chaîne irréductible
sur l’ensemble des états d’une classe persistante Ci .
La matrice Q comprend, elle, toutes les probabilités de transition

entre deux états transitoires.

Le graphe réduit associé à une chaîne réductible étant

sans circuit, il est toujours possible d’atteindre au moins
un état persistant depuis n’importe quel état transitoire.
De plus, dès que le processus visite un état persistant, il
ne quitte plus jamais la classe Ci à laquelle appartient cet
état.
Le théorème suivant montre que la probabilité d’un tel événe-
ment tend vers 1 lorsque le nombre de transitions tend vers
l’infini et fournit une première caractérisation du comportement
à long terme d’une chaîne réductible.

Théorème
Pour toute chaîne de Markov et pour tout état initial, la pro-
babilité de se retrouver dans un état persistant à l’étape n tend
vers 1 lorsque n tend vers l’infini.
Corollaire
(n)
Pour tout état transitoire j, limn→∞ pij = 0, ∀i ∈ S.

Les trajectoires d’une chaîne de Markov dont l’évolution débute

dans un état transitoire obéissent toutes au même schéma gé-
néral.
Au début de son évolution, le système ne visite que des états

transitoires puis, après un certain nombre de transitions, le pro-
cessus atteint un état d’une classe persistante.
A partir de là, il ne quitte plus jamais les états de cette classe

et se comporte comme un processus irréductible.

Un cas important apparaît lorsqu’une chaîne n’a qu’une seule
classe persistante.
Quelle que soit la distribution initiale π (0) , un tel système ter-

mine son évolution dans l’unique classe persistante et, si cette
dernière est apériodique, son évolution à long terme correspond
à la distribution invariante de cette classe.
Ainsi, pour tout état j, la limite

(n)
lim pij
n→∞
= πj∗
existe et est indépendante de i. De plus les valeurs πj∗ vérifient

X
πj∗ = 1
j∈S
Une telle propriété de convergence vers une distribution de pro-

babilités indépendante des conditions initiales est connue sous
le nom d’ergodicité.
Définition
Une chaîne de Markov est ergodique si les deux conditions
suivantes sont satisfaites :
☞ la chaîne possède une seule classe persistante,
☞ tous ses états persistants sont apériodiques.

Remarque
La définition d’une chaîne de Markov ergodique (du grec
travail et chemin) varie sensiblement selon les auteurs.
Parfois réservée aux seules chaînes irréductibles et
apériodiques, parfois synonyme d’irréductible, la définition
de l’ergodicité est, cependant, toujours liée aux propriétés
de convergence de la distribution de probabilités des états
de la chaîne de Markov.
La définition retenue ici regroupe les processus admettant une

distribution asymptotique unique et indépendante de la distri-
bution initiale.

Théorème
Soit P la matrice de transition d’une chaîne de Markov ergo-
dique. Les propriétés suivantes sont vérifiées :
1) La matrice Pn tend vers une matrice stochastique P∗

2) Les lignes de P∗ sont toutes égales à un même vecteur de

probabilités π ∗ .

Théorème (Suite)
3) Pour tout état i ∈ S,
1
πi∗ = >0 si i est persistant
µi
et
πi∗ = 0 si i est transitoire
où µi est l’espérance du nombre de transitions entre deux
visites successives de l’état i.

Théorème (Fin)
4) Pour toute distribution initiale π (0) ,

lim π (0) Pn = π ∗
n→infty
5) π ∗ est la solution unique du système
πP = π
π1 = 1

Si une chaîne possède plusieurs classes persistantes, celle dans

laquelle le processus terminera son évolution dépend évidem-
ment de la distribution initiale π (0) .
Si l’état de départ est certain et appartient à une classe
persistante, le problème se ramène à l’étude de la chaîne de
Markov irréductible définie sur cette classe.
En revanche, si l’état de départ est transitoire ou s’il est choisi

selon une distribution de probabilités, il nous faut plus
d’informations sur le comportement du système à l’intérieur
des classes transitoires.

Ces informations consistent principalement à déterminer, en

fonction de π (0) et pour chaque classe persistante Ck ,
☞ la probabilité que le premier état persistant rencontré
appartienne à Ck et
☞ le nombre moyen de transitions avant d’atteindre un état
de Ck .

De manière générale, l’étude d’une chaîne de Markov possédant

plusieurs classes persistantes se déroule en deux phases :
Contraction de chaque classe persistante en un état
absorbant et étude de la chaîne absorbante ainsi obtenue.
Etude des chaînes irréductibles définies sur chacune des
classes persistantes.

Les chaînes absorbantes
Les chaînes absorbantes sont importantes à plus d’un titre.
Premièrement, elles apparaissent naturellement et fréquemment

lors de la modélisation de systèmes réels.
Deuxièmement, de nombreux problèmes de la théorie des

chaînes de Markov se résolvent facilement en modifiant les pro-
babilités de transition du processus initial de manière à le rendre
absorbant.

Nous savons déjà que la probabilité de retrouver un tel processus

dans un de ses états absorbants tend vers 1 lorsque le nombre
de transitions tend vers l’infini.
Dans les diapos qui suivent, nous allons développer les tech-
niques nécessaires au calcul du nombre moyen de transitions
avant absorption et des probabilités d’être absorbé par tel ou
tel état.
Ces informations représentent des informations pré-

cieuses pour l’étude d’un système.

Rappel : les classes persistantes d’une chaîne de Markov absor-

bante sont toutes réduites à un seul état.
Ainsi, la matrice Pi associée à une classe absorbante Ci est de

taille 1 × 1 et son unique élément est égal à un.
La forme canonique de la matrice de transition d’une chaîne

absorbante est donc
!
I 0
P=
R Q

Dans le reste du chapitre, nous supposerons toujours que les

états de la chaîne ont été numérotés de manière à ce que sa
matrice de transition soit sous forme canonique.
Le lemme suivant nous sera utile pour calculer le nombre moyen

de transitions d’un processus avant absorption ainsi que les pro-
babilités d’être absorbé par tel ou tel état.
Lemme
Soit Q une matrice telle que limn→∞ Qn = 0. Alors, (I − Q)
est inversible et
∞
N = (I − Q)−1 = I + Q + Q2 + . . . = Qn
X
n=0

Considérons les puissances de la matrice de transition, sous

forme canonique, d’une chaîne absorbante. Nous avons :
!
I 0
P=
R Q
et !n !
I 0 I0
Pn = = Pn−1 k
R Q ( k=0 Q )R Qn

(n)
L’élément qij de la matrice Qn est égal à la probabilité qu’un
processus initialement dans l’état transitoire i se retrouve,
après n transitions dans l’état transitoire j.
D’après un résultat antérieur, cette probabilité tend vers zéro,

lorsque n tend vers l’infini, et nous avons donc
lim Qn = 0
n→∞

Appliquant, maintenant le lemme précédent, nous obtenons :

! !
n I 0 I 0
lim P = n→∞
lim Pn−1 k =
n→∞ ( k=0 Q )R Qn (I − Q) R 0
−1
Définition
La matrice N = (I − Q)−1 joue un rôle particulièrement im-
portant et est appelée la matrice fondamentale de la chaîne.

Théorème
Dans une chaîne absorbante, le nombre moyen nij de visites de
l’état transitoire j avant absorption sachant que le processus
débute dans l’état transitoire i est donné par
nij = (N)ij = ((I − Q)−1 )ij (15)

Corollaire
Pour un processus débutant dans l’état transitoire i, le nombre
moyen Ni de transactions avant absorption est
X
Ni = nij (16)
j transitoire
(il s’agit de la somme des termes de la i ème ligne de la matrice

fondamentale N).
Remarque
Le calcul du nombre moyen de visites d’un état avant absorption
prend en compte l’état initial du processus. Ainsi, pour tout état
transitoire i, nous avons nii ≥ 1.

Théorème
Dans une chaîne de Markov absorbante, la probabilité
d’absorption par l’état absorbant j sachant que le processus
débute dans l’état transitoire i est égale au terme bij de la ma-
trice
B = NR = (I − Q)−1 R (17)

CH I ProcMarkovDiscret

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

CH I ProcMarkovDiscret

Transféré par

Droits d'auteur :

Formats disponibles

INFO416 : Processus & Files d’attente

Chapitre I : Chaînes de Markov à temps discret

Mouhamadou Lamine BALDE

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Les Sciences et Technologies de l’Information et de la Commu-

Or les mathématiques discrètes sont cruciales dans le domaine

Elles sont désormais essentielles aux recherches menées dans

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Ce cours est destiné à des informaticiens. Il ne contient donc

Partant du principe que l’étudiant de Master connaît les fonde-

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Théorie des probabilités : discipline mathématique étudiant

Elle date du milieu du 17ème siècle et est associée aux noms de

Même motivée par des problèmes ludiques à l’origine, tous les

Les domaines d’application sont très divers : statistiques, théorie

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Or, le gestionnaire n’est pas totalement désarmé dans une telle

Cette attitude, toute naturelle dans les sciences expérimentales

Ainsi, si l’on a reconnu que les ventes de l’année passée

La projection du passé sur l’avenir ne peut donc se faire de façon

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Si les budgets de la publicité et du service commercial doivent

Dans ces conditions, les indications statistiques qui seront uti-

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Une autre caractéristique commune aux aspects en question est

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Dans un problème de files d’attente, il s’agit, en général, de

Cela revient à minimiser le coût total de déploiement des sta-

Mais le coût des serveurs est simplement proportionnel à leur

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Dans un problème de maintenance (d’entretien) des équipe-

Tous ces problèmes font appel à la notion commune de proces-

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

La première idée de la théorie des processus stochastiques re-

Ensuite, Andreï Andreïevitch Markov, vers 1910, en

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

C’est à A. Kolmogorov, que l’on doit la formalisation

Les processus stochastiques ont pris un énorme essor, non seule-

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Si T est discret, on parle plus volontiers de suite

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

La lettre T a été choisie en raison du fait que, très

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Lorsque Xt peut prendre un ensemble fini ou infini

Un processus stochastique permet de modéliser l’état d’un sys-

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

A tout élément ω ∈ Ω correspond une affectation de

Ces valeurs représentent une évolution particulière du

Pour une réalisation particulière, l’historique (ou

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

La famille {Xn , n = 0, 1, 2, 3} est un processus

Une réalisation particulière des lancés, par exemple

Exemple 2 : Files d’attente

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Exemple 2 : Files d’attente

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

L’intérêt porté à l’étude des processus stochastiques

En l’absence de dépendance, l’historique d’une

Un processus stochastique est, dans ce cas, une simple

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente

Trajectoire d’une particule amnésique

Exemple 3 : Jeu de pile ou face

Mouhamadou Lamine BALDE INFO416 : Processus & Files d’attente