Vous êtes sur la page 1sur 76

Réseaux de files d’attente

Chaînes de Markov

Mohamed Escheikh

2éme année Télécoms Département TIC ENIT


Université Tunis El Manar
mohamed.escheikh@gmail.com

12 août 2017
Réseaux de files d’attente

Chaîne de Markov à temps discret


Processus stochastique à temps discret et à espace
d’état discret)
Les Chaînes de Markov à Temps Discret
Soit un processus stochastique Xn , n ∈ N à temps discret et
espace d’états discret.
E peut-être fini ou infini (mais dénombrable)

2 / 76
Réseaux de files d’attente

Régime transitoire d’une CMTD

Objectif : Déterminer le vecteur π n des probabilités d’états πjn =


P(Xn =j) pour que le processus Xn , n ∈ N se trouve dans l’état j à
la nème étape du processus :

dépend de :
La matrice de transition P
Le vecteur de probabilités initiales π 0

3 / 76
Réseaux de files d’attente

Régime transitoire d’une CMTD


Exemple de la souris
Processus de modélisation
2 hypothèses :
1 souris amnésique
2 déplacement aléatoire (choix couloir équiprobable)
1 état pour modéliser la sortie
1 pièce = 1 état de la CMTD
1 couloir = 1 transition entre état
choix aléatoire d’un couloir = valuation des transitions par des probabilités

4 / 76
Réseaux de files d’attente

Régime transitoire d’une CMTD

Formule des probabilités totales

5 / 76
Réseaux de files d’attente

Régime transitoire d’une CMTD


Retour sur l’exemple de la souris

6 / 76
Réseaux de files d’attente

Régime transitoire d’une CMTD

Formule des probabilités totales :

Évolution globale du processus Xn :

7 / 76
Réseaux de files d’attente

Régime transitoire d’une CMTD


Imaginons que la souris soit initialement dans la pièce 2 !
Quelle est la probabilité qu’elle y soit à nouveau après 4
déplacements ?
Calcul de π24 sachant π20 =1

8 / 76
Réseaux de files d’attente

Chaîne de Markov à temps discret

Définition
Une chaîne de Markov à temps discret et à espaces des états
discrets (CMTDED) est un processus aléatoire (Xn )n∈N (indicé par
l’espace des entiers naturels) qui prend ses valeurs dans un espace
dénombrable d’états E
Espace d’états (fini ou infini dénombrable)

(E = {1,2,3,4} ou E = N par exemple) et qui vérifie la


propriété de Markov faible

9 / 76
Réseaux de files d’attente

Chaîne de Markov à temps discret

Propriété de Markov

Une suite de variables aléatoires X = xn , n = 0, 1, ... à valeurs dans


E vérifiant la propriété de Markov est appelée chaîne de Markov.

+ indépendance des états futurs de la chaîne par rapport à ses


états passés (conditionnellement à l’état présent),

,→ les états que prendra la chaîne dans le futur ne dépendent que de


l’état présent de cette chaîne.
10 / 76
Réseaux de files d’attente

Chaîne de Markov à temps discret


Définition : une chaîne de Markov à temps continu et à état
discret (CMTCED) est un processus à temps continu et à état
discret qui vérifie la propriété de Markov faible :
P(Xtn = in |Xtn−1 = in−1 , Xtn−2 = in−2 , ..., Xt0 = i0 )
= P(Xtn = in |Xtn−1 = in−1 ),
∀t0 < t1 < ... < tn ∀i0 , i1 , ..., in ∈ E

11 / 76
Réseaux de files d’attente

Exemples

Marche aléatoire (gain à un jeu)

Communication numériques

12 / 76
Réseaux de files d’attente

Exemples

On considère un promeneur se déplaçant étape par étape soit à droite soit


à gauche de façon équiprobable. S’il se trouve sur un bord, il y reste
(bord absorbant). Les règles n’évoluent pas au cours du temps. Il s’agit
d’une chaîne de Markov.

La matrice G de transition est :

,→ On remarque que cette matrice est stochastique car la somme des coefficients de
chaque ligne fait 1.
1
Le coefficient encadré s’écrit P(X1 =3 | X0 =2)= et représente la probabilité d’arriver
2
en position 2, en partant de la position 3.
13 / 76
Réseaux de files d’attente

Exemples

On cherche à connaître le comportement asymptotique ou à long


terme du promeneur.
Pour cela, on calcule G k et on prend sa limite en l’infini :

Ainsi, on peut résumer le contenu de cette matrice en disant que :


le promeneur parti de 1 reste en 1 (bord absorbant)
le promeneur parti de 2 a une probabilité 2/3 d’échouer à gauche et 1/3
d’échouer à droite
le promeneur parti de 3 a une probabilité 1/3 d’échouer à gauche et 2/3
d’échouer à droite
le promeneur parti de 1 reste en 1 (bord absorbant).
14 / 76
Réseaux de files d’attente

Notations

Probabilités de transition

Matrice de transition

15 / 76
Réseaux de files d’attente

Chaînes de Markov Homogènes


Propriété de Markov (Homogéneité)
On dit qu’une chaîne de Markov à temps discret et à espace
des états discrets est homogènehomogène si et seulement si la
probabilité de passer de l’état i à l’état j entre deux instants
consécutifs pij (m, n) ne dépend que de n - m. On note alors

qui contient les probabilités associées à n - m = 1. La chaîne


est alors définie par la matrice de transition P et les
probabilités initiales
16 / 76
Réseaux de files d’attente

Chaînes de Markov Homogènes


Matrice stochastique

P(Xn+1 = j | Xn = i) = pij pij ne dépend pas de n


Elle vérifie les propriétés suivantes :

Xpij ≥0 ∀i, j
pij =1 ∀i
j
17 / 76
Réseaux de files d’attente

Diagramme de transitions d’états

Les probabilités de transition de la CMTDED peuvent également


être représentées sous la forme d’un diagramme de transition
d’états. Il s’agit d’un graphe orienté :
noeuds du diagramme (les états de la chaîne)
arcs orientés (les transitions entre états)
labels des arcs (les probabilités de transition)

18 / 76
Réseaux de files d’attente

Diagramme de transitions d’états (Exemple)


Exemple : chaîne de Markov homogène à temps discret, à espace
d’états E = {1,2,3,4}, de matrice de probabilités de transition
 
0.8 0.2 0 0
0.05 0.9 0 0.05
P=
0 0 1 0
0.5 0 0.5 0

19 / 76
Réseaux de files d’attente

Probabilités de n transitions

Soit une CMTDED homogène. On appelle probabilité de n


transitions de la chaîne notée pijn , la probabilité de passer de l’état i
à l’état j en n transitions :

pijn = P(Xn = j | X0 = i)

On appelle matrice des probabilités de n transitions la matrice


 n n n 
p00 p01 p02 ... ... ...
p n n n
p11 p12 ... ... ...
 10 
P= :
 

 n n n 
 pi0 pi1 pi2 ... ... ...
:

20 / 76
Réseaux de files d’attente

Propriétés : Equation de Chapman-Kolmogorov

Equation de Chapman-Kolmogorov
Les probabilités de n transitions vérifient le système d’équations de
Chapman-Kolmogorov :

pijm+n =
X
m n
pik pkj ∀ i,j
k

Ce système d’équations peut s’écrire sous forme matricielle :

P m+n = P m P n = P n P m
En particulier on a :
P n = P P P...P
| {z }
n fois

21 / 76
Réseaux de files d’attente

Propriétés : Equation de Chapman-Kolmogorov

ou encore :

Cas d’une chaîne homogène

22 / 76
Réseaux de files d’attente

Propriétés : Equation de Chapman-Kolmogorov


(Preuve)

23 / 76
Réseaux de files d’attente

Propriétés : Equation de Chapman-Kolmogorov


(Preuve)

il suffit de distinguer les différentes valeurs prises par Xn


X
P(Xm+n = j|X0 = i) = P(Xm+n = j, Xn = k|X0 = i)
X k
= P(Xm+n = j|Xn = k, X0 = i)P(Xn = k|X0 = i)
k
X
= P(Xm+n = j|Xn = k)P(Xn = k|X0 = i)
k
X
m n
= pkj pik
k

24 / 76
Réseaux de files d’attente

Loi des états

q(n) = q(m)P(m, n)
Cas d’une chaîne homogène
q(n) = q(n - 1)P = q(0)P n
ce qui montre que la loi des états est définie par la loi initiale q(0)
et par la matrice de transition P.

25 / 76
Réseaux de files d’attente

Lois stationnaires

Loi stationnaire

π = (π1 , ..., πk , ...) (1)


est une distribution stationnaire par rapport à la matrice de
transition P si et ssi

π = π.P (2)

Chaîne stationnarisée

26 / 76
Réseaux de files d’attente

Lois limites

Loi limite
On dit qu’une chaîne de Markov converge vers π ou possède la
distribution limite π si

indépendamment de la loi initiale de q(0) et si π est une loi de


probabilité.
La convergence d’une chaîne de Markov est une propriété qui
ne dépend que de la matrice de transition P.

27 / 76
Réseaux de files d’attente

Existence lois stationnaires


Théorème
Pour une chaîne de Markov finie, il existe toujours au moins une
distribution stationnaire.
Non unicité

Chaîne de Markov infinie


28 / 76
Réseaux de files d’attente

Existence lois limites

Hypothèse

Conclusion

29 / 76
Réseaux de files d’attente

Existence lois limites

30 / 76
Réseaux de files d’attente

Probabilités des états


Nous nous intéressons maintenant plus particulièrement aux
probabilités des états :
πn (j) = P(Xn = j) probabilité que la chaîne soit
dans l’état j à l’instant n
Les probabilités d’état πn (j) sont donnés récursivement par la
formule suivante :
X
(∗) πn+1 (j) = πn (i)pij
i

Ce système s’écrit sous forme matricielle :


Πn+1 = Πn P
en notant Πn = (πn (0),πn (1),...) le vecteur ligne des probabilités
d’état πn (i)
31 / 76
Réseaux de files d’attente

Probabilités des états (Preuve)


X
πn+1 (j) = P(Xn+1 = j) = P(Xn = i, Xn+1 = j)
X i
= P(Xn = i)P(Xn+1 = j|Xn = i)
i
X
= πn (i)pij
i

Donc Πn+1 = Πn P et on itérant on obtient

Πn = Π0 P n

Pour calculer les probabilités d’état de la chaîne :


– connaître les probabilités initiales Π0 et être capable de calculer
les puissances successives P n
– dans le cas d’une chaîne à grand nombre d’états (ou nombre
infini d’états) ce calcul peut s’avérer difficile...
32 / 76
Réseaux de files d’attente

Probabilités stationnaires
On s’intéresse maintenant plus particulièrement au cas où la limite
π(j) = lim πn (j)
n→∞

existe et où elle ne dépend pas de la valeur prise par X0 (état


initial de la chaîne).
Les quantités π(j) vérifient (il suffit de passer à la limite dans (∗))
X
π(j) = π(i)pij
i

ou, sous la forme matricielle,


Π=ΠP
en notant Π = (π(0),π(1),...) le vecteur ligne des quantités π(j).
Rem : Π est donc vecteur propre à gauche associé à la valeur
propre 1 de P.
33 / 76
Réseaux de files d’attente

Probabilités stationnaires

Si à l’instant n les probabilités d’état πn (i) de la chaîne sont égales


à π(i) alors les probabilités d’état à l’instant n+1 notées πn+1 (i)
sont elles aussi égales à π(i).
Preuve :
X
πn+1 (i) = P(Xn+1 = i) = P(Xn = j, Xn+1 = i)
j
X
= P(Xn = j)P(Xn+1 = i|Xn = j)
j
X
= π(j)pji = π(i)
j

Les quantités π(i) sont appelées probabilités stationnaires de la


chaîne.

34 / 76
Réseaux de files d’attente

Equations d’état (équations d’équilibre (GBE))

X X
πi pij = πj pji
i6=j i6=j
flux moyen entrant dans l état j = flux moyen sortant de l 0 état j
0

A l’équilibre, le flux moyen entrant dans l’état j est égal aux flux
moyen sortant de l’état j.
Preuve :
X X
π(j) = π(i)pij = π(j)pjj + π(i)pij
i X i6=j
π(j)(1 − pjj ) = π(i)pij
X Xi6=j
π(j) pji = π(i)pij
i6=j i6=j
X X
En effet 1 - pjj = pji car pji = 1.
i6=j i
35 / 76
Réseaux de files d’attente

Conditions d’existence des probabilités


stationnaires

Pour cela quelques définitions s’imposent...


Chaîne de markov irréductible
Une CMTDED est irréductible si de tout état i on peut atteindre
n’importe quel état j en un nombre fini d’étapes avec une
probabilité non nulle :

∀ i,j ∃ n≥ 1 tel que pijn > 0

Chaîne irréductible : tous les états communiquent entre eux

36 / 76
Réseaux de files d’attente

Contre exemple : Chaîne non irréductible


2 sous chaînes absorbantes : {3,4,5} et {6,7}

37 / 76
Réseaux de files d’attente

Contre exemple : Chaîne non irréductible


Une CM est irréductible si tous les états sont atteignables à partir
de tous les autres états en un nombre fini d’étapes, pour tous i,j ∈
I, pour n > 0, pij (n) > 0.
Exemples :

Tous les états de la CM à état fini irréductible sont de même type.


Si un état de la CM irréductible est apériodique
alors tous les états sont aperiodiques.
Si un état de la CM irréductible est périodique
alors Tous les états sont périodiques avec la même période
Si un état de la CM irréductible est récurrent.
alors tous les états sont récurrents.
38 / 76
Réseaux de files d’attente

Définition : Chaîne absorbante

sous chaînes absorbante


On appelle sous chaînes absorbante tout groupe d’état G tel que la
probabilité de sortir de G est nulle :

P(Xn+1 ∈ G|Xn ∈ G) = 1

Quand la sous chaînes absorbante se réduit à un état on parle


d’état absorbant

39 / 76
Réseaux de files d’attente

Définition : chaîne périodique

Exemple 2 :chaîne irréductible et périodique de période 3.

40 / 76
Réseaux de files d’attente

Chaîne apériodique irréductible

41 / 76
Réseaux de files d’attente

Chaîne apériodique irréductible

42 / 76
Réseaux de files d’attente

Chaîne ergodique

43 / 76
Réseaux de files d’attente

Chaîne ergodique

Ergodique = apériodique et récurrent non nul


Propriétés

Propriété : tous les états d’une CMTD irréductible sont Tous


de même nature
Propriété : tous les états d’une CMTD irréductible finie Sont
récurrents non nuls.

44 / 76
Réseaux de files d’attente

Approche intuitive de l’hypothèse ergodique


D’une façon intuitive, et pour l’exemple d’un gaz, les milliards de
particules qui le constituent peuvent être considérées comme des copies
les unes des autres ayant toutes le même comportement aléatoire. Elles
prennent chacune des valeurs aléatoires, probablement différentes, de
position et de vitesse à un instant donnée. La vitesse moyenne des
particules peut se calculer en sommant les vitesses de toutes les
particules à un instant donné. Cependant, on peut calculer également une
moyenne en considérant une seule particule mais en mesurant ses vitesses
à différents instants. L’hypothèse d’ergodicité revient à dire que les deux
méthodes sont équivalentes.
On peut également penser à une forêt d’une seule espèce et s’intéresser à
la croissance d’un arbre en fonction du temps : l’hypothèse ergodique
revient à considérer qu’il est similaire d’observer la forêt à un instant
donné, ou un arbre tout au long de sa vie pour en connaître l’évolution
(par exemple relever le diamètre du tronc en fonction du temps ou
mesurer tous les diamètres de la forêt et le reporter en fonction de l’âge
de l’arbre).
45 / 76
Réseaux de files d’attente

Définition : chaîne apériodique


Exemple 3 :chaîne irréductible et apériodique.

Chaîne de Markov apériodique : aucun des états n’est périodique


46 / 76
Réseaux de files d’attente

Classification des états : transitoires, récurrents


nuls et récurrents non nuls
Classification des états basée sur les distinctions suivantes :
Nombre moyen de visites à quelques états peut être infini alors
que les autres états peuvent être visités uniquement un nombre
fini de fois (en moyenne)
Soit fjjn la probabilité que le premier retour en j ait lieu en n étapes
après l’avoir quitté :
fjjn = P(X1 6= j, X2 6= j, ..., Xn−1 6= j, Xn 6= j|X0 = j)
Soit fjj la probabilité de revenir en j en un temps fini :

X
fjj = fjjn
n=1
Soit Mj le temps moyen de retour en j :

X
Mj = nfjjn
47 / 76
Réseaux de files d’attente

Autres paramètres de performances

fijn : proba (i −→ j en exactement n étapes)


fij : proba (i −→ j en n, quelconque, d’étapes)
Soit Rij le nombre moyen de passages par l’état j sachant que
L’on vient de l’état i

48 / 76
Réseaux de files d’attente

Définition : états transitoires, récurrents nuls et


récurrents non nuls

L’état j est dit :


transitoire si fjj < 1,
récurrent si fjj = 1 ; de plus il est dit :
récurrent nul si Mj = ∞
récurrent non nul si Mj < ∞
Un état apériodique et récurrent non nul est appelé ergodique.

49 / 76
Réseaux de files d’attente

Classification des états d’une CMTD (Exemples)

50 / 76
Réseaux de files d’attente

Classification des états d’une CMTD (Exemples)

Imaginons que la souris soit initialement dans la pièce 2 !


Combien de fois passera-t-elle en moyenne par la Pièce 3
avant de sortir ou de tomber définitivement Dans la pièce 5 ?
C’est-à-dire : on cherche le nombre moyen de passages en 3 ! (
Réponse : R23 )
Quelle est la probabilité que la souris sorte un jour
(Réponse : f26 )
Combien en moyenne la souris fera-t-elle de déplacements
pour revenir dans la pièce 2 ? (Réponse : M2 = temps moyen
de retour en 2 !

51 / 76
Réseaux de files d’attente

Classification des états d’une CMTD (Exemples)

52 / 76
Réseaux de files d’attente

Définition : états transitoires, récurrents nuls et


récurrents non nuls

Exemple de chaine de Markov avec des états périodiques

Tous les états sont récurrents non nuls et périodiques.

53 / 76
Réseaux de files d’attente

Définition : états transitoires, récurrents nuls et


récurrents non nuls
Exemple de chaine de Markov avec des états périodiques

Tous les états sont récurrents non nuls et périodiques.

Ne pas avoir de boucle ne signifie pas que l’état est


périodique.
54 / 76
Réseaux de files d’attente

Définition : Etat périodique


Un état j est périodique si on ne peut y revenir qu’après un
nombre d’étapes multiple de m(m > 1) :
pjjn > 0 seulement si n est multiple de m
m est la période de l’état j. Exemple 1 :les états 1,2,3 sont
périodiques de période 3. L’état 4 n’est pas périodique.

55 / 76
Réseaux de files d’attente

Définition : périodicité d’un état

Remarques :
un état sur lequel il existe un rebouclage est forcément
apériodique,
tous les états d’une même sous chaîne absorbante ont même
période,
en particulier si la chaîne est irréductible alors tous les états
ont la même période m ( chaîne périodique de période m ou
de chaîne apériodique).

56 / 76
Réseaux de files d’attente

Double classification des états d’une chaîne de


Markov

57 / 76
Réseaux de files d’attente

Double classification des états d’une chaîne de


Markov

Propriété 1
Tous les états d’une CMTDED irréductible sont de même nature :
– ils ont tous la même période,
– de plus ils sont :
soit tous transitoires,
soit tous récurrents nuls,
soit tous récurrents non nuls,

58 / 76
Réseaux de files d’attente

Double classification des états d’une chaîne de


Markov

Propriété 2
Une chaîne de Markov à temps discret à nombre fini d’états et
irréductible est récurrente non nulle.
Une chaîne de Markov à nombre fini d’états ne possède que
des états transitoires et des états récurrents non nuls.

59 / 76
Réseaux de files d’attente

Double classification des états d’une chaîne de


Markov
Propriété 2
Exemple : Les états {1,2,3} sont transitoires ; les états {4,5}
forment une sous chaîne absorbante apériodique et récurrente non
nulle.

60 / 76
Réseaux de files d’attente

Ergodicité d’une chaîne de Markov

Définition : une CMTDED qui est irréductible, apériodique et


récurrente non nulle est dite ergodique. Propriété :dans le cas
d’une chaîne de Markov ergodique, les probabilités d’état πn (j)
converge vers une limite :

πn (j) → π(j)

Les probabilités limites π(j) sont appelées probabilités stationnaires


de la chaîne.

61 / 76
Réseaux de files d’attente

Une condition suffisante d’ergodicité


Dans le cas où le nombre d’états est fini il suffit que la chaîne soit
irréductible et apériodique pour qu’elle soit ergodique. ,→ c’est une
condition suffisante
,→ ce n’est pas une condition nécessaire Exemple :

Chaîne de Markov à états finis,


irréductible et apériodique donc ergodique.
Pour trouver les probabilités stationnaires de la chaîne résoudre le
système Π = Π P.
62 / 76
Réseaux de files d’attente

Exemple

63 / 76
Réseaux de files d’attente

Exemple

64 / 76
Réseaux de files d’attente

Exemple

65 / 76
Réseaux de files d’attente

Probabilités stationnaires

Propriété
Dans le cas d’une CMTDED les probabilités stationnaires de la
chaîne sont égales à :

π(j) = 1 / Mj

où Mj est le temps moyen de retour dans l’état j.

66 / 76
Réseaux de files d’attente

Temps de séjour dans les états de la chaîne

Le temps (nombre d’"étapes") passé dans l’état j par la chaîne de


Markov à temps discret a une loi géométrique :

P(Zj = n) = pjjn−1 (1 − pjj ) ∀n≥1

Le temps de séjour moyen dans l’état j est égal à :


1
Tj =
1 − pjj

67 / 76
Réseaux de files d’attente

Temps de séjour dans les états de la chaîne


(Preuve)

P(Zj = n) = (pjj )n−1 (1 − pjj )



npjjn−1 (1 − pjj ) = 1/(1 − pjj )
X
Tj =
n=1 68 / 76
Réseaux de files d’attente

Distribution du temps de séjour moyen dans chaque état


Dans le cas d’une CMTCED, le temps de séjour dans l’état i est
une variable aléatoire exponentielle.
Preuve : d’après la propriété de Markov faible,

P(Xt+∆t = i|Ft ) = P(Xt+∆t = i|Xt )

en notant Ft = σ(Xs , s ≤ t). Donc si Xt = i, la durée de vie


résiduelle à l’instant t dans l’état i ne dépend pas du temps déja
passé dans l’état i mais seulement du fait que Xt = i.
,→ loi sans mémoire : loi exponentielle !

69 / 76
Réseaux de files d’attente

Processus de naissance et de mort

Définition : Un processus de naissance et de mort est un processus


de Markov homogène à valeurs dans N tel que

70 / 76
Réseaux de files d’attente

Processus de naissance et de mort


Commentaires : On interprète un tel processus en admettant que Xt est la
taille d’une population à l’instant t. Si la population se compose de i individus
au temps t, le taux instantané de naissance d’un nouvel individu est λi tandis
que le taux instantané de disparition d’un individu est µi .
Le générateur d’un processus de naissance et de mort est

Les équations de Kolmogorov d’un processus de naissance et de mort sont

71 / 76
Réseaux de files d’attente

Processus de naissance et de mort


Les processus de naissance purs sont des processus pour lesquels

Dans ce cas, nous avons

On retrouve le processus de Poisson d’intensité λ quand λi = λ .


La solution de ces équations est alors

72 / 76
Réseaux de files d’attente

Processus de naissance et de mort

On dit qu’un processus de naissance et de mort n’explose pas en temps


fini si

Remarque. On peut montrer qu’un processus de naissance et de mort


X 1
n’explose pas en temps fini si et seulement si la série diverge.
λi

73 / 76
Réseaux de files d’attente

Processus de naissance et de mort


Comportement asymptotique
Théorème : Une condition nécessaire et suffisante pour qu’un
processus de naissance et de mort irréductible admette une unique
loi stationnaire est que la série

soit convergente. Dans ce cas, la distribution stationnaire est donnée par

74 / 76
Réseaux de files d’attente

Processus de naissance et de mort

Démonstration. D’après les résultats du paragraphe précédent, on


doit avoir

75 / 76
Réseaux de files d’attente

Processus de naissance et de mort

De ces premières équations, on tire

1
La deuxième condition s’écrit donc Sπ0 + π0 = 1 soit π0 = .
1+S
Le système admet donc une solution ssi S<∞. 

76 / 76