Vous êtes sur la page 1sur 48

École Nationale des Sciences Universite Abdelmalek

Appliquées de Tanger Essaadi

Processus Stochastiques Appliquées

AMAL Youssef

2017-2018

Département Mathématiques - Informatique

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 1 / 46


Programme du Cours

Plan:
1 Chaînes de Markov à temps discret
2 Chaînes de Markov à temps continu
3 Files d’attentes

Références:
Probabilités et Processus Stochastiques, Yves Caumel, 2011.
Processus Stochastiques Appliquées, Mario Lefebvre, 2005.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 2 / 46


Introduction (Processus Stochastiques)

Définition 1.1
Un processus stochastique est une famille {Xt ∈ E; t ∈ T } de variables
aléatoires indexées par le temps t (variables d’états).

Variable d’état est une variable qui décrit l’état du système à un instant
donné avec une probabilité donnée.
L’espace E est appelé espace d’états.
Si l’ensemble des temps T est fini ou dénombrable, le processus stochas-
tique est dite à temps discret.
Si l’ensemble des temps T est non dénombrable, le processus stochas-
tique est dite à temps continu.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 3 / 46


Introduction (Processus Stochastiques)

Exemple 1.2
Soit (Yn )n≥1 une suite de v.a. indépendantes et identiquement distribuées, tels
que:P(Yi = 1) = p et P(Yi = −1) = 1 − p, et quantité initiale Y0 ∈ Z indépen-
dante des v.a. Yn . Soit la suite (Xn )n≥0 (Marche Aléatoire Simple) définie par la
récurrence:
Xn+1 = Xn + Yn+1 , ∀n ∈ N et X0 = Y0 .

Exemple 1.3
On considère des ressources informatiques numériques identiques partagées par
plusieurs utilisateurs. A chaque instant, les utilisateurs sont soit entrain d’utiliser une
de ces ressources soit en attente qu’une ressource se libère. Les demandes en attente
d’être traitées sont stockées dans une mémoire tampon. Ce réseau peut être modéliser
par le formalisme de file d’attente. Soit Nt le nombre totale des utilisateurs en attente
ou entrain de se faire servir à l’instant n.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 4 / 46


Chaîne de Markov Chaîne de Markov à Temps Discret

Définition 2.1
Soit (Xn )n∈N une suite de v.a. à valeurs dans un espace E fini ou dénom-
brable. Le processus stochastique (Xn )n∈N est une Chaîne de Markov à
temps discret si:

P(Xn+1 = j|Xn = i, Xn−1 = in−1 , ..., X0 = i0 ) = P(Xn+1 = j|Xn = i).

pour tout n ∈ N et pour tout i, in−1 , ..., i0 , j ∈ E avec:


P(Xn = i, Xn−1 = in−1 , ..., X0 = i0 ) > 0.

Probabilité Conditionnelle, exp:


On lance un dé, soit A l’événement " le résultat est impair " et soit B
l’événement " le résultat est inférieur ou égal à 3 ". Quelle la
probabilité de B sachant que A est réalisé?
Si de plus P(Xn+1 = j|Xn = i) = pij ne dépend pas de n alors la
chaîne de Markov (Xn )n∈N est dite homogène, autrement dit:
P(Xn+1 = j|Xn = i) = P(X1 = j|X0 = i).
AMAL Youssef Processus Stochastiques Appliquées 2017-2018 5 / 46
Chaîne de Markov Chaîne de Markov à Temps Discret

Définition 2.2
Soit (Xn )n∈N une chaîne de Markov homogène d’espace d’états E. Soient
i, j ∈ E. La probabilité P(Xn+1 = j|Xn = i) = pij est appelée Probabilité
de Transition de i à j. La matrice P = (pij )i,j∈E est appelée Matrice de
Transition de la chaîne.

pij ≥ 0 pour tout (i, j) ∈ E 2 .


P
j∈E pij = 1 pour tout i ∈ E.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 6 / 46


Chaîne de Markov Chaîne de Markov à Temps Discret

Définition 2.3
Une chaîne de Markov peut être représenté par un diagramme dont les som-
mets sont les états. Chaque deux sommets tels que pij > 0 sont reliés par
un arc orienté de i vers j sur lequel on porte la valeur pij . Ce diagramme est
appelé Graphe de Transition.

Considérons une chaîne de Markov dont le graphe de transition est le suivant:

Quelle est la matrice de transition de cette chaîne?

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 7 / 46


Chaîne de Markov Chaîne de Markov à Temps Discret

Exemple 2.4
Supposons un bit informatique, qui prend les valeurs 0 ou 1, est transmis d’un
poste A vers un poste B en passant par N postes intermédiaires. Chacun de
ces N postes transmet correctement le bit avec probabilité p et incorrectement
avec probabilité 1 − p. Le résultat de la transmission de chaque poste ne
dépend pas des autres postes. Soit Xn le bit sortant du poste d’indice n et X0
le bit initial.X0, est supposé indépendant des intermédiaires.

1 (Xn )n est-elle une chaîne de Markov ?


2 Est-elle une chaîne homogène?
3 Donner la matrice de transition de cette chaîne.
4 Donner le graphe de transition de la chaîne de Markov.

Exercice 2.5
1 Montrer que la marche aléatoire simple est une chaîne de Markov
homogène à temps discret.
2 Donner le graphe et la matrice de transition de cette chaîne.
AMAL Youssef Processus Stochastiques Appliquées 2017-2018 8 / 46
Chaîne de Markov Chaîne de Markov à Temps Discret

Théorème 2.6
Soit (Xn )n une chaîne de Markov homogène tels que (pi,j )i,j sa matrice de
transition et π0 sa loi initiale. Alors

P(Xn = in , ..., X1 = i1 , X0 = i0 ) = π0 (i0 )pi0 ,i1 pi1 ,i2 ...pin−1 ,in

πn (i) = P (Xn = i), ∀i ∈ E est la loi de la v.a. Xn .


P(∩nk=0 Ak ) = P(A0 )P(A1 |A0 )P(A2 |A1 ∩ A0 )...P(An |An−1 ∩ ... ∩ A0 )
P(Xn = in , ..., X1 = i1 |X0 = i0 ) = pi0 ,i1 pi1 ,i2 ...pin−1 ,in

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 9 / 46


Chaîne de Markov Chaîne de Markov à Temps Discret

Proposition 2.7
La loi de la chaine de Markov homogène (Xn )n est invariante par translation
dans le temps:
P(Xn+m = in+m , ..., Xn+1 = in+1 |Xn = in )
= P(Xm = in+m , ..., X1 = in+1 |X0 = in ).

La probabilité conditionnelle d’une trajectoire donnée reste la même au


cours du temps.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 10 / 46


Chaîne de Markov Chaîne de Markov à Temps Discret

Exemple 2.8
On considère la chaîne de Markov dont la matrice de transition est la suivante:
 
0.5 0.2 0 0.3
 0 0 0.4 0.6 
 
 0.5 0 0 0.5 
0 0 0.1 0.9

1 Donner le graphe de transition de cette chaîne.


2 Partant de l’état X0 = 1 au temps initiale t0 , quel est le chemin le plus
probable permettant de rejoindre l’état 4 au temps t3 .
3 Quelle est la probabilité de rejoindre l’état 4 depuis l’état 1 en 3 coups
quelque soit le chemin emprunté?

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 11 / 46


Chaîne de Markov Chaîne de Markov à Temps Discret

Théorème 2.9 (Chapman Kolmogorov)


On considère la chaîne de Markov (Xn )n∈N homogène d’espace d’états E
dont P = (pi,j )i,j∈E est sa matrice de transition. Notons par:
(n)
pi,j = P(Xn = j|X0 = i). Alors

(n) (l) (m)


X
pi,j = pi,k pk,j
k∈E

, ∀i, j ∈ E avec n = l + m ≥ 2.
P (n)
Pour tout n ≥ 0, on a: pi,j = 1
j∈E
(n) P (n−1)
pi,j = k∈E pi,k pk,j , pour tout i, j ∈ E
(n)
(pi,j )i,j∈E = P n = P l .P m pour tout l, m ∈ N∗ tel que n = l + m.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 12 / 46


Chaîne de Markov Chaîne de Markov à Temps Discret

Théorème 2.10
Soit (Xp )p∈N une chaîne de Markov homogène d’espace d’états E telle que
P sa matrice de transition et que πn sa loi de probabilité. Alors

πn = π0 .P n
P P (n)
πn (j) = i∈E P(Xn = j|X0 = i)P(X0 = i) = i∈E π0 (i)pi,j pour
tout i ∈ E.
πn+1 = πn P .

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 13 / 46


Chaîne de Markov Chaîne de Markov à Temps Discret

Soit P une matrice de transition d’une C.M.H. (Xn )n à espace d’états E:

Un état j ∈ E est dite accessible depuis l’état i ∈ E, noté i → j, s’il existe


(n)
n ≥ 0 tel que pi,j > 0.
Deux états i et j communiquent si i → j etj → i, on note i ↔ j. La relation
↔ est une relation d’équivalence.
Une classe d’équivalence est un sous ensemble de E qui contient les états
qui communiquent deux à deux.
Un état i ∈ E est absorbant si pi,i = 1.
P est irréductible si, pour tout i, j ∈ E, on a i → j.
P est absorbante si, pour tout i ∈ E, il existe j ∈ E absorbant avec i → j.
Une chaîne est dite absorbante s’il existe, pour tout état, un état absorbant
atteignable depuis cet état.
Une chaîne est dite irréductible s.s.i. E est formé d’une seule classe d’équivalenc
Une chaîne de Markov contenant au moins un état absorbante ne peut être
irréductible.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 14 / 46


Chaîne de Markov Chaîne de Markov à Temps Discret

Exemple 2.11
Considérons la chaîne de Markov, dont l’ensemble des états est E =
{0, 1, 2}, la matrice de transition
 
1/2 1/2 0
P =  1/2 1/4 1/4 
0 1/3 2/3

Exemple 2.12
Considérons la chaîne de Markov, dont l’ensemble des états est E =
{0, 1, 2, 3}, la matrice de transition
 
1/2 1/2 0 0
 1/2 1/2 0 0 
P = 
 1/4 1/4 1/4 1/4 
0 0 0 1

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 15 / 46


Chaîne de Markov Chaîne absorbantes

Définition 2.13
Considérons une chaîne de Markov homogène, avec r(≥ 1) états absorbants,
définie dans un espace E de m états. Sa matrice de transition 
peut être écrite
Q R
sous la forme suivante, dite forme canonique: P = où Q est une
0 1
matrice (m − r) × (m − r), R une matrice (m − r) × r (non nulle), et 1 la
matrice identité r × r.
 n
1 + Q + ... + Qn−1 R
 
n Q
Pour tout n ≥ 1: P = .
0 1
lim Qn = 0
n→+∞
La matrice 1 − Q est inversible telle que:
+∞
X
−1
(1 − Q) = Qn .
n=0

F = (1 − Q)−1 est appelée matrice fondamentale de la chaîne.


AMAL Youssef Processus Stochastiques Appliquées 2017-2018 16 / 46
Chaîne de Markov Chaîne absorbantes

Théorème 2.14
Soit F la matrice fondamentale d’une chaîne de Markov absorbante, A l’ensemble des
états absorbants, Nj le nombre de visites en l’état j, et τ = min{p ≥ 1 | Xp ∈ A}
(Xp > m − r). Alors,
le nombre moyen de P
visites en un état donné avant absorption:
E[Nj |X0 = i] = E[ 1{Xn =j} |X0 = i] = Fij pour tout i, j ∈
/ A,
n≥0
le temps en moyenne jusqu’à absorption partant d’un état donné i:
P m−r
P
E[τ |X0 = i] = Fij = Fij pour tout i ∈
/ A,
j ∈A
/ j=1
la probabilité d’être absorbé dans un état donné j, étant parti d’un état i:
P(Xτ = j|X0 = i) = (F R)ij pour tout i ∈ / A, j ∈ A.

E[1{Xn =j} |X0 = i] = P(Xn = j|X0 = i).

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 17 / 46


Chaîne de Markov Chaîne absorbantes

Théorème 2.14
Soit F la matrice fondamentale d’une chaîne de Markov absorbante, A l’ensemble des
états absorbants, Nj le nombre de visites en l’état j, et τ = min{p ≥ 1 | Xp ∈ A}
(Xp > m − r). Alors,
le nombre moyen de P
visites en un état donné avant absorption:
E[Nj |X0 = i] = E[ 1{Xn =j} |X0 = i] = Fij pour tout i, j ∈
/ A,
n≥0
le temps en moyenne jusqu’à absorption partant d’un état donné i:
P m−r
P
E[τ |X0 = i] = Fij = Fij pour tout i ∈
/ A,
j ∈A
/ j=1
la probabilité d’être absorbé dans un état donné j, étant parti d’un état i:
P(Xτ = j|X0 = i) = (F R)ij pour tout i ∈ / A, j ∈ A.

E[1{Xn =j} |X0 = i] = P(Xn = j|X0 = i).


P(τ > n|X0 = i) = P(Xn ≤ m − r|X0 = i).

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 17 / 46


Chaîne de Markov Chaîne absorbantes

Théorème 2.14
Soit F la matrice fondamentale d’une chaîne de Markov absorbante, A l’ensemble des
états absorbants, Nj le nombre de visites en l’état j, et τ = min{p ≥ 1 | Xp ∈ A}
(Xp > m − r). Alors,
le nombre moyen de P
visites en un état donné avant absorption:
E[Nj |X0 = i] = E[ 1{Xn =j} |X0 = i] = Fij pour tout i, j ∈
/ A,
n≥0
le temps en moyenne jusqu’à absorption partant d’un état donné i:
P m−r
P
E[τ |X0 = i] = Fij = Fij pour tout i ∈
/ A,
j ∈A
/ j=1
la probabilité d’être absorbé dans un état donné j, étant parti d’un état i:
P(Xτ = j|X0 = i) = (F R)ij pour tout i ∈ / A, j ∈ A.

E[1{Xn =j} |X0 = i] = P(Xn = j|X0 = i).


P(τ > n|X0 = i) = P(X Pn ≤ m − r|X0 = i).
P(Xτ = j|X0 = i) = P(Xn+1 = j, Xn ≤ m − r|X0 = i)
n≥0
P m−r
P
= P(Xn+1 = j, Xn = k|X0 = i)
n≥0 k=1 !
m−r
P P
= P(Xn = k|X0 = i) P(X1 = j|X0 = k).
k=1 n≥0

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 17 / 46


Chaîne de Markov Chaîne absorbantes

Exemple 2.15
Considérons la matrice de transition suivante:
 
1 0 0 0
 1/2 0 1/2 0 
P =  0 1/2 0 1/2


0 0 0 1

Donner la forme canonique de P .


Calculer la matrice fondamentale F .
Calculer la probabilité d’arrivée en état absorbant, étant donnée que
l’état initial est non-absorbant, en déterminant le temps moyen jusqu’à
absorption.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 18 / 46


Chaîne de Markov Chaîne irréductible

Définition 2.16
On considère une chaîne de Markov passant au moins une fois par un état
donné i, on pose Ti = min{n ≥ 1 | Xn = i}, sinon Ti = +∞. Ti est appelé
temps d’atteinte (ou de retour si la chaîne part de i) de l’état i.

Définition 2.17
Un état i est dit récurrent si P(Ti < +∞|X0 = i) = 1. Sinon l’état est dit
transient.

P(Ti < +∞|X0 = i) = P(∃n ≥ 1, Xn = i|X0 = i).


P
Ni = 1{Xn =i} : le nombre de retour en état i.
n≥1

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 19 / 46


Chaîne de Markov Chaîne irréductible

Exemple 2.18
(n)
1 Supposons que ∀n ≥ 1, pii = 0. classifier l’état i.
2 Soit la chaîne de Markov définie dans l’espace d’états
E = {1, 2, 3, 4, 5} et dont la matrice de transition est donnée par:
 
0 1 0 0 0
 2/3 0 1/3 0 0 
 
P =  0 0 0 1 0 

 0 0 0 0 1 
0 0 0 1 0

Classifier les états 1 et 5.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 20 / 46


Chaîne de Markov Chaîne irréductible

Théorème 2.19
P (n)
Un état i est récurrent si et seulement si pii = +∞.
n

P (n)
Un état i est transient si et seulement si pii < +∞.
n
P (n)
E[Ni |X0 = i] = pii .
n≥1
Une classe d’équivalence est récurrente (resp. transiente) si une de ces
(n) (k) (n−k−l) (l)
états l’est: pii ≥ pij pjj pji .
Toute CMH sur un espace d’états fini a au moins un état récurrent:
(n)
pij → 0.
Toute CMH sur un espace d’états fini irréductible est récurrente.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 21 / 46


Chaîne de Markov Chaîne irréductible

Exemple 2.20
Soit la chaîne de Markov définie dans l’espace d’états E = {1, 2, 3, 4, 5} et dont la
matrice de transition est donnée par:
 
0 1 0 0 0
 2/3 0 1/3 0 0 
 
P = 0 0 0 1 0 

 0 0 0 0 1 
0 0 0 1 0

Classifier les états 1 et 5.

Exercice 2.21
Montrer que la marche aléatoire sur Z est récurrente dans le cas où
P(Yi = 1) = P(Yi = −1) = 1/2 et transiente sinon.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 22 / 46


Chaîne de Markov Chaîne irréductible

Définition 2.22
(n)
Soit d(i) = pgcd{n ≥ 1|pii > 0}. Un état i est dit apériodique si d(i) = 1.

Une chaîne est apériodique si tous ses états le sont.


Une classe d’équivalence est apériodique si une de ces états l’est.

Exemple 2.23
tout état vérifiant pii > 0 est un état apériodique.

Exemple 2.24
Considérons la chaîne de Markov dont l’ensemble des états est E =
{0, 1,
2, 3} et la matrice de
transition est donnée par:
0 0 1/2 1/2
 1 0 0 0 
P =  0 1 0

0 
0 1 0 0
AMAL Youssef Processus Stochastiques Appliquées 2017-2018 23 / 46
Chaîne de Markov Chaîne irréductible

Définition 2.25
On dit qu’une chaîne de Markov converge vers la loi de probabilité π si
lim πn = π pour toute loi initiale π0 .
n→+∞

lim πn (i) = π(i) pour tout i ∈ E.


n→+∞

Exemple 2.26
Soit la chaîne de Markov dont la matrice de transition est:
 
0 1
P = .
1 0

Calculer P n pour n ≥ 2.
Cette chaîne converge-elle en loi de probabilité?

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 24 / 46


Chaîne de Markov Chaîne irréductible

Définition 2.27
On dit qu’une loi de probabilité π est stationnaire, par rapport à la chaîne de
Markov de matrice de transition P définie sur l’espace d’états E, si:
(
π = π.P P
0 ≤ π(i) ≤ 1 pour tout i ∈ E et π(i) = 1.
i∈E

Si une CMH converge vers la loi de probabilité π, alors:


π est l’unique loi de probabilité stationnaire de cette chaîne.
P n converge vers une matrice dont toutes les lignes sont égales à π.
A long terme, le processus devient indépendant de son état initial.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 25 / 46


Chaîne de Markov Chaîne irréductible

Exemple 2.28
La chaîne de Markov (Xn )n tels que les v.a. Xn sont i.i.d. admet une loi de
probabilité stationnaire.

Exemple 2.29
Soit la chaîne de Markov dont la matrice de transition est:
 
0 1
P = .
1 0

Il est possible qu’une CMH ait une loi de probabilité stationnaire sans
qu’elle converge vers cette loi.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 26 / 46


Chaîne de Markov Chaîne irréductible

Théorème 2.30
Soit (Xn )n une CMH irréductible et apériodique. Alors la chaîne converge
vers la loi de probabilité π.

π(i) 6= 0 pour tout i ∈ E.


Dans le cas où E est fini et π existe et unique,
( le vecteur π s’obtient par
πP= π.P
la résolution du système linéaire suivant: π(i) = 1.
i∈E

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 27 / 46


Chaîne de Markov Chaîne irréductible

Exemple 2.31
On considère un antivirus qui fonctionne d’une manière aléatoire suivant 3
modes: Scanne, Mise à jour et Pause, selon la matrice de transition P suivante:
 
1/2 1/4 1/4
P =  1/2 0 1/2 
1 0 0

Soit Xn l’état de l’antivirus après n transitions.

1 Montrer que la chaîne de Markov Xn converge à long terme.


2 Quel est le mode auquel l’antivirus passe plus de temps?

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 28 / 46


Chaîne de Markov à temps continu Processus de Poisson

Définition 3.1
La loi exponentielle est caractérisée par les propriétés suivantes:
Fonction de répartition: FX (x) = P (X ≤ x) = (1 − e−µx ) 1{x≥0} .
Fonction densité: fX (x) = FX0 (x) = µe−µx 1{x≥0}
E[X] = 1/µ, V[X] = 1/µ2 .

Théorème 3.2
Une v.a. τ suit la loi exponentielle s.s.i.

∀s ≥ 0, ∀t ≥ 0, P(τ ≥ t + s|τ ≥ t) = P(τ ≥ s).

Cette propriété permet d’initialiser la v.a. temps qui suit la loi exponen-
tielle à zéro.
La loi exponentielle sert à modéliser la durée de vie d’un phénomène
sans mémoire, par exemple: le temps d’attente, l’arrivée de clients dans
une file, durée de vie.
AMAL Youssef Processus Stochastiques Appliquées 2017-2018 29 / 46
Chaîne de Markov à temps continu Processus de Poisson

Définition 3.3
Soit (Tk )k≥0 une suite de v.a. croissante et soit (τk )k≥0 les durées des inter-
valles [Tk−1 , Tk ], telles que: τ0 = T0 = 0 et τk = Tk − Tk−1 pour k ≥ 1. Le
processus stochastique {Nt , t ≥ 0} P défini par:
Nt = max{n ≥ 0, Tn ≤ t} = 1[0,t] (Tn ), est un Processus de Poisson
n≥1
de paramètre λ si la suite (τk )k≥0 est une suite de v.a. indépendantes et de
distribution exponentielle de paramètre λ.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 30 / 46


Chaîne de Markov à temps continu Processus de Poisson

Propriété 3.4
Nt = k ⇐⇒ Tk ≤ t < Tk+1 pour tout k ∈ N.
Le processus de Poisson est nommé ainsi car ses accroissements suivent
des lois de Poisson d’intensité λτ :
P(Nt+τ − Nt = k) = e−λτ ((λτ )k /k!), k ∈ N.
E[Nt+τ − Nt ] = V[Nt+τ − Nt ] = λτ.
Le processus Poisson est à accroissement indépendants c.à.d. que les
v.a. Nt2 − Nt1 ,...,Ntn − Ntn−1 sont indépendantes.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 31 / 46


Chaîne de Markov à temps continu Chaîne de Markov à temps continu

Définition 3.5
Le processus stochastique (Xt )t≥0 d’espace d’états E = {i}i∈I fini ou
dénombrable est dite une chaîne de Markov à temps continu, si pour tout
0 ≤ t1 < ... < tn < tn+1 et i1 , ..., in+1 ∈ E on a:

P(Xtn+1 = in+1 |Xtn = in , ..., Xt1 = i1 ) = P(Xtn+1 = in+1 |Xtn = in )

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 32 / 46


Chaîne de Markov à temps continu Chaîne de Markov à temps continu

Définition 3.6
Si P(Xs+t = j|Xs = i) ne dépend pas de s alors ce processus (Xn )n∈N est homogène,
autrement dit:
P(Xt+s = j|Xs = i) = P(Xt = j|X0 = i).
Dans ce cas, on note pij (t) = P(Xs+t = j|Xs = i).
La matrice P (t) = (pij (t))(i,j)∈E 2 est la matrice de transition, définie sur tout inter-
valle de temps de longueur t ≥ 0.

Propriété 3.7
P(Xtn = in , ..., Xt0 = i0 ) =
π0 pi0 ,i1 (t1 )pi1 ,i2 (t2 − t1 )...pin−1 ,in (tn − tn−1 ) avec π0 la loi initiale.
πt = π0 .P (t) avec πt la loi du v.a. Xt à l’instant t.
πt+s = πt .P (s).
Pour tout t, s ≥ 0, on a (Relation de Chapmann-Kolmogorov):
( P
pij (t + s) = pik (t)pkj (s),
k∈E
pij (0) = 0 si i 6= j et pii (0) = 1.

ou encore P (t + s) = P (t).P (s) et P (0) = Id .

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 33 / 46


Chaîne de Markov à temps continu Chaîne de Markov à temps continu

Exemple 3.8
1 Vérifier que le processus de Poisson {Nt ; t ≥ 0} d’intensité λ est une
chaîne de Markov homogène à temps continu.
2 Déterminer sa matrice de transition à l’instant t.

Les points de changement d’états t1 , t2 , ... sont des points aléatoires


dans le temps:

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 34 / 46


Chaîne de Markov à temps continu Chaîne de Markov à temps continu

Théorème 3.9
Soit une chaîne de Markov à temps continu {Xt ; t ≥ 0} de matrices de tran-
sition {Pt ; t ≥ 0}. Alors il existe une matrice (qij )i,j∈E , appelée générateur
infinitésimal de la chaîne {Xt }t , vérifiant:
qij ≥ 0 si i 6= j
P
qii = − qij ≤ 0, et telle que, quand ∆t tend vers 0, on a:
j∈E\{i}
pij (∆t) = ∆tqij + ε(∆t) si i 6= j,
pii (∆t) = 1 + ∆tqii + ε(∆t), tel que lim ε(∆t)/∆t = 0.
∆t→0

Les termes de la matrice Q sont ainsi donnés par:


pij (t)
qij = lim .
t→0 t
pii (t) − 1
qii = lim .
t→0 t

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 35 / 46


Chaîne de Markov à temps continu Chaîne de Markov à temps continu

Théorème 3.10
Soit (Xt )t≥0 une chaîne de Markov à temps continu, de générateur infinitésimal Q et
soit Ti leP
temps de séjour dans l’état i. Alors Ti suit une loi exponentielle de paramètre
−qii = qij (P(Ti > t) = eqii t ). De plus, lorsqu’il quitte l’état i, le processus se
j6=i
qij
retrouve dans l’état j avec probabilité: − .
qii

Exemple 3.11
Soit une chaîne de Markov à temps continu sur l’espace d’états E = {1, 2, 3, 4} dont
le générateur infinitésimal Q est le suivant:
 
−5 2 3 0
 4 −7 0 3 
Q= 
 0 0 −4 4 
0 6 0 −6

1 Combien de temps en moyenne un tel système demeure en état 1?


2 Avec quelle probabilité le système passe de l’état 2 en état 4?

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 36 / 46


Chaîne de Markov à temps continu Chaîne de Markov à temps continu

Définition 3.12 (Graphe de transitions instantanées)


En fonction des paramètres du générateur du processus, on représente les
transitions possibles d’une chaîne de Markov à temps continu, sous forme
d’un diagramme appelé "graphe des transitions instantanées", par une flèche
allant de l’état i à l’état j si qij > 0 et sur laquelle on porte la valeur qij .

Exemple 3.13
Représenter le graphe de transitions instantanées pour la chaîne introduite
dans l’exemple précédent.

Exemple 3.14
1 Déterminer le générateur infinitésimal du processus de Poisson
{Nt ; t ≥ 0} d’intensité λ.
2 Représenter son graphe de transitions instantanées.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 37 / 46


Chaîne de Markov à temps continu Chaîne de Markov à temps continu

Théorème 3.15
Si la chaîne de Markov à temps continu, homogène, irréductible sur E discret
et admet une loi stationnaire π ∗ , alors:
Pour toute loi initiale π0 , la loi de probabilité π(t) de la chaîne
converge à l’infini:
lim πt = π ∗ .
t→+∞

π ∗ est l’unique solution du système: π ∗ .Q = 0 et


P ∗
πi = 1.
i∈E

∀s, t > 0, π ∗ ∗
t+s = πt .P(s) ⇒ ∀s > 0, π = π .P (s)
P (s) − I
⇒ lim π ∗ = 0.
s→0 s
Si l’espace E est fini, il suffit que la chaîne soit irréductible pour qu’il
existe une loi stationnaire unique.

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 38 / 46


Chaîne de Markov à temps continu Chaîne de Markov à temps continu

Exemple 3.16
Justifier pourquoi le processus de Poisson d’intensité λ ne converge pas en
loi de probabilité.

Exemple 3.17
Soit une chaîne de Markov à temps continu sur l’espace d’états E =
{1, 2, 3, 4} dont le générateur infinitésimal Q est le suivant:
 
−5 2 3 0
 4 −7 0 3 
Q= 
 0 0 −4 4 
0 6 0 −6

Avec quelle probabilité l’équilibre du système sera en état 2?

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 39 / 46


Chaîne de Markov à temps continu processus de naissance et de mort

Définition 3.18
Un processus de naissance et de mort est un processus de Markov à temps
continu dont le générateur est de la forme suivante Q = (qij )i,j∈N avec
q00 .q01 6= 0 et pour tout autres i, j on a:

qij 6= 0 ⇐⇒ j ∈ {i − 1, i, i + 1}

Les transitions à partir de l’état i ne peuvent se faire que vers l’état


i − 1 en cas de décès ou vers l’état i + 1 en cas de naissance.
Soient µi et λi respectivement le taux de naissance et de décès tels que
λ0 6= 0 et λi .µi 6= 0 pour tout i ∈ N∗ . On écrit ainsi:
 
−λ0 λ0 0 0 0 ···
 µ1 −(λ1 + µ1 ) λ1 0 0 ··· 
Q= 0
 
 µ2 −(λ2 + µ2 ) λ2 0 · · ·  
.. .. .. .. ..
. . . . .

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 40 / 46


Chaîne de Markov à temps continu processus de naissance et de mort

Le temps de séjour dans l’état i suit une loi exponentielle de paramètre


λ i + µi .
µi
le système quitte l’état i pour un décès avec probabilité , et pour
λi + µ i
λi
une naissance avec probabilité .
λi + µi
La chaîne irréductible à condition que:
λi > 0, ∀i ∈ N et µi > 0, ∀i ∈ N∗ .
Résolution du système π ∗ .Q = 0 et
P ∗
πn = 1 donne:
n∈N

n
Y λm−1 1
πn∗ = π0∗ avec π0∗ = +∞
n λ
.
µm PQ m−1
m=1 1+
n=1 m=1 µm

Un processus de naissance et de mort irréductible admette une unique


+∞ n λ
P Q m−1
loi stationnaire s.s.i.: S = < +∞.
n=1 m=1 µ m

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 41 / 46


Files d’attente Classification des files d’attentes

Définition 4.1
Un système d’attente est composé d’un espace de service comportant un ou plusieurs
serveurs, et un espace d’attente. Un tel système est noté A/B/s/N où A est la loi du
flux des arrivées, B est la loi du temps de service, s est le nombre de serveurs et N est
la longueur maximum de la file d’attente.

Le système par noté M/M/s signifie que le flux des arrivées de clients est poisson-
nien, la loi des services est exponentielle, qu’il y a s serveurs et que la capacité
de la salle d’attente est illimitée .
AMAL Youssef Processus Stochastiques Appliquées 2017-2018 42 / 46
Files d’attente File d’attente M/M/1

Théorème 4.2
Soit Nt le nombre de clients dans le système à l’instant t ∈ [0, +∞[.
Les durées interarrivées sont des v.a i.i.d. suivant la loi exponentielle de
paramètre λ et les durées de services sont des v.a i.i.d. suivant la loi expo-
nentielle de paramètre µ. Alors le processus {N (t)}t≥0 à valeurs dans N est
un processus de naissance et de mort tel que:

λi = λ pour tout i ∈ N
µi = µ pour tout i ∈ N∗

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 43 / 46


Files d’attente File d’attente M/M/1

On considère que 0 < λ, µ. Soit ρ = λ/µ.


ρk converge s.s.i ρ < 1. Dans
P
Le processus atteint un régime permanent s.s.i. S =
k≥1
ce cas, πi∗ = lim P(Nt = i) = (1 − ρ)ρi ∀i ∈ N.
t→+∞
Lorsque µ < λ, le nombre de clients en attente tend vers l’infini.
Lorsque λ = µ, il n’y a pas de convergence en loi du nombre de clients dans le
système.
En régime stationnaire on a:
Soit N le nombre de clients dans le système, de loi π ∗ . Alors la probabilité que le
serveur soit occupé (taux d’activité du serveur):
P(N > 0) = 1 − P(N = 0) = ρ.
P ∗ ρ λ
et: E[N ] = i.πi = = .
i≥0 1 − ρ µ − λ
Soit Nf le nombre de clients dans la file:
ρ2
(i − 1).πi∗ =
P
E[Nf ] = E[(N − 1)1{N ≥1} ] = .
i≥1 1−ρ
Formule de Little: E[N ] = λE[T ],
où T est la durée de séjours d’un client dans le système.
1
On a E[T ] = . Par suite: T suit une loi exponentielle de paramètre µ − λ.
µ−λ

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 44 / 46


Files d’attente File d’attente M/M/s

Théorème 4.3
Les durées interarrivées sont des v.a i.i.d. suivant la loi exponentielle de
paramètre λ et les durées de services sont des v.a i.i.d. suivant la loi expo-
nentielle de paramètre µ. Le système est constitué de s serveurs identiques
(s ≥ 1). Alors le processus {N (t)}t≥0 à valeurs dans N est un processus de
naissance et de mort tel que:

 λi = λ  ,i∈N
iµ si i < s
 µi = , i ∈ N∗
sµ si i ≥ s

AMAL Youssef Processus Stochastiques Appliquées 2017-2018 45 / 46


Files d’attente File d’attente M/M/s
λ
Soit ρ = .

Le régime permanent du processus de naissance et mort associé est atteint si et seule-
ment siρ < 1.i
 (sρ) π0∗ si i ≤ s

1
πi∗ = i!
s ρi avec π0∗ = s−1 .
s (sρ)i (sρ)s
 ∗
π0 si i > s
P
 +
s! i=0 i! s!(1 − ρ)
Soit Nso nombre  de serveurs occupés:
N = k si k < s
Nso = k ⇐⇒
N ≥ s si k = s
Formule d’Erlang, la probabilité que tous les serveurs soient occupés est:

1 (sρ)s
P(N ≥ s) = πs∗ = π∗.
1−ρ (1 − ρ)s! 0

Le nombre moyen de serveurs occupés est: E[Nso ] = λ/µ.


ρ
Le nombre moyen de clients présents dans la file: E[Nf ] = π∗.
(1 − ρ)2 s
Le nombre moyen de clients présents dans le système est: E[N ] = E[Nf ]+E[Nso ].
Soit W le temps d’attente dans la file. Le temps d’attente moyenne est donnée par:
E[Nf ] = λE[W ].
La durée de séjours d’un client dans le système est donnée par:
E[N ] = λE[T ].
AMAL Youssef Processus Stochastiques Appliquées 2017-2018 46 / 46