Chap 1

UMBB/Faculté des Sciences
Département de Mathématiques Processus stochastiques 2 Master 1 : MSS
Chapitre 1
Processus markovien de sauts
1-1 Chaines de Markov à temps continu
Une chaine de Markov à temps continu est un processus aléatoire (𝑋𝑡 )𝑡≥0 dont l’évolution future est
indépendante du passé sachant l’état présent. Par rapport au chaines de Markov à temps discret (𝑋𝑛 )𝑛≥0 ,
la différence se situe dans le fait que la chaine peut changer d’état à n’importe quel moment de 𝑇 =
[0, +∞[ et non uniquement à des instants entiers. Lorsque le processus prend ses valeurs dans un espace
d’états 𝐸 au plus dénombrable, typiquement 𝐸 fini (𝐸 = ℕ), on parle de processus markovien de sauts.
Définition 1
Le processus stochastique (𝑋𝑡 )𝑡≥0 est une chaine de Markov à temps continu si :
∀0 ≤ 𝑡0 < 𝑡1 <. . < 𝑡𝑛 < 𝑡 , ∀ 𝑖0 , 𝑖1 , . . , 𝑖𝑛 , 𝑖 ∈ 𝐸. 𝑂𝑛 𝑎
𝑃(𝑋𝑡 = 𝑖 | 𝑋𝑡0 = 𝑖0 , . . , 𝑋𝑡𝑛 = 𝑖𝑛 ) = 𝑃(𝑋𝑡 = 𝑖 | 𝑋𝑡𝑛 = 𝑖𝑛 )
C’est la propriété de Markov, l’évolution future est indépendante du passé sachant l’état présent
Définition 2 ( chaine de Markov homogène)
La chaine de Markov (𝑋𝑡 )𝑡≥0 est homogène si pour tous 𝑡, 𝑠 ∈ ℝ+ , pour tous 𝑖, 𝑗 ∈ 𝐸, on a
𝑝𝑖𝑗 (𝑡) = 𝑃 (𝑋𝑡+𝑠 = 𝑗|𝑋𝑠 = 𝑖 )
Remarque 1 dans toute la suite, on ne considérera que des processus homogènes.
Définition 3 (matrice de transition)
La matrice de transition 𝑃 (𝑡) = (𝑝𝑖𝑗 (𝑡))𝑖,𝑗∈𝐸 vérifie les deux propriétés suivantes :
i- ∀𝑖, 𝑗 ∈ 𝐸, ∀𝑡 > 0 , 𝑝𝑖𝑗 (𝑡) ≥ 0

ii- ∀𝑖, 𝑗 ∈ 𝐸, ∀𝑡 > 0 , ∑𝑗∈𝐸 𝑝𝑖𝑗 (𝑡) = 1
1-1-2 Générateur infinitésimal
Considérons un temps de séjour 𝑆𝑖 à un état 𝑖 ≥ 0 , 𝑆𝑖 ↪ 𝐸𝑥𝑝 (𝜆𝑖 ), 0 ≤ 𝜆𝑖 < ∞.

les probabilités de transition conditionnelles étant donné qu'il y a changement d'état à partir de 𝑖 sont notées
𝑞𝑖𝑗 .
c'est-à-dire lorsqu'on quitte l'état i, il y a transition de 𝑖 vers 𝑗 (𝑖 ≠ 𝑗 ) avec probabilité 𝑞𝑖𝑗 indépendamment
des temps de séjour et des transitions qui ont précédé. On a 𝑞𝑖𝑗 = 0 si 𝑖 = 𝑗 et
∑ 𝑞𝑖𝑗 = 1
𝑗
1
Les probabilités de transition infinitésimales sont données par
𝜆𝑖 𝑞𝑖𝑗 (ℎ ) + 𝑜 (ℎ ) 𝑠𝑖 𝑖 ≠ 𝑗
𝑝𝑖𝑗 (ℎ ) = {
1 − 𝜆𝑖 ℎ + 𝑜(ℎ ) 𝑠𝑖 𝑖=𝑗
Où,
𝑞𝑖𝑗 les probabilités de transition lorsqu’il y a changement d’état .
𝑜 (ℎ ) représente la probabilité de réalisation de l’évènement avec au moins deux changements d’états.
On en déduit que
𝑜(ℎ)
𝑝𝑖𝑗 (ℎ ) − 𝑝𝑖𝑗 (0) 𝜆𝑖 𝑞𝑖𝑗 + 𝑠𝑖 𝑖 ≠ 𝑗
={ ℎ
ℎ 𝑜(ℎ)
−𝜆𝑖 + 𝑠𝑖 𝑖 = 𝑗
ℎ
1 𝑠𝑖 𝑖 = 𝑗
Où 𝑝𝑖𝑗 (0) = {
0 𝑠𝑖 𝑛𝑜𝑛
Alors , on a
𝑝𝑖𝑗 (ℎ ) − 𝑝𝑖𝑗 (0) 𝜆𝑖 𝑞𝑖𝑗 𝑠𝑖 𝑖 ≠ 𝑗

𝑎𝑖𝑗 = lim ={
ℎ→0 ℎ −𝜆𝑖 𝑠𝑖 𝑖 = 𝑗
Définition 4
On appelle générateur infinitésimal (ou matrice génératrice), la matrice dont le terme général est 𝑎𝑖𝑗 pour
𝑖 ≠ 𝑗 et −𝜆𝑖 pour le terme diagonal d’ordre 𝑖. Cette matrice est notée 𝐴.
La matrice 𝐴 est une matrice carrée à coefficients 𝑎𝑖𝑗 réels positifs sauf sur la diagonale. La somme des
coefficients d’une même ligne de 𝐴 vaut zéro.
∑ 𝑎𝑖𝑗 = 0
𝑗∈𝐸
En notation matricielle, on a 𝐴𝐼 = 0 . Où 𝐼 est un vecteur dont toutes les composantes sont égales à 1 et
0 est un vecteur dont toutes les composantes sont égales à 0.
Exemple 1
−2 1 1
La matrice 𝐴 = ( 0 −1 1 )
1 2 −3
est une matrice génératrice sur l’ensemble des états 𝐸 = {1,2,3}.
1-1-3 Equation de Chapman Kolmogorov
Pour les probabilités de transition de l’instant 0 à l’instant 𝑡 + ℎ (ℎ > 0), on considère l’état à l’instant
intermédiaire 𝑡. On obtient
𝑝𝑖𝑗 (𝑡 + ℎ ) = ∑ 𝑝𝑖𝑘 (𝑡)𝑝𝑘𝑗 (ℎ)

𝑘∈𝐸
En notation matricielle, on a
𝑃 (𝑡 + ℎ ) = 𝑃 (𝑡)𝑃(ℎ)
𝑃(𝑡+ℎ)−𝑃(𝑡) 𝑃(ℎ)−𝐼
D’où ℎ
= 𝑃(𝑡) ℎ
Où 𝐼 est la matrice identité. On conclut alors que
𝑃(𝑡 + ℎ ) − 𝑃(𝑡) 𝑃 (ℎ ) − 𝐼
𝑃́ (𝑡) = lim = 𝑃(𝑡) lim = 𝑃 (𝑡)𝐴
ℎ→0 ℎ ℎ→0 ℎ
C’est l’équation progressive de Kolmogorov .
De même, si on considère l’état à l’instant intermédiaire ℎ entre 0 et 𝑡 + ℎ et qu’on laisse tendre ℎ vers 0,
on obtient l’équation différentielle matricielle
𝑃́ (𝑡) = 𝐴𝑃 (𝑡)
C’est l’équation rétrograde de Kolmogorov.
Les équations progressives et rétrogrades de Kolmogorov ont comme solution
(𝐴𝑡)𝑛
𝑃 (𝑡) = 𝑒 𝐴𝑡 = ∑ ,𝑡 ≥ 0
𝑛!
𝑛≥0
Pour calculer 𝑃(𝑡), on suppose que le générateur 𝐴 est diagonalisable. On a donc
𝐴 = 𝑆𝐷𝑆 −1
Où , 𝐷 la matrice diagonale des valeurs propres de 𝐴 et 𝑆 est une matrice inversible dont les colonnes sont
des vecteurs propres associés à ces valeurs propres. On a alors
𝑒 𝐴𝑡 = 𝑃(𝑡) = 𝑆𝑒 𝐷𝑡 𝑆 −1
Exemple 2 Soit 𝑋(𝑡) une chaine de Markov à temps continu à valeurs dans {0,1,2} dont la matrice
génératrice est donnée par
−2 2 0
𝐴 = ( 1 −3 2 )
0 2 −2
Les valeurs propres sont obtenues en résolvant l’équation caractéristique det(𝐴 − 𝜆𝐼) = 0
−𝜆 − 2 2 0
det(𝐴 − 𝜆𝐼) = 𝑑𝑒𝑡 ( 1 −𝜆 − 3 2 ) = −𝜆(𝜆 + 2)(𝜆 + 5) = 0
0 2 −𝜆 − 2
3
Les valeurs propres sont donc λ= 0 , -2, 5 . Des vecteurs propres associés à ces valeurs propres sont
respectivement obtenus.
1 −2 −2
(1) (0) (3)
1 1 2
Ainsi la matrice des vecteurs propres est
1 −2 −2
𝑆 = (1 0 3)
1 1 2
On trouve alors
1 𝑡 1 −3 −6 −6
𝑆 −1 = 𝑐𝑜𝑚𝑆 = (5 0 −5)
𝑑𝑒𝑡𝑆 15
1 −3 2
La matrice 𝐴 s’écrit
1 1 −2 −2 0 0 0 3 6 6
𝐴= (1 0 3 ) (0 −2 0 ) (−5 0 5 )
15
1 1 2 0 0 −5 −1 3 −2
La matrice de transition de l’instant 0 à l’instant 𝑡 est alors donnée par
1 1 −2 −2 𝑒 0𝑡 0 0 3 6 6
𝑃 (𝑡) = 𝑆𝑒 𝐷𝑡 𝑆 −1 = (1 0 3 )( 0 𝑒 −2𝑡
0 ) (−5 0 5 )
15 −5𝑡
1 1 2 0 0 𝑒 −1 3 −2
Ainsi, on obtient
1/5 2/5 2/5

lim 𝑃(𝑡) = (1/5 2/5 2/5)
𝑡→+∞
1/5 2/5 2/5
On remarque que toutes les lignes de la matrice de transition limite sont identiques, ce qui signifie que la
chaine oublie l’état initial à long terme. De plus, chaque ligne correspond aux proportions moyennes de
temps à long terme dans les états 0 ,1 et 2, respectivement.
1-1-4 Conditionnement sur le premier changement d’état
La probabilité d’atteindre un état à partir d’un autre état dans une chaine de Markov à temps continu peut
être obtenue en conditionnant sur le premier changement d’état. Considérons par exemple l’espérance 𝜏𝑖
du temps avant d’atteindre un état à partir d’un autre état.
𝜏𝑖 = 𝐸(temps avant l’état 0 | départ de l’état 𝑖)
1
𝜏𝑖 = + ∑ 𝑞𝑖𝑗 𝜏𝑗
𝜆𝑖
𝑗
1
Où 𝜆𝑖
est l’espérance d’un temps de séjour à l’état 𝑖 (𝑖 ≠ 0). Il suffit donc de résoudre le système avec
𝜏0 = 0.
Exemple 3 Une chaîne de Markov à temps continu sur les états 0, 1 et 2 a comme générateur
−3 2 1
𝐴 = ( 2 −4 2 )
0 1 −1
En définissant 𝜏𝑖 comme l'espérance du temps avant d'atteindre l'état 2 à partir de l'état 𝑖, on obtient les
équations
1 2 1
𝜏0 = + 𝜏1 + 𝜏2
3 3 3
1 1 1
𝜏1 = + 𝜏0 + 𝜏2
4 2 2
3
Avec 𝜏2 = 0 . Le temps moyen pour atteindre l’état 2 à partir de l’état 0 est 𝜏0 = 4 .
1-1-5 Classification des états
- Un état 𝑗 est accessible depuis un état 𝑖 s’il existe 𝑡 ≥ 0 tel que 𝑝𝑖𝑗 (𝑡) > 0
- Deux états 𝑖 et 𝑗 communiquent s’il existe 𝑡1 ≥ 0 , 𝑡2 ≥ 0 tels que 𝑝𝑖𝑗 (𝑡1 ) > 0 et 𝑝𝑗𝑖 (𝑡2 ) > 0
- Une chaîne de Markov en temps continu est irréductible si tous ses états communiquent.
Les propriétés d’irréductibilité, de récurrence et de transience d’une chaîne de Markov en temps continu
sont les mêmes que celles d’une chaînes de Markov discrètes.
Remarque 2 une chaine de Markov en temps continu ne peut pas être périodique puisque le temps passé
dans un état quelconque est décrit par une variable aléatoire continue.
Définition 5 Un état 𝑖 est absorbant si pour tout 𝑡
𝑝𝑖𝑖 (𝑡) = 𝑃 (𝑋(𝑡) = 𝑖|𝑋(0) = 𝑖 ) = 1
1-1-6 Loi de 𝑿𝒕
La loi à l’instant 𝑡 de la chaîne de Markov en temps continu (𝑋𝑡 )𝑡≥0 de loi initiale 𝜋(0) et de générateur
infinitésimal 𝐴, est donnée par
𝜋(𝑡) = 𝜋(0)𝑃 (𝑡) = 𝜋(0)𝑒 𝐴𝑡
Exemple 4 Le fonctionnement d’une machine est modélisé par un processus de sauts à 2 états, o(panne)
ou 1 (fonctionnement), de générateur
−1 1
𝐴=( )
1 −1
Supposons qu’à l’instant initial la machine est en fonctionnement, on a donc
5
𝜋 (0) = (𝑃(𝑋0 = 0), 𝑃(𝑋0 = 1)) = (0,1)
Alors à l’instant 𝑡, la loi du processus est
𝜋(𝑡) = (𝑃 (𝑋𝑡 = 0), 𝑃(𝑋𝑡 = 1)) = 𝜋 (0)𝑃 (𝑡)
1 1 1 1
+ 2 𝑒 −2𝑡 − 2 𝑒 −2𝑡 1 1 1 1
= (0,1) (21 1 −2𝑡
2
1 1 −2𝑡 ) = (2 − 2 𝑒 −2𝑡 , 2 + 2 𝑒 −2𝑡 )
2
− 2
𝑒 2
+ 2
𝑒
1-1-7 Distribution stationnaire et théorème ergodique
1- Distribution stationnaire
Soit (𝑋𝑡 )𝑡≥0 un processus markovien de sauts sur un nombre fini d’états. On suppose la chaine irréductible
avec un temps de séjour à tout état 𝑖 de loi 𝐸𝑥𝑝(𝜆𝑖 ).
Une distribution stationnaire 𝜋 = (𝜆𝑖 )𝑖∈𝐸 pour cette chaine est définie par les trois conditions suivantes.
i- 𝜋𝑗 > 0 ∀𝑗 ∈ 𝐸 ;
ii- ∑𝑗∈𝐸 𝜋𝑗 = 1
iii- 𝜋𝐴 = 0
La condition (i) et (ii) montrent que la distribution stationnaire est une distribution de probabilité
strictement positive.
La condition (iii) signifie que le flot de sortie de l’état 𝑗 est égale au flot d’entrée à l’état 𝑗. C’est l’équation
stationnaire.
Exemple 5 le générateur 𝐴 pour les états 1,2,3 et 4 est donné par
−2 2 0 0
0 −4 4 0
𝐴=( )
2 0 −4 2
0 2 4 −6
Le système à résoudre est 𝜋𝐴 = 0 avec 𝜋1 + 𝜋2 + 𝜋3 + 𝜋4 = 1. La solution est donnée par

1 2 1 1
(𝜋1 , 𝜋2 , 𝜋3 , 𝜋4 ) = (3 , 9 , 3 , 9).
2- Théorème ergodique
Si (𝑋𝑡 )𝑡 est une chaine de Markov irréductible sur un nombre fini d’états, alors on a
𝑝𝑖𝑗 (𝑡) = 𝑃 (𝑋(𝑡) = 𝑗 | 𝑋(0) = 𝑖 ) → 𝜋𝑗 lorsque 𝑡 → +∞
Par le théorème ergodique, la probabilité 𝜋𝑗 correspond à la fraction moyenne de temps à long terme que
la chaine passe à l’état 𝑗.
1-1-8 Chaîne de Markov incluse
Soit (𝑍𝑛 , 𝑛 ≥ 0) la suite des états visités par la chaîne de Markov homogène (𝑋(𝑡))𝑡≥0 d’espace d’état𝐸 ,
et de générateur 𝐴 = (𝑎𝑖𝑗 )𝑖,𝑗∈𝐸 alors le processus (𝑍𝑛 , 𝑛 ≥ 0) est une chaîne de Markov en temps discret
∗
homogène , d’espace d’état 𝐸 et de matrice de transition 𝑄∗ = (𝑞𝑖𝑗 ) donnée par
𝑖,𝑗∈𝐸
𝑎𝑖𝑗
∗ 𝑠𝑖 𝑖 ≠ 𝑗
𝑠𝑖 𝜆𝑖 > 0 , 𝑞𝑖𝑗 = { 𝜆𝑖
∗ 0 𝑠𝑖 𝑖 ≠ 𝑗
𝑠𝑖 𝜆𝑖 = 0 , 𝑞𝑖𝑗 ={
En outre , 𝜆𝑖 > 0 si et seulement 𝑖 n’est pas absorbant . La chaîne de Markov (𝑍𝑛 , 𝑛 ≥ 0) est appelée
chaine incluse .
Exemple 6 on considère une chaîne de Markov définie sur 𝐸 = {1,2,3,4,5,6} par le générateur :
0 0 0 0 0 0
0 −3 3 0 0 0
0 5 −5 0 0 0
𝐴=
2 1 1 −8 4 0
0 0 2 0 −6 4
(2 0 0 2 1 −5)
La matrice de transition de la chaîne incluse est
1 0 0 0 0 0
0 0 1 0 0 0
0 1 0 0 0 0
𝑄∗ = 1/4 1/8 1/8 0 1/2 0
0 0 1/3 0 0 2/3
(2/5 0 0 2/5 1/5 0 )
Son graphe est :
On constate que les classes {2,3} et {1} sont récurrentes, la classe {1}est absorbante et la classe {4,5,6} est
transitoire.
7
1-2 Processus de Poisson
Un processus de Poisson est un processus markovien de sauts (𝑁𝑡 )𝑡≥0 qui compte le nombre d’arrivées
d’un évènement qui se produisent au hasard dans le temps à un taux constat. L’intensité d’un processus de
Poisson est le taux instantané 𝜆 > 0 avec lequel les arrivées se produisent.
Définition 6 un processus de Poisson (𝑁𝑡 )𝑡≥0 est une chaîne de Markov en temps continu à valeurs dans
ℕ de générateur infinitésimal .
𝑎𝑖𝑖 = −𝜆,
𝑎𝑖,𝑖+1 = 𝜆
𝑎𝑖𝑗 = 0 sinon
On dit alors que le processus (𝑁𝑡 )𝑡≥0 est d’intensité, ou de taux 𝜆
Remarque 3
- On supposera généralement que 𝑁0 = 0
- On note (𝑁𝑡 )𝑡≥0 au lieu de (𝑋𝑡 )𝑡≥,0 , car 𝑁𝑡 correspond souvent au nombre d’évènements qui sont
survenus entre l’instant 0 et l’instant 𝑡, par exemple le nombre de voitures arrivant au péage, le nombre
d’appels à un central téléphonique,.. etc
Graphe associé à un processus de Poisson
On a 𝐴 = 𝜆(𝑈 − 𝐼). Puisque 𝐼 et 𝑈 commutent, on a
𝑒 𝐴𝑡 = 𝑒 𝜆(𝑈−𝐼)𝑡 = 𝑒 −𝜆𝑡 𝐼𝑒 𝜆𝑈𝑡 = 𝑒 −𝜆𝑡 𝑒 𝜆𝑈𝑡
Donc
+∞
𝐴𝑡 −𝜆𝑡
(𝜆𝑈𝑡)𝑛
𝑒 =𝑒 ∑
𝑛!
𝑛=0
D’où les fonctions probabilités de transition :

+∞
−𝜆𝑡
(𝜆𝑡)𝑛 𝑛
𝑝𝑖𝑗 (𝑡) = 𝑒 ∑ (𝑈 )𝑖𝑗
𝑛!
𝑛=0
Les puissances successives de 𝑈 sont très simples : les coefficients non nuls sont tous au dessus de la
diagonale, donc
𝑝𝑖𝑗 (𝑡) = 0 𝑠𝑖 𝑗 < 𝑖
(𝜆𝑡)𝑗−𝑖
𝑝𝑖𝑗 (𝑡) = 𝑒 −𝜆𝑡 (𝑗−𝑖)!
𝑠𝑖 𝑗 ≥ 𝑖
Supposons que 𝑁(0) = 0, 𝑁(𝑡) représente le nombre d’évènements survenus entre l’instant 0 et l’instant
𝑡. Pour tout 𝑛 ≥ 0 ,
(𝜆𝑡)𝑛 −𝜆𝑡
𝑃 (𝑁(𝑡) = 𝑛 ) = 𝑒
𝑛!
C’est-à-dire à 𝑡 fixé , la variable aléatoire 𝑁𝑡 suit une loi de Poisson de paramètre 𝜆𝑡. Ceci explique
pourquoi on l’appelle processus de Poisson.
1-3- Processus de naissance et de mort
Les processus de naissance et de mort peuvent modéliser l’évolution d’une population au cours du temps,
le nombre de clients dans une file d’attente, etc.
Définition 7 un processus de naissance et de mort est un processus markovien de sauts (𝑋𝑡 )𝑡≥0 à valeurs
dans ℕ, dont le générateur infinitésimal 𝐴 = (𝑎𝑖𝑗 )𝑖,𝑗∈ℕ est de la forme :
𝑎𝑖,𝑖+1 = 𝜆𝑖 > 0 , 𝑎𝑖,𝑖−1 = 𝜇𝑖 > 0 , 𝑎𝑖𝑗 = 0 𝑠𝑖 |𝑖 − 𝑗 | ≥ 2
−𝜆0 𝜆0 0 … .. ..
𝜇 (
− 𝜆1 + 𝜇1 ) 𝜆1 0 .. ..
𝐴=( 1 )
0 𝜇2 −(𝜆2 + 𝜇2 ) 𝜆2 0 ..
⋱ ⋱ ⋱ ⋱ ⋱
Les coefficients positifs 𝜆𝑖 et 𝜇𝑖 sont appelés taux de transition, 𝜆𝑖 , 𝑖 ≥ 0 est le taux de naissance et
𝜇𝑖 , 𝑖 ≥ 1 est le taux de mort . Les transitions possibles à partir de l’état 𝑖 ne peuvent se faire que vers l’état
(𝑖 − 1), en cas de mort, où vers l’état (𝑖 + 1) , en cas de naissance
Le graphe de transition est :
1- Distribution stationnaire
La distribution stationnaire 𝜋 est solution de l’équation𝜋𝐴 = 0 équivalente au système linéaire :
−𝜆0 𝜋0 + 𝜇1 𝜋1 = 0
∀𝑖 ≥ 1 , 𝜆𝑖−1 𝜋𝑖−1 − (𝜆𝑖+ 𝜇𝑖 )𝜋𝑖 + 𝜇𝑖+1 𝜋𝑖+1 = 0
Les calculs donnent pour 𝑖 quelconque

9
𝜆0 𝜆0
𝜋1 = 𝜋0 𝜋1 = 𝜋0
𝜇1 𝜇1
𝜆1 𝜆0 𝜆1
𝜋2 = 𝜋1 𝜋2 = 𝜋
𝜇2 𝜇1 𝜇2 0
𝜆2 𝜆0 𝜆1 𝜆2
𝜋3 = 𝜋2 ⇒ 𝜋3 = 𝜋
𝜇3 𝜇1 𝜇2 𝜇3 0
⋮ ⋮
𝜆𝑖−1 𝜆0 𝜆1 𝜆2 … . . 𝜆𝑖−1
𝜋𝑖 = 𝜋 𝜋𝑖 = 𝜋
𝜇𝑖 𝑖−1 𝜇1 𝜇2 𝜇3 … … 𝜇𝑖 0
{ ⋮ { ⋮
D’où il vient :
𝜆0 𝜆1 … 𝜆𝑛−1
∀𝑛 ≥ 1, 𝜋𝑛 = 𝜋0 ( )
𝜇1 𝜇2 … . 𝜇𝑛
Compte tenu de la relation ∑+∞

𝑛=0 𝜋𝑛 = 1, la valeur de 𝜋0 est donnée par la formule
+∞ +∞ +∞ +∞
𝜆0 𝜆1 … 𝜆𝑛−1 𝜆0 𝜆1 … 𝜆𝑛−1
∑ 𝜋𝑛 = 𝜋0 + ∑ 𝜋𝑛 = 𝜋0 + 𝜋0 ∑ = 𝜋0 (1 + ∑ )=1
𝜇1 𝜇2 … . 𝜇𝑛 𝜇1 𝜇2 … . 𝜇𝑛
𝑛=0 𝑛=1 𝑛=1 𝑛=1
On trouve
+∞ −1
𝜆0 𝜆1 … 𝜆𝑛−1
𝜋0 = (1 + ∑ )
𝜇1 𝜇2 … . 𝜇𝑛
𝑛=1
𝜆0 𝜆1 …𝜆𝑛−1
Si la série ∑+∞
𝑛=1 𝜇1 𝜇2 ….𝜇𝑛
est convergente, alors il y a une distribution stationnaire. Sinon , on a 𝜋0 = 0.
D’où 𝜋𝑛 = 0 pour tout 𝑛 : Dans ce cas, il n’ y a pas de loi stationnaire.
Exemple 7 Dans un cabinet médical, l’arrivée des patients peut être décrite par un processus de Poisson
de paramètre = 4/ℎ . La durée de traitement suit une loi exponentielle de moyenne 12 mn . On admet
que la salle d’attente ne contient qu’un seul patient. Le nombre de patients dans le cabinet forment un
processus de naissance et de mort à valeurs dans l’ensemble des états {0,1,2} .
0 : aucun patient dans le cabinet
1 : il y a un patient en consultation et 0 patient dans la salle d’attente.
2 : il y a un patient en consultation et un patient dans la salle d’attente

1 1
Les taux de transition sont 𝜆0 = 𝜆1 = 𝜆 = 4/ℎ et 𝜇
= 12𝑚𝑛 = 5 d’où 𝜇1 = 𝜇2 = 𝜇 = 5/ℎ
Le générateur infinitésimal 𝐴est
−𝜆0 𝜆0 0 −4 4 0
𝐴 = ( 𝜇1 −(𝜆1 + 𝜇1 ) 𝜆1 ) = ( 5 −9 4 )
0 𝜇2 −𝜇2 0 5 −5
Son graphe est donnée par
Calculons la distribution stationnaire : on a
𝜆0 𝜆1 . . 𝜆𝑛−1
𝜋𝑛 = 𝜋 , 𝑛 = 1,2
𝜇1 𝜇2 … 𝜇𝑛 0
Avec
2 −1
𝜆0 𝜆1 . . 𝜆𝑛−1 𝜆0 𝜆0 𝜆1 −1 4 16 −1 25
𝜋0 = (1 + ∑ ) = (1 + + ) = (1 + + ) =
𝜇1 𝜇2 … 𝜇𝑛 𝜇1 𝜇1 𝜇2 5 25 61
𝑛=1
𝜆 20 𝜆 𝜆 16
d’où𝜋1 = 𝜇0 𝜋0 = 61 et 𝜋2 = 𝜇0 𝜇1 𝜋0 = 61
1 1 2
45
La probabilité qu’un patient qui arrive soit traité vaut 𝜋0 + 𝜋1 = 61.
11
Série no 1
Exercice 1 On considère la matrice
−1 1
𝐴=( )
1 −1
Grâce à 3 méthodes différentes :

1- En calculant directement les puissances successives de 𝐴
2- En diagonalisant 𝐴
3- En remarquant que 𝐴 = 𝑈 − 2𝐼, où 𝑈 est la matrice uniquement composée de 1.
Montrer qu’on obtient pour son exponentielle
1 −2 −2
𝑒 𝐴 = (1 + 𝑒 −2 1 − 𝑒 −2 )
2 1−𝑒 1+𝑒
Exercice 2 Soit (𝑋𝑡 )𝑡≥0 un processus markovien de sauts à deux états {0,1} de matrice génératrice
−𝜆 𝜆
𝐴=( )
µ −µ
1- Montrer que le processus 𝑋𝑡 est irréductible

2- On pose 𝑝0 (𝑡) = 𝑝00 (𝑡) et 𝑝1 (𝑡) = 𝑝11 (𝑡) . Ecrire les équations de Kolmogorov et déterminer
les équations différentielles satisfaites par 𝑝0 (𝑡) et 𝑝1 (𝑡)
3- Résoudre ces équations différentielles et déterminer 𝑝0 (𝑡) et 𝑝1 (𝑡) pout tout 𝑡 ≥ 0
4- Déterminer lim 𝑝0 (𝑡) et lim 𝑝1 (𝑡)
𝑡→∞ 𝑡→∞
Exercice 3 Une chaîne de Markov à temps continu sur les états 0,1 et 2 a comme générateur
−3 2 1
𝐴 = ( 2 −4 2 )
0 1 −1
Déterminer le temps moyen pour atteindre l’état 2 à partir de l’état 0.
Exercice 4 Une chaîne de Markov à temps continu sur les états 0,1et 2 possède comme générateur la
matrice
−2 1 1
𝐴 = ( 2 −4 2 )
0 1 −1
Déterminer la fraction moyenne de temps à long terme que la chaîne passe à l’état 0.
Exercice 5 Un courtier d’assurance reçoit des appels de clients selon un processus de Poisson d’intensité
4 par heure. La conversation téléphonique avec un client dure un temps de loi exponentielle d’espérance
1/4 d’heure. Si un autre appel arrive durant cette période, il est mis en attente jusqu’à la fin de la
conversation en cours, mais alors la ligne téléphonique devient inaccessible et tout nouvel appel est rejeté.
D’autre part, un client en attente s’impatiente et libère la ligne après un temps de loi exponentielle
d’espérance 1/4 d’heure. On fait les hypothèses habituelles d’indépendance et on s’intéresse à ce qui se
passe dans ce système à long terme. Déterminer
1- La proportion moyenne de temps où le courtier est au téléphone

2- La proportion moyenne de clients auxquels le courtier répond.
3- Le temps moyen qu’un client passe au téléphone.
Exercice 6 On considère un processus d’arrivées poissonien de taux 2 par minute, durées de services
exponentielles de moyenne 1 minute, 3 serveurs. On suppose de plus qu’il n’y a pas de salle d’attente,
c’est-à-dire que si un client arrive et que les 3 serveurs sont occupés, il repart aussitôt.
1- Donner le générateur infinitésimal et le graphe de transition.
2- Déterminer la loi stationnaire
3- Quel est le nombre moyen de clients dans le système en régime stationnaire ?
4- Quel est le temps moyen de séjour d’un client entrant effectivement dans le système ? En
déduire la formule de Little.
Exercice 7 On considère un processus de Markov (𝑋𝑡 , 𝑡 ≥ 0) sur un espace à 4 états 𝐸 = {1,2,3,4} de

matrice génératrice
−5 2 3 0
4 −7 0 3
𝐴=( )
0 0 −4 4
0 6 0 −6
1- Représenter la chaîne de Markov sous forme de graphe

2- Calculer la distribution stationnaire du processus
3-Rendre l’état 1 absorbant et calculer le temps moyen mis par le processus pour atteindre 1 depuis l’état
13
Solution de l’exercice 1
1- Calcul des puissances successives de 𝐴
2 −2 −1 1
𝐴2 = ( ) = (−2) ( ) = (−2)𝐴
−2 2 1 1
−4 4 −1 1
𝐴3 = ( ) = (−2)2 ( ) = (−2)2 𝐴
4 −4 1 1
8 −8 −1 1
𝐴4 = ( ) = (−2)3 ( ) = (−2)3 𝐴
−8 8 1 1
𝐴𝑛 = (−2)𝑛−1 𝐴 si 𝑛 ≥ 1
Donc
+∞ +∞ +∞ +∞
𝐴
𝐴𝑛 𝐴𝑛 (−2)𝑛−1 𝐴 𝐴 (−2)𝑛 𝐴
𝑒 = ∑ =𝐼+ ∑ =𝐼+ ∑ =𝐼− ∑ = 𝐼 − (𝑒 −2 − 1)
𝑛! 𝑛! 𝑛! 2 𝑛! 2
𝑛=0 𝑛=1 𝑛=1 𝑛=1
1 1 1 1
+ 2 𝑒 −2 − 2 𝑒 −2
= (21 1
2
1 1 )
2
− 2 𝑒 −2 2
+ 2 𝑒 −2
2- Diagonalisons la matrice 𝐴
On a 𝐴 = 𝑆𝐷𝑆 −1 .
Les valeurs propres sont alors obtenus en solutionnant l’équation caractéristique
det(𝐴 − 𝜆𝐼) = 0
−1 − 𝜆 1 ) (
det( = −1 − 𝜆)(−1 − 𝜆) − 1 = 𝜆(𝜆 + 2) = 0 . D’où 𝜆0 = 0 , 𝜆1 = −2 .
1 −1 − 𝜆
Les vecteurs propres associés aux valeurs propres 𝜆0 = 0 , 𝜆1 = −2 sont respectivement
1 −1
( ) et ( )
1 1
1 −1
On définit donc 𝑆 = ( ) et on trouve a
1 1
1 𝑡 1 1 1 1/2 1/2
𝑆 −1 = 𝐶𝑜𝑚(𝑆) = ( )=( )
𝑑𝑒𝑡𝑆 2 −1 1 −1/2 1/2
Finalement, on obtient
1 1 −2 1 1 −2
1/2 1/2 + 𝑒 − 𝑒
1 −1 𝑒 0 0 )( 2 2 2 2
𝑒 𝐴 = 𝑈𝑒 𝐷 𝑈 −1 =( )( ) = ( )
1 1 0 𝑒 −2 −1/2 1/2 1 1 −2 1 1 −2
− 𝑒 + 𝑒
2 2 2 2
En remarquant que 𝐴 = 𝑈 − 2𝐼 , on obtient
𝑒 𝐴 = 𝑒 𝑈−2𝐼 = 𝑒 𝑈 𝑒 −2 𝐼
En calculant les puissances successives de 𝑈 , on obtient
𝑈 2
𝑒𝑈 = 𝐼 + (𝑒 − 1)
2
1 1 1 1
+ 2 𝑒 −2 − 2 𝑒 −2
Donc 𝑒 𝐴 = (21 1
2
1 1 )
2
− 2 𝑒 −2 2
+ 2 𝑒 −2
La distribution stationnaire est déterminée par les équations
−2𝜋0 + 2𝜋1 = 0,
𝜋0 − 4𝜋1 + 𝜋2 = 0,
𝜋0 + 2𝜋1 − 𝜋2 = 0,
Avec 𝜋0 + 𝜋1 + 𝜋2 = 1. On trouve 𝜋1 = 𝜋0 et 𝜋2 = 3𝜋0 , d’où 𝜋0 = 1/5, qui est la fraction moyenne à

long terme à l’état 0.
Solution de l‘exercice 5
1- Le générateur pour le nombre de clients en ligne, soit 0,1,2 est
−4 4 0
𝐴 = ( 4 −8 4 )
0 8 −8
2 2 1
La distribution stationnaire est donnée par 𝜋 = (5 , 5 , 5)
3
La proportion moyenne de temps est 1-𝜋0 =
5
1 3
2- La proportion moyenne de clients est 𝜋0 + 2 𝜋1 = 5
1 1 11 1
3- Le temps moyen qu’un client passe au téléphone est 4
𝜋0 +(8 + 2 4) 𝜋1 = 5
15
1- Le générateur infinitésimal 𝐴 sur les états {0,1,2,3} du processus est :
2- La distribution stationnaire 𝜋 est l’unique solution du système
𝜋𝐴 = 0
∑ 𝜋𝑖 = 1
𝑖∈𝐸
3 6 6 4
Après calcul, on obtient 𝜋 = (19 , 19 , 19 , 19).
3- Le nombre moyen de clients dans le système est :

3
6 6 4 30
𝐿 = 𝐸 (𝑋) = ∑ 𝑘𝑃(𝑋 = 𝑘) = 1. + 2. + 3. =
19 19 19 19
𝑘=0
2
𝜌 3
4- Le temps moyen de séjour est : 𝑊 = 𝜆(1−𝜌) = 2 =1
2(1− )
3
𝐿 𝐿
Formule de Little : 𝑊 = 𝜆 = 𝜆(1−𝜋 ) = 1
𝑒 3
Rendre l’état 1 absorbant : la matrice 𝐴 devient
0 0 0 0
4 −7 0 3
𝐴=( )
0 0 −4 4
0 6 0 −6
La matrice de transition de la chaine incluse est :
1 0 0 0
4/7 0 0 3/7
𝑄∗ = ( )
0 0 0 1
0 1 0 0
On a deux classes transitoires {2,4} et {3} et une classe absorbante {1}.

Le temps moyen mis par le processus pour atteindre 1 depuis 4 est 𝑡4
𝑡4 = 1 + ∑ 𝑝4𝑘 𝑡𝑘 = 1 + 𝑝42 𝑡2 + 𝑝43 𝑡3 + 𝑝44 𝑡4 = 1 + 𝑡2

𝑘∈𝐸 ′
3
𝑡2 = 1 + ∑ 𝑝2𝑘 𝑡𝑘 = 1 + 𝑝22 𝑡2 + 𝑝23 𝑡3 + 𝑝24 𝑡4 = 1 + 𝑡4
′
7
𝑘∈𝐸
7
D’où 𝑡4 = 2

Chap 1

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chap 1

Transféré par

Droits d'auteur :

Formats disponibles

UMBB/Faculté des Sciences

Département de Mathématiques Processus stochastiques 2 Master 1 : MSS

Processus markovien de sauts

1-1 Chaines de Markov à temps continu

∀0 ≤ 𝑡0 < 𝑡1 <. . < 𝑡𝑛 < 𝑡 , ∀ 𝑖0 , 𝑖1 , . . , 𝑖𝑛 , 𝑖 ∈ 𝐸. 𝑂𝑛 𝑎

𝑃(𝑋𝑡 = 𝑖 | 𝑋𝑡0 = 𝑖0 , . . , 𝑋𝑡𝑛 = 𝑖𝑛 ) = 𝑃(𝑋𝑡 = 𝑖 | 𝑋𝑡𝑛 = 𝑖𝑛 )

Définition 2 ( chaine de Markov homogène)

𝑝𝑖𝑗 (𝑡) = 𝑃 (𝑋𝑡+𝑠 = 𝑗|𝑋𝑠 = 𝑖 )

Remarque 1 dans toute la suite, on ne considérera que des processus homogènes.

Définition 3 (matrice de transition)

i- ∀𝑖, 𝑗 ∈ 𝐸, ∀𝑡 > 0 , 𝑝𝑖𝑗 (𝑡) ≥ 0

1-1-2 Générateur infinitésimal

Considérons un temps de séjour 𝑆𝑖 à un état 𝑖 ≥ 0 , 𝑆𝑖 ↪ 𝐸𝑥𝑝 (𝜆𝑖 ), 0 ≤ 𝜆𝑖 < ∞.

Les probabilités de transition infinitésimales sont données par

𝑝𝑖𝑗 (ℎ ) − 𝑝𝑖𝑗 (0) 𝜆𝑖 𝑞𝑖𝑗 𝑠𝑖 𝑖 ≠ 𝑗

est une matrice génératrice sur l’ensemble des états 𝐸 = {1,2,3}.

1-1-3 Equation de Chapman Kolmogorov

𝑝𝑖𝑗 (𝑡 + ℎ ) = ∑ 𝑝𝑖𝑘 (𝑡)𝑝𝑘𝑗 (ℎ)

Où 𝐼 est la matrice identité. On conclut alors que

C’est l’équation progressive de Kolmogorov .

C’est l’équation rétrograde de Kolmogorov.

Les équations progressives et rétrogrades de Kolmogorov ont comme solution

Pour calculer 𝑃(𝑡), on suppose que le générateur 𝐴 est diagonalisable. On a donc

Ainsi la matrice des vecteurs propres est

La matrice de transition de l’instant 0 à l’instant 𝑡 est alors donnée par

1/5 2/5 2/5

1-1-4 Conditionnement sur le premier changement d’état

1-1-5 Classification des états

Définition 5 Un état 𝑖 est absorbant si pour tout 𝑡

𝑝𝑖𝑖 (𝑡) = 𝑃 (𝑋(𝑡) = 𝑖|𝑋(0) = 𝑖 ) = 1

𝜋(𝑡) = 𝜋(0)𝑃 (𝑡) = 𝜋(0)𝑒 𝐴𝑡

Supposons qu’à l’instant initial la machine est en fonctionnement, on a donc

𝜋 (0) = (𝑃(𝑋0 = 0), 𝑃(𝑋0 = 1)) = (0,1)

Alors à l’instant 𝑡, la loi du processus est

𝜋(𝑡) = (𝑃 (𝑋𝑡 = 0), 𝑃(𝑋𝑡 = 1)) = 𝜋 (0)𝑃 (𝑡)

1-1-7 Distribution stationnaire et théorème ergodique

Exemple 5 le générateur 𝐴 pour les états 1,2,3 et 4 est donné par

Le système à résoudre est 𝜋𝐴 = 0 avec 𝜋1 + 𝜋2 + 𝜋3 + 𝜋4 = 1. La solution est donnée par

𝑝𝑖𝑗 (𝑡) = 𝑃 (𝑋(𝑡) = 𝑗 | 𝑋(0) = 𝑖 ) → 𝜋𝑗 lorsque 𝑡 → +∞

1-1-8 Chaîne de Markov incluse

La matrice de transition de la chaîne incluse est

Son graphe est :

1-2 Processus de Poisson

On dit alors que le processus (𝑁𝑡 )𝑡≥0 est d’intensité, ou de taux 𝜆

- On supposera généralement que 𝑁0 = 0

Graphe associé à un processus de Poisson

On a 𝐴 = 𝜆(𝑈 − 𝐼). Puisque 𝐼 et 𝑈 commutent, on a

𝑒 𝐴𝑡 = 𝑒 𝜆(𝑈−𝐼)𝑡 = 𝑒 −𝜆𝑡 𝐼𝑒 𝜆𝑈𝑡 = 𝑒 −𝜆𝑡 𝑒 𝜆𝑈𝑡

D’où les fonctions probabilités de transition :

𝑝𝑖𝑗 (𝑡) = 0 𝑠𝑖 𝑗 < 𝑖

1-3- Processus de naissance et de mort

𝑎𝑖,𝑖+1 = 𝜆𝑖 > 0 , 𝑎𝑖,𝑖−1 = 𝜇𝑖 > 0 , 𝑎𝑖𝑗 = 0 𝑠𝑖 |𝑖 − 𝑗 | ≥ 2

Le graphe de transition est :

La distribution stationnaire 𝜋 est solution de l’équation𝜋𝐴 = 0 équivalente au système linéaire :

∀𝑖 ≥ 1 , 𝜆𝑖−1 𝜋𝑖−1 − (𝜆𝑖+ 𝜇𝑖 )𝜋𝑖 + 𝜇𝑖+1 𝜋𝑖+1 = 0

Les calculs donnent pour 𝑖 quelconque

Compte tenu de la relation ∑+∞

D’où 𝜋𝑛 = 0 pour tout 𝑛 : Dans ce cas, il n’ y a pas de loi stationnaire.

0 : aucun patient dans le cabinet

1 : il y a un patient en consultation et 0 patient dans la salle d’attente.

2 : il y a un patient en consultation et un patient dans la salle d’attente

Son graphe est donnée par

Calculons la distribution stationnaire : on a