Institut National de Statistique et Année: 2019 - 2020

Economie Appliquée (INSEA)

Rabat
TD 3 – Chaı̂nes de Markov à temps continu

Exercice 1.
Soit A la matrice:  
? 0 2 0 0 0 5

 0 −6 0 6 0 0 0 


 3 10 −20 0 4 ? 0 


 0 5 0 −5 0 0 0 


 1 0 0 0 −1 0 0 

 0 0 ? 0 0 0 0 
0 0 2 0 0 0 −2
1. Compléter cette matrice afin d’en faire la matrice génératrice d’une chaı̂ne de Markov à temps continu.
REMARQUE. Pour la suite, on supposera que les états du processus sont numérotés de 1 à 7.
2. Classifier les états de la chaı̂ne ainsi créée.
3. Lorsque le processus arrive dans l’état 1, combien de temps en moyenne y reste-t-il?
4. Lorsque le processus quitte l’état 1, quelle est la probabilité qu’il se déplace dans l’état 3?
5. Si au temps t = 0 le processus est dans l’état 3, quelle est la probabilité qu’il ne l’ait pas quitté au
temps t = 2?

Exercice 2.
Soit la chaı̂ne de Markov à temps continu définie par la matrice de transition Q de sa chaı̂ne sous-jacente
et le vecteur λ des intensités de passage hors des états de la chaı̂ne.
 
0 4/5 1/5 0 0 0
 1/8 0 1/8 1/8 1/2 1/8 
 
 0 0 0 1 0 0 
  et λ = (10 4 5 6 4 8)
 0 1/3 1/3 0 0 1/3 
 
 0 0 0 1 0 0 
0 0 3/4 0 1/4
REMARQUE. Les états du proceuus sont numérotés de 1 à 6.
1. Donner la matrice génératrice A de la chaı̂ne, ainsi que son graphe représentatif.
2. Classifier complètement la chaı̂ne et ses états.
3. Si au temps t = 0 le processus se trouve dans l’état 1, quelle est la probabilité qu’il atteigne l’état
3 sans jamais avoir visité l’état 5? Déterminer également le temps moyen avant que le processus ne
visite pour la première fois un de ces deux états.

Exercice 3.
Un système est constitué de deux composants indépendants de durées de vie aléatoires de lois exponentielles
E(λi ), i = 1, 2. Lorsque le composant i tombe en panne, il est remplacé par un composant de caractéristiques
identiques; la durée du remplacement du composant i défaillant est de loi E(µi ) et est indépendante de la
durée de vie du composant. Soit Xt = (Xt1 , Xt2 ) le vecteur aléatoire décrivant l’état du système parmi quatre
états possibles: e1 = (0, 0), e2 = (0, 1), e3 = (1, 0), e4 = (1, 1), où 0 désigne l’état de panne et 1 l’état de
marche.
1. Déterminer la chaı̂ne de Markov à temps continu et son générateur infinitésimal. Pour cela, on calcule
P(Xh = ej |X0 = ei ) pour tout (i, j) ∈ {1, 2, 3, 4}2 .
2. Déterminer son régime stationnaire dans le cas où λ1 = 0.1, λ2 = 0.2, µ1 = 0.002 et µ2 = 0.003.

1
Exercice 4.
La durée de bon fonctionnement d’une machine est une variable aléatoire de loi exponentielle de paramètre
λ. En cas de panne, le temps de réparation obéit à une loi exponentielle de paramètre µ.
Quelle est la probabilité que la machine fonctionne à l’instant t si elle fonctionnait à l’instant 0 ?

Exercice 5.
On considère une population de m individus qui à t = 0 contient un individu infecté par un virus, et donc
m − 1 individus sains, mais susceptibles d’être contaminés. Un individu infecté le reste éternellement. On
suppose que dans un intervalle de temps de longueur h > 0 tout individu infecté peut contaminer, avec une
probabilité égale à αh + o(h) ( α > 0 donné) tout individu sain de la population. Soit X(t), le nombre
d’individus infectés à l’instant t.

1. Montrer que {X(t), t ≥ 0} est une chaı̂ne de Markov à temps continu, et déterminer son générateur
infinitésimal Q.

2. Écrire les équations différentielles de Kolmogorov. Déterminer les probabilités de transition pij (t) =
P(Xt = j|X0 = i).

3. Dessiner le diagramme des transitions de la chaı̂ne immergée de {X(t), t ≥ 0}. La chaı̂ne est-elle
irréductible? Que peut-on dire de l’état m? Que valent les probabilités limites πj = lim P(X(t) =
t−→+∞
j)?

4. Soit T le temps total jusqu’à ce que l’ensemble de la population soit infectée. Exprimer T en fonction
des temps de séjour de la chaı̂ne de Markov et calculer E [T ] puis V ar(T ).

Exercice 6.
Un parking sous-terrain est éclairé par K ampoules allumées 24 heures sur 24. Chaque ampoule a une durée
de vie distribuée selon une loi exponentielle de paramètre λ. Le concierge de ce parking visite épisodiquement
les lieux, l’intervalle de temps entre deux visites successives étant distribué selon une loi exponentielle de
paramètre µ. À chaque visite, le concierge remplace toutes les ampoules cassées par des neuves.

1. Modéliser l’évolution temporelle des conditions d’éclairage du parking.

2. Déterminer la probabilité qu’un usager du parking se retrouve dans le noir complet en rentrant chez
lui.

Exercice 7.
On considère N étudiants qui, chacun, lorsqu’ils sont à Rabat, y restent un temps exponentiel de paramètre
µ avant d’en sortir et inversement, restent un temps exponentiel de paramètre λ à l’extérieur avant de
rentrer. Soit Xt le nombre de ces étudiants qui sont sur Rabat à l’instant t. Vérifier que (Xt ) est un
processus denaissance
 et de mort; représenter son graphe; établir que la distribution stationnaire est la loi
λ
binomiale B N, λ+µ et trouver le nombre moyen d’étudiants sur Rabat lorsque N = 23, µ1 = 5 jours et
1
λ = 2 jours.

Exercice 8.
On considère une station de taxis comportant K places pour les taxis et une capacité d’accueil illimitée
pour les clients qui se présentent, de façon Poissonnienne, au rythme de λ par heure. Les taxis arrivent
1
également de façon Poissonnienne, au rythme de µ par heure, mais ne s’arrêtent qu’avec la probabilité m+1
s’il y a déjà m taxis (0 ≤ m < K).

1. Vérifier qu’on est en présence d’un processus de naissance et de mort et en donner le graphe (états
(n, m)n≥0,m∈{0,...,K} ).

2. A.N.: K = 3, λ = 10, µ = 15. Donner la proportion de temps pendant laquelle il n’y a pas de taxi et
le temps moyen d’attente d’un client.