A.

HAQIQ Master RSI

Université Hassan I
F.S.T de Settat A.U. 2020 / 2021
Département de Mathématiques & Informatique Module M13

Exercices: Chaı̂nes de Markov à temps discret et à temps continu

Exercice 1: Les premiers modèles de lignes téléphoniques conduisaient à l’étude de processus

aléatoires à valeurs dans {0, 1}. On définit un procesus Xt par:

 +1 si la ligne est occupée à l’instant t
Xt =
 0 sinon

On suppose que le temps de séjour dans l’état 1 (resp. 0) est distribué exponentiellement de paramètre
µ (resp. λ). Soit p1 (t) = P r (Xt = 1), on suppose connu p1 (0).
1) Montrer que {Xt } est un processus de Markov. Quel est son générateur infinitésimal ?
2) Montrer que p1 (t) converge vers une limite π1 et que (1 − π1 , π1 ) est la solution stationnaire du
processus de Markov.
3) Si l’on suppose p1 (0) = π1 , que peut-on conclure ?

Exercice 2: On considère une population de m individus. Au temps 0 il y a k individus infectés

dans la population, les autres ne l’étant pas. Un individu infecté guérit après un temps exponentiel
de paramètre λ− . Lorsque n individus sont infectés, la durée de contamination d’un individu parmi
les m − n restants suit une loi exponentielle de paramètre λ+ (n + 1).
1) Écrire les équations de balance du système.
2) Pour m = 4, λ+ = 1 et λ− = 2, calculer la probabilité stationnaire.
3) Calculer le nombre moyen d’individus infectés sous la probabilité stationnaire.
4) Calculer la probabilité de l’événement “tout le monde est infecté” sous la probabilité stationnaire.

Exercice 3: Une petite compagnie possède deux ordinateurs A et B. Le temps de fonctionnement

normal (sans panne) de l’ordinateur A (respectivement B) suit une loi exponentielle de paramètre µA
(respectivement µB ). Quand A et B tombent en panne, les temps de leur réparation sont différents et
suivent respectivement deux lois exponenielles de paramètres λA et λB . O suppose qu’il y a un seul
réparateur pour les deux ordinateurs quand ils tombent en panne et chaque ordinateur est considéré
en bon état après sa réparation.
1) Donner l’espace d’états du processus qui décrit l’état des ordinateurs A et B à un instant t quel-
conque ainsi que le diagramme des transitions de ce processus.
2) Quelle est la probabilité que les deux ordinateurs A et B soient en panne ?
3) Quelle est la probabilité que l’ordinateur A soit le premier qui tombe en panne sachant que les deux
ordibateurs A et B aient été en panne ?

1
4) Quelle est la probabilité que les deux ordinateurs A et B soient en bon état ?

Exercice 4: On modélise une aire d’autoroute où peuvent stationner des camions et des voitures.
Un camion prend la place de deux voitures. Il y a en tout de la place pour 4 voitures, ou l’équivalent
en voitures et camions.
On suppose que les durées qui séparent les arrivées successives des voitures (respectivement des
camions) au parking sont indépendantes et suivent une loi exponentielle de paramètre λ1 (respec-
tivement de paramètre λ2 ). Ces durées sont appelées des inter-arrivées.
Les voitures (respectivement les camions) restent sur le parking une durée aléatoire de distribution
exponentielle de paramètre µ1 (respectivement de paramètre µ2 ).
On suppose que toutes les variables aléatoires qui entre en jeu dans cet exercice sont mutuellement
indépendantes.
1) Modéliser l’évolution du stationnement sur ce parking avec une chaı̂ne de Markov en temps continu:
préciser quel est l’espace d’états, expliquer pourqoui le processus est bien une chaı̂ne de Markov.
2) Représenter le diagramme de transition de cette chaı̂ne.
3) Écrire les équations d’équilibre que satisfait la distribution de probabilités stationnaires de la chaı̂ne.
4) Expliquer comment, à partir de ces probabilités stationnaire, vous calculeriez le nombre moyen de
camions présents sur ce parking.

Exercice 5: Soit (Xt )t∈lR+ un processus de Markov en temps continu homogène d’espace d’états
E dénombrable et de générateur Q. On pose Tn l’instant où Xt change d’état pour la n-ième fois
(aussi appelé l’instant du n-ième saut de Xt ).
On considère maintenant la suite (Yn )n∈IN dite processus aux instants de sauts de Xt qui est définie
par: Yn = XTn . On construit aussi une chaı̂ne de Markov en temps discret (Zn )n∈IN de matrice de
1
transition M définie par M = Id + .Q avec Id la matrice identité et Λ = maxi (−Qii ). Zn est
Λ
appelée l’uniformisation de Xt .
1) Expliquer pourquoi (Yn )n∈IN est une chaı̂ne de Markov en temps discret.
2) Montrer que la matrice M est bien une matrice stochastique et montrer que (Zn )n∈IN admet la
même probabilité stationnaire que Xt .