MAT2717 – PROCESSUS STOCHASTIQUES

SOLUTIONS DU TP9

THOMAS DAVIGNON

Problème 1 (Exercice 3.8). Des groupes constitués de 1, 2, 3 personnes avec

probabilités 1/4, 1/2, 1/4 respectivement se présentent au comptoir d’un gla-
cier selon un processus de Poisson d’intensité 20 par heure, mais passent
leur chemin si le glacier est occupé. Les personnes sont servies une à la fois,
indépendamment les unes des autres et le temps de service est de loi expo-
nentielle d’espérance 1 minute.
Calculer
(a) la proportion moyenne de temps à long terme où le glacier est occupé ;
(b) Le temps moyen d’une période de repos du glacier ;
(c) le temps moyen d’une période d’occupation du glacier.
Solution. On commence par remarquer que le processus nombre de clients
que le glacier doit servir est une chaı̂ne de Markov. Son générateur est donné
par
 
−20 5 10 5
 60 −60 0 0 
G= 
 0 60 −60 0 
0 0 60 −60
Cela s’explique par le fait qu’on transitionne de l’état 0 clients aux états
1, 2, 3 clients avec les probabilités mentionnées plus haut, et que le taux d’ar-
rivée est de 20 par heure. Puis, on sert un client par minute (soit 60 par
heure), ce qui fait graduellement redescendre le nombre de clients vers 0 –
on ne peut pas augmenter le nombre de clients depuis les états 1, 2, 3 car le
glacier est occupé et les autres groupes passent alors leur chemin.
La distribution stationnaire de cette chaı̂ne de Markov est donnée par
π0 = 3/5, π1 = 1/5, π2 = 3/20, π3 = 1/20
Nous l’avons obtenue, comme d’habitude, en résolvant le système d’équations
linéaires πG = 0.
Armé.e.s de ces informations, on peut attaquer le problème.

Date: 29 mars 2018.

1
2 THOMAS DAVIGNON

(a) la proportion moyenne de temps à long terme où le glacier est occupé est
donnée par la proportion moyenne de temos passé non dans l’état 0 (où
le glacier est libre). c’est donc 1 − π0 = 2/5.
(b) Le temps moyen d’une période de repos est le temps moyen que devra
attendre le glacier (libre) avant qu’arrive un groupe. C’est de 1/20 (en
heures, soit 3 minutes), puisque les groupes arrivent comme un processus
de Poisson d’intensité 20 à l’heure, et donc le temps de repos est une
exponentielle de paramètre 20.
(c) Ici, on peut calculer ce temps de deux façons.
(a) On fait comme on a toujours fait : on conditionne !
Soit T le temps que le glacier est occupé, et soient Ai les événements
{un groupe de i clients arrive}, pour i = 1, 2, 3. Alors, bien évidemment,
3
X
E [T ] = E [T |Ai ] P {Ai }
i=1
1 1 1
= E [T |A1 ] + E [T |A2 ] + E [T |A3 ]
4 2 4
Maintenant, évidemment, on sait que lorsque i client.e.s arrivent,
ils/elles seront servi.e.s en i minutes (i/60 heures) en moyenne, puis-
qu’ils/elles seront servi.e.s les un.e.s après les autres, au même rythme
de 60 à l’heure en moyenne. On obtient donc

1 1
E [T ] = (1 + 3) + (2) = 2
4 2
où un temps moyen d’occupation de 2 minutes (soit 1/30 heures).
(b) On utilise notre nouvel outil tout simple : on considère le processus
semi-markovien occupé-pas-occupé. Le temps de renouvellement
en phase pas occupé est de moyenne λ = 1/20 (on a déjà vu ça.
Le temps de renouvellement en phase occupé est de moyenne µ, à
déterminer.
On sait maintenant que π0 est le temps moyen passé en phase oc-
cupé. On doit donc avoir
λ (1/20) 3
π0 = = =
λ+µ (1/20) + µ 5
La conclusion inévitable : µ = 1/30 heures (ou 2 minutes).
La seconde méthode serait énormément plus rapide si on avait eu un
processus plus complexe, puisque bien peu aurait changé, mais qu’on au-
rait dû quand même calculer toute une grosse somme avec notre méthode
archaı̈que.
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP9 3

Problème 2 (Exercice 3.11). Un appareil qui cesse de fonctionner est ou

bien remplacé immédiatement par un appareil neuf avec probabilité 2/3 ou
bien remis en service après avoir été réparé avec probabilit 1/3. On suppose
que le temps de réparation moyen est égal à 1 et le temps de fonctionnement
moyen est égal à 2 ou 4 selon qu’il s’agit d’un appareil réparé ou d’un appareil
neuf respectivement. Quelle est la proportion moyenne de temps à long terme
passée avec un appareil en réparation.
Solution. On considère un processus semi-markovien. Pour le décrire, on a
besoin de deux choses : la chaı̂ne de Markov sous-jacente, et les temps de
renouvellement avant les transitions.
Ici, on considère une chaı̂ne de Markov à temps discret assez simple à trois
états :
— Une machine neuve fonctionne. État 0. Temps de renouvellement moyen
µ0 = 4
— Une machine réparée fonctionne. État 1. Temps de renouvellement moyen
µ1 = 2
— La machine est en réparation. État 2. Temps de renouvellement moyen
µ2 = 1
La matrice de transition pour cette chaı̂ne de Markov est donnée par
 
2/3 0 1/3
P = 2/3 0 1/3
0 1 0
En effet, peu importe que la machine présentement en fonctionnement soit
neuve ou usagée, lorsqu’elle brisera, avec probabilité 2/3, on la remplacera
par une machine neuve, et avec probabilité 1/3 on ira en réparation. Si on est
en réparation, aussitôt la réparation terminée, on ira à l’état 1 : une machine
réparée fonctionne.
On peut calculer facilement la distribution stationnaire de la chaı̂ne de
Markov sous-jacente : il s’agit simplement de résoudre le système d’équations
π = πP avec la condition de normalisation. Cela donne :
1 1 1
π0 = , π 1 = , π 2 =
2 4 4
Cependant, il faut être vigilant.e.s ! Nous cherchons la proportion de temps
passée en réparation (état 1) par le processus semi-markovien (et non sa chaı̂ne
de Markov sous-jacente !) – il faut donc utiliser l’extension du théorème ergo-
dique pour les processus semi-markoviens. On sait que la proportion de temps
passée dans l’état i est donnée par

E [Wi (t)] π i µi
lim =P
t→∞ t j π j µj
4 THOMAS DAVIGNON

Ici, il suffit donc de faire le calcul ! On aura

E [W2 (t)] π2 µ 2 (1/4) × 1 1
lim = = =
t→∞ t π0 µ 0 + π1 µ 1 + π2 µ 2 (1/2) × 4 + (1/4) × 2 + (1/4) × 1 11

Problème 3 (Exercice 3.13). Un.e étudiant.e utilise des cartes prépayées

pour son cellulaire qui durent chacune un temps (en mois) de fonction de
densité f (x) = 2x pour 0 < x < 1, et l’étudiant renouvelle la carte en cours
juste avant qu’elle ne s’épuise ( ?).
Déterminer
(a) le taux moyen à long terme de remplacement de la carte, et
(b) la proportion moyenne de temps à long terme avce une carte qui sera
épuisée dans moins d’un demi-mois.
Si l’on suppose maintenant que l’étudiant.e oublie de renouveler avant
l’épuisement de la carte avec probabilité 1/3 et qu’il/elle prend dans ce cas
un temps de loi uniforme sur [0, 1] après son épuisement pour la renouveler,
déterminer
(c) le taux moyen à long terme d’oubli de remplacer la carte ;
(d) La proportion moyenne du temps à long terme avec une carte épuisée ;
Solution. Ici, il s’agit d’un simple processus de renouvellements.
(a) le taux moyen à long terme de remplacement de la carte est donné par
1/E [S] où S a la loi d’un renouvellement (c’est à dire densité f (x)). On
a que
Z 1 Z 1
2
E [S] = xf (x)dx = 2x2 =
0 0 3
, ce qui signifie que
3
lim t−1 E [N (t)] =
t→∞ 2
(b) la proportion moyenne de temps à long terme de temps passé avec une
carte qui sera épuisée dans moins d’un demi-mois est simplement la pro-
babilité limite que le temps de vie résiduel de la carte prépayée n’excède
pas 1/2.
On se souvient que la densité du temps de vie résiduel
Rx est donnée par
(1 − F (x))/µ où µ = E [S] et F (x) = P {S ≤ x} = 0 f (t)dt. Dans notre
cas, on a µ = 2/3 et F (x) = x2 . On cherche donc
1 1/2 3 1/2
Z Z
11
P {R(∞) ≤ 1/2} = (1 − F (x))dx = (1 − x2 )dx =
µ 0 2 0 16
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP9 5

(c) Ici, on considère un processus de renouvellement différent : le renouvel-

lement
PN entre les oublis. Le temps de renouvellement entre les oublis est
A+ i=1 Si où A est l’attente avant de renouveler (une uniforme [0, 1]), les
Si sont les temps d’expiration de cartes subséquentes, et N est le nombre
de cartes qu’on passe avant d’oublier.
hP i
N
Par la formule de Wald vue plus tôt, E i=1 Si = E [S] E [N ]. Il
suffit de trouver en moyenne combien il faut renouveler de fois avant
d’oublier. Comme on oublie avec probabilité 1/3, N est une géométrique
de paramètre 1/3 (c’est à dire que P {N = k} = (1−p)k−1 p avec p = 1/3).
On a donc que E [N ] = 1/(1 − p) = 3.
Finalement, pour ce nouveau processus du renouvellement des oublis,
le temps moyen de renouvellement est
" N
#
X 1 2 5
E A+ Si = E [A] + E [N ] E [S] = + 3 × =
i=1
2 3 2
et le taux à long terme des oublis est donc de 25 .
(d) La proportion moyenne du temps à long terme avec une carte épuisée
peut être calculée en considérant un processus de renouvellement avec
alternance : dans l’état 0, on a une carte expirée. Dans l’état 1, on a une
cartie qui n’est pas expirée.
Le temps de renouvellement dans l’état 0 est A, c’est une uniforme [0, 1]
et donc le temps de renouvellement moyen λ pour l’état 0 est λ = E [A] =
1/2.
Pour l’état 1, le temps de renouvellement est N
P
i=1 Si , comme à l’exer-
cice précédent – il s’agit de compter le temps jusqu’à ce qu’on oublie
finalement de renouveler notreh carte. On i a donc que le renouvellement
PN
moyen dans l’état 1 est µ = E i=1 Si = E [N ] E [S] = 3 × 2/3 = 2.

Finalement, on a que la proportion moyenne passée dans l’état 0 (c’est

à dire sans carte d’appel car on n’a pas encore renouvelé la carte) est
donnée par
(1/2) 1
λ/(λ + µ) = =
(1/2 + 2) 5

Problème 4 (Exercice 3.14). Un appareil fonctionne jusqu’à ce qu’il reçoive

un deuxième choc, à la suite duquel il est remplacé parun nouveau. Les chocs
surviennent selon un processus de Poisson d’intensité 1.
Déterminer
(a) le taux moyen à long terme de remplacement de l’appareil ;
6 THOMAS DAVIGNON

(b) la proportion moyenne de temps à long terme avec un appareil ayant subi
un choc ;
(c) La densité limite du temps de vie résiduel de l’appareil en fonction ;
(d) l’espérence limite du temps de vie résiduel de l’appareil en fonction. (cela
peut être calculé sans la réponse précédente) ;
Solution. (a) Ici, on considère les renouvellements de la machine. Ces re-
nouvellements sont des sommes de deux exponentielles de moyenne 1. Le
temps moyen de renouvellement est donc 2, et le taux moyen de renou-
vellement à long terme est 1/2.
(b) Ici, on considère un processus alternant, où chacun des deux états (0, 1
chocs subis), a un temps de renouvellement exponentiel de moyenne 1.
On a donc λ = 1 = µ, et la proportion de temps moyenne passé avec une
machine qui a subi un choc est λ/(λ + µ) = 1/2.
(c) Si S est le temps de renouvellement, alors S est une somme de deux
variables aléatoires de loi exponentielles indépendantes, chacunes de pa-
ramètre 1. Appelons les X et Y . On a alors que S = X + Y , et
P {S > x} = P {X + Y > x}
= E [P {X > x − Y |Y }]
Z ∞
= P {X > x − y} e−y dy
Z0 x Z ∞
−y
= P {X > x − y} e dy + e−y dy
0 x
Z x
= e−x dy + e−x
0
−x
= e (x + 1)
La densité du temps de vie résiduel est donc
P {S > x} e−x (x + 1)
=
E [S] 2
(d) Pour un processus de renouvellement simple, avec des renouvellements
d’espérance µ et de variance σ 2 , on sait que le temps résiduel moyen à la
limite est donné par (σ 2 + µ2 )/2µ.
Ici, on sait que S = X + Y , d’où E [S] = E [X] + E [Y ] et Var [S] =
Var [X] + Var [Y ] (car X et Y sont indépendantes.
On a donc E [S] = 2 et E [S]2 = µ2 = 4. Quant à Var [S], et bien ce sera
2Var [X], puisque Var [X]
R ∞=2Var [Y ].
2 −x
On a que E [X ] = 0 x e dx = Γ(3) = 2! = 2, d’où Var [X] = 1.
Donc Var [S] = 2, et E [S 2 ] = Var [S] + E [S]2 = 6.
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP9 7

Finalement, on a donc σ 2 + µ2 = 6 et 2µ = 4, d’où l’on trouve que

l’espérance du temps de vie résiduel est de 3/2.

Problème 5 (Exercice 3.17). Des joueurs/ses de Tennis se présentent à un

centre sportif où il y a deux courts selon un processus de Poisson d’intensité
2 par heure. Ils/elles utilisent un court si il y en a un qui est disponible au
moment de leur arrivée ; sinon, ils/elles attendent qu’un court se libère, mais
seulement si il n’y a pas déjà de joueurs/ses en attente. Dans l’autre cas,
ils/elles renoncent à jouer. Le temps d’utilisation d’un court par chaque paire
de joueurs/ses est de loi exponentielle d’espérance une heure indépendamment
de tout le reste.
Déterminer
(a) Le générateur pour le nombre de paires de joueurs/ses en action ou en
attente ;
(b) le nombre moyen à long terme de courts utilisés ;
(c) le temps moyen d’une période d’utilisation continue d’au moins un court.
Solution. (a) Les états sont 0, 1, 2, 3. En effet, il n’y aura pas plus de trois
paires de joueurs/ses en action ou en attente, puisque si les deux courts
sont occupés, et qu’une paire attend déjà, les autres s’en retournent.
Dans l’état 0, une paire arrive à un taux de 2 à l’heure, et alors on
transitionne dans l’état 1 car une paire de joueurs/ses se met en action.
Dans l’état 1, notre paire de joueurs/ses est en action. Avec un taux 1,
ils/elles arrêtent de jouer. Avec un taux 2, une autre paire arrive.
Dans l’état 2, on a deux paires de joueurs/ses en action. Avec un taux
2, l’une des paires arrête de jouer. Avec un taux 2, une autre paire arrive.
Dans l’état 3, on a deux paires de joueurs/ses en action, et une qui
attend. Avec un taux 2, l’une des paires arrête de jouer.
Le générateur est donc donné par
 
−2 2 0 0
 1 −3 2 0
G= 
0 2 −4 2 
0 0 2 −2
(b) On commence par calculer la distribution stationnaire : il s’agit simple-
ment de résoudre πG = 0 en respectant la condition de normalisation. On
trouve alors que
π0 = 1/7, π1 = π2 = π3 = 2/7
Ces valeurs correspondent aux proportions moyennes de temps passées
avec 0, 1, 2 et 3 paires en action on en attente. Si il y a 1 paire en action,
8 THOMAS DAVIGNON

il y a un seul court utilisé. Si il y a 2 ou 3 paires en action ou en attente,

alors 2 courts sont utilisés. On a donc que l’espérance du nombre de courts
utilisés est
10
1 × π1 + 2 × (π2 + π3 ) =
7
(c) Pour résoudre ce problème, on considère un processus semi-markovien à
deux états :
— Aucun court occupé. État 0, temps moyen de renouvellement : 1/2 ;
— Au moins un court occupé. État 1. Temps moyen de renouvellement :
µ;
On cherche µ. Mais on sait qu’à la limite, la proportion de temps passée
avec au moins un court occupé est 1 − π0 . On a alors que
µ 6
1 − π0 = =
µ + 1/2 7
On trouve alors µ = 3
Encore une fois, on aurait aussi pu obtenir simplement cette valeur en
conditionnant sur le premier changement d’état, comme on faisait avant
pour les chaı̂nes de Markov à temps continues. mais c’est plus facile comme
ceci.

Problème 6 (Exercice 3.19). Un hôtel dispose d’une navette pour cueillir des
client.e.s à l’aéroport 1 qui arrivent selon un processus de Poisson d’intensité
de 6 client.e.s par heure. Lorsque 4 client.e.s sont arrivé.e.s, la navette part
pour l’hôtel et elle est de retour à l’aéroport après 30 minutes. Les client.e.s
qui arrivent durant cette période choisissent alors un autre hôtel ( ? !).
Sur une longue période de temps, déterminer :
(a) Le taux moyen de départ de la navette ;
(b) La probabilité que la navette ne soit pas à l’aéroport à minuit précis ;
(c) La probabilité qu’elle soit à l’aéroport à minuit avec 3 client.e.s prêt.e.s à
partir ;
(d) l’espérance du temps du premier départ de la navette après minuit ;
(e) l’âge du chauffeur d’autobus.
Solution. On va travailler avec le temps en heures, ce sera plus simple.
(a) Pour trouver le taux moyen de départ de la navette, on considère le pro-
cessus de renouvellement des départs. Entre deux départ il y a
— Le voyage à l’hôtel et le retour : 1/2 heures en moyenne ;
1. On appelle cette navette l’auto-cueillette, ndlr.

 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP9 9

— L’arrivée de 4 client.e.s, soit 4 variables exponentielles de paramètre 6

par heure.
On a donc que si S est le renouvellement, S = 1/2 + 4i=1 Xi , avec Xi
P
des exponentielles indépendantes, de parmètre 6.
Ainsi, E [S] = 76 , et le taux de départ de la navette est 7 aux 6 heures,
où 7/6 de navette à l’heure.
(b) On considère un processus d’alternance entre deux états :
— La navette est en transit entre l’aéroport : état 0, temps de renouvel-
lement, λ = 1/2 heures ;
— La navette est en attente à l’aéroport : état 1, temps moyen de renou-
vellement µ = 2/3 heures ;
Ainsi, on sait que la proportion du temps passé par la navette en transit
entre l’aéroport et l’hôtel est λ/(λ + µ) = 37 . À long terme, la probabilité
que la navette soit à l’aéroport à minuit est donc de 4/7, et la probabilité
qu’elle soit en transit est de 3/7.
(c) On considère encore une fois un processus d’alternance entre deux états,
mais les états seront différents :
— La navette attend le/la quatrième passager/ère : état 0, temps de re-
nouvellement moyen, λ = 1/6 ;
— La navette est en transit ou attend un des trois autres passager : état
1. Temps de renouvellement moyen :µ = 1/2 + 3 × 1/6 ;
La proportion de temps passée à attendre le/la quatrième passager/ère
correspond exactement à la quantité que l’on recherche ; la proportion de
temps passée avec trois client.e.s dans l’autobus, à attendre le/la qua-
trième. Cela correspond à
λ 1
=
λ+µ 7
(d) Ici, on cherche l’espérance du temps de
P vie résiduel d’un renouvellement
pour notre processus avec S = 1/2 + 4i=1 Xi .
On a que Var [S] = 4Var [X1 ] = 4/36 = 1/9 car X1 est une exponentielle
de paramètre λ = 6, donc de variance 1/λ2 = 1/36. On a que E [S] = 7/6,
d’où E [S]2 = 49/36, et donc Var [S] + E [S]2 = 36
53
.
On sait que l’espérance du temps de vie résiduel est
Var [S] + E [S]2 53/36 53
= =
2E [S] 2 × 7/6 84
(e) Le chauffeur a 47 ans. On arrive à ce résultat en connaissant bien le patron
de l’hôtel.