Processus aléatoires 1

Exercices corrigés

Chaı̂nes de Markov discrètes

1. Dans un certain pays, il ne fait jamais beau deux jours de suite. Si un jour il fait
beau, le lendemain il peut neiger ou pleuvoir avec autant de chances. Si un jour il pleut
ou il neige, il y a une chance sur deux qu’il y ait changement de temps le lendemain, et
s’il y a changement, il y a une chance sur deux que ce soit pour du beau temps.
a) Former, à partir de celà, une chaı̂ne de Markov et en déterminer sa matrice de
transition.
b) Si un jour il fait beau, quel est le temps le plus probable pour le surlendemain?
c) Si on suppose que l’on a que deux états (beau temps et mauvais temps),
déterminer la matrice de transition de la nouvelle chaı̂ne ainsi obtenue.

a) On a l’ensemble des états suivants E = {BT, P L, N } et le temps pour un jour ne dépend que
du temps du jour précédent, indépendamment dela période de l’année
 également. On a donc bien une
0 1/2 1/2
chaı̂ne de Markov, de matrice de transition P =  1/4 1/2 1/4 .
1/4 1/4 1/2

b) Pour le temps du surlendemain, il faut déterminer P 2 . Mais seule la première ligne de P 2 nous
intéresse car on veut déterminer les probabilités à partir d’un jour de beau temps. On a :

(2) 1 1 1 1 2 1
pBT,BT = pBT,BT × pBT,BT + pBT,P L × pP L,BT + pBT,N × pN,BT = 0 × 0 + × + × = =
2 4 2 4 8 4

(2) 1 1 1 1 1 3
pBT,P L = pBT,BT × pBT,P L + pBT,P L × pP L,P L + pBT,N × pN,P L = 0 × + × + × =
4 2 2 2 4 8

(2) 1 1 1 1 1 3
pBT,N = pBT,BT × pBT,N + pBT,P L × pP L,N + pBT,N × pN,N = 0 × + × + × = .
4 2 4 2 2 8

Ainsi, si un jour il fait beau, le temps le plus probable pour le surlendemain est la pluie ou la neige .

c) On suppose maintenant que E 0 = {BT, M T }, ce qui est possible puisque la pluie et la neige se
comportent de la même façon pour ce qui est des transitions. On a encore p0BT,BT = 0 mais maintenant,
1 1
p0BT,M T = pBT,P L + pBT,N = 1. Pour la deuxième ligne, on a p0M T,BT = car pP L,BT = pN,BT = et
4 4
0 3 3
pM T,M T = car pP L,P L + pP L,N = pN,P L + pN,N = .
4   4
0 0 1
Ainsi, P = .
1/4 3/4
2 Exercices

2. Trois chars livrent un combat. Le char A atteint sa cible avec la probabilité 2/3,
le char B avec la probabilité 1/2 et le char C avec la probabilité 1/3. Ils tirent tous
ensembles et dès qu’un char est touché, il est détruit. On considère à chaque instant,
l’ensemble des chars non détruits. Montrer qu’on obtient une chaı̂ne de Markov dont on
explicitera l’ensemble des états et la matrice de transition dans chacun des cas suivants :
a) Chaque char tire sur son adversaire le plus dangereux ;
b) A tire sur B ; B tire sur C et C tire sur A.

L’ensemble des états est E = {ABC, AB, AC, BC, A, B, C, ∅}. Pour X ∈ {A, B, C}, on note encore
X l’événement “le char X atteint sa cible” (et donc X l’événement “le char X rate sa cible”). On a ainsi
P (A) = 2/3, P (B) = 1/2 et P (C) = 1/3. Une fois qu’un char est descendu, il ne peut plus revenir et
ainsi, on peut commencer par mettre un certain nombre de 0 dans la matrice de transition. Si on est
dans l’état A, B, C ou ∅, on est sûr d’y rester (plus d’adversaires!).
1 1 1
a) S’il ne reste que 2 chars, par exemple A et B, on a pAB,AB = P (A)P (B) = × = (les 2
3 2 6
1 1 1 2 1 2
ratent!), pAB,B = P (A)P (B) = × = (A rate, B réussit), pAB,A = P (A)P (B) = × = (A
3 2 6 3 2 6
2 1 2
réussit, B rate) et pAB,∅ = P (A)P (B) = × = (les 2 réussissent). On procède de même pour AC
3 2 6
et pour BC.
Si on a les 3 chars, A tire sur B, B et C tirent sur A (et personne ne tire sur C, donc il reste au moins
112 2 212 4
C). On a alors pABC,ABC = P (A)P (B)P (C) = = , pABC,AC = P (A)P (B)P (C) = = ,
3 2 3 18  323 18
1 12 4
pABC,BC = P (A)P (B ∪ C) = P (A)(1 − P (B)P (C)) = 1− = et pABC,C = P (A)P (B ∪ C) =
  3 2 3 18
2 12 8
P (A)(1 − P (B)P (C)) = 1− = . On obtient ainsi la matrice et le graphe suivants :
3 23 18
 
1/9 0 2/9 2/9 0 0 4/9 0
 0 1/6 0 0 2/6 1/6 0 2/6 
 
 0 0 2/9 0 4/9 0 1/9 2/9 
 
 0 0 0 2/6 0 2/6 1/6 1/6 
P =  
 0 0 0 0 1 0 0 0  
 0 0 0 0 0 1 0 0 
 
 0 0 0 0 0 0 1 0 
0 0 0 0 0 0 0 1

b) S’il ne reste que A et B, A tire sur B et B continue à tirer sur C donc A n’est pas menacé et
p0AB,A = P (A) = 2/3 alors que p0AB,AB = P (A) = 1/3. De même avec A et C (A tire sur B, C sur A
donc C n’est pas menacé), p0AC,C = P (C) = 1/3 et p0AC,AC = P (C) = 2/3. Avec B et C (B tire sur C
et C sur A, donc B n’est pas menacé), p0BC,B = P (B) = 1/2 et p0BC,BC = P (B) = 1/2.
112 2
Si on a les 3 chars, p0ABC,ABC = P (A)P (B)P (C) = = , p0 = P (A)P (B)P (C) =
323 18 ABC,AB
112 2 212 4 111 1
= , p0 = P (A)P (B)P (C) = = , p0 = P (A)P (B)P (C) = = ,
323 18 ABC,AC 323 18 ABC,BC 323 18
2 1 2 4 1 1 1 1
p0ABC,A = P (A)P (B)P (C) = = , p0 = P (A)P (B)P (C) = = , p0 =
323 18 ABC,B 323 18 ABC,C
211 2 2 1 1 2
P (A)P (B)P (C) = = et p0ABC,∅ = P (A)P (B)P (C) = = . On obtient ainsi la ma-
323 18 323 18
trice et le graphe suivants :
Processus aléatoires 3

 
2/18 2/18 4/18 1/18 4/18 1/18 2/18 2/18
 0 1/3 0 0 2/3 0 0 0 
 
 0 0 2/3 0 0 0 1/3 0 
 
 0 0 0 1/2 0 1/2 0 0 
P =


 0 0 0 0 1 0 0 0  
 0 0 0 0 0 1 0 0 
 
 0 0 0 0 0 0 1 0 
0 0 0 0 0 0 0 1

3. On considère 5 points équirépartis sur un cercle. Un promeneur saute à chaque instan-

t, d’un point à l’un de ses voisins avec la probabilité 1/2 pour chaque voisin. Déterminer
le graphe et la matrice de transition de la chaı̂ne ainsi obtenue. Quelle est la période de
ses états?

L’ensemble des états est E = {1, 2, 3, 4, 5}.

On a pi,i+1 = pi,i−1 = 1/2 pour i ∈ {2, 3, 4}, p1,2 = p1,5 = 1/2 et p5,1 = p5,4 = 1/2, ce qui donne la
matrice :
 
0 1/2 0 0 1/2
 1/2 0 1/2 0 0 
 
P = 0 1/2 0 1/2 0  et le graphe :

 0 0 1/2 0 1/2 
1/2 0 0 1/2 0

La chaı̂ne est irréductible (tous les états communiquent) et finie donc récurrente positive. Comme
(n)
tous les états sont dans la même classe, leur période est la même. On a d(1) = pgcd{n ≥ 1 ; p1,1 > 0}.
(2) 1 (5) 1
Or p1,1 ≥ p1,2 p2,1 = > 0 et p1,1 ≥ p1,2 p2,3 p3,4 p4,5 p5,1 = 5 > 0. Or le seul diviseur commun à 2 et à 5
4 2
est 1. On a donc d = d(1) = 1 : cette chaı̂ne est donc apériodique .

4. On dispose de 2 machines identiques fonctionnant indépendamment et pouvan-

1
t tomber en panne au cours d’une journée avec la probabilité q = . On note Xn le
4
nombre de machines en panne au début de la n-ième journée.
a) On suppose que, si une machine est tombée en panne un jour, elle est réparée
la nuit suivante et qu’on ne peut réparer qu’une machine dans la nuit. Montrer que l’on
peut définir ainsi une chaı̂ne de Markov dont on déterminera le graphe, la matrice de
transition et éventuellement les distributions stationnaires.
b) Même question en supposant qu’une machine en panne n’est réparée que le
lendemain, le réparateur ne pouvant toujours réparer qu’une machine dans la journée.
c) Le réparateur, de plus en plus paresseux, met maintenant 2 jours pour réparer
une seule machine. Montrer que (Xn ) n’est plus une chaı̂ne de Markov, mais que l’on
peut construire un espace de 5 états permettant de décrire le processus par une chaı̂ne de
Markov dont on donnera le graphe des transitions. Calculer la probabilité que les 2 ma-
chines fonctionnent après n jours (n = 1, n = 2 et n = 3) si elles fonctionnent initialement.

a) L’ensemble des états est E = {0, 1} car si le soir il y a une ou aucune machine en panne, le
lendemain matin, il y en aura 0 ; et si le soir, il y en a 2, le lendemain matin, il y en aura une seule.
Le nombre de machines en panne le matin ne dépend que de celui de la veille au matin et de ce qu’il
4 Exercices

s’est passé dans la journée, ceci indépendamment de la période de l’année. On a donc bien une chaı̂ne de
Markov dont il faut déterminer la matrice de transition.
On a p0,1 = q 2 (les 2 machines tombent en panne dans la journée et ces pannes sont indépendantes
entre elles) et p0,0 = (1 − q)2 + 2q(1 − q) = 1 − q 2 ((1 − q)2 correspond à aucune panne dans la journée et
2q(1 − q) à une seule panne qui peut provenir d’une machine ou de l’autre.). On a également p1,0 = 1 − q
(la machine en panne est réparée et l’autre fonctionne toujours), et p1,1 = q (la machine en panne est
réparée
 et l’autre est
 tombée en panne). Ainsi, on a la matrice :
1 − q2 q2
P = et le graphe :
1−q q

 
1 − q2 q2
Pour la distribution stationnaire, on résout (π0 , π1 ) = (π0 , π1 ) , soit π1 = q 2 π0 + qπ1 ,
1−q q
 
q2 q2 1−q
d’où π1 = π0 et avec π0 + π1 = 1, on obtient π0 1 + = 1, soit π0 = et
1−q 1−q 1 − q + q2
q2 1 12 1
π1 = . Avec q = , on a alors π0 = et π1 = .
1 − q + q2 4 13 13
b) On a maintenant E 0 = {0, 1, 2} car aucune machine n’est réparée la nuit ; p00,0 = (1 − q)2 (aucune
panne dans la journée), p00,1 = 2q(1 − q) (une des 2 machines est tombée en panne) et p00,2 = q 2 (les 2
machines sont tombées en panne) ; p01,0 = 1 − q (la machine qui fonctionne ne tombe pas en panne),
p01,1 = q (la machine qui fonctionne tombe en panne, l’autre est réparée), p01,2 = 0 (la machine en panne
est sure de remarcher le lendemain) ; de même, p02,1 = 1 (une seule des 2 machines en panne est réparée).
Ainsi, on a la matrice:
 
(1 − q)2 2q(1 − q) q 2
P = 1−q q 0  et le graphe :
0 1 0

 
(1 − q)2 2q(1 − q) q 2
Pour la distribution stationnaire, on résout (π0 , π1 , π2 ) = (π0 , π1 , π2 )  1 − q q 0 ,
0 1 0
2
2q − q
soit π0 = (1 − q)2 π0 + (1 − q)π1 , d’où π1 = π0 et π2 = q 2 π0 , d’où avec π0 + π1 + π2 = 1, on obtient
  1−q
2q − q 2 1−q 2q − q 2 q2 − q3 1
π0 1 + q 2 + = 1, soit π0 = 3
, π 1 = 3
et π 2 = 3
. Avec q = , on a
1−q 1+q−q 1+q−q 1+q−q 4
48 28 3
alors π0 = , π1 = et π2 = .
79 79 79
c) Si on garde l’ensemble des états E 0 , on n’a pas une chaı̂ne de markov car, lorque l’on a 2 machines
en panne par exemple, on ne peut pas savoir si le lendemain, on en aura 1 ou 2 en panne : tout dépend si
c’est le premier jour de réparation ou le second. On est donc amené à introduire 2 états supplémentaires :
10 (1 machine en panne dont c’est le deuxième jour de réparation) et 20 (2 machines en panne et deuxième
jour de réparation pour la première). On a alors p000,0 = (1 − q)2 , p000,1 = 2q(1 − q), p000,2 = q 2 ; p001,10 = 1 − q,
p001,20 = q, p0010 ,0 = 1 − q, p0010 ,1 = q, p002,20 = 1, p0020 ,1 = 1, les autres probabilités étant nulles. On a le graphe :
Processus aléatoires 5

On a alors p000,0 = (1 − p)2 , p000,0 (2) = p000,0 p000,0 = (1 − q)4 , p000,0 (3) = p000,0 p000,0 p000,0 + p000,1 p001,10 p0010 ,0 =
(1 − q)6 + 2q(1 − q)3 .

5. Déterminer la matrice de transition des chaı̂nes suivantes :

a) N boules noires et N boules blanches sont placées dans 2 urnes de telle façon
que chaque urne contienne N boules. À chaque instant on choisit au hasard une boule
dans chaque urne et on échange les deux boules. À l’instant n, l’état du système est le
nombre de boules blanches de la première urne.
b) N boules numérotées de 1 à N sont réparties dans une urne. À chaque instant,
on tire un numéro i au hasard entre 1 et N et la boule de numéro i est changé d’urne. À
l’instant n, l’état du système est le nombre de boules dans la première urne.
c) Déterminer la distribution stationnaire de la chaı̂ne au b). (On montrera qu’il
s’agit de la loi binomiale de paramètres N et 1/2). Déterminer l’espérance du nombre
de tirages nécessaires pour revenir à l’état initial dans les cas N = 2M, X0 = M et
N = 2M, X0 = 2M. Donner un équivalent lorsque M est grand et une valeur approchée
pour N = 10.

a) Le système est dans l’état k lorsque l’on a k boules blanches dans A et N − k dans B (et donc
aussi N − k boules noires dans A et k dans B).
• Si Xn = 0, toutes les boules blanches sont dans B à l’instant n, donc les boules choisies seront
nécessairement une noire dans A et une blanche dans B et Xn+1 = 1.
• De même, si Xn = N , alors nécessairement Xn+1 = N − 1 (car la boule choisie dans A est
blanche et celle choisie dans B est noire).
• Si Xn = k, avec k ∈ {1, · · · , N − 1}, on aura Xn+1 = k − 1 si la boule choisie dans A est
k k
blanche (probabilité ) et la boule choisie dans B est noire (probabilité ), Xn+1 = k + 1 si la boule
N N
N −k N −k
choisie dans A est noire (probabilité ) et celle choisie dans B est blanche (probabilité ).
N N
N −k
Enfin, Xn+1 = k si la boule choisie dans A est noire (probabilité ) et celle choisie dans B est noire
N
k k
(probabilité ) ou bien si la boule choisie dans A est blanche (probabilité ) et celle choisie dans B
N N
N −k
est blanche (probabilité ). Ainsi, la probabilité d’occupation d’un état ne dépend que de l’état
N
précédent et on a bien une chaı̂ne de Markov de matrice de transition et de graphe :
 
r0 p0
 q1 r1 p1 (0) 
 
 q r p 
 2 2 2 
 . .
.. .. .. . 
 
P = 


 qk rk pk 
 .. .. .. 
 . . . 
 
 (0) qN −1 rN −1 pN −1 
qN rN
2
k 2k(N − k) (N − k)2
avec qk = 2 , rk = , pk = pour 1 ≤ k ≤ N − 1, r0 = rN = 0, p0 = qN = 1.
N N2 N2
b) Le système est dans l’état k lorsque l’on a k boules dans A et N − k dans B.
• Si Xn = 0, toutes les boules sont dans B à l’instant n, donc la boule choisie sera nécessairement
dans B et Xn+1 = 1.
• De même, si Xn = N , alors nécessairement Xn+1 = N − 1 (car la boule est choisie dans A).
6 Exercices

• Si Xn = k, avec k ∈ {1, · · · , N − 1}, on aura Xn+1 = k − 1 si la boule est choisie dans A

k N −k
(probabilité ), et Xn+1 = k + 1 si elle est choisie dans B (probabilité ).
N N
Ainsi, la probabilité d’occupation d’un état ne dépend que de l’état précédent et on a bien une chaı̂ne
de Markov de matrice de transition et de graphe :
 
0 1
 1 N −1 
 0 (0) 
 N N 
 2 N −2 
 0 
 
 N N 
 . .. . .. . .. 
 
P =  
k N −k 
 0 
 N N 
 .. .. .. 
 . . . 
 
 N −1 1 
 (0) 0 
 
N N
1 0
c) La chaı̂ne est irréductible finie donc récurrente positive. Elle admet donc une unique distribution
stationnaire, probabilité
 π solution du système π = πP .

 π 0 = r0 π0 + q1 π1

 π = p

 1 0 π0 + r1 π1 + q2 π2

 ..


 .
π = πP donne πk = pk−1 πk−1 + rk πk + qk+1 πk+1 où pk + qk + rk = 1, q0 = pN = 0.

 .

 .

 .



 π = pN −2 πN −2 + rN −1 πN −1 + qN πN
 N −1
πN = pN −1 πN −1 + rN πN
La ligne “0” donne (1 − r0 )π0 = q1 π1 , soit p0 π0 = q1 π1 . En remplaçant p0 π0 par q1 π1 dans la ligne
1, on obtient (1 − q1 − r1 )π1 = q2 π2 , soit p1 π1 = q2 π2 . Ainsi, par récurrence, si pk−1 πk−1 = qk πk , en
reportant dans la ligne k on obtient (1 − qk − rk )πk = qk+1 πk+1 , soit pk πk = qk+1 πk+1 , et la ligne N
redonne (1 − qN )πN = rN πN .
 p0

 π1 = π0
 
 q

 p0 π0 = q1 π1 

 p10 p1

 p1 π1 = q2 π2 
 π2 = π0

 
 q1 q2

 .. 
 ..
  XN
. .
On a donc , d’où p0 · · · pk−1 et πk = 1 donne π0 .

 pk−1 πk−1 = qk πk 
 πk = π0

 .. 
 q · · · q k=0

 
 1 k

 . 
 ..
 
 .
pN −1 πN −1 = qN πN 
 p · · · pN −1

 πN = 0 π0
q1 · · · qN
 2  2
N (N − 1) · · · (N − k + 1) N! k 2
Pour a) on obtient alors πk = π0 = π0 = (CN ) π0 .
1×2···×k k!(N − k)!
N
!
X C k C N −k
k 2 N
On a alors π0 (CN ) = π0 C2N = 1 donc πk = N NN pour 0 ≤ k ≤ N . (C’est la loi hyper-
k=0
C2N
géométrique, distribution qui correspond à une répartition initiale des boules au hasard, à raison de N
par urne).
N
× N −1 × · · · × N −k+1 N (N − 1) · · · (N − k + 1) k
Pour b), on obtient πk = N 1 N 2 k
N
π0 = π0 = CN π0 .
N × N × · · · × N
k!
N
!  k  N −k
X
k 1 1 1
On a alors π0 CN = 2N π0 = 1 donc πk = CN
k
N
= CN
k
pour 0 ≤ k ≤ N .
2 2 2
k=0
Processus aléatoires 7

 
1
Ainsi, π = B N, . (C’est la distribution qui correspond à une répartition initiale des boules au
2
hasard dans les 2 urnes).

6. Dans Zk , on a k directions, et dans chaque direction, on a 2 sens. Un point de Zk

a donc 2k voisins. Un promeneur oisif saute à chaque instant d’un point de Zk à l’un de
ses voisins avec la même probabilité. Étudier la récurrence des chaı̂nes de Markov ainsi
obtenues. (On distinguera les cas k = 1, k = 2 et k ≥ 3).

a) E = Z. Pour être de nouveau au point de départ après n étapes, il faut avoir fait autant de pas
vers la droite que vers la gauche : ainsi, n doit être pair (n = 2m). Il y a autant de trajets possi-
 2m
m 1
bles que de 2m u-plets avec m “d” et m “g”, soit C2m , et ils sont tous de probabilité . Ainsi,
2
 2m
(2m) m 1
px,x = C2m (et p(2m+1)
x,x = 0).
2
Pour la nature de la série, on utilise un équivalent grâce à Stirling :
 2m  2
(2m)! 1 (2m)2m √ em 1 1
p(2m)
xx = ∼ 2π × 2m √ × 2m = √ .
(m!)2 2 e2m
m m 2πm 2 πm

1
Ainsi, p(2m)
xx ∼√ terme général d’une série divergente donc la chaı̂ne est récurrente.
πm
b) E = Z2 . Pour être de nouveau au point de départ après n étapes, il faut avoir fait dans chacune
des 2 directions autant de pas dans un sens que dans l’autre : ainsi, n doit être pair (n = 2m). Si il y a
2k pas verticaux (et donc 2m − 2k pas horizontaux), alors il doit y avoir k pas vers le haut, k pas vers le
2k k m−k
bas, m − k pas vers la gauche et m − k pas vers la droite. Ainsi, dans ces cas-là, il y a C2m × C2k × C2m−2k
2k k
trajets possibles (on a C2m façons de choisir les pas verticaux, puis, parmi ceux-ci, on en choisit C2k vers
m−k
le haut et, parmi les 2m − 2k horizontaux on choisit les C2m−2k vers la droite par exemple), et ils sont
 2m
1
tous de probabilité . Mais, comme k peut prendre toutes les valeurs de 0 à m, il vient
4
m
X  2m
(2m) (2m)! (2k)! (2m − 2k)! 1
pxx =
(2k)!(2m − 2k)! (k!)2 ((m − k)!)2 4
k=0
 2m X m
! "  2m #2
m 1 k 2 m 1 1
= C2m (Cm ) = C2m ∼
4 2 πm
k=0

m
X m
X
k 2 k m−k m
car (Cm ) = Cm Cm = C2m (on peut par exemple développer (1 + x)2m = (1 + x)m (1 + x)m des
k=0 k=0
2 façons et identifier le coefficient de xm dans chacune des expressions).

1
Ainsi, p(2m)
xx ∼ terme général d’une série divergente donc la chaı̂ne est récurrente.
πm
c) E = Z3 . Pour être de nouveau au point de départ après n étapes, il faut avoir fait dans chacune des
3 directions autant de pas dans un sens que dans l’autre : ainsi, n doit être pair (n = 2m). Si il y a 2k1
pas dans la direction 1, 2k2 pas dans la direction 2 (et donc 2m − 2k1 − 2k2 pas dans la direction 3), alors
il doit y avoir k1 pas dans chaque sens de la direction 1, k2 dans ceux de la direction 2 et m − k1 − k2 dans
2k1 2k2 k1 k2 m−k1 −k2
ceux de la direction 3. Ainsi, dans ces cas-là, il y a C2m × C2m−2k 1
× C2k 1
× C2k 2
× C2(m−k 1 −k2 )
trajets
8 Exercices

 2m
1
possibles et ils sont tous de probabilité (3 directions et 2 sens dans chacune, donc 6 possibilités
6
à chaque pas). Il vient alors

X  2m
(2m)! (2m − 2k1 )! (2k1 )! (2k2 )! (2m − 2k1 − 2k2 )! 1
p(2m)
xx =
(2k1 )!(2m − 2k1 )! (2k2 )!(2m − 2k1 − 2k2 )! (k1 !)2 (k2 !)2 ((m − k1 − k2 )!)2 6
k1 ,k2
X  2m
(2m)! 1
= 2 2 2
(k1 !) (k2 !) ((m − k1 − k2 )!) 6
k1 ,k2

K3
On pourrait montrer que l’on peut majorer cette expression par un terme équivalent à . Ainsi
m3/2
p(2m)
xx est le terme général d’une série convergente donc la chaı̂ne est transitoire.

7. Soit (Xn )n∈N une chaı̂ne de Markov de matrice de transition

 1 1 
0 0 0 0 0 0 0 0
 2 2 
 0 0 0 0 1 0 0 0 0 0 
 
 1 1 1 
 0 0 0 0 0 0 0 
 2 4 4 
 
 0 0 0 0 0 0 1 0 0 0 
 1 1 1 
 0 0 0 0 0 0 0 
 
 4 4 2 
P = 1 1 .
 0 0 0 0 0 0 0 0 
 2 2 
 1 1 
 0 0 0 0 0 0 0 0 
 2 2 
 1 1 
 0 0 0 0 0 0 0 0 
 
 2 2 
 3 1 
 0 0 0 0 0 0 0 0 
4 4
0 0 0 0 0 0 1 0 0 0

a) Représenter le graphe de cette chaı̂ne. Déterminer les classes de communication,

leur nature, leur périodicité et éventuellement les sous-classes cycliques.
b) Calculer les probabilités d’absorption des états transitoires par les classes récur-
rentes.
c) Déterminer les distributions stationnaires de la chaı̂ne et le temps moyen de
retour pour les états récurrents. Existe-t-il une distribution limite ?

a) On représente le graphe de la chaı̂ne.

Processus aléatoires 9

On a une chaı̂ne finie donc essentiel équivaut à récurrent positif et non essentiel équivaut à transitoire.
On a 2 classes récurrentes R1 = {1, 6, 8} apériodique, R2 = {4, 7, 10} de période 2, de sous-classes cy-
cliques {4, 10} et {7} et 3 classes transitoires T1 = {9} apériodique, T2 = {2} de période 0 et T3 = {3, 5}
apériodique.

b) On note ak (resp. a0k ) la probabilité d’absorption de l’état k par la classe R1 (resp. R2 ) pour
k ∈ T = {2, 3, 5, 9}. Si a désigne le vecteur colonne des ak , on sait que a = a(1) + PT a avec a9 (1) =
1
a2 (1) = a3 (1) = 0, a5 (1) = p58 = , soit
2
   
   0  0 0 1 0   a5
a2  1 1  a2  1 1 
 0 0   
 a3    0 
  2 4   a3   2 a3 + 4 a5 
 = 1 + 1     
 a5     0 0 0   a5  =  1 + 1 a3 
2    
a9  3 4 1  a9  32 41 
0 0 0 a2 + a9
4 4 4 4
 
1 1 2 4
Ainsi a2 = a5 = a9 = 2a3 et 2 − a3 = , soit a3 = et a2 = a5 = a9 = .
4 2  7  7 
  0 0 1 0 a0
 0  0  0  5
a2  1 1  a2  1 1 0 1 0 
 1   0 0   
 a03     2 4   a03   4 + 2 a3 + 4 a5 
  
De même,  0  =  1  +  4   1     1 1 0  donne a02 = a05 =
a5 0 0 0   a05  =  + a3 
     
a09 4  3 4 1  a 0
9
 4 4
3 0 1 0 
0 0 0 a2 + a9
4 4 4 4
0 0 1 1 0 0 1 1 1 0 0 0 0 3 0 1 3 5
a9 , a3 = + a5 et a5 = + + a5 , soit a2 = a5 = a9 = et a3 = + = (et on a bien
2 2 4 8 8 7 2 14 7
ak + a0k = 1).

c) On a déjà π2 = π3 = π5 = π9 = 0 (états transitoires) et π = λ1 π (1) + λ2 π (2) où π (i) est l’unique

distribution stationnaire de la chaı̂ne  restreinte à Ri , λ
i ≥ 0 et λ1 + λ2 = 1. On a
!
0 1/2 1/2 (1) (1) (1) (1) (1) (1)
(1) (1) (1) (1) (1) (1)  π + π π + π π + π
(π1 , π6 , π8 ) = (π1 , π6 , π8 ) 1/2 0 1/2  = 6 8
, 1 8
, 1 6
avec
2 2 2
1/2 1/2 0
(1) (1) (1) (1) (1) (1) 1
π1 + π6 + π8 = 1. On a donc π1 = π6 = π8 = et µ1 = µ6 = µ8 = 3 . De même,
  3
0 1 0  
(2) (2) (2) (2) (2) (2)   1 (2) (2) (2) 1 (2) (2) (2)
(π4 , π7 , π10 ) = (π4 , π7 , π10 ) 1/2 0 1/2 = π , π4 + π10 , π7 avec π4 + π7 +
2 7 2
0 1 0
(2) (2) (2) 1 (2) (2) 1 (2) (2) 1
π10 = 1. On a donc π4 = π10 = π7 d’où π7 = , π4 = π10 = ; µ4 = µ10 = 4, µ7 = 2 .
 2  2 4
λ1 λ2 λ1 λ2 λ1 λ2
Finalement π = , 0, 0, , 0, , , , 0, , λi ≥ 0 et λ1 + λ2 = 1 .
3 4 3 2 3 4

Processus de Poisson

8. Calculer la loi du n-ième temps d’arrivée d’un processus de Poisson de deux façons :
a) En utilisant [Sn ≤ t] = [Nt ≥ n] ;
b) En utilisant Sn = T1 + T2 + · · · + Tn .
10 Exercices

a) FSn (t) = P ([Sn ≤ t]) = P ([Nt ≥ n]) = 1 − P ([Nt ≤ n − 1]) pour n ≥ 1 (S0 = 0), soit
n−1
X (λt)k
−λt
FSn (t) = 1 − e pour n ≥ 1 et t > 0. On a alors,
k!
k=0

n−1
X n−1
X λk ktk−1
(λt)k
fSn (t) = FS0 n (t) = λe−λt − e−λt
k! k!
k=0 k=1
"n−1 #
X λk+1 tk n−1X λk tk−1
−λt
= e −
k! (k − 1)!
k=0 k=1
"n−1 #
X λk+1 tk n−2X λk+1 tk
= e−λt −
k! k!
k=0 k=0

λn
et finalement fSn (t) = e−λt tn−1 I]0,+∞[ (t) : on reconnait la densité de la loi gamma Ga(n, λ).
(n − 1)!

b) Par récurrence,
• S1 = T1 donc S1 suit la loi E(λ) = Ga(1, λ).
• Si Sn suit la loi Ga(n, λ), comme Sn+1 = Sn + Tn+1 et que Sn = T1 + T2 + · · · + Tn est indépendante
de Tn+1 , on a :
Z
fSn+1 (t) = fSn (u)fTn+1 (t − u) du
Z
λn
= e−λu un−1 I]0,+∞[ (u) λ e−λ(t−u) I]0,+∞[ (t − u) du
(n − 1)!
Z
λn+1 −λt
= e un−1 I]0,+∞[ (u)I]0,+∞[ (t − u) du
(n − 1)!

avec I]0,+∞[ (u)I]0,+∞[ (t − u) = 1 si u > 0 et t − u > 0, c’est-à-dire 0 < u < t, soit t > 0 et u ∈]0, t[. On a
donc
Z t
λn+1 −λt λn+1 −λt tn
fSn+1 (t) = e I]0,+∞[ (t) un−1 du = e I]0,+∞[ (t)
(n − 1)! 0 (n − 1)! n

λn+1 −λt n
soit fSn+1 (t) = e t I]0,+∞[ (t) et Sn+1 suit donc bien la loi gamma Ga(n + 1, λ).
n!

9. Un radar est placé sur une route où il passe en moyenne 5 véhicules en excès de
vitesse par heure. On admet que ces véhicules forment un Processus de Poisson. Quelle
est la probabilité qu’au bout d’une demi-heure, une voiture exactement se soit arrêtée
sachant que :
a) dans le premier quart d’heure, aucune voiture n’a été prise et dans la première
heure, deux voitures ont été prises ;
b) la première heure, deux voitures ont été prises et dans les deux premières heures,
trois voitures ont été prises ;
c) dans les dix premières minutes, aucune voiture n’a été prise et dans le premier
quart d’heure, une voiture a été prise.
Processus aléatoires 11

P ([Nu = k] ∩ [Ns = i] ∩ [Nt = j])

P ([Nu = k]/[Ns = i] ∩ [Nt = j]) = avec
P ([Ns = i] ∩ [Nt = j])
P ([Ns = i] ∩ [Nt = j]) = P ([Ns = i] ∩ [Nt − Ns = j − i])
= P ([Ns = i])P ([Nt − Ns = j − i])
= P ([Ns = i])P ([Nt−s = j − i])
(λs)i −λ(t−s) (λ(t − s))j−i
= e−λs e
i! (j − i)!
j i j−i
λ s (t − s)
= e−λt
i!(j − i)!
a) Cas s ≤ u ≤ t. Pour i ≤ k ≤ j, on a :

P ([Nu = k] ∩ [Ns = i] ∩ [Nt = j]) = P ([Ns = i] ∩ [Nu − Ns = k − i] ∩ [Nt − Nu = j − k])

= P ([Ns = i])P ([Nu − Ns = k − i])P ([Nt − Nu = j − k])
= P ([Ns = i])P ([Nu−s = k − i])P ([Nt−u = j − k])

On a donc
P ([Nu−s = k − i])P ([Nt−u = j − k])
P ([Nu = k]/[Ns = i] ∩ [Nt = j]) =
P ([Nt−s = j − i])
(λ(u−s))k−i −λ(t−u) (λ(t−u))j−k
e−λ(u−s) (k−i)! e (j−k)!
= (λ(t−s))j−i
.
e−λ(t−s)
(j−i)!

k−i (u − s)k−i (t − u)j−k

soit P ([Nu = k]/[Ns = i] ∩ [Nt = j]) = Cj−i .
(t − s)j−i
1 1 3
Pour u = 1/2, k = 1, λ = 1h−1 , s = 1/4, t = 1, i = 0 et j = 2, on a u − s = , t−u = , t−s = ,
4 2 4
11
42 4
k − i = 1, j − k = 1, j − i = 2 et pa = 2 ×
, soit p1 = ≈ 0, 44 .
3 2 9
4
b) Cas u ≤ s ≤ t. Pour k ≤ i ≤ j, on a :

P ([Nu = k] ∩ [Ns = i] ∩ [Nt = j]) = P ([Nu = k] ∩ [Ns − Nu = i − k] ∩ [Nt − Ns = j − i])

= P ([Nu = k])P ([Ns − Nu = i − k])P ([Nt − Ns = j − i])
= P ([Nu = k])P ([Ns−u = i − k])P ([Nt−s = j − i])

On a donc
P ([Nu = k])P ([Ns−u = i − k])
P ([Nu = k]/[Ns = i] ∩ [Nt = j]) =
P ([Ns = i])
(λu)k −λ(s−u) (λ(s−u))i−k
e−λu k! e (i−k)!
= (λs)i
.
e−λs
i!

uk (s − u)i−k
On a donc P ([Nu = k]/[Ns = i] ∩ [Nt = j]) = Cik .
si
uk (s − u)i−k
soit P ([Nu = k]/[Ns = i] ∩ [Nt = j]) = Cik .
si
3 11
Pour u = 1/2, k = 1, λ = 1h−1 , s = 1, t = 2, i = 2 et j = 3, on a s − u = , i − k = 1 et pb = 2 × ,
4 22
1
soit pb = = 0, 5 .
2
12 Exercices

c) Cas s ≤ t ≤ u. Pour i ≤ j ≤ k, on a :

P ([Nu = k] ∩ [Ns = i] ∩ [Nt = j]) = P ([Ns = i] ∩ [Nt − Ns = j − i] ∩ [Nu − Nt = k − j])

= P ([Ns = i])P ([Nt − Ns = j − i])P ([Nu − Nt = k − j])
= P ([Ns = i])P ([Nt−s = j − i])P ([Nu−t = k − j])

(λ(u − t))k−j
On a donc P ([Nu = k]/[Ns = i] ∩ [Nt = j]) = P ([Nu−t = k − j]) = e−λ(u−t) .
(k − j)!

Pour u = 1/2, k = 1, λ = 1h−1 , s = 1/6, t = 1/4, i = 0 et j = 1, on a u − t = 1/4, k − j = 0 et

pc = e−1/4 ≈ 0, 56 .

10. Les arrivées d’autobus à une station forment un processus de Poisson d’intensité λ.
Chaque autobus s’arrête un temps fixe τ à la station. Un passager qui arrive à un instant
t0 monte dans le bus si celui-ci est là, attend pendant un temps τ 0 , puis, si l’autobus n’est
pas arrivé pendant le temps τ 0 , quitte la station et s’en va à pied.
Déterminer la probabilité que le passager prenne l’autobus.

Le passager repart à pied si lorsqu’il arrive à l’instant t0 , il n’y a plus de bus, donc le dernier est arrivé
avant t0 −τ (sinon, il serait encore là), et si à l’instant t0 +τ 0 , le suivant n’est toujours pas arrivé. Il ne doit
y avoir aucune arrivée de bus entre t0 −τ et t0 +τ 0 , soit, pendant une durée t0 +τ 0 −(t0 −τ ) = τ +τ 0 . Ainsi,
0
la probabilité que le passager reparte à pied est P ([Nt0 +τ 0 − Nt0 −τ = 0]) = P ([Nτ +τ 0 = 0]) = e−λ(τ +τ )
0
et la probabilité que le passager prenne l’autobus est 1 − e−λ(τ +τ )
.

11. Sur une route à sens unique, l’écoulement des voitures peut être décrit par un
1
processus de Poisson d’intensité λ = s−1 . Un piéton qui veut traverser la route a besoin
6
d’un intervalle d’au moins 4s entre 2 voitures successives. Calculer :
a) la probabilité pour qu’il doive attendre ;
b) la durée moyenne des intervalles qui lui permettent de traverser la route ;
c) le nombre moyen de voitures qu’il voit passer avant de pouvoir traverser la route.

a) Le piéton ayant besoin d’au moins 4s pour traverser, il devra attendre si U ≤ 4.

Z 4
 4
Or P ([U ≤ 4]) = λe−λu du = −e−λu 0 = 1 − e−4λ car on a vu à l’exercice 3 que U suit la loi
0
exponentielle E(λ). Comme λ = 1/6, P ([U ≤ 4]) = 1 − e−4/6 .
La probabilité pour qu’il doive attendre est donc 1 − e−2/3 ≈ 0, 487 .
Z
[U >4]
b) On cherche E[U >4] (U ) c’est-à-dire ufU (u) du. On a

[U >4] P ([U ≤ u] ∩ [U > 4])

FU (u) = P [U >4] ([U ≤ u]) =
P ([U > 4])

 0 si u ≤ 4
= P ([4 < U ≤ u]) FU (u) − FU (4)
 = si u > 4
P ([U > 4]) P ([U > 4])
Processus aléatoires 13

[U >4] fU (u)
et donc fU (u) = I]4,+∞[ (u) = λ e−λ(u−4) I]4,+∞[ (u) puis
P ([U > 4])
Z +∞ Z +∞
E[U >4] (U ) = λu e−λ(u−4) du = λ(v + 4) e−λv dv
4 v=u−4 0
Z +∞ Z +∞
1
= vλ e−λv dv + 4 λ e−λv dv = + 4
0 0 λ
Z +∞ Z +∞
car vλ e−λv dv est l’espérance d’une v.a.r. de loi exponentielle E(λ) et λ e−λv dv l’intégrale de
0 0
sa densité.
Ainsi, il faut en moyenne 6 + 4 = 10s pour que le piéton puisse traverser .

c) Soit N le nombre moyen de voitures que voit passer le piéton avant de pouvoir traverser la route.
On a
• [N = 0] = [U > 4], où U est le temps entre l’arrivée du piéton et la prochaine voiture ;
• [N = 1] = [U ≤ 4] ∩ [U1 > 4] où U1 est le temps entre la première et la deuxième voiture qui se
présentent après l’arrivée du piéton.
• Plus généralement, [N = k] = [U ≤ 4] ∩ [U1 ≤ 4] · · · ∩ [Uk−1 ≤ 4] ∩ [Uk > 4] où Uk est le temps
entre la k-ième et la (k + 1)-ième voiture qui se présentent après l’arrivée du piéton.
Les v.a.r. U , U1 , · · · , Uk étant toutes indépendantes et de même loi exponentielle E(λ) on a P ([N = 0]) =
P ([U > 4]) = e−4λ et
P ([N = k]) = P ([U ≤ 4])P ([U1 ≤ 4]) · · · P ([Uk−1 ≤ 4])P ([Uk > 4])
= e−4λ (1 − e−4λ )k = e−2/3 (1 − e−2/3 )k
(valable aussi pour k = 0). On reconnait la loi géométrique G(e−2/3 ) sur N.

X
+∞ X
+∞
GN (s) = sk P ([N = k]) = e−2/3 (s(1 − e−2/3 ))k
k=0 k=0
−2/3 −2/3 −2/3
e e (1 − e )
soit GN (s) = et G0N (s) = .
1 − s(1 − e−2/3 ) (1 − s(1 − e−2/3 ))2
1 − e−2/3
On a alors E(N ) = G0N (1) = = e2/3 − 1 ≈ 0, 948.
e−2/3
Le piéton voit donc passer en moyenne 1 voiture avant de traverser .

12. On considère un appareil de comptage, qui dénombre les voitures sur une route, de
flux poissonien d’intensité λ. L’appareil peut tomber en panne à l’instant T , où T est une
variable aléatoire de loi Gamma γ(1, a).
Soit X le nombre de véhicules enregistrés par l’appareil jusqu’à ce qu’il tombe en
panne. Déterminer la loi et l’espérance de X.
Z
P ([X = n]) = P ([X = n]/[T = t])fT (t)dt
[T =t]
avec P ([X = n]/[T = t]) = P ([Xt = n]) (i.e. PX = PXt ) car, à l’instant t où l’appareil tombe en
(λt)n 1 −t a−1
panne, il a enregistré n passages. On sait que P ([Xt = n]) = e−λt et fT (t) = e t I]0,+∞[ (t).
n! Γ(a)
Donc :
Z +∞ n Z +∞
−λt (λt) 1 −t a−1 λn
P ([X = n]) = e e t dt = e−(λ+1)t ta+n−1 dt
0 n! Γ(a) n!Γ(a) 0
Z +∞
λn v a+n−1 λn Γ(a + n)
= e−v a+n
dt = n+a
n!Γ(a) 0 (λ + 1) (λ + 1) Γ(a)n!
14 Exercices

La loi de X étant peu sympathique, pour calculer E(X), il est préférable de passer par E(T =t) (X) =
E(Xt ) = λt. On a alors ET (X) = λT et E(X) = E ET (X) = λE(T ) = λa.

Processus de naissance et de mort

13. La durée de bon fonctionnement d’une machine est une variable aléatoire de loi
exponentielle de paramètre λ. En cas de panne, le temps de réparation obéit à une loi
exponentielle de paramètre µ.
Quelle est la probabilité que la machine fonctionne à l’instant t si elle fonctionnait à
l’instant 0 ?

On a un processus de Markov à 2 états : état 0 : la machine fonctionne ; état 1 la machine est en

panne.

Si T est la durée de bon fonctionnement, on a

P ([t < T < t + h])

p0,1 (h) = P ([T < t + h]/[T > t]) =
P ([T > t])
Z +∞ Z t+h
−λx −λt
avec P ([T > t]) = λe dx = e et P ([t < T < t + h]) = λe−λx dx = e−λt − e−λ(t+h) donc
t t

p0,1 (h) = 1 − e−λh = 1 − (1 − λh + o(h)) = λh + o(h)

donc λ0 = λ.
De même, avec la durée de réparation, p1,0 (h) = µh + o(h) donc µ1 = µ.

On a un processus de naissance et de mort extrêmement simple, puisqu’il n’y a que 2 états (et un
seul “boudin”!). Ainsi, il suffit de résoudre :
 0
 p0 (t) = −λp0 (t) + µp1 (t)
p0 (t) + p1 (t) = 1

p0 (0) = 0

qui équivaut à
 0  0
 p0 (t) = −λp0 (t) + µ(1 − p0 (t))  p0 (t) = −(λ + µ)p0 (t) + µ
p0 (t) + p1 (t) = 1 c’est-à-dire à p0 (t) + p1 (t) = 1 .
 
p0 (0) = 0 p0 (0) = 0

On est conduit a une équation différentielle linéaire du premier ordre, dont une solution particulière
µ
est est dont l’équation sans second membre a pour solution Ce−(λ+µ)t .
λ+µ
µ µ µ λ
Ainsi p0 (t) = + Ce−(λ+µ)t avec p0 (0) = 1 = + C, donc C = 1 − = et
λ+µ λ+µ λ+µ λ+µ
finalement,

µ λ
la probabilité que la machine fonctionne à l’instant t est p0 (t) = + e−(λ+µ)t .
λ+µ λ+µ
Processus aléatoires 15

14. Un joueur décide de faire des paris jusqu’à qu’il soit ruiné ou bien qu’il ait atteint
N euro. S’il dispose de j euro quand il effectue un pari, alors, à ce pari, il gagne 1 euro
avec la probabilité pj ou bien il perd 1 euro avec la probabilité qj = 1 − pj . On note ak la
(n)
probabilité de finir ruiné avec une fortune initiale de k euro et ak la probabilité de finir
ruiné en n paris.

a) Modéliser le problème par une chaı̂ne de Markov et faire le graphe correspondant.

b) Déterminer aN et a0 .
c) Montrer que :
(1) (n) (n−1)
• a1 = q1 et a1 = p1 a2 si n ≥ 2 ;
(1) (n) (n−1) (n−1)
• pour j ≥ 2, aj = 0 et aj = pj aj+1 + qj aj−1 si n ≥ 2.

d) En déduire que :
• a1 = q1 + p1 a2 et aj = pj aj+1 + qj aj−1 si j ≥ 2, puis
• pj (aj − aj+1 ) = qj (aj−1 − aj ) pour 1 ≤ j ≤ N − 1 ;
q1 · · · qj
• aj − aj+1 = dj (a0 − a1 ) pour 1 ≤ j ≤ N − 1, si on pose dj = .
p1 · · · pj
X
N −1 X
N −1
e) Vérifier que ak = (aj − aj+1 ) pour 1 ≤ k ≤ N − 1 et que 1 = (aj − aj+1 ),
j=k j=0
NP
−1
dj
j=k
et en déduire que ak = NP
−1
.
1+ dj
j=1

f) En déduire, en faisant N → +∞, la probabilité de ruine du joueur.

a) Le processus est bien invariant dans le temps et la connaissance du processus à un instant

suffit pour déterminer la probabilité d’occupation d’un état à l’instant suivant. On a bien une chaı̂ne de
Markov, de matrice de transition P = (pi,j ) où pi,i+1 = pi , pi,i−1 = qi et pi,j = 0 si |i − j| 6= 1 .

b) aN = 0 et a0 = 1 .

(1) (n) (n−1)

c) • a1 = q1 (passage de 1 à 0 en 1 étape) et a1 = p1 a2 si n ≥ 2 car alors, on est obligé
de commencer par un passage de 1 à 2 pour ne pas être absorbé directement ; il faudra ensuite n − 1
étapes pour passer de 2 à 0.

(1)
• pour j ≥ 2, aj = 0 car on ne peut pas passer directement de j à 0.
(n)
Pour déterminer aj , on décompose en 2 cas suivant le premier déplacement : soit on commence par
passer de j à j +1 (avec la probabilité pj ), soit on commence par passer de j à j −1 (avec la probabilité qj )
(n) (n−1) (n−1)
; il restera alors n−1 déplacements à effectuer pour se rendre en 0 et aj = pj aj+1 + qj aj−1 si n ≥ 2 .
+∞
X (n)
d) • Il faut maintenant utiliser aj = aj :
n=1
16 Exercices

(1)
X (n)
X (n−1)
a1 = a1 + a1 = q1 + p1 a2 , soit a1 = q1 + p1 a2 .
n≥2 n≥2
(1)
X (n)
X (n−1)
X (n−1)
De même, si j ≥ 2, aj = aj + aj = pj aj+1 +qj aj−1 , d’où aj = pj aj+1 + qj aj−1 si j ≥ 2 .
n≥2 n≥2 n≥2

• On a alors, comme aj = (pj + qj )aj , pj (aj − aj+1 ) = qj (aj−1 − aj ) pour 1 ≤ j ≤ N − 1 (car

aj = pj aj+1 + qj aj−1 est encore vrai pour j = 1 puisque a0 = 1).
qj q1 q2 q1
• aj − aj+1 = (aj−1 − aj ) donne a1 − a2 = (a1 − a0 ), puis a2 − a3 = (a1 − a0 ) et de proche
pj p1 p2 p1
q1 · · · qj
en proche, aj − aj+1 = dj (a0 − a1 ) pour 1 ≤ j ≤ N − 1, si on pose dj = .
p1 · · · pj
N
X −1
e) (aj − aj+1 ) est une “somme télescopique” : tout se simplifie sauf le premier et le dernier
j=k
N
X −1
terme qui vaut aN = 0 et donc (aj − aj+1 ) = ak pour 1 ≤ k ≤ N − 1 .
j=k

N
X −1
Le principe reste le même si l’on part de j = 0. On a alors (aj − aj+1 ) = a0 − aN = 1 .
j=0
NP
−1
(aj − aj+1 )
j=k
Ainsi ak = NP
−1
et, comme (aj − aj+1 ) = dj (a0 − a1 ) pour j ≥ 1, on a bien, en simplifiant
(aj − aj+1 )
j=0
NP
−1
dj
j=k
numérateur et dénominateur par (a0 − a1 ), on a bien ak = NP
−1
.
1+ dj
j=1

f) Si le joueur n’arrête que lorsqu’il est ruiné, cela revient à considérer que N → +∞ et on a alors

P
+∞
dj
j=k X
+∞
ak = si dj converge.
P
+∞
1+ dj j=1
j=1

15. On considère une station de taxis comportant K places pour les taxis et une capacité
d’accueil illimitée pour les clients qui se présentent, de façon Poissonnienne, au rythme
de λ par heure. Les taxis arrivent également de façon Poissonnienne, au rythme de µ par
1
heure, mais ne s’arrêtent qu’avec la probabilité s’il y a déjà m taxis (0 ≤ m < K).
m+1
a) Vérifier qu’on est en présence d’un processus de naissance et de mort et en
donner le graphe (états (n, m)n≥0,m∈{0,···K} ).
b) A.N. : K = 3, λ = 10, µ = 15. Donner la proportion de temps pendant laquelle
il n’y a pas de taxi et le temps moyen d’attente d’un client.

a) On ne peut jamais avoir en même temps des taxis et des clients, donc les états sont
(0, K) · · · (0, 1), (0, 0), (1, 0), · · · , (n, 0), · · · ,
Processus aléatoires 17

les différentes transitions possibles correspondant à une arrivée d’un client ou d’un taxi, on a le graphe
et les équations de balance suivants :
µ
λp0,K = p0,K−1
K
..
.
µ
λp0,1 = p0,0
1
λp0,0 = µp1,0
..
.
λpn−1,0 = µpn,0
..
.
λ
et donc, en posant ρ = , p0,K−1 = Kρp0,K ,..., p0,0 = ρp0,1 = · · · = K!ρK p0,K , puis p1,0 = ρp0,0 ,
µ
1 1
p2,0 = ρ2 p0,0 ,..., pn,0 = ρn p0,0 ,... et p0,1 = p0,0 ,..., p0,K = p0,0 et on obtient p0,0 en écrivant que
ρ K!ρK " #
+∞
X XK
n 1
la somme des probabilités de chaque état vaut 1, ce qui donne p0,0 ρ + = 1, qui n’est
n=0 m=1
m!ρm
possible que si ρ < 1. On a alors :

" K
#−1
1 X 1 1
p0,0 = + , pn,0 = ρn p0,0 et p0,m = p0,0 .
1 − ρ m=1 m!ρm m! ρm
 −1
2 1 1 1 1
b) A.N. : K = 3, λ = 10, µ = 15. Alors ρ = et p0,0 = + 2 + + , soit
3 1 − 23 3 2 × 49 6 × 278
 −1  −1
3 9 9 48 + 24 + 18 + 9 16 8 2
p0,0 = 3 + + + = , i.e. p0,0 = et on a alors p0,1 = , p0,2 =
2 8 16 16 99 33 11
1 17
et p0,3 = . La probabilité qu’il y ait au moins un taxi est p0,1 + p0,2 + p0,3 = donc
11 33
16
il n’y a pas de taxi pendant la fraction de temps soit environ 48, 5% du temps .
33

1 n+1
Une personne qui arrive attend en moyenne si elle est seule et si il y a déjà n personne (l’attente
µ µ
1
de chaque taxi est en moyenne).
µ
+∞
X +∞
n+1 p0,0 X p0,0 16 9 32
On a donc Wa = pn = (n + 1)ρn = 2
, soit Wa = × = h ≈ 5, 82mn :
n=0
µ µ n=0 µ(1 − ρ) 99 15 330
le temps moyen d’attente d’un client est donc environ 5mn49s .

16. On considère N étudiants qui, chacun, lorsqu’ils sont à Toulouse, y restent un temps
exponentiel de paramètre µ avant d’en sortir et inversement, restent un temps exponen-
tiel de paramètre λ à l’extérieur avant de rentrer. Soit Xt le nombre de ces étudiants
qui sont sur Toulouse à l’instant t. Vérifier que (Xt ) est un processus de naissance et de
mort
 ; représenter
 son graphe ; établir que la distribution stationnaire est la loi binomiale
λ
B N, et trouver le nombre moyen d’étudiants sur Toulouse lorsque N = 23,
λ+µ
1 1
= 5jours et = 2jours.
µ λ
18 Exercices

Chaque étudiant passe de Toulouse à l’extérieur avec un taux µ (car Ti a pour loi E(µ) et la preuve
est la même qu’à l’exercice 1), et passe de l’extérieur à Toulouse avec un taux λ (car Te a pour loi E(λ)).

• À partir de 0, la seule transition possible (non négligeable, du moins!) est de 0 vers 1, qui correspond
à une entrée, pouvant venir de l’un des N étudiants : taux N λ.
• À partir de N , la seule transition possible est de N vers N − 1, qui correspond à un départ de l’un
des N étudiants : taux N µ.
• À partir de k ∈ {1, · · · , N − 1}, on peut passer à k − 1 si l’un des k étudiants quitte Toulouse
(taux kµ et on peut passer à k + 1 si l’un des N − k étudiants revient à Toulouse (taux (N − k)µ.

On a bien un processus de naissance et de mort dont le graphe des taux est le suivant :

Pour déterminer le régime stationnaire, on écrit les équations de “balance”, “boudin par boudin”.
On a donc : 

 N λp0 = µp1

 (N − 1)λp1 = 2µp2



 ..

.

 (N − k + 1)λpk−1 = kµpk

 .

 .

 .

λpN −1 = N µpN
ce qui donne, en exprimant toutes les probabilités en fonction de p0 :

 Nλ

 p1 = p0

 µ

  2

 (N − 1)λ N (N − 1) λ


 p2 =
 2µ
p1 =
2 µ
p0


 .

 ..
 k ,

 (N − k + 1)λ N (N − 1) · · · (N − k + 1) λ

 p k = pk−1 = p0

 kµ k! µ

 ..



 .

  N

 λ N (N − 1) · · · 1 λ

 pN = pN −1 = p0
Nµ N! µ
 k N
"N   # N  k  N
λ X X λ k X λ λ (λ + µ)N
k
soit pk = CN p0 et pk = 1 donne p0 = 1. Or = +1 =
µ µ µ µ µN
k=0 k=0 k=0
k N −k
 
k λ µ λ
et donc pk = CN N
. La distribution stationnaire est donc la loi binomiale B N, .
(λ + µ) λ+µ
λ 1
En particulier, E(X) = N =N .
λ+µ 1 + µλ
1 1 µ 2 23 5
A. N. N = 23, E(Ti ) = 5 = et E(Te ) = 2 = , donc = et E(X) = 2 = 23 × .
µ λ λ 5 1+ 5 2

Le nombre moyen d’étudiants sur Toulouse est donc ≈ 16 .