Université Pierre et Marie Curie L3

Période 2 LM346 : Processus et Simulations

TD, Contrôle continu 3 : éléments de correction

Exercice 1. Considérons la matrice stochastique suivante :

 
0 0 0 0 0 1
 0 0 0 1/3 0 2/3 
 
 0 0 0 0 0 1 
Q=  0
.
 0 1/4 0 0 3/4 

 0 0 0 0 0 1 
1/50 1/50 1/50 1/50 1/50 9/10

et on désigne par (Xn )n∈N la chaîne de Markov de matrice de transition Q.

1. Précisez l’espace des états E. Identifiez les classes d’états de la chaîne (Xn ), et justifiez pour chacune s’il
s’agit d’une classe fermée ou non-fermée. Lesquelles sont récurrentes ? La chaîne est-elle irréductible ?
2. Prouvez qu’il existe une probabilité stationnaire que l’on notera π. Est-elle unique ?
3. Calculez π. En déduire, à l’aide d’un résultat du cours dont on justifiera l’utilisation, le temps moyen de
retour à l’état i pour tout i ∈ E.
4. Supposons que la loi initiale de (Xn ) soit également π. En justifiant soigneusement votre réponse, calculez
P(X5112 = 4).
Corrigé 1. 1. L’espace des états est E = {1, 2, 3, 4, 5, 6} ; c’est l’unique classe (évidemment fermée et ré-
currente car |E| < ∞) car tous les états communiquent entre eux (on peut remarquer que tous les états
communiquent avec 6, qui communique en retour avec tous les états). La chaîne est donc irréductible.
2. Comme |E| < ∞, la chaîne admet au moins une probabilité invariante (cf. cours). Elle est unique car la
chaîne est irréductible.
3. Il faut ici écrirePle système d’équations π = πQ et le résoudre sans se tromper ! On doit trouver, en se
souvenant que i∈E π(i) = 1 :

π = (3/167, 3/167, 4/167, 4/167, 3/167, 150/167)

Par un théorème du cours, le temps moyen de retour en i ∈ E, noté Ei Ti est alors donné par la formule
Ei Ti = (π(i))−1 .
4. Par un théorème du cours, si la loi initiale et la loi stationnaire d’une chaîne de Markov coïncident, alors
pour tout n ∈ N et tout i ∈ E on a P(Xn = i) = π(i).
Exercice 2. Considérons la matrice suivante :
 
p q 0 0 0 0 0 0 0 0
 0 p q 0 0 0 0 0 0 0 
 
 0 0 p q 0 0 0 0 0 0 
 
 0 0 0
 p q 0 0 0 0 0 

 0 0 0 q/2 p q/2 0 0 0 0 
Q= .
 0 0 0
 0 q p 0 0 0 0 

 0 0 0
 0 0 q p 0 0 0 

 0 0 0
 0 0 0 q p 0 0 

 0 0 0 0 0 0 0 q p 0 
0 0 0 0 0 0 0 0 q p

où p 6= 1.
1. Quelles conditions doivent vérifier p et q pour que Q soit stochastique ? On désignera dans la suite par
(Xn )n∈N la chaîne de Markov de matrice de transition Q.
2. Précisez l’espace des états E. Identifiez les classes d’états de la chaîne (Xn ), et justifiez pour chacune
s’il s’agit d’une classe fermée ou non-fermée. Lesquelles sont récurrentes ? Lesquelles sont transientes ? La
chaîne est-elle irréductible ?
3. Prouvez qu’il existe une probabilité stationnaire que l’on notera π, et la calculer.

1
 4. Supposons que la loi initiale de (Xn ) soit également π. En le justifiant soigneusement, calculez P(X2115 =
4).
Corrigé 2. 1. p + q = 1, 0 ≤ p < 1 et 0 < q ≤ 1.
2. L’espace des états est E = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}. 1,2,3,7,8,9,10 sont des états transients, et {4, 5, 6} est
l’unique classe fermée (récurrente car |E| < ∞). La chaîne n’est pas irréductible.
3. Comme |E| < ∞, la chaîne admet au moins une probabilité stationnaire. Elle n’est pas unique par le
théorème 6.6.2 du polycopié.
4. Pour tout état i transient, π(i) = 0. En écrivant le système d’équations π = πQ il vient
 
q 1−p q
π = 0, 0, 0, , , , 0, 0, 0, 0 .
2(1 − p + q) 1 − p + q 2(1 − p + q)

5. Par un théorème du cours, si la loi initiale et la loi stationnaire d’une chaîne de Markov coïncident, alors
pour tout n ∈ N et tout i ∈ E on a P(Xn = i) = π(i).

Exercice 3. 1. Précisez, pour chacune des matrices suivantes, si elle est stochastique. Toute réponse non
soigneusement justifiée sera considérée comme nulle.
     
0 0 0 1 1/4 1/4 0 1/4 1/4 p p p p
 0 1/2 1/2 0   1 0 0 0 0   0 1 0 0 
Q1 =  0 1/2 1/2 0  , Q2 =  0
  , Q3 = 
 p

1 0 0 0  2p p p 
1 0 0 0 0 0 1/2 1/2 0 1/4 1/4 1/4 1/4

où p ∈ [0, 1].
2. Considérons la matrice stochastique suivante :
 
p q 0
Q= p 0 q 
0 q p

où p, q ∈]0, 1[ sont tels que p + q = 1, et on désigne par (Xn )n∈N la chaîne de Markov de matrice de
transition Q. Identifiez :
– l’espace des états E.
– les classes d’états de la chaîne (Xn ) et leur nature (fermée ou non fermée).
3. La chaîne est-elle irréductible ? Prouver qu’il existe une probabilité stationnaire que l’on notera π. Est-elle
unique ?
4. Calculer π. En déduire, à l’aide d’un résultat du cours dont on justifiera l’utilisation, le temps moyen de
retour à l’état i pour tout i ∈ E.
Corrigé 3. 1. Une matrice est dite stochastique si c’est une matrice carrée dont les éléments sont compris
dans [0, 1] et dont la somme sur les lignes vaut 1. Q1 est stochastique, Q2 (non carrée) et Q3 (il n’existe
pas de p tel qu’elle soit stochastique) ne le sont pas.
2. L’espace des états est E = {1, 2, 3} et c’est la seule classe fermée (récurrente car |E| < ∞).
3. La chaîne est donc irréductible et il existe une unique probabilité invariante π.
4. On écrit le système π = πQ et il vient
 
p 1−p q
π= , ,
1+q 1+q 1+q
1
Par un théorème du cours, pour tout i ∈ E, le temps moyen de retour en i est donné par Ei Ti = π(i) .

Exercice 4 (Tricher au jeu sans gagner est d’un sot, Voltaire, Éloge de l’hypocrisie). Une anti-sèche circule
le long d’une rangée de 5 élèves, numérotés dans l’ordre de 1 à 5. Le professeur, que nous numérotons 6, les
surveille du coin de l’œil.
Chaque minute, l’élève en possession de l’anti-sèche tente de la faire passer à l’un de ses voisins. Avec une
probabilité p = 1/2, le professeur le voit en s’empare définitivement de l’anti-sèche. S’il ne le voit pas, l’élève l’a
fait passer à l’un de ses deux voisins choisis au hasard s’il est en milieu en rangée et à son seul voisin s’il est en
bout de ranger.
1. Décrire le processus par une chaîne de Markov à 6 états et donner sa matrice de transition.

2
 2. Identifier les classes. Quelles sont les classes fermées ? Quelles sont les classes récurrentes ? La chaîne
est-elle irréductible ?
3. Décrire la ou les mesures invariantes.
4. Déterminer le temps moyen T avant que le professeur ne prenne possession de l’anti-sèche.
5. Quelle est la loi complète de T sachant qu’initialement le professeur n’a pas l’anti-sèche ?
Corrigé 4. 1. Soit (Xn )n∈N la suite aléatoire telle que, pour tout k ∈ N, on a Xk = i ssi, à la k-ème minute,
l’élève n◦ i avec i ∈ {1, 2, 3, 4, 5} est en possession de l’anti-sèche et Xk = 6 ssi c’est le professeur la possède. La
suite (Xn )n∈N est bien une chaîne de Markov homogène car la loi de Xn+1 sachant tous les Xk avec k ≤ n ne
dépend que de la valeur de Xn puisque la position de l’anti-sèche ne dépend que de l’individu qui la posséde à
l’instant précédent. La matrice de transition est donnée par :
 
0 1/2 0 0 0 1/2
1/4 0 1/4 0 0 1/2
 
 0 1/4 0 1/4 0 1/2
Q=  0
 (1)
 0 1/4 0 1/4 1/2 
 0 0 0 1/2 0 1/2
0 0 0 0 0 1

2. Il y a deux classes : {1, 2, 3, 4, 5} et {6} car l’anti-sèche peut atteindre n’importe quel élève en partant de
n’importe quel élève mais le professeur ne peut pas la rendre. Seule la classe {6} est fermée. Elle est même
absorbante
L’espace d’états est fini donc les classes récurrentes sont exactement les classes fermées : la classe {6} est
récurrente, la classe {1, 2, 3, 4, 5} transiente.
La chaîne n’est pas irréductible car elle possède plus d’une classe.
3. Il y a une unique classe récurrente fermée donc il n’y a qu’une mesure invariante. L’état 6 étant absorbant,
on vérifie que
µ = (0, 0, 0, 0, 0, 1) (2)
satisfait trivialement µQ = µ. Elle est donc l’unique mesure invariante.
4. Soit la variable aléatoire
T = inf {n > 0; Xn = 6} . (3)
C’est un temps d’arrêt pour la filtration engendrée par la suite de variables Xn . C’est le temps de retour à
l’unique classe récurrente 6. Soit les nombres

ki = E(T |X0 = i) (4)

On a le système d’équation 
1


 k1 =1+ 2 k2
1
k 2 =1+ 4 (k1 + k3 )



1
k3 =1+ 4 (k2 + k4 ) (5)
1

k 4 =1+ + k5 )
4 (k3



1

k
5 =1+ 2 k4

La résolution de ce système donne directement

k1 = k2 = k3 = k4 = k5 = 2 (6)

En moyenne, au bout de deux minutes, le professeur est en possession de l’anti-sèche.

6. L’événement {T = n} se réécrit
 
\
{T = n} =  {Xk 6= 6} ∩ {Xn = 6} (7)
k=0,...,n−1

On a alors : !
n−1
(M arkov) Y
P (T = n) = P(Xn = 6|Xn 6= 6) P(Xk 6= 6|Xk−1 6= 6) P(X0 6= 6)
k=1

Dans le cas présent, on remarque pour tout k ≥ 1 :

P(Xk 6= 6|Xk−1 6= 6) = 1 − P(Xk = 6|Xk−1 6= 6) = 1/2 (8)

3
car les étudiants ont la même probabilité de se faire surprendre. On a ainsi :
 n
1
P (T = n) = , n > 0, P (T = 0) = 0 (9)
2
T suit donc une loi géométrique de paramètre 1/2.
Exercice 5 (Guichet 102, HFT). Nous considérons une file d’attente à un guichet. Le nombre de personnes qui
attende dans la file est caractérisé par une suite aléatoire (Xn )n∈N où n désigne le nombre de minutes écoulées
depuis l’ouverture du guichet. Nous supposons qu’il évolue de la manière suivante :
– si la file n’est pas vide, un nouveau client passe au guichet avec une probabilité p.
– si la file contient 5 personnes, les gens se découragent et personne ne vient s’ajouter à la queue
– si la file contient strictement moins de 5 personnes, une nouvelle personne vient s’ajouter à la queue avec
probabilité q.
On supposera que 0 < p, q < 1.
1. Montrer que la suite (Xn )n∈N est une chaîne de Markov homogène à 6 états. Montrer que

P(Xn+1 = k + 1|Xn = k) = q(1 − p), 0≤k≤4 (10)

P(Xn+1 = k − 1|Xn = k) = p(1 − q), 1≤k≤5 (11)

Calculer les autres probabilités de transition non-nulles et écrire la matrice de transition Q complète.
2. Décrire les classes d’états. La chaîne est-elle irréductible ?
3. Décrire la ou les mesures invariantes pour p = q = 1/2.
4. Quel est le temps de retour moyen d’une file vide à une file vide ?
Corrigé 5. 1. Pour que la taille de la file augmente de 1, il faut que le guichet ne traite personne et qu’une
personne supplémentaire arrive : cela ne peut se produire que si la taille est entre 0 et 4. Les arrivées et les
départs étant indépendants, les probabilités se factorisent et on a :

P(Xn+1 = k + 1|Xn = k) = P(1 départ à la minute n)P(0 traitement à la minute n)

= q(1 − p), 0≤k≤4

De la même manière, la taille décroît de 1 ssi personne n’arrive et le guichet prend un client (si la file est
non-vide). On a de la même manière :

P(Xn+1 = k − 1|Xn = k) = p(1 − q), 1≤k≤5 (12)

La taille ne peut pas varier de plus de 1 unité à chaque pas de temps. Donc il faut calculer les probabilités :

P(Xn+1 = 1|Xn = 0) = P(1 arrivée) = q

P(Xn+1 = 4|Xn = 5) = P(1 traitement) = p
P(Xn+1 = 5|Xn = 5) = 1 − p (probabilités totales)
P(Xn+1 = 0|Xn = 0) = 1 − q (idem)
P(Xn+1 = 5|Xn = 5) = 1 − p − q + 2pq (idem)

On a ainsi (dans la base indexée par 012345) la matrice de transition :

 
1−q q 0 0 0 0
p(1 − q) 1 − p − q + 2pq q(1 − p) 0 0 0 
 
 0 p(1 − q) 1 − p − q + 2pq q(1 − p) 0 0 
P =  (13)
 0
 0 p(1 − q) 1 − p − q + 2pq q(1 − p) 0  
 0 0 0 p(1 − q) 1 − p − q + 2pq q(1 − p)
0 0 0 0 p 1−p
2. Il y a une unique classe d’états car incréments successifs de ±1, on peut passer de n’importe quel état à
n’importe quel autre. La chaîne de Markov est donc irréductible et il y a une unique classe récurrente.
3. Pour p = q = 1/2, la matrice de transition devient :
 
1/2 1/2 0 0 0 0
1/4 1/2 1/4 0 0 0 
 
 0 1/4 1/2 1/4 0 0 
P =  0
 (14)
 0 1/4 1/2 1/4 0 
 0 0 0 1/4 1/2 1/4
0 0 0 0 1/2 1/2

4
 P5
Il faut à présent résoudre µP = µ avec i=0 µi = 1. On obtient ainsi que
1 2 2 2 2 1


µ= 10 10 10 10 10 10 (15)

est l’unique mesure invariante.

4. Soit T 0 = inf{n > 0; Xn = 0} le temps de retour à une file vide. Pour une chaîne de Markov à nombre fini
d’états et irréductible, on a le théorème suivant :
1
E(T i |X0 = i) =
µi
Pour i = 0, on obtient ainsi le temps moyen de retour à une file vide en partant d’une file vide :

E(T 0 |X0 = 0) = 10 (16)

Exercice 6 (L’ascenseur de 22h43 (1ère partie), HFT). Un immeuble de 6 étages (un rez-de-chaussée et 5
étages stricts) est équipé d’un ascenseur au fonctionnement étrange : il n’est jamais appelé pour aller d’un étage
à un autre mais seulement du rez-de-chaussée aux étages et réciproquement. Les statistiques d’utilisation de
l’ascenseur montre, qu’à chaque pas de temps que :
– quand il est au rez-de-chaussée, il ne bouge pas avec probabilité 1/6 et est appelé à tout autre étage avec
probabilité 1/6.
– quand il est à l’étage i, il ne bouge pas avec une probabilité 1/3 et redescend au rez-de-chaussée avec une
probabilité 2/3.
1. Montrer que le suite (Xn )n∈N qui donne l’étage où se situe l’ascenseur est une chaîne de Markov dont
l’espace d’état est {0, 1, 2, 3, 4, 5}. Donner sa matrice de transition.
2. Décrire les classes d’état. La chaîne est-elle irréductible ? Décrire la ou les mesures invariantes.
3. Si l’ascenseur est au rez-de-chaussée, donner le temps moyen de retour au rez-de-chaussée :

T = inf{n > 0; Xn = 0} (17)

4. On définit la v.a.
n
1X
Rn = 10 ◦ Xk (18)
n
k=0

Que compte Rn ? Quelle est la limite de Rn lorsque n → ∞ ?

5. On définit la v.a.
n
1X
Yn = Xk (19)
n
k=0

qui mesure la hauteur moyenne de l’ascenseur après n minutes. Quelle est la limite de Yn lorsque n est
grand ?
Corrigé 6. 1. La position de l’ascenseur au temps n + 1 ne dépend que de la position au temps n et d’un
éventuel appel au temps n + 1, et est donc indépendante des autres positions précédentes. La suite (Xn )n∈N
à valeurs dans les numéros des étages est donc une chaîne de Markov homogène. Sa matrice de transition est
donnée par :  
1/6 1/6 1/6 1/6 1/6 1/6
2/3 1/3 0 0 0 0 
 
2/3 0 1/3 0 0 0 
P =   (20)
2/3 0 0 1/3 0 0 

2/3 0 0 0 1/3 0 
2/3 0 0 0 0 1/3
2. Il y a une unique classe d’état car il est possible d’aller de tout étage à tout autre étage en passant par le
rez-de-chaussée. La chaîne est donc irréductible et l’unique mesure invariante µ satisfait l’équation µP = µ et
est donc donnée par :

µ = 4/9 1/9 1/9 1/9 1/9 1/9 (21)
3. La chaîne est irréductible et le nombre d’états est fini. Le théorème du cours donne alors :
1 9
E(T |X0 = 0) = = (22)
µ0 4
L’ascenseur est à nouveau au rez-de-chaussée en moyenne au bout de 2, 25 pas de temps.

5
4. La variable Rn compte la fraction du temps total passé au rez-de-chaussée après n pas (i.e. le nombre de
pas de temps où l’ascenseur est au rez-de-chaussée normalisé par n). Le théorème ergodique pour cette chaîne
irréductible donne donc :
p.s.
Rn −−→ µ0 = 4/9 (23)
P
5. Yn est de la forme (1/n) k f (Xk ) avec f : x → x. Le théorème ergodique donne également la convergence
presque sûre suivante :
p.s.
Yn −−→ hµ, f i (24)
où hµ, f i désigne l’intégrale de f contre µ. On a ici :

p.s. 4 1 5
Yn −−→ × 0 + × (1 + 2 + 3 + 4 + 5) = (25)
9 9 3
En moyenne l’ascenseur est à l’étage 1, 6667 !