MAT2717 – PROCESSUS STOCHASTIQUES

SOLUTIONS DU TP1

THOMAS DAVIGNON

Problème 1 (Exercice 1.2). En utilisant les propriétés des matrices de tran-

sition, montrer que la matrice de transition en deux pas P (2) d’une chaı̂ne de
Markov à deux états (0 et 1) satisfait
(2) (2)
P00 ≥ P10
Solution. Il suffit de réaliser que P (2) = P 2 . En l’occurence,
(2)
P00 = P01 P10 + P00 P00
(2)
P10 = P10 P00 + P11 P10 .
En examinant la différence, et en exprimant tout en fonction de P00 et P11
(puisque les lignes doivent sommer à 1), on obtient.
(2) (2) 2
P00 − P10 = P01 P10 + P00 − P10 (P00 + P11 )
2
= (1 − P00 )(1 − P11 ) + P00 − (1 − P11 )(P00 + P11 )
2 2
= 1 − P00 − P11 + P00 P11 + P00 − P00 − P11 + P00 P11 + P11
2 2
= 1 − 2P00 − 2P11 + 2P00 P11 + P00 + P11
= (P00 + P11 )2 − 2(P00 + P11 ) + 1
= (P00 + P11 − 1)2 ≥ 0


Problème 2 (Exercice 1.3). Une unité de production comprend deux machines-

outils qui fonctionnent indépendamment l’une de l’autre. Chaque machine-
outil a une fiabilité de 9/10 au cours d’une journée, ce qui signifie que sa
probabilité de tomber en panne pendant cette période est de 1/10. Il faut une
nuit pour réparer une machine outil, mais on peut n’en réparer qu’une à la
fois.
(a) Quelle est la matrice de transition pour le nombre de machines-outils en
état de fonctionnement au début d’une journée ?
Date: 18 janvier 2018.
1
2 THOMAS DAVIGNON

(b) S’il faut deux nuits pour réparer une machine outils, quel espace d’états
peut-on considérer ? Quelle en serait la matrice de transition ?
Solution. (a) Considérons ce qui se passe dans tous les cas de figure possible.
Si n est le nombre total de machines, Ni le nombre de machines qui
cassent pendant la journée i et que Xi est le nombre de machines qui
fonctionnent au début de la journée i, alors Xi+1 = Xi −Ni + 1{Xi <nouNi >0}
– autrement dit, si, une machine a cassé aujourd’hui ou il y en avait déjà
de cassées au début de la journée, on réparera une machine la nuit (d’où
le +1{Xi <nouNi >0} s. Le nombre total de machines fonctionnelles sera donc
le nombre de machines qui fonctionnaient ce matin, moins le nombre de
machines qui ont cassé aujourd’hui (binômiale avec n = Xi , p = 1/10),
plus 1 si au moins une machine est cassée à la fin de la journée.
Dans le cas particulier où on n’a que deux machines, on peut écrire la
machine de transition plus simplement : Si on commence la journée avec 0
machines fonctionnelles, alors avec probabilité 1 il y en aura une qui fonc-
tionnera le lendemain matin, puisqu’on l’aura réparée. Si on commence
la journée avec 1 machine fonctionnelle, alors avec probabilité 1/10, elle
brisera, et on ne pourra réparer qu’une machine. Il n’y aura donc qu’une
seule machine fonctionnelle le lendemain. Avec probabilité 9/10, elle ne
cassera pas, et on pourra réparer l’autre. On aura donc deux matrices
fonctionnelles le lendemain. Si on commence la journée avec 2 machines
fonctionnelles, alors avec probabilité 81/100, aucune machine ne brise. On
en a donc toujours deux le lendemain. Avec probabilité 18/100, l’une des
deux machines brise, mais comme on la réparera la nuit même, on aura
toujours deux machines disponibles le lendemain. Mais avec probabilité
1/100, les deux machines casseront. Et à ce moment, il n’y aura qu’une
machine disponible le lendemain.
On peut résumer les probabilités suivantes dans la matrice de transition
que voici  
0 1 0
P = 0 1/10 9/10 
0 1/100 99/100
(b) Si on a besoin de deux nuits pour réparer une machine, on peut considérer
les états suivants :
(1) : Aucune machine n’est fonctionnelle et il reste une nuit avant de
compléter une réparation ;
(2) : Une machine est fonctionnelle et il reste deux nuits avant de compléter
une réparation ;
(3) : Une machine est fonctionnelle et il reste une nuit avant de compléter
la réparation ;
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP1 3

(4) : Les deux machines sont fonctionnelles

Si on part de l’état b1, alors avec probabilité 1 on se retrouve le len-
demain matin à l’état b2. Si on part de l’état b2, alors avec probabilité
1/10, la machine brise, et on se retrouve à l’état b1. Avec probabilité
9/10, la machine ne brise pas, et on se retrouve à l’état b3. Si on part
de l’état b3, alors avec probabilité 1/10, la machine brise. Mais comme
l’autre machine sera réparée le lendemain matin, on se retrouve tout de
même à l’état b2. Avec probabilité 9/10, la machine ne brisera pas. On se
retrouvera alors à l’état b4 Si on part de l’état b4, alors avec probabilité
1/100, les deux machines brisent et on se retrouve à l’état b1. Avec pro-
babilité 18/100, une seule des deux machines brisent. On fera la première
nuit de réparations subséquemment. On se retrouvera donc à l’état b3.
Avec probabilité 81/100, les deux machines fonctionneront toujours après
la journée. On restera donc à l’état b4.
Avec ces états et ces probabilités de transition, la matrice de transition
est celle-ci :
 
0 1 0 0
 1/10 0 9/10 0 
P =  0

1/10 0 9/10 
1/100 0 18/100 81/100
Remarque 1. Si s est le numéro de l’état, alors s/2 donne le nombre
de machines réparées. La figure 1 montre les 20 premiers pas d’une
réalisation du processus (en bleu) et, pour s’aider à visualiser, le décompte
du nombre de machines disponibles au début de chaque journée.
L’idée de compter combien de machines sont réparées comme des
parties fractionnaires permet une généralisation au problème à n machines
où il faudrait k nuits pour réparer une machine. On aurait alors kn états
possibles ({1, . . . , kn}) et si s était un état, alors s/k donnerait le nombre
de machines réparées, sachant que 1/k machine est réparé chaque nuit
et qu’on descendrait de kNi états pour Ni machines brisées dans la ième
journée, avec Ni une binômiale bXi /kc , (1 − p) où p est la fiabilité d’une
machine.
On peut alors décrire la formule générale pour un tel processus :
Xi+1 = (Xi − kNi ) ∨ 0 + 1{Xi −kNi <nk}
La figure 2 montre les 100 premiers pas d’une telle chaı̂ne de Markov
avec 20 machines, où ça prend 10 nuits pour réparer une machine et où
les machines sont fiables à 95 %. En bleu, le processus complet. En jaune,
le nombre de machines disponibles. Noter : la chaı̂ne de Markov est le trait
bleu au complet ! Le processus représenté par le trait jaune, et qui compte
simplement le nombre de machines N’EST PAS une chaı̂ne de Markov !
4 THOMAS DAVIGNON

2.0

1.5

1.0

0.5

5 10 15 20

Figure 1. (en bleu) le processus comptant combien de ma-

chines sont réparées (incluant celles qui le sont partiellement)
et (en jaune) le nombre de machines disponibles au début de
chaque journée.

Problème 3 (Exercice 1.4). On considère un pentagone dont les sommets

sont numérotés de 1 à 5 dans le sens horaire. Initialement, on place des coc-
cinelles sur les sommets 1 et 3. À chaque instant suivant, les coccinelles se
déplacent indépendamment, de l’autre, vers l’un des deux sommets adjacents
avec probabilité 1/2 pour chacun d’entre eux. Combien de temps en moyenne
faudra-t-il pour que les deux coccinelles se retrouvent au même sommet ?

Solution. On considère le processus stochastique Di qui tient compte de la

distance (de graphe) entre les deux coccinelles. Le diamètre du pentagone est
2, donc il y a trois états possibles pour le processus Di .
La matrice de transition est
 
1/2 0 1/2
P =  0 3/4 1/4
1/4 1/4 1/2

Si Tk est le temps requis pour atteindre 0 à partir de D0 = k, alors,

E [Tk ] = E [E [Tk | D1 ]]
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP1 5

20

15

10

20 40 60 80 100

Figure 2. En bleu le processus à n = 20 machines réparables

en k = 10 nuits. En jaune, le nombre de machines disponibles
au début de chaque journées

. sauf pour T0 = 0. On a alors

2
X
E [T1 ] = 1 + p1i E [Ti ]
i=0
= 1 + (3/4)E [T1 ] + (1/4)E [T2 ]

On prends un petit moment pour obtenir E [T2 ] comme fonction de E [T1 ] et

E [T0 ] = 0 :
2
X
E [T2 ] = 1 + p2i E [Ti ]
i=0
= 1 + (1/2)E [T2 ] + (1/4)E [T1 ] + (1/4)E [T0 ]
= 1 + (1/2)E [T2 ] + (1/4)E [T1 ]
En isolant E [T2 ], on obtient
E [T2 ] = 2 + (1/2)E [T1 ]
Ceci mène à
E [T1 ] = 1 + (3/4)E [T1 ] + 1/2 + (1/8)E [T1 ]
6 THOMAS DAVIGNON

Et en isolant E [T1 ], on obtient finalement

E [T1 ] = 12 E [T2 ] = 8

Problème 4 (Exercice 1.5). Deux joueurs de Tennis, A. et B., sont rendus à

égalité dans un jeu. Il faut deux points d’avance pour être déclaré vainqueur.
Un joueur qui a un point d’avance est dit en avantage. En supposant que A.
a une probabilité p de gagner chaque point, et B. une probabilité 1 − p =: q,
indépendamment de tous les autres points, déterminer
(a) la probabilité pour A. d’être déclaré vainqueur
(b) l’espérance du nombre de fois que A. sera en avantage avant la fin du jeu
Solution. (a) On définit appelle A l’événement que A. gagne. On définit le
processus X = (Xi )i≥0 comme la différence des points entre A. et B. En
conditionnant sur le premier coup, on a
2
X
P {A} = P {A | X1 = i} P {X1 = i}
i=−2

Clairement, P {A | X1 = 1} = p + qP {A}, et P {A | X1 = −1} = pP {A},

puisque la probabilité de gagner en commençant en désavantage de 1
point est la porbabilité de gagner le point, puisde gagner en partant
de l’égalité. De plus, P {X1 = −1} = q et P {X1 = 1} = p. Finalement,
P {X1 = ±2} = P {X1 = 0} = 0. On a donc
P {A} = p2 + 2pqP {A}
d’où on tire, en isolant, que
p2
P {A} =
1 − 2pq
(b) On définit N le nombre de fois que A. sera en avantage avant la fin du
jeu. On a
E [N ] = E [E [N | X1 ]]
2
X
= E [N | X1 = i] P {X1 = i}
i=−2
= p(E [E [N | X2 ] | X1 = 1]) + q(E [E [N | X2 ] | X1 = −1])
= p(1 + qE [N ]) + q(pE [N ])
p
et en isolant, on trouve finalement E [N ] = 1−2pq
 MAT2717 – PROCESSUS STOCHASTIQUES SOLUTIONS DU TP1 7

Problème 5 (Exercice 1.6). On lance une pièce de monaie non-pipée plu-

sieurs fois indépendamment jusqu’à ce qu’on obtienne trois faces consécutives
(F F F ). Les résultats des trois premiers jets sont F P F . En incluant ces trois
premiers jets, déterminer la probabilité d’obtenir trois pile consécutifs (P P P )
avant la fin du jeu.
Solution. On va encore une fois conditionner sur le lancer suivant. Soit Pijk =
P {P P P avant F F F | Les premiers jets donnent ijk}
On peut conditionner par le 4ième lancer. On obtient alors les équations
suivantes :
PF F F = 0 PP P P = 1
1 1
PF F P = (PF P F + PF P P ) PP P F = (PP F P + PP F F )
2 2
1 1
PF P F = (PP F F + PP F P ) PP F P = (PF P P + PF P F )
2 2
1 1
PF P P = (PP P F + PP P P ) PP F F = (PF F P + PF F F )
2 2
il s’agit alors de résoudre le système d’équations. C’est assez horrible, mais
on finit par obtenir PF P F = 3/7.

Problème 6 (Exercice 1.7). Une espèce de fleurs peut se trouver dans trois
états :
(1) : viable ;
(2) : en voie de disparition ;
(3) : éteinte ;
Les transitions pour de l’année i − 1 à l’année i sont données par les matrices
suivantes
   
0, 85 0, 15 0 0, 9 0, 1 0
Q1 =  0 0, 7 0, 3 Q2 = 0, 1 0, 7 0, 2
0 0 1 0 0 1
   
0, 95 0, 05 0 0, 95 0, 05 0
Q3 =  0, 2 0, 7 0, 1 Qi =  0, 5 0, 5 0
0 0 1 0 0 1
avec i ≥ 4. Calculer la probabilité que l’espèce de fleurs s’éteigne ultimement
étant donné qu’elle est initialement en voie de disparition.
Solution. On fait d’abord le constat qu’après la 3e année, l’espèce de fleurs
ne peut plus s’éteindre. On écrit Ai l’événement : l’espèce s’est éteinte la ième
8 THOMAS DAVIGNON
P3
année, i = 1, 2, 3. Alors, on cherche i=1 P {Ai }.
P {A1 } = 0, 3
P {A2 } = 0, 7 × 0, 2
P {A3 } = 0, 72 × 0, 1
Et
3
X
P {Ai } = 0, 3 + 0, 7 × 0, 2 + 0, 72 × 0, 1 = 0, 489
i=1

Problème 7. Soient Y1 , Y2 , . . P
. des variables aléatoires Bernoulli(p) à valeurs
dans {−1, 1}. On pose Xn = ni=1 Yi avec la convention X0 = 0. Trouver s
tel que
E sXn+1 | Xn = sXn
 

Solution. Il suffit de constater que sXn+1 = sYn+1 sXn . À partir d’ici, on a que
Yn+1 est indépendant de Xn , donc
E sYn+1 sXn | Xn = sXn E sY1
   
 
Ce qu’on veut, donc, c’est E sY1 = 1. Pour ça, on va tout simplement poser
q = 1 − p et résoudre
E sY1 = ps + q/s = 1
 

Bien sûr, s = 1 est une solution triviale – cependant, on se rend compte que
ce n’est pas une solution intéressante – tout ce que ça nous dit, c’est que le
processus stochastique identiquement égal à 1 est... identiquement égal à 1 !
Par contre, on remarque que s = q/p =: β −1 est aussi une solution !
Remarque 2. En considérant le processus β −Xn plutôt que Xn directement,
on se donne un avantage non-négligeable : l’espérance de β −Xn est constante !
n
En effet, E β −Xn = E β −Y1 = 1 pour tout n.
  
Un processus ayant la propriété démontrée est (sous réserve de montrer
aussi d’autres détails techniques) une martingale. Les martingales sont des
processus stochastiques extrêmement importants.