Académie Internationale Mohammed VI 05 novembre 2019

de l’Aviation Civile Corrigé d’examen C y c le d ’In g é n ie u rs d e l’A v ia tio n C iv ile

Casablanca Processus stochastiques Filière GI15

Durée 2H
——————————————————————————

Exercice 1 On considère (Xn )n 0 une chaîne de Markov sur l’espace d’états E = f1; 2; 3g
de matrice de transition P donnée par:
0 1
a b 0
P = @ 21 0 12 A
1 0 0

1. Donner les conditions nécéessaires et su¢ santes sur a et b pour que P soit une
matrice stochastique.
P est une matrice stochastique () 0 a 1 et b = 1 a.

2. Dans cette question on prend alors a = 1, tracer le graphe orienté associé à P puis
préciser les classes communiquantes de la matrice et leur récurrence ou transience.

f1g absorbante récurrente, f2g transiente et f2g transiente.

3. On suppose maintenant que 0 a < 1, montrer que la chaîne est irréductible.

Calculer sa période. (On pourra séparer les cas a = 0 et 0 < a < 1).

1 ! 2 ! 3 ! 1, une seule classe. On a aussi 1 ! 2 ! 1,donc d(1) divise 3 et 2

d’où d(1) = 1. 1 ! 2 ! 3 ! 1, une seule classe. On a 1 ! 1,donc d(1) = 1.
Dans les deux cas, la chaîne est irréductible et apériodique.

4. Montrer qu’il existe une unique probabilité invariante pour P que l’on calculera.
0 1
a b 0
( 1 ; 2 ; 3 ) @ 21 0 12 A = a 1 + 21 2 + 3 b 1
1
2 2
1 0 0

1
 Soit = ( 1; 2; 2 R3 . Alors,
3)
8 b b
< a 1+ 2 1 + 2 1 = 1
= P () 2 = b 1
:
3 = 2b 1
b b
() 2 vect 1; b; () 9 2 R tq = 1; b; .
2 2
est une mesuredeprobabilité si et seulement si 0, b 0 et
b 1
(1 + b + ) = 1 () = :
2 1 + 3b
2

1 2
5. On considère ici que a = et b = et que la loi initiale de X0 est donnée par
3 3
1 1 1
P(X0 = 1) = , P(X0 = 2) = et P(X0 = 3) = .
2 3 6
Pour n 0, donner la loi de chaîne au temps n.
1 1 1
Dans ce cas, = ; ; est l’unique mesure de probabilité invariante pour P .
2 3 6
D’où = P et pour tout n 0, = P n , donc la loi de la chîne au temps n est
encore égale à .

Exercice 2 L’urne d’Ehrenfest est un modèle simpli…e de la théorie cinétique des gaz,
visant à illustrer l’interprétation probabiliste proposée par Boltzmann du second principe
de la thermodynamique. Soient N balles (N 2) numérotées de 1 jusqu’à N et réparties
dans deux urnes A et B de volumes et de formes identiques. On tire au hasard un nombre
entier i entre 1 et N et on change la balle i d’urne. Soit Xn le nombre de balles dans
l’urne A après n tirages indépendants.

1. Justi…er que (Xn )n 0 est bien une chaîne de Markov homogène sur l’ensemble f0; 1; : : : ; N g
et que sa matrice de transition véri…e, pour (i; j) 2 f0; 1; : : : ; N g2 :
8 i
>
> N
si j = i 1;
>
>
<
N i
pij = P (Xn+1 = j j Xn = i) = N
si j = i + 1;
>
>
>
>
:
0 sinon.

Deux urnes A et B contiennent N boules, numérotées de 1 à N . A chaque instant,

on choisit une boule de façon uniforme, et on la change d’urne. Xn correspond alors
au nombre de boules contenues dans l’urne A à l’instant n : l’ensemble des états est
donc l’ensemble E = f0; 1; : : : ; N g.
Le nombre de boules dans l’urne A au temps n + 1 ne dépend que du nombre de
boules dans l’urne A au temps n et d’une procédure aléatoire indépendante. De plus

2
 cette procédure est indépendante de l’instant n. Donc (Xn )n2N est bien une chaîne
de Markov homogène. Dans ces conditions, par exemple, si à un instant l’urne A est
vide (la chaîne est dans l’état 0), à l’instant suivant l’urne contiendra 1 boule avec
probabilité 1. Si à un instant A contient i boules, 0 < i < N , à l’instant suivant elle
i N i
contiendra i 1 ou i + 1 boules, avec probabilité respectivement et .
N N
La matrice de transition est donc donnée par
0 1
0 1 0 0 0 0 0
B 1 0 N 1 0 0 0 0 C
B N N C
B 0 2 0 N 2
0 0 0 C
B N N C
B C
B C
P = B .. .. .. .. .. .. .. .. C
B . . . . . . . . C
B C
B C
B C
@ 0 0 0 0 N 1
N
0 N 1 A

0 0 0 0 0 1 0

et le graphe par :
N 1 N 2 3 2 1
1 N N N N N
! ! ! ! ! !
0 1 2 N 2 N 1 N
1 2 3 N 2 N 1 1
N N N N N

2. On considère dans cette question que X0 = 0. Calculer la loi de X1 , X2 et X3 .

Supposons X0 = 0. Alors,

nécessairement X1 = 1 donc P0 (X1 = 1) = 1;

X2 vaut nécessairement 0 ou 2 et

P0 (X2 = 0) = P (X2 = 0 j X1 = 1)P0 (X1 = 1)

1
= p1;0 = ;
N

P0 (X2 = 2) = P (X2 = 2 j X1 = 1)P0 (X1 = 1)

N 1
= p1;2 = ;
N
nécessairement X3 vaut 1 ou 3 et

P0 (X3 = 1) =
P (X3 = 1 j X2 = 0)P0 (X2 = 0) + P (X3 = 1 j X2 = 2)P0 (X2 = 2)
1 N 1 1 2 N 1
= p0;1 + p2;1 = + ;
N N N N N

P0 (X3 = 3) = P (X3 = 3 j X2 = 2)P0 (X2 = 2)

N 1 N 2 N 1
= p2;3 = :
N N N

( On véri…e bien que P0 (X3 = 1) + P0 (X3 = 3) = 1.)

3
3. La chaîne (Xn )n 0 est-elle irréductible? Récurrente? Apériodique?On a 0 ! 1 !
2 ! ! N ! N 1 ! 0, donc la chîne est irréductible. L’espace des états
est …ni donc elle est récurrente (positive).
La chaîne est de période 2, car tous les chemins allant de 0 à 0 sont de longueur
paire.

4. Justi…er que la chaîne (Xn )n 0 admet une unique distribution stationnaire.

La chaîne est irréductible récurrente positive donc admet unique distribution sta-
tionnaire.
CNi
1 1 1
5. On considère la mesure Binomiale B(N ; ( i = B(N; );
= N = N
2 2
)(i)
2 2
N!
; 0 i N ). Montrer que véri…e i pi;i+1 = i+1 pi+1;i ; 0 i N 1.
i!(N i)!
On dit que est une mesure réversible pour la chaîne (Xn )n 0 . En déduire que
est la distribution stationnaire.
On véri…e que : pour 0 i N 1,
1 N! N i
i pi;i+1 =
2N i!(N i)! N
1 (N 1)!
= N ;
2 i!(N i 1)!
et
1 N! i+1
i+1 pi+1;i = N
2 (i + 1)!(N i 1)! N
1 (N 1)!
= N ;
2 i!(N i 1)!

donc i pi;i+1 = i+1 pi+1;i .

On a alors bien i pi;j = j pj;i pour tout i; j 2 f0; 1; : : : ; N g. est donc une mesure
de probabilité réversible pour la chîne. C’est donc une probabilité invariante.
En e¤et,
1 0
p0;j
B .. C X X
N N
( 0; : : : ; N ) @ . A = i pi;j = j pj;i
pN;j i=0 i=0

X
N
= j pj;i = j:
i=0

D’où
P = .

6. On fait ici l’hypothèse que N est pair et on pose N = 2m. Pour 0 i N , on

note Ti := inf fn 1 : Xn = ig le temps de retour dans l’état i. Que valent E0 [T0 ]
et Em [Tm ]?
La chaîne est irréductible récurrente positive donc
1
i =
Ei [Ti ]

4
 et
1
E0 [T0 ] = = 2N ;
0
1 2N m!(N m)!
Em [Tm ] = =
m N!
2m 2 p
2 (m!)
= m.
(2m)! +1
p m m
(Formule de Stirling: m! 2 m e
:)
+1

7. On considère la fonction f : f0; : : : ; N g ! R dé…nie par f (i) = 2i . Que peut-on

1 nP1
dire de f (Xi )?
n i=0
La chaîne est irréductible récurrente positive, par le Théorème ergodique, on a

1 nP1 p:s: P
N PN1 N!
f (Xi ) ! i f (i) = N
2i
n i=0 i=0 2
i=0 i!(N i)!
N
1 P
N 1 3
= N CNi 2i = N (1 + 2)N = :
2 i=0 2 2

8. Que peut-on dire pour la convergence de la loi de Xn ?

La chîne n’est pas apériodique donc on ne peut rien dire pour la convergence en loi.

9. On modi…e légèrement le modèle : lorsque la balle a été extraite d’une urne suivant
la procédure décrite, on tire au sort (avec des probabilités égales) l’urne dans laquelle
on la replace. Montrer que la nouvelle matrice de transition de la chaîne véri…e,
pour (i; j) 2 f0; 1; : : : ; N g2 :
8 i
>
> 2N
si j = i 1;
>
>
>
>
> 1
>
< 2 si j = i;
pij = P (Xn+1 = j j Xn = i) =
>
>
> N2N i
> si j = i + 1;
>
>
>
>
:
0 sinon.

10. Que peut-on alors dire pour la convergence de la loi de Xn ? (S’il ya convergence,
on précisera la loi limite.)
La chaîne est maintenant apériodique. On véri…e que la loi binomiale B(N ; 12 ) est
encore réversible.
La loi de Xn converge dans ce cas-ci vers la mesure invariante qui est encore la loi
binomiale B(N ; 21 ).
L 1
Xn ! B(N ; ):
n!+1 2