MIDO M1 MMD

Processus discrets

Universit Paris-Dauphine 09/10

v.3 20091223]
Cha nes de Markov (IV).

Corrige TD5.
Exercice 1.

On rpartit 2N boules, N noires et N blanches, dans 2 urnes raison de N boules par urne. Puis chaque instant on choisit une boule au hasard dans chacune des urnes et on les change. On dsigne par Xn le nombre de boules noires dans lurne 1 aprs n changes. 1. Prciser lespace dtats M de la chane de Markov (Xn)n N et calculer sa matrice de transition P . 2. Montrer que cette chane est irrductible. Est-elle fortement irrductible (cest--dire: existe-t-il un entier n0 tel que P n0(i, j ) > 0 pour tout i, j M ) ? 3. On rappelle que
N 2 , k N k

(k ) = c k M (o c est une constante que lon prcisera) est une probabilit stationnaire rversible. Y-a-t-il dautres probabilits stationnaires pour cette chane ? 4. Que peut-on dire sur le comportement de 1 n pour tout i M , quand n ?
n

N! , k!(N k)!

k N , k, N N. Montrer que la probabilit dnie par

1X k = i ,
k =1

5. Quel est le temps moyen de retour ltat N ? Confronter avec le temps moyen de retour ltat N /2 ((N + 1)/2 si N impair) Lespace dtats est {0, , N }. A chaque pas: (a) soit on change deux boules noires, (b) soit on change une boule noire avec une blanche, (c) soit on change une boule blanche avec une noire, (d) soit on change deux boules blanches. Si on est dans ltat x {0, , N } on peut donc passer ltat x + 1 (cas (c)) ou ltat x 1 (cas (b)) ou on peut rester dans ltat x (cas (a) et (d)). La matrice de transition P a
Solution.

P (x, x + 1) = P(cas (c)) =

N x N

P (x, x 1) = P(cas (b)) = x N x N N P (x, y ) = 1.

x N

P (x, x) = P(cas (a) ou cas (d)) = 2 pour tout x {0, , N } et on peut bien vrier que
0 y

La chane est irrductible car de tout x il y a probabilit positive de passer a x 1 et donc P n(x, y ) > 0 si n |x y |. En eet si x < y alors P (x, x + 1)P (x + 1, x + 2) P ( y 1, y ) > 0. De plus on voit que si n N alors P N (x, y ) > 0 car pour tout tat x, y {0, , N } il faut faire au plus N pas de taille 1 pour passer de x y. Donc P est fortement irrductible. On montre que la mesure (x) =
N N 2 x

est invariante:

P (x) =
y =0

( y )P ( y, x) = (x 1)P (x 1, x) + (x + 1)P (x + 1, x) + (x)P (x, x)

2

N! (x 1)!(N x + 1)! + N! (x)!(N x)!

(N x + 1)2 + N2 N! (x)!(N x)!

2 2

N! (x + 1)!(N x 1)! 2 x N x N N

(x + 1)2 N2

x N x x2 (N x)2 + +2 N N N2 N2 1

= (x) .

Pour calculer la constante de normalisation c on remarque (au moins intuitivement) que la probabilit invariante doit correspondre un tirage alatoire de N boules parmi 2N (N noires et N blanches). Dans ce cas la probabilit de choisir exactement x boules noires (et donc N x blanches) est donne par

P(x noires et (N x) blanches) =

et donc
N

N x

N N x 2N N

N 2 x 2N N

x =0

N x

2N N

ce qui donne que (x) = c

N 2 x

avec c = 1/

2N N

. La rversibilit de est facile contrler: N! (x)!(N x)!

2 2

(x)P (x, x + 1) = c

(N x)2 N2

=c

N! (x + 1)!(N x 1)!

(x + 1)2 = (x + 1)P (x + 1, x) N2

pour tout 0

x < N . La chane tat irrductible il ny a pas des autres probabilits invariantes.

Px presque srement

La chane est nie, donc rcurrente positive, par le thorme ergodique on a que pour tout x, 1 n n lim
n

1Xk = i = (i).
k =1

Par un rsultat du cours le temps moyen de retour x est donne par N )! Ex[Tx] = 1/(x) = x!2((2 N x)!2 en eet la chane est irrductible et rcurrent positive.
Exercice 2.

(Ch

teau de cartes). On considre la suite de v.a. dnie par

Xt +1 = Xt + 1 avec probabilit p ]0, 1[ 0 avec probabilit 1 p ;

indpendamment de ce qui prcde. 1. Vrier que (Xn)n 1 est une chane de Markov, et donner sa matrice de transition. 2. Calculer la probabilit invariante par la chane (on pourra en chercher la fonction gnratrice). 3. Calculer la correspondant matrice P de la chane retourne dans le temps. 4. Montrer que, y , limt P y(Xt = x) = (x), o est la probabilit invariante. 5. Soit k = inf {n 1: Xn = k } pour k = 0, 1, 2, 2 . Calculer Ek(k).

6. Calculer, en partant de 0 (X0 = 0) lesprance du temps pass au-dessus de k avant de tomber sur 0 la premire fois
0 1

E0
n =0

1[Xn k]

Solution.

Soit (Zn)n 1 une suite idd de loi de Bernoulli( p), alors Xn +1 = Zn +1(Xn + 1) et la suite Xn est une rcurrence alatoire et donc une chane de Markov. La matrice de transition P est P (x, x + 1) = p La chane est irrductible et rcurrente car P (x, 0) = 1 p x 0.

P0(T0 < + ) = P(n

1: Zn = 0) = 1 P(n

1, Zn = 1) = 1.

Lunique probabilit invariante (selle existe) doit satisfaire (x) = (x 1) p pour tout x > 0 et (0) = (1 p) x 0 (x) = 1 p et donc (x) = (1 p) px pour tout x 0. On remarque que

Px(Xn = y) =
k 1

Px(Xn = y, T0 = k) =
1 k n

Px(Xn = y, T0 = k) +
k n

Px(Xn = y, T0 = k)

or

Px(Xn = y, T0 = k)
k n k n

Px(T0 = k) =
k n

P(Z1 =

= Zk 1 = 1, Zk = 0)

=
k n

pk 1(1 p) 0

si n . Et pour tout x, z

0 on a que

Px(Xn = y, T0 = k) =
1 k n 1 k n

P0(Xn k = y)Px(T0 = k) Pz(Xn = y, T0 = k)

1 k n

=
1 k n

P0(Xn k = y)Pz(T0 = k) =
2
k n

Donc |Px(Xn = y) Pz(Xn = y )| mais alors on a aussi |Px(Xn = y )

z

pk 1(1 p) = 2 pn 1 0

(z ) Pz(Xn = y )|

2 pn 1

et par linvariance de on peut crire que (z ) Pz(Xn = y) = ( y )

z

ce qui montre que Px(Xn = y ) ( y ) avec vitesse exponentielle. Plus simplement, cette convergence est aussi la consquence de laperiodicit et de lirrductibilit de la chane selon un rsultat du cours. 3

Pour calculer

Ek[k] on remarque que par un rsultat du cours on a que Ek[k] = 1/(k) = pk/(1 p).

Exercice 3. (M thode Monte-Carlo) Soit M un espace ni et = { (x), x M } une probabilit sur M telle que (x) > 0 pour tout x M . On se donne une matrice de transition P sur M , irrductible et telle que P (x, y) > 0 P ( y, x) > 0. Soit h: ]0, ] ]0, 1] une fonction vriant

h(u) = u h
u

1 . u y posons

Par exemple h(u) = inf (u, 1) ou bien h(u) = 1 + u . Pour x R(x, y ) = h ( y )P ( y, x) (x)P (x, y )

si P ( y, x) > 0 sinon.

(1)

On construit alors une probabilit de transition Q dnie par Q(x, y) = P (x, y )R(x, y ) Q(x, x) = 1 Q(x, y )
y x

si x

y (2)

1. Montrer que Q est une matrice de transition bien dnie et que est rversible pour Q. 2. Montrer que Q est une matrice de transition irrductible. 3. Montrer que si h(u) < 1 alors Q est apriodique. En dduire que dans ce cas Qn(x, y ) ( y ) quand n , x M .
Solution.

La matrice Q est une matrice de transition car Q(x, y ) Q(x, y ) =

y M y x

0 et par dnition

Q(x, y ) + Q(x, x) = 1

pour tout x, y M . On a que par les proprits de h: (x) Q(x, y ) = (x)P (x, y )h (x)P (x, y ) ( y )P ( y, x) h ( y )P ( y, x) (x)P (x, y) ( y )P ( y, x) (x)P (x, y ) = ( y )P ( y, x)h (x)P (x, y ) ( y )P ( y, x)

= ( y )P ( y, x)

= ( y ) Q( y, x) pour tout x y tels que P ( y, x) > 0. Pour x y avec P ( y, x) = 0 on a que

(x) Q(x, y ) = 0 = ( y )P ( y, x)R( y, x) = ( y ) Q( y, x) et donc la probabilit est rversible par rapport Q. Si x, y M alors par lirrductibilit de P on a que il existent n > 0 et x0 = x, x1, , xn = y tels que P (xi , xi +1) > 0 pour tout 0 i < n. Mais alors Q(xi , xi +1) = P (xi , xi +1)R(xi , xi +1) > 0 4

car h(u) > 0 pour tout u ]0, + ] et donc Qn(x, y ) > 0. Cela nous donne lirrductibilit de Q. Si h(u) < 1 pour tout u ]0, + ] alors Q(x, x) = 1
y x

Q(x, y ) > 1
y x

P (x, y ) = P (x, x)

et donc Q(x, x) > 0 pour tout x M ce quimplique que Q est apriodique et donc fortement irrductible (car M est ni). Par le thorme de convergence lquilibre on a que il existe une constante C et un nombre ]0, 1[ tels que | Qn(x, y ) ( y )| C n pour tout x, y M et n 0. Alors Qn(x, y ) ( y ) quand n + .
Exercice 4.

On considre la chane de Markov valeurs dans E = {1, 2, 3, 4} de matrice de 0 1 2 1 2 0 1 0 1 0 4 1 0 2 0 1 0 1 4 0 0

transition

1. Montrer que la chane est irrductible et calculer sa probabilit invariante. 2. Soit Nn(i) le nombre de fois o la chane passe par ltat i au cours des n premires tapes. Quel est le comportement asymptotique de Nn(i) quand n tend vers linni ?
Solution. On a que P (1, 2)P (2, 4)P (4, 3)P (3, 1) = (1/4)(1/2) > 0 et donc in au plus 4 tapes il est possible daller dun quelconque tat un autre. Cela montre que la matrice est irrductible. La probabilit invariante est solution du systme dquations

(1) (2) (3) (4) donc

= = = =

(2)/2 + (3)/2 (1) + (3)/2 (2)/4 + (4) (2)/4

(1) = 3 (2)/4 (3) = (2)/2 (4) = (2)/4

ce qui donne 1 = (3/4 + 1 + 1/2 + 1/4) (2) (2) = 2/5 et = (3/10, 2/5, 1/5, 1/10). Par le thorme ergodique (P irrductible et rcurrente positive car espace dtats ni) on a que presque srement
n

lim

Nn(i) = (i). n