Initiation aux processus : Chanes de Markov (solutions)

Fabrice Rossi 18 fvrier 2003 e

1
1.1
1.1.1

Espace dtat ni e
Exercice 1
Question 1

Pour reprsenter la cha e ne, on choisit de numroter les tats de 1 a 3, dans lordre des lignes (ou des e e ` colonnes) de la matrice de transition, ce qui donne le graphe de la gure 1. 3 5 2 5 1 2 3 10 3 5

1
1 5

2
2 5

Fig. 1 Cha de lexercice 1 ne

1.1.2

Question 2

Il sagit ici de vrier que la cha ne poss`de quune seule classe. On le vrie simplement. En eet, e ne e e 3 p(1, 2) = 3 et p(2, 1) = 1 , ce qui montre que 1 et 2 communiquent. De mme p(2, 3) = 10 et p(3, 2) = 2 , ce e 5 5 5 qui montre que 2 et 3 communiquent. Par transitivi, 1, 2 et 3 sont donc dans la mme classe, qui est par e e consquent la seule de la cha Cette derni`re est donc irrductible. e ne. e e 1.1.3 Question 3

Comme la cha est irrductible, elle admet une unique probabilit stationnaire. Pour la trouver, il ne e e faut rsoudre lquation vectorielle t M = , o` M dsigne la matrice de transition, avec la contrainte e e u e additionnelle 1 + 2 + 3 = 1. On a donc les quations : e
2 5 1 3 5 1

+ + +

1 5 2 1 2 2 3 10 2

+ + +

2 5 3 3 5 3

= 1 = 2 = 3 = 1

En utilisant la premi`re quation, on exprime 2 en fonction de 1 , soit 2 = 31 . Puis, en utilisant la e e 3 troisi`me quation, on exprime 3 en fonction de 2 (3 = 4 2 ), puis de 1 , soit 3 = 9 1 . On injecte ces e e 4 9 4 galits dans la quatri`me quation, ce qui donne (1 + 4 + 4 )1 = 1, soit 1 = 25 . On en dduit 2 = 12 et e e e e e 25 9 e e e 3 = 25 . On vrie enn que ces valeurs sont compatibles avec la deuxi`me quation.

F. Rossi 18 fvrier 2003 e

p. 1

Initiation aux processus 1.1.4 Question 4

IUP 2

Cha nes de Markov

Comme la matrice M est une matrice de transition, elle admet toujours 1 comme valeur propre, avec de plus le vecteur propre 1. En eet, dans une matrice stochastique A = (a)ij , on a, pour tout i, j aij = 1. Si on prend le vecteur v = (1, 1, . . . , 1)t , on a donc (Av)i = j aij vj = j aij = 1 = vi . Donc Av = v. Il ny a donc rien a vrier pour la valeur propre 1. ` e Pour les autres valeurs propres, on cherche une solution non nulle a lquation vectorielle M v v = 0, ` e o` dsigne la valeur propre. On pourrait aussi calculer le polynme caractristique, mais on va avoir besoin u e o e des vecteurs dans la question suivante, autant donc les calculer maintenant. Pour = 0, on se retrouve donc avec le syst`me suivant : e
2 5 v1 1 5 v1

+ +

3 5 v2 1 2 v2 2 5 v2

+ +

3 10 v3 3 5 v3

= 0 = 0 = 0

4 2 e La premi`re quation donne v2 = 3 v1 , ce qui donne en conjonction avec la troisi`me v3 = 9 v1 . En injectant e e 1 2 1 ces galits dans la deuxi`me quation, on obtient ( 5 3 + 15 )v1 = 0, soit 0v1 = 0. On peut donc choisir e e e e arbitrairement v1 non nul pour obtenir un vecteur propre associ a la valeur propre 0, par exemple le vecteur e` (9, 6, 4)t . On constate que lespace propre est de dimension 1. 1 On rsout aisment le syst`me correspondant a la valeur propre 2 . On constate que lespace propre obtenu e e e ` est de dimension 1, avec par exemple comme vecteur de base (6, 1, 4)t.

1.1.5

Question 5

On sait que les tats de la cha sont rcurrents car la cha est irrductible. De plus les tats sont e ne e ne e e tous apriodiques car p(i, i) > 0 pour tout i. Comme la cha a une unique probabilit invariante, cette e ne e probabilit est aussi la probabilit limite de la cha On peut le vrier matriciellement en calculant p n (i, j) e e ne. e et en tudiant le comportement de cette probabilit quand n tend vers linni. e e Or pn est donne par M n . Le calcul direct de M n est dlicat, cest pourquoi on diagonalise la matrice. e e On constate que les vecteurs propres trouvs a la question 4 sont les colonnes de la matrice P . On a donc e ` M = P DP 1 , o` D est la matrice diagonale donne par u e 0 0 0 1 D= 0 2 0 0 0 1 On a bien sr M n = P Dn P 1 . Or, Dn est donne par u e 0 0 Dn = 0 21 n 0 0 et on a donc 0 0 1

0 0 0 lim Dn = 0 0 0 n 0 0 1

Par continuit du produit matriciel, on a donc lim M n = P lim Dn P 1 , ce qui donne e n n 4 12 9

n

lim M n =

25 4 25 4 25

25 12 25 12 25

25 9 25 9 25

On constate alors que lim pn (i, j) = j .

n

1.2
1.2.1

Exercice 2
Question 1

Comme dans lexercice prcdent, on numrote les tats de 1 a 4 dans lordre des lignes de la matrice de e e e e ` transition. On obtient le graphe de la gure 2. F. Rossi 18 fvrier 2003 e p. 2

Initiation aux processus

IUP 2

Cha nes de Markov

1
1 2

1
1 2

1
3 4

1
Fig. 2 Cha de lexercice 2 ne

1.2.2

Question 2

On constate tout dabord que 2 ne communique avec aucun autre tat puisquil est absorbant (p(2, 2) = 1). e De mme, 1 ne communique avec aucun autre tat vu que pour tout i, p(i, 1) = 0. Il est donc impossible e e daller vers 1. Enn, 3 et 4 communiquent puisque p(3, 4) = p(4, 3) = 1. La cha comprend donc trois ne classes : {1}, {2} et {3, 4}. 1.2.3 Question 3

Une probabilit stationnaire doit vrier t M = , o` M dsigne la matrice de transition, ainsi que e e u e i = 1. On cherche donc les solutions du syst`me : e i 0
1 2 1 1 2 1

+ 2 + 4 + 2 3 + 3 + 4

= = = = =

1 2 3 4 1

Il est clair que ce syst`me admet pour solution les probabilits de la forme e e 0 = 1 ,
2 1 2

avec [0, 1]. En eet, les quations imposent seulement 1 = 0 et 3 = 4 , ainsi que 2 + 23 = 1. On e peut donc choisir librement 2 (dans lintervalle [0, 1] car il sagit dune probabilit) et en dduire 3 et 4 . e e 1.2.4 Question 4

Etudier le comportement asymptotique, cest tudier lvolution des pn (i, j) quand n tend vers linni. e e On constate dans un premier temps que pn (i, 1) = 0 pour tout n 1. Le cas de ltat 2 est plus complexe. En eet, on a p(3, 2) = p(4, 2) = 0. De mme p(3, 1) = p(4, 1) = e e 0. Donc, il est vident par rcurrence (et dapr`s les quations de Chapman-Kolmogorov) que p n (3, 2) = e e e e pn (4, 2) = 0 pour tout n. Or, p(2, 2) = 1 et donc clairement pn (2, 2) = 1 pour tout n. La cha ne peut donc ne pas avoir de probabilit limite. Enn, on a p(1, 2) = 1 et p(1, 3) = 1 . Alors par rcurrence (et en utilisant e e 2 2 1 les rsultats prcdents), on pour tout n pn (1, 2) = 2 . Cest en eet vrai pour n = 1. Pour n > 1, on utilise e e e les quations de Chapman-Kolmogorov pour crire e e pn (1, 2) = pn1 (1, 3)p(3, 2) + pn1 (1, 2)p(2, 2) Or, p(3, 2) = 0 et p(2, 2) = 1. Donc en appliquant lhypoth`se de rcurrence a n 1, on en dduit bien e e ` e pn (1, 2) = 1 . 2 F. Rossi 18 fvrier 2003 e p. 3

Initiation aux processus

IUP 2

Cha nes de Markov

En rsum, si on passe dans ltat 3 ou 4, on natteint jamais ltat 2. Si par contre on atteint ltat e e e e e 2, on y reste indniment (tat absorbant). Enn, ltat 1 tant transitoire, on peut passer soit dans ltat e e e e e absorbant (2), soit dans le cycle (3 ou 4). Pour ltat 3, on constate dabord que pn (2, 3) = 0 pour tout n (car pn (2, 2) = 1). Les trois autres possie bilits sont tudies par rcurrence grce aux quations de Chapman-Kolmogorov. On a bien sr p(3, 3) = 0. e e e e a e u Comme p(3, 4) = p(4, 3) = 1, on obtient clairement p2 (3, 3) = 1, puis par rcurrence p2k+1 (3, 3) = 0 et e e p2k (3, 3) = 1 pour tout k, ce qui montre que 3 est un tat rcurrent (car k p2k (3, 3) = ) de priode e e 2. On montre de la mme faon que p2k+1 (4, 4) = 0 et p2k (4, 4) = 1 pour tout k. On montre aussi que e c p2k (3, 4) = p2k (4, 3) = 0 et p2k+1 (3, 4) = p2k+1 (4, 3) = 1. 1 De p(1, 3) = 2 , on dduit par rcurrence que p2k+1 (1, 3) = 1 et p2k (1, 3) = 0 pour k 1. En eet, e e 2 p(2, 3) = 0 et p(1, 4) = 0, et donc p2 (1, 3) = p(1, 3)p(3, 3) = 0. Ensuite, p2k (1, 3) = p(1, 3)p2k1 (3, 3) = 0 et 1 e c p2k+1 (1, 3) = p(1, 3)p2k (3, 3) = p(1, 3) = 1 . On montre exactement de la mme faon que p2k (1, 4) = 2 pour 2 k 1 et que p2k+1 (1, 4) = 0. On peut donc rsumer le comportement asymptotique de la cha de la faon suivante : e ne c si la cha dmarre dans ltat 3 ou 4, elle boucle indniment sur des deux tats, avec une priode ne e e e e e de 2, cest-`-dire que la suite des tats est de la forme 3, 4, 3, 4, . . . ou 4, 3, 4, 3, . . . ; a e si la cha dmarre dans ltat 2, elle boucle indniment sur ltat 2 ; ne e e e e enn, si la cha dmarre dans ltat 1, son premier changement dtat la place dans ltat 2 ou 3 et ne e e e e on est ramen a ces cas. e`

1.3
1.3.1

Exercice 3
Question 1

En numrotant les tats dans lordre des lignes de la matrice, on obtient le graphe de la gure 3. e e

1
2 3

1
Fig. 3 Cha de lexercice 3 ne

1.3.2

Question 2

On a p(1, 2) = 1 et p(2, 3) = 1, donc p2 (1, 3) = 1. Comme p(3, 1) = 1, 1 et 3 communiquent. De mme e p2 (2, 1) = 1, donc 1 et 2 communiquent. Il y a donc une seule classe et la cha est irrductible. ne e 1.3.3 Question 3

La probabilit invariante vrie lquation vectorielle t M = , o` M dsigne la matrice de transition, e e e u e avec la contrainte additionnelle 1 + 2 + 3 = 1. On obtient donc le syst`me : e 3 1 1
1 Ce qui donne 1 = 2 = 3 = 3 .

2 + 2

+ 3

= 1 = 2 = 3 = 1

F. Rossi 18 fvrier 2003 e

p. 4

Initiation aux processus 1.3.4 Question 4

IUP 2

Cha nes de Markov

On a

0 0 1 M2 = 1 0 0 0 1 0 1 0 0 M3 = 0 1 0 0 0 1

et

On en dduit donc que M 3k+p = M p pour tout k et pour 0 p 2, ce qui montre que la cha nadmet e ne pas de probabilit limite. Par contre, on remarque que la cha passe un tiers du temps dans chaque tat, e ne e ce qui correspond a la probabilit invariante. ` e Cet exemple montre que mme quand une cha est irrductible et admet une unique probabilit ine ne e e variante, elle nadmet pas ncessairement une probabilit limite. En fait, les trois tats de la cha sont e e e ne rcurrents mais priodiques (de priode trois) ce qui interdit lexistence dune probabilit limite. e e e e

1.4
1.4.1

Exercice 4
Question 1

On peut montrer un rsultat plus gnral que celui demand dans lnonc. Considrons en eet une suite e e e e e e e (Yi )iN de variables alatoires indpendantes et identiquement distribues et a valeurs dans E un ensemble e e e ` au plus dnombrable. On se donne une fonction f de E 2 dans E et on dnit une suite de variables alatoires e e e (Xi )iN de la faon suivante : c X1 = Y1 Xi = f (Xi1 , Yi ) pour i > 1 Il est clair quen prenant pour Yi le rsultat du i-`me lanc de d et pour f (x, y) = max(x, y) on obtient le e e e e cas particulier du lanc de d. e e On souhaite montrer que (Xi )iN est une cha de Markov stationnaire. Considrons P (Xn = n |Xn1 = ne e n1 , . . . , X1 = 1 ). Par conditionnement, on a : P (Xn = n |Xn1 = n1 , . . . , X1 = 1 ) = P (Xn = n |Yn = , Xn1 = n1 , . . . , X1 = 1 )P (Yn = |Xn1 = n1 , . . . , X1 = 1 )
S

Bien entendu, si n = f (n1 , ), lv`nement {Xn = n , Yn = , Xn1 = n1 , . . . , X1 = 1 } est impose e sible et la probabilit conditionnelle correspondante est nulle. Si on appelle T = { S | n = f (n1 , )}, e on obtient : P (Xn = n |Xn1 = n1 , . . . , X1 = 1 ) = P (Xn = n |Yn = , Xn1 = n1 , . . . , X1 = 1 )P (Yn = |Xn1 = n1 , . . . , X1 = 1 )
T

Il est clair par rcurrence que Xk est une fonction de Y1 , . . . , Yk1 pour tout k, et donc que Yn est indpendant e e de X1 , . . . , Xn1 . Donc P (Yn = |Xn1 = n1 , . . . , X1 = 1 ) = P (Yn = ). De plus, comme pour tout T , n = f (n1 , ), lv`nement {Xn = n = f (n1 , ), Yn = , Xn1 = n1 , . . . , X1 = 1 } e e co ncide avec lv`nement {Yn = , Xn1 = n1 , . . . , X1 = 1 }, on a donc P (Xn = n |Yn = , Xn1 = e e n1 , . . . , X1 = 1 ) = 1. Finalement, on obtient : P (Xn = n |Xn1 = n1 , . . . , X1 = 1 ) =
T

P (Yn = )

Or, on peut conditionner de la mme faon P (Xn = n |Xn1 = n1 ), ce qui donne : e c P (Xn = n |Xn1 = n1 ) =
S

P (Xn = n |Yn = , Xn1 = n1 )P (Yn = |Xn1 = n1 )

F. Rossi 18 fvrier 2003 e

p. 5

Initiation aux processus

IUP 2

Cha nes de Markov

De nouveau, on peut restreindre cette somme a T , pour le mme T (dont la dnition ne dpend que ` e e e de n et n1 ). De plus on a P (Yn = |Xn1 = n1 ) = P (Yn = ), ce qui donne : P (Xn = n |Xn1 = n1 ) =
T

P (Xn = n |Yn = , Xn1 = n1 )P (Yn = )

De nouveau, par dnition de Xn , lv`nement {Xn = n = f (n1 , ), Yn = , Xn1 = n1 } co e e e ncide avec lv`nement {Yn = , Xn1 = n1 } quand T et donc P (Xn = n |Yn = , Xn1 = n1 ) = 1, ce qui e e implique : P (Xn = n |Xn1 = n1 ) =
T

P (Yn = ) = P (Xn = n |Xn1 = n1 , . . . , X1 = 1 )

On a donc bien une cha de Markov. Lhomognit est une consquence immdiate du fait que les Y i sont ne e e e e e identiquement distribus. e 1.4.2 Question 2

La question prcdente nous permet dtablir simplement les probabilits de transitions. En eet, on a e e e e e e prouv P (Xn = n |Xn1 = n1 ) = T P (Yn = ). Comme on utilise un d non pip, P (Yn = ) = 1 e 4 et tout se joue donc sur le cardinal de T . Le tableau suivant donne la valeur de T en fonction de n1 (en ligne) et de n (en colonne) : 1 2 3 4 1 {1} 2 {2} {1, 2} 3 {3} {3} {1, 2, 3} 4 {4} {4} {4} {1, 2, 3, 4}

On en dduit la matrice de transition suivante : e

0 M = 0 0

1 4

0 0

1 4 1 2

1 4 1 4 3 4

1 4 1 4 1 4

1.4.3

Question 3

Les tats 1, 2 et 3 sont transitoires, alors que 4 est rcurrent. En eet, 4 est absorbant car p(4, 4) = 1 e e et donc bien entendu rcurrent (positif). Considrons maintenant un tat k = 4. On doit calculer P (n > e e e 1, Xn = k|X1 = k). Par conditionnement, on a : P (n > 1, Xn = k|X1 = k) =
i>k

P (n > 2, Xn = k|X1 = k, X2 = i)P (X2 = i|X1 = k)+P (X2 = k|X1 = k)

Or, quand i > k, P (n > 2, Xn = k|X1 = k, X2 = i) = P (n > 2, Xn = k|X2 = i) = 0 car la cha est croissante. En eet, p(i, j) = 0 si j < i, et donc par rcurrence, p n (i, j) = 0 pour tout n. Donc ne e P (n > 1, Xn = k|X1 = k) = P (X2 = k|X1 = k) < 1 pour tout k = 4, ce qui prouve que les tats 1, 2 et 3 e sont transitoires. 1.4.4 Question 4

Cherchons dabord les probabilits stationnaires de la cha cest-`-dire les solutions du syst`me suivant : e ne, a e
1 4 1 1 4 1 1 4 1 1 4 1

+ + + +

1 2 2 1 4 2 1 4 2

+ + +

3 4 3 1 4 3

+ 4 + 4

= = = = =

1 2 3 4 1 p. 6

F. Rossi 18 fvrier 2003 e

Initiation aux processus

IUP 2

Cha nes de Markov

Il est vident que ce syst`me admet pour seule solution le vecteur = (0, 0, 0, 1) t . e e Pour calculer la loi limite, on tudie les puissances de la matrice de transition. Si on consid`re P = 4M , e e on peut montre facilement par rcurrence e 1 a n bn cn 0 2 n dn en Pn = 0 0 3 n fn 0 0 0 4n avec les quations de rcurrence : e e an+1 bn+1 cn+1 dn+1 en+1 fn+1 = 1 + 2an = 1 + an + 3bn = 1 + an + bn + 4cn = 2n + 3dn = 2n + dn + 4en = 3n + 4fn

La premi`re quation donne an = 2n 1. On en dduit que bn = 3n 2n . En eet, cette relation est vraie pour e e e n = 1. Supposons que n > 1 et la relation vraie pour n1. On a bn = 1+an1 +3bn1 = 2n1 +3(3n1 2n1). On dcompose alors 32n1 = 22n1 + 2n1 = 2n + 2n1 , ce qui donne clairement bn = 3n 2n . Comme e dn suit la mme quation de rcurrence que bn , on a aussi dn = 3n 2n . On montre de la mme faon que e e e e c fn = 4n 3n = en = cn . On en dduit donc la valeur de M n , a savoir e ` 1 2n 1 3n 2n 4n 3n
4n

0 M = 0 0
n

4n 2n 4n

0 0

4n 3n 2n 4n 3n 4n

4n 4n 3n 4n 4n 3n 4n

On peut obtenir le mme rsultat par dnombrement en e e e Il clair que M n admet comme limite la matrice 0 0 0 0 0 0 0 0 0 0 0 0 ce qui correspond bien a la probabilit invariante. ` e 1.4.5 Question 5

considrant les 4n resultats possibles pour n lancs. e e 1 1 , 1 1

Pour calculer lesprance demande, on peut calculer la distribution du nombre de lancs ncessaires pour e e e e 3 k1 atteindre ltat 4. On a tr`s clairement P (N = k) = 1 4 e e . En eet, atteindre 4 au bout de k lancs, e 4 cest faire k 1 lancs pour lesquels on obtient 1, 2 ou 3 (probabilit 3 ) et 1 lanc pour lequel on obient 4 e e 4 e (probabilit 1 ). Comme les lancs sont indpendants, la probabilit sobtient par un simple produit. e 4 e e e Lesprance recherche est donc m = e e
k=0

kx

k1

1 (1x)2 .

Or m =

1 4

k=0

1 3 k1 . Or, k=1 k 4 4 3 k1 et donc m = 4. 4

k=0

xk =

1 1x

(pour |x| < 1) et donc

F. Rossi 18 fvrier 2003 e

p. 7