Equa co es de Chapman-Kolmogorov

Prof. Magnos Martinello

Aula - Equa c oes de Chapman-Kolmogorov Universidade Federal do Esprito Santo-UFES

2011

Equa c oes de Chapman-Kolmogorov

1/17

Introdu c ao

As equa c oes de transi c ao de um passo j a foram denidas Pij . n Vamos denir a probabilidade de transi c ao de n passos Pij como a probabilidade de um processo no estado i estar no estado j ap os n transi c oes adicionais. P n = P [Xn+m = j | Xm = i ], n 0 , i , j 0
1 =P Pij ij

As equa c oes de Chapman-Kolmogorov fornecem um m etodo para calcular estas probabilidades em n passos
n+m Pij

=
k =0

n m .Pkj Pik

n, m 0

Equa c oes de Chapman-Kolmogorov

2/17

Introdu c ao
Representando a probabilidade de iniciar em i o processo vai ao estado j em n+m transi c oes atrav es de um caminho que leve ao estado k na n- esima transi c ao

Equa c oes de Chapman-Kolmogorov

3/17

Introdu c ao

Suponha que para todos os estados intermedi arios k resulta na probabilidade de o processo estar no estado j ap os n+m transi c oes Vamos denotar i como a matriz de transi c ao de probabilidade 1 em n passos Pij P n+m = P n .P m - Multiplica c ao matricial 2 P = P .P P n = P n1+1 .P

Equa c oes de Chapman-Kolmogorov

4/17

Exemplo
Considere o exemplo de previs ao do tempo que e uma cadeia de Markov de dois estados

0 - chove P=

1 - n ao chove

1 P00 P01 = P10 P11 1

Se = 0.7 e = 0.4, calcule a probabilidade de chover daqui a 4 dias dado que hoje est a chovendo.
Equa c oes de Chapman-Kolmogorov 5/17

Exemplo Resolu c ao
Resolvendo o problema sem utilizar as equa c oes de Chapman-Kolmogorov.

Equa c oes de Chapman-Kolmogorov

6/17

Exemplo Resolu c ao
Probabilidade = 0,241 + 0,0588 + 0,0588 +0,0588 + 0,0504 + 0,0144 + 0,0144 + 0,0432 = 0,5749 - Agora resolvendo atrav es de equa c oes de Chapman-Kolmogorov. 0.7 0.3 P= Caminhos em 4 passos 00000 + 00010 + 00100+ 0.4 0.6 01000 + 00110 + 01100 + 01010 + 01110

P2 =

0.7 0.3 0.7 0.3 0.61 0.39 . = 0.4 0.6 0.4 0.6 0.52 0.48 0.61 0.39 0.61 0.39 0.5749 0.4251 . = 0.52 0.48 0.52 0.48 0.5667 0.4332

P 4 = P 2 .P 2 =

4 = 0.5749 P00
Equa c oes de Chapman-Kolmogorov 7/17

Exemplo Resolu c ao

0 =

1+

0.4 10.7+0.4

= 0.571

P 8 = P 4 .P 4 =

0.5749 0.4251 0.5749 0.4251 0.572 0.428 . = 0.5667 0.4332 0.5667 0.4332 0.570 0.430

A medida que n for aumentando, no limite quando n tende ao innito, P n se aproxima de 0 denido como a probabilidade estacion aria (probabilidade no limite) que o processo esteja no estado i quando o tempo n for innito.

Equa c oes de Chapman-Kolmogorov

8/17

Classica c ao dos estados

n 0 Um estado j e dito ser acess vel a partir do estado i se Pij para qualquer n 0;

Dois estados i e j que s ao acess veis mutuamente s ao ditos estados que se comunicam; O conceito de comunica c ao divide o espa co de estados em classes;

Equa c oes de Chapman-Kolmogorov

9/17

Classica c ao dos estados

Uma cadeia de Markov e dita irredut vel se houver apenas uma classe, isto e, se todos os estados se comunicarem entre si.

Equa c oes de Chapman-Kolmogorov

10/17

Classica c ao dos estados

Seja fi a probabilidade do processo iniciando no estado i , vai re-entrar no estado i . O estado i e dito recorrente se a probabilidade de re-entrar no estado, fi = 1 e transiente se fi < 1. Se o estado i for recorrente, ent ao iniciando no estado i o processo vai entrar no estado i novamente e frequentemente. Se o estado i for transiente, ent ao h a uma probabilidade do processo entrar no estado i e nunca mais voltar ao estado 1 fi .

Equa c oes de Chapman-Kolmogorov

11/17

Classica c ao dos estados

Seja Ti a vari avel aleat oria que representa o tempo do primeiro retorno ao estado i. Seja fii passos]
(n)

= P [Ti = n] = P[retornar ao estado i depois de n

Estado i e recorrente
n=1

fiin = 1 fiin < 1

n=1

Estado i e transiente

Um estado recorrente i e periodico com per odo K > 1 fii

(n)

= 0 m, n

, n = k .m

Equa c oes de Chapman-Kolmogorov

12/17

Classica c ao dos estados

Exemplo:

f00 = 0 f00 = 1(1-p) f00 = 0 OBS: fii passos.

(n) (3) (2)

(0)

f00 = p(1-p) f00 = 0 f00 = p 2 (1-p) = probabilidade de sair de i e retornar a i em n

13/17

(4)

(5)

(6)

Equa c oes de Chapman-Kolmogorov

Classica c ao dos estados

Podemos observar que : f00
(2j )

= p j 1 (1 p )

f00

(2j 1)

=0

No exemplo, o estado 0 e recorrente positivo peri odico com k=2 TEOREMA: Para uma cadeia irredut vel erg odica (recorrente, n existe e positiva aperi odica) limn Pij e independente de i.
n Seja j = limn Pij

, j 0 , ent ao j e uma solu c ao

u nica n ao negativa de j =
j =0
Equa c oes de Chapman-Kolmogorov

i Pij
i =0

,j 0

j = 1
14/17

Classica c ao dos estados

O teorema vale tamb em para cadeias com estados peri odicos

0 = 1 (1 p )

(I ) (II )

0 + 2 = 1 (1 p ) + 1 p 2 = 1 p (III ) (IV )

0 + 1 + 2 = 1
Equa c oes de Chapman-Kolmogorov

15/17

Classica c ao dos estados

Substituindo (I) e (III) em (IV) 1 (1 p ) + 1 + 1 p 1 = 1/2 2 = p /2 3 = (1 p )/2

Equa c oes de Chapman-Kolmogorov

16/17

Aplica c ao de cadeia de Markov

O ranqueamento das p aginas (pagerank) web usados pelo Google e denido como uma cadeia de Markov. E denido como a probabilidade do processo (clicar aleatoriamente) estar na p agina i em regime estacion ario considerando todas as p aginas web conhecidas N . Se N e o n umero de p aginas web conhecidas, e supondo que uma p agina i tenha ki links para ela. A probabilidade de transi c ao e P[ir para paginas ligadas] = 1 aginas que est ao ligadas (linked) a ki + N para todas as p esta. P[ir para paginas n ao ligadas] = que n ao est ao ligadas a ela.
1 N

para todas as p aginas

O par ametro tem valor de 0.85.

Equa c oes de Chapman-Kolmogorov 17/17

Aplica c ao de cadeia de Markov

Equa c oes de Chapman-Kolmogorov

18/17