Vous êtes sur la page 1sur 112

Avaliao de Desempenho

Cadeia de Markov a Tempo Discreto

Introduo
Processo estocstico
Considere um sistema que evolui aleatoriamente no
tempo;
Suponha que o sistema observado nos instantes de
tempo n=0,1,2,...
Seja X(n) o estado do sistema no tempo n
A sequncia de variveis aleatrias {X(0),X(1),X(2),...}
chamada de processo estocsticos a tempo discreto
Escrita como:
{X(n),n0}

{X(n),n=1,2,3,...}

Introduo
Processo estocstico
Seja S o conjunto de valores que X(x) pode assumir para
qualquer n
S definido como o espao de estados do processo
estocsticos {X(n),n0}
Ex.:
X(n)= Taxa de inflao no Brasil no final da n-sima
semana. S={-, +}
X(n)= # de reclamaes submetidas a uma operadora de
telefone no final da n-sima semana. S={0,1,2,3,...}
X(n)= # de smartphones vendidos durante a n-sima
semana. S={1,2,3,...}

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Considere o processo estocstico {X(n),n0}
Suponha que no tempo n=10 se tenha observado
X(0),X(1),...,X(10)
Questionamento: Pode-se prever probabilisticamente o
estado do sistema no tempo n=11?
Em geral, X(11) pode depender de toda sua histria
pregressa (X(0),X(1),...,X(10))
Porm, dada a histria completa do processo
(X(0),X(1),...,X(10)) se a predio de X(11) depender
somente de X(10) ento se tem a propriedade de
Markov ou da ausncia de memria!

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Definio
O processo estocstico {X(n),n=0,1,2,3,...} uma
cadeia de Markov se, para todo i0 , i1 , i2 , ... ,i n1 , i , j S

P {X (n+1)= j / X (0)=i 0 , X (1)=i1 ,... X (n)=i}


=P {X (n+1)= j / X (n)=i}

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Interpretao
A cadeia de Markov uma sequncia de variveis
aleatrias tal que, para qualquer n, X(n+1)
condicionalmente independente de X(0),
X(1),...,X(n-1) dado X(n).

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Homogeneidade no tempo
Seja:

P {X (n+1)= j / X (n)=i}=P {X (1)= j / X (0)=i}= pij


definido como probabilidade de transio de um
passo

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Homogeneidade no tempo
As probabilidades de transio no dependem do
passo n;
Para uma CMTD a probabilidade de transio
depende apenas dos estados, i.e., de i e j;
Mecanismo de transio estacionrio
Assim,

P ij =P {X (n+1)= j / X (n)=i}

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Matriz probabilidade de transio
A matriz cujas entradas so as probabilidades de
transio de um passo denominada de matriz de
transio do processo.

p 00
P=[ P ij ]= p10
.

p 01
p11
.

.
.
p NN

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Matriz probabilidade de transio
Linhas correspondem aos estados iniciais, X(n) e
as colunas aos estados finais, X(n+1).
X(n+1)

0
X(n)

1
2

0 .3 .7
.9 .1 0
.4 .3 .3

P00 =P {X (n+1)=0/ X (n)=0}=0


P01=P {X (n+1)=1/ X (n)=0}=0.3
P02=P {X (n+1)=2/ X (n)=0}=0.7
P10=P {X (n+1)=0/ X (n)=1}=0.9
P11=P {X (n+1)=1/ X (n)=1}=0.1
P12=P {X (n+1)=2/ X (n)=1}=0
P20=P {X (n+1)=0/ X (n)=2}=0.4
P21=P {X (n+1)=1/ X (n)=2}=0.3
P22=P {X (n+1)=2/ X (n)=2}=0.3

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Matriz probabilidade de transio
estocstica, i.e,

P ij 0,

pij=1
j=0

i, jI

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Matriz probabilidade de transio
Pode ser representada graficamente por um Diagrama
de Transio de Estados ou diagrama de transio
Usado para visualizar a dinmica da CMTD
Composto por:
N representada um estado.
Arco representa uma transio entre estados.

p
>0,
ento
h
um
arco
ij
Se
no tem arco , caso contrrio

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Matriz probabilidade de transio
.5

.2 .3 .5
P= .1 0 .9
.55 .0 .45

.9

.3

.2
1

2
.1
.55

.45
3

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Matriz probabilidade de transio
Questes
Se a CMTD est no estado 3 no tempo 17, qual pe a
probabilidade dela ir para o estado 1 no tempo 18?
Resp.: p31 = 0.55
Se a CMTD est no estado 2 no tempo 9, qual a
probabilidade dela ir para o estado 3 no tempo 10?
Resp.: p23 = 0.9

.5
.2

.3

.9

2
.1
.55

.45

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Comportamento probabilstico da cadeia de
Markov
completamente descrito pela probabilidade inicial e
pelas probabilidades de transio

P {X (0)=i 0 , X (1)=i1 , ... , X (n)=in }=


P {X (n)=i n / X (0)=i 0 , X (1)=i1 ,... , X (n1)=i n1 }
P {X (0)=i 0 , X (1)=i1 , ... , X (n1)=in1 }=
pi i P {X (0)=i0 , X (1)=i1 ,... , X (n1)=in1 }
n1 n

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Comportamento probabilstico da cadeia de
Markov

P {X (0)=i0 , X (1)=i1 , ... , X (n1)=in1 }=


P {X (n1)=in1 / X (0)=i0 , X (1)=i1 , ... , X (n2)=i n2 }
P {X (0)=i0 , X (1)=i1 , ... , X (n2)=in2 }=
p i i P {X (0)=i0 , X (1)=i1 , ... , X (n2)=in2 }
n2 n1

P {X (0)=i 0 , X (1)=i1 , ... , X (n)=in }= p i i pi


P {X (0)=i 0 , X (1)=i1 , ... , X (n2)=i n2 }
n1 n

n2 n1

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Comportamento probabilstico da cadeia de
Markov
Por induo

P {X (0)=i0 , X (1)=i1 ,... , X (n)=i n }=


pi i pi i pi i ... pi i P {X (0)=i 0 }
n1 n

n2 n1

n3 n2

0 1

P{X(0)=i0} a probabilidade inicial;


(0)=[0(0), 1(0), 2(0),... ] a distribuio de
probabilidade.

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Comportamento probabilstico da cadeia de
Markov
Onde

j (0)=P {X (0)= j}0

j (0)=1
j

j0

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade de transio de n-passos
Seja
n
ij

p =P {X (n+m)= j/ X (m)=i}
Define-se

0
p=
1
0
ij

se i j
se i= j

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade de transio de n-passos
Equao de Chapman-komolgorov
Possveis Estados

p = p p
n
ij

k=o

r
ik

nr
kj

.
.
.

.
.
.

r
Linha do Tempo

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade de transio de n-passos
Na forma matricial
n

n
ij
(1)

nr

P =[ P ]=P P
n
(n1)
1 n1
2 n2
n
P =P P
=P P =P P ==P
n
r nr
P =P P
A matriz probabilidade de transio de n-passos pode
ser calculada atravs da n-sima potncia da matriz
de transio.

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade de transio de n-passos
Sejam:
(n) a distribuio de probabilidade de n-passos;
j(n) a j-sima componente do vetor distribuio.
Ento,

j (n)=P {X (n)= j}

j (n)= P {X (n)= j / X (0)=i}P {X (0)=i}


i=0

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade de transio de n-passos
0

...

i1
P{X(0)=i1}

i2

j
P{X(0)=i2}

i3
P{X(0)=i3}

passo
j (n)=P {X (n)= j / X (0)=i1 }P {X (0)=i1 }+
P {X (n)= j / X (0)=i 2 }P {X (0)=i 2 }+
P {X (n)= j / X (0)=i 3 }P {X (0)=i 3 }+

P{X(n)=j}

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade de transio de n-passos
Logo,

j (n)= i (0) p

i=0

j (n)=1
j=0

Na forma matricial,

(n)=(0) P

n
ij

j=0,1,2,...

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Exemplo
Seja a CMTD abaixo. Compute (3), para uma
distribuio de probabilidade inicial de [0.2 0.3 0.5].

.2 .3 .5
P= .1 0 .9
.55 .0 .45

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Soluo

(3)=(0) P

.2 .3 .5
(3)=[0.2 0.3 0.5] .1 0 .9
.55 0 .45
(3)=[0.3626 0.1207 0.5167 ]

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Seja {X(n), n=0,1,2,...} uma cadeia de Markov;
Se existe um inteiro n0 tal que pnij>0, ento o
estado j pode ser alcanado a partir do estado i,
ou j acessvel a partir de i, ou i pode atingir j.
Notao: ij
Qualquer estado alcanado a partir de si mesmo,
isto , pii = 1

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Se ij e ji, ento existe os inteiros m0 e n0 tal
que pmij>0 e pnji>0.
Diz-se ento que i e j se comunicam (ij)
Se ij e jk, ento ik
Prova: Se pmij>0 e pnjk>0, ento a partir da equao de
Chapman-Kolmogorov

m+n
ik

= p p p p >0
l=0

m
il

n
lk

m
ij

n
jk

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Dois estados que se comunicam so ditos pertencer a
uma mesma classe.
O conceito de comunicao divide o espao de estados
em uma certa quantidade de classes separadas
Um CM chamada de irredutvel se existe apenas uma
classe , i.e., todos os estados se comunicam.
Um estado j chamado de absorvente se ele forma
consigo prprio uma classe.
Se o estado j absorvente ento pjj=1.

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
O estado i tem perodo d(i), se d(i) o maior divisor
comum de n1 tal que pnii>0.
Se d(i)=1, o estado i aperidico.
Se d(i)2, o estado i peridico.
Nota: se ij; ento d(i) = d(j).
Se um dos estados de uma CMTD irredutvel
aperidico, ento todos os estados tambm so e
com o mesmo perodo e a cadeia dita aperidica;
caso contrrio, ela peridica com perodo d.

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Seja a probabilidade da primeira passagem

f ijn =P {X (n)= j , X (r ) j , r=1,2,. .., n1/ X (0)=i} i , j


Define-se a probabilidade de transio eventual do
estado i para o j com

f ij= f
n=1

n
ij

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
O estado chamado de recorrente se: f ii =1
O estado chamado de transiente se: f ii <1
Se i recorrente,
Iniciando em i, o processo re-visitar o estado i
infinitamente.

Se i transiente
Toda vez que o processo visita i, existe uma
probabilidade positiva, 1-fii, que ele nunca mais
retorne a esse estado.

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Condio necessria e suficiente para identificar
estados recorrentes e transientes.
Seja o estado i.
Ele ser recorrente se:

p =
n=1

Ele ser transiente se:

n
ii

p <
n=1

n
ii

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Teorema: recorrncia uma propriedade de classe;
i.e., se o estado i recorrente e ij, ento j
recorrente.
Notas:
(1) Transincia uma propriedade de classe
Se o estado i transiente e ij, ento j
transiente.
(2) Todos os estados em uma CM finita
irredutvel so recorrentes.

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Os estados recorrentes podem ser classificados
em:
Recorrente positivo (no nulo):

j = nf <
n=1

Recorrente nulo

j = nf =
n=1

n
jj

Tempo mdio de recorrncia

n
jj

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Notas:
Em uma CMTD finita, todos os estados so
recorrentes positivos;
Uma CMTD irredutvel, aperidica, com todos os
estados recorrentes positivos chamada de
ergdica.

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Teorema:
Para um CM, todos os estados podem ser
classificados em classes recorrentes Ck,
k=1,2,..., e o restante dos estados so
transientes
Sejam C1, C2,..., as classes recorrentes e T o
conjunto de todos os estados transientes

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Rearranjando todos os estados da CM, pode-se escrever:

C1
P= C 2

P1 0 0
. P2
0


R 1 R2 Q

P1, P2,..., so as matrizes probabilidade de transio para as classes


recorrentes C1, C2,...
Q uma matriz quadrada que contm as transies entre todos estados
transientes para T;
R1, R2,... so matrizes, no necessariamente quadradas, contendo as
transies dos estados transientes para as classes recorrentes C1, C2.

Cadeia de Markov a Tempo Discreto


Classificao de estados
Estado

Transiente

Recorrente

Positivos

Nulos

Peridico
Peridico

Aperidico

Aperidico

Cadeia de Markov a Tempo Discreto


Resumo de Classificaes de estados e Cadeias
Conjunto
Fechado

Nenhum estado, a no ser algum pertencente ao conjunto, pode ser alcanado


de qualquer estado pertencente ao conjunto.

Estado
Uma vez que se entra neste estado, nunca mais o deixa.
Absorvente
Estado
Uma vez que se entra neste estado, um eventual retorno assegurado.
Recorrente
Estado
Peridico

O estado que pode somente ser alcanado nos passos m, 2m, 3m,..., onde m
um inteiro > 1.

Estado
Transiente

Um eventual retorno ao estado no est assegurado.

Estado
Ergdico

Uma vez que se entrou neste estado, um retorno ao estado assegurado dentro
de um nmero finito de passos, porm o estado no peridico e pode voltar
antes de qualquer passo n.

Cadeia
Irredutvel

Cada estado pode ser alcanado a partir de qualquer outro estado (todos os
estados so comunicantes).

Cadeia
A Cadeia contm um ou mais conjuntos fechados e o processo poder
Absorvente eventualmente ser absorvido em um dos conjuntos fechados.
Cadeia
Ergdica

Todos os estados so recorrentes e aperidicos.

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Se o estado j recorrente e aperidico, ento

1
lim p
j
n
n
jj

Se o estado j recorrente nulo

1 1
lim p = =0
j
n
n
jj

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Se o estado j recorrente e peridico com perodo
d(j), ento

lim p
n

nd( j)
jj

d ( j)

j

Se o estado j transiente, ento


n
jj

lim p 0
n

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Considere o comportamento limite de pnij com n.
Considere ainda que X(0)=i.
Teorema: se o estado j recorrente e aperidico,
ento

f ij
p , n
j
n
ij

Interpretao: a cadeia inicia no estado i, visita o


estado j com probabilidade fnij (1 passagem) e
retornar a j infinitamente com probabilidade fnjj

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Teorema: se uma cadeia de Markov recorrente
positiva e aperidica, ento existe a probabilidade
limite (para um n muito grande) com as seguintes
caractersticas:
n
ij

lim p = ( j)>0 (i , j=0,1,. ..)


n

Que independente do estado inicial i


estritamente positiva
a nica soluo para o sistema de equaes

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite

i=0

j=0

( j)= (i) pij , ( j)=1


Na forma matricial

= P ,
=1
j

Qualquer distribuio de probabilidade que


satisfaa esse sistema de equaes
chamado de distribuio de probabilidade
estacionria (do estado de equilbrio)

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Para uma CMTD aperidica, irredutvel, finita, a
matriz P(n) convergir para uma matriz que tem
todas as linhas iguais, sendo cada uma idntica ao
vetor distribuio de probabilidade estacionria.

0 1 max
n
lim P = 0 1 max
n

0 1 max

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Interpretao:
Comportamento da cadeia ao longo prazo n, ou
proporo de tempo que a cadeia gasta e um estado, a
longo prazo.
No projeto de sistemas h frequentemente efeitos de
partida que so diferentes daqueles que ocorrem com o
passar do tempo. Para fins de projeto, via de regra, buscase os efeitos no decorrer do tempo. Estes so
representados pela distribuio limite.

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Cadeia de Markov Finita
Teorema: Para uma CM finita
No h estados recorrentes nulos
Nem todos os estados so transientes

Nota intuitiva:
Se um estado j recorrente nulo e o espao de estados finito,
ento o tempo de recorrncia tambm finito
Se todos os estados so transientes, ento o limite para n de
n
pnij0, o que contradiz o fato que pij =1 n

Corolrio:
Em uma CM finita e irredutvel, todos os estados so recorrentes
positivos

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Cadeia de Markov Finita
Comportamento limite
C1, C2,..., Cm so os conjuntos de classes recorrente positivas, T
o conjunto de estados transientes.

C1
C2
P= .
.
Cm
T

P1 0
. P2
.
0 0
0 0
R1 R2

. .

.
0
. . Pm
. . Rm

0
0
. = P 0
R Q
0
0
Q

[ ]

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Cadeia de Markov Finita
Comportamento limite
Para os estados pertencentes ao mesmo conjunto recorrente.

1
lim p = p = ( j)=
j
n
n
ij

ij

(i , jC k ; k=1,2,. .. , m)

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Cadeia de Markov Finita
Comportamento limite

Para os estados i T (transiente) e j C k (k =1,2,. .. , m)


(recorrente).

f ij
lim p = p =
j
n
n
ij

ij

(iT , j C k ; k=1,2,. .. , m)

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Cadeia de Markov Finita
Comportamento limite

lim pij = pij =0

Para os estados transientes

(i , jT )
Para os estados iC k (k =1,2,... , m) (recorrente) e i T
(transiente).
n
ij

ij

lim p = p =0
n

(iC k , k=1,2,. .. , m ; j T )

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Cadeia de Markov Finita
Cmpute de fij
Teorema: Para uma CM finita, a probabilidade de transio
eventual fij de um estado i T para j C k (k =1,2,. .. , m)
satisfaz:

f ij = p il + p il p lj , (iT , j C k )
l C k

Ir diretamente
para um estado
recorrente

l T

Ir para um estado transiente iT


- incluindo ele mesmo e depois
ir de l para j fij

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Probabilidade Limite
Cadeia de Markov Finita
Cmpute de fij
Na forma matricial

[ f ij ]=R k 1+Q [ f ij ]
1
[f ij ]=[ I Q ] R k 1
1 um vetor coluna em que todos os componentes so 1's.

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Cmputo do tempo mdio da primeira passagem (ij)
Nmero esperado de transies necessrias para
chegar ao estado j pela primeira vez partindo do
estado i
Forma prtica para o clculo
1

[ ij ]=[ I N j ] 1, ji
Em que:
I matriz identidade (m-1);
Nj matriz de transio P menos sua j-sima linha e coluna do estado
visado j;
1 vetor coluna (m-1) como todos os elementos iguais a 1.

Cadeia de Markov a Tempo Discreto

Exerccios

Cadeia de Markov a Tempo Discreto

Seja a CMTD abaixo. Compute (3), para uma


distribuio de probabilidade inicial de (0)=[0.2 0.3. 0.5].

P=
Soluo

0.2 0.3 0.5


0.1
0
0.9
0.55 0 0.45

(n)=(0) P n
3
(3)=(0) P

0.2 0.3 0.5


(3)=[0.2 0.3 0.5] 0.1 0
0.9
0.55 0
0.45
(3)=[0.3626 0.1207 0.5167]

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao de estados
Exemplo
0
1

P= 2
3

[ ]
1 0 0
0 1 0
0 0 1

Existem 3 classes {0}, {1} e {2}

Cadeia de Markov
Cadeia de Markov a Tempo Discreto

1/2

Classificao a CMTD abaixo


0
0

P= 1
1

1
0
0
0
1/ 2 1/2
1/3 1/3 1/3

Soluo

1
0

Soluo:

12; 20
Existem 2 classes {0} absorvente e {1, 2}
transiente, logo a CMTD no irredutvel

1/2
1/3

1/3

2
1/3

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classifique a CMTD abaixo
1

0
3
4
7

Soluo:

A CMTD no irredutvel
3 classes: {0,2,2,7,8} transiente, {3} - absorvente e {1,4,5,6} - recorrente

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classificao a CMTD abaixo
0
0

P= 1
2

[ ]
0 1 0
0 0 1
1 0 0

Soluo

Soluo:

A cadeia irredutvel,
01, 12 e 20.
P300=P600=P900=...=1
O perodo d(0)=3. Alm disso,
d(0)=d(1)=d(2)=3

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Classifique a CMTD abaixo
4

4
7

Soluo:

A CMTD no irredutvel
2 classes recorrentes: {0,2,7,8} e {1,4,5,6}
{0,2,7,8} - peridico com perodo 2; d(0)=d(2)=d(7)=d(8)=2
{1,4,5,6} - aperidico d(1)=d(4)=d(5)=d(6)=1

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Achar a distribuio limite para a cadeia abaixo

0.2 0.8
P=
;
0.3 0.7
= P ,
=1;

0.2 0.8
[1 2 ]=[ 1 2 ]
0.3 0.7
1=0.2 1 +0,3 2
2=0.8 1 +0.7 2
1 +2=1

1=0.2 1 +0.3 2
0.3
1 =
2=0.375 2
0.8
1 + 2=1
0.375 2 + 2=1
2=0.7273
1=0.3750.7273=0.2727
[1 2 ]=[0.2727 0.7273]

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Achar a distribuio limite para a cadeia abaixo
Comparando com P(n)

[1 2 ]=[0.2727 0.7273]

0.2 0.8
0.3 0.7
0.28 0.72
2
P=
0.27 0.73
P=

[
[
[
[

P3= 0.272 0.728


0.273 0.727

P 4= 0.2728 0.7272
0.2727 0.7273
P5= 0.2727 0.7273
0.2727 0.7273

]
]

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Achar a distribuio limite para a cadeia abaixo

1 2 + 3=1
1 + 0.3 1 +1.4 1=1
1 =0.3704
2 =0.30.3704=0.111
.2 .3 .5 1 =0.2 1 +0.1 2 +0.55 3 3 =1.40.3704=0.5186
[1 2 3 ]=[1 2 3 ] .1 0 .9 =0.2 +0.03 +0.55 =[0.3704 0.111 0.5186]
1
1
1
3
.55 .0 .45 0.23 =0.55
1
1
3
1 =0.2 1 +0.1 2 +0.55 3
3 =1.4 1
2 =0.3 1
3 =0.5 1 +0.9 2 +0.45 3
1 2 + 3 =1
.2 .3 .5
P= .1 0 .9 ;
.55 .0 .45
= P , =1 ;

1=0.2 1 +0.1 2 +0.55 3


2 =0.3 1
3 =0.5 1 +0.9 2 +0.45 3
1 2 +3 =1

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
Achar a distribuio limite para a cadeia abaixo

0
0
0
0
1
0
0
0
0 1/3 1/3 0
0 1/3
0
0 1/2 0
0 1/2 0
P= 0
0
0
1
0
0
0
1/2 0
0
0 1/2 0
0
0
0 3/ 4 0
0 1/ 4 0
0 1/2 0
0 1/2 0
0

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
3/4
1

1/4
3

1/3

1/2
1/2

2
1/2

1/2

1/2

1/3
1/3
1

6
1/2

0
1

Cadeia de Markov
Cadeia de Markov a Tempo Discreto
C1
1

1/4
3

1/3

C2

C3

3/4

1/2

1/2

2
1/2

1/2

1/2

1/3
1/3
1

6
1/2

0
1

Cadeia de Markov a Tempo Discreto


3/4
1

1/2

1/4
3

5
1/2
1/3

30
51
22
43
04
65
16

1/3

1/2
1/2

0
1

1/2

1/3

1/2

3/4
1

1/2

1/4
0

1
1/2
1/3
6

1/3
1/3
1/2

1/2
1/2

1/2
5

4
1

Cadeia de Markov a Tempo Discreto


Uma nova CMTD com a seguinte matriz P:
Classes recorrentes positivas
C1={0}, C2={1,2}, C3={3,4}
Conjunto de estados transientes
T={5,6}

1
0
0
0
0
0
0
0 1/4 3/4 0
0
0
0
0 1/2 1/2 0
0
0
0
P= 0
0
0 1/2 1/2 0
0
0
0
0
1
0
0
0
0
0
0 1/2 0
0 1/2
1/3 0 1/3 0
0 1/3 0

Cadeia de Markov a Tempo Discreto


Para as classes recorrentes tem-se o seguinte
comportamento limite
Classes C2={1,2}

1/4 3/ 4
P=
1/2 1/2
= P
j =1

1=2/5 ; 2=3/5

Classes C3={3,4}

1/2 1/2
P=
1
0
= P
j =1

3=2/3 ; 4=1/3

Cadeia de Markov a Tempo Discreto


Para uma anlise da classe transiente deve-se computar
f ij para iT e jC k (k=1,2,3)

0
1/2
Q=
1/3 0

[ IQ] R 1 .1=

1
1/2
[ I Q ]=
1/3
1

6
/
5
3/5
[ I Q ] =
2/ 5 6/5
1

[ ][

][ ] [ ]

f 50
6/ 5 3/ 5 0
1/5
=
[1]=
,( j=0)
2/5 6 /5 1/3
2/5
f 60

[ I Q]1 R 2 .1=

][

][ ] [ ]

6 /5 3 /5 0 0
1
1/5
=
,( j=1,2)
2 /5 6 /5 0 1/3 1
2/5

[ I Q]1 R 3 .1=

][

][ ] [ ]

6 /5 3 /5 1/2 0 1
3 /5
=
,( j=3,4)
2 /5 6 /5 0
0 1
1/5

Cadeia de Markov a Tempo Discreto


Para uma anlise da classe transiente deve-se computar
f ij para iT e jC k (k=1,2,3)

[ ][ ]

p50
p60

[
[

p51
p61

p53
p63

[]

1/5
f 50 / 0
1
1/5
=
=
=
2/5
2/5
f 60 / 0
1

][

p52
f 51 / 1
=
p62
f 61 /1

p54
p64

[ ]

1 5
/
f 52 / 2
5 2
=
2 5
f 62 / 2
/
5 2

[ ]

3 3
/
5 2
=
1 3
/
5 2

[ ]

1 5
/
5 3
2/25 3/25
=
2 5
4 /25 6/25
/
5 3

3
/3
5
2/5 1/5
=
,( j=3,4)
1
2 /15 1/15
/3
5

Cadeia de Markov a Tempo Discreto


Assim,

1
0
0
0
0
0
2/5 3/5
0
0
0
2/5 3/5
0
0

n
P =lim P = 0
0
0
2/3 1/3
n
0
0
0
2/3 1/3
1/5 2/25 3/25 2/5 1/5
2/5 4 /25 6/25 2/15 1/15
Note que

p
j=0

ij

=1,(i=0,1,2,3,4,5,6)

0
0
0
0
0
0
0

0
0
0
0
0
0
0

Cadeia de Markov a Tempo Discreto


Consideremos que Santarm tenha trs helipontos (Rio Tapajs Shopping
(1), Shopping Paraso (2) e Aeroporto Wilson Fonseca (3)) e um nico
helicptero, que recolhe o passageiro de um dos heliportos e os leva at um
outro heliporto, onde aguardam at que aparea outro passageiro. Um
nico passageiro (um grupo com o mesmo destino) atendido de cada vez.
A) Se o helicptero est no Aeroporto Wilson Fonseca, qual a probabilidade de que
ele volte aps 3 viagens?
B) Se o helicptero est no Shopping Paraso, quantas viagens, em mdia, iro ocorrer
at que ele volte ao Shopping Paraso?
C) Em um longo perodo de tempo, qual a frao de viagem se destinam ao Rio Tapajs
Shopping?
1
1/2

1/2
1/3
2

1/3

1/3
1/3

2/3
3

Cadeia de Markov a Tempo Discreto


Soluo
A) A probabilidade de que o helicptero volte aps 3 viagens
11/54
1

1 1 1/2 1/2
P= 2 1/3 1/3 1/3
3 2/3 1/3 0

]
3

1 2/ 9
5/ 12 13/36
3
P = 2 17/54 7/ 18 8/ 27
3 4 /9 19/54 11/54

Cadeia de Markov a Tempo Discreto


Soluo
B) Utilizando a equao
temos:
1

1 1 1/2 1/2
P= 2 1/3 1/3 1/3
3 2/3 1/3 0

lim p = ( j)>0 (i , j=0,1,. ..)


n

1 .322 .387 .29


n
P = 2 .322 .387 .29
3 .322 .387 .29

n
ij

Resp.: Em um longo perodo


de tempo, a frao de viagens
que se destinam ao Rio
Tapajs Shopping de 0,322.

Cadeia de Markov a Tempo Discreto


Soluo

1
C) Utilizando a equao lim p ; Assim temos:
j
n
n
jj

1 .322 .387 .29


n
P = 2 .322 .387 .29
3 .322 .387 .29

Resp.: Nmero mdio de


viagens que iro ocorrer at
que o helicptero volte ao
Shopping Paraso 2,583.

1
1
lim p =
=2,583
2
0.387
n
n
22

Avaliao de Desempenho
Cadeia de Markov a Tempo Contnuo

Cadeia de Markov a Tempo Contnuo


Definio
O processo estocstico {X(t), t0} uma CMTC se
para todo 0 t1 < t2 < ... < tn < t

P {X (t )=x / X (t 1 )=x 1 , X (t 2 )=x 2 ,... , X (t n )=x n }=


P {X (t )=x / X (t n )= x n }

Cadeia de Markov a Tempo Contnuo


Definio
Para todo t, s 0

pij (t )= pij (0, t )=P {X (u+t)= j / X (u)=i}=


P {X (t)= j / X (0)=i}, uT
Probabilidade de transio da CMTC
A cadeia no depende do tempo inicial, mas somente
dos tempos transcorridos e dos estados inicial e final i
e j.

Cadeia de Markov a Tempo Contnuo


Definio
Seja

j (0)=P {X (t )= j}, j=0,1,2,. .. ,t 0


a probabilidade de estado da CMTC no tempo t
Seja

i (0)=P {X (0)=i},
a probabilidade inicial da CMTC

Cadeia de Markov a Tempo Contnuo


Definio
Ento

j (t )=P {X (t )= j}= P {X (t )= j , X (0)=i}


i

j (t )= P {X (0)=i}P {X (t )= j / X (0)=i}
i

j (t )= i (0) pij (t )
i

Na forma matricial

(t )= (0) P(t)

O comportamento probabilstico
totalmente determinado pelas
distribuio de probabilidades
iniciais e as probabilidades de
transio

Cadeia de Markov a Tempo Contnuo


Definio
Onde, P(t), a matriz probabilidade de transio dada
por:

p00 (t ) p01 (t ) .
P(t )=[ P ij (t )]= p10 (t) p11 (t) .
.
.
.
Propriedades:

0 pij (t )1
pij (t)=1
j

pij (0)= 1, se i= j =P(0)= I


0, se i j

Cadeia de Markov a Tempo Contnuo


Gerador Infinitesinal
A matriz cujas entradas so as taxas de transio
entre os estados da cadeia

q00 q 01 .
Q=[qij ]= q10 q11 .
.
. .
Onde

dpij (t )
q ij =
dt

t =0

Cadeia de Markov a Tempo Contnuo


Gerador Infinitesimal
Interpretao
qii a taxa total de sada do estado i
qij a taxa no qual a cadeia se move de i para j

pij (t )=1
j

d
dt

q ii + qij =1
ji

d
q
=
q

ii
ij
p
(t)=
(1)
ij
ji
dt
j
qij =0
j

qii = -(qij + qil)

qij
j

qil
l

Cadeia de Markov a Tempo Contnuo


Distribuio Limite
Forma matricial

0= Q

Condio de normalizao
Propriedades:

i=1
i

Independente do tempo;
Independente das condies iniciais;
Estritamente positivo.
Condio para existncia do estado de equilbrio:
Irredutvel, homognea e finita
Estados recorrentes positivos

Cadeia de Markov a Tempo Contnuo


Uniformizao
Construir uma CMTD a partir de uma CMTC
A soluo do estado de equilbrio a mesma para
ambas cadeias

Q
P= + I
q
q>max i , j|q ij|

Cadeia de Markov a Tempo Contnuo


Cadeia de Markov
Tempo Discreto
(CMTD)

Matriz de Transio P (probabilidades)


Comportamento Limite (estado de equilbrio)

= P ,

jI

j =1

CM
Gerador Infinitesimal Q - (taxas)
Comportamento Limite (estado de equilbrio)

Tempo Contnuo
(CMTC)

Q =0,

jI

j =1

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Handoff o procedimento que transfere uma
chamada em andamento de uma clula para outra
medida que uma estao mvel desloca-se
atravs da rea de cobertura de uma rede mvel
celular.

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Se a clula alvo para a qual a estao mvel migra no tem
recursos suficientes de banda passante, a chamada ser
descartada.
Da perspectiva do usurio, o descarte de chamadas em
andamento durante o handoff menos desejvel que o
bloqueio de novas chamadas.

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
uma soluo que determina se uma recurso ser alocado ou
no com base na largura de banda disponvel, para ajudar a
evitar a degradao do QoS.
O principal objetivo dos algoritmos de CAC em redes sem fio
fazer o melhor uso dos recursos de rdio disponveis enquanto
garante que os requisitos de QoS de todas as chamadas em
servio sejam satisfeitos.
CAC deve decidir se recursos de rdio sero atribudos a nova
chamada, para que a mesma possa ser atendida com QoS. Caso
no haja recursos suficientes ou por alguma restrio o CAC no
possa admitir a chamada, esta ser bloqueada.

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Considere uma rede mvel celular
Estao Rdio Base
Canais de Rdio (N)
Prov o acesso a duas classes de servio
Chamadas de voz (Servio Telefnico
convencional)
Chamadas de dados (Internet)

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Consideraes de trfego
Chegada das chamadas de voz e dados
Processo de Poisson
v e d, para voz e dados
Tempo de servio (durao da chamada)
Distribuio exponencial
Tv = 1/v para voz;
Td = 1/d para dados.

Estudo de Caso
Controle de Admisso de Chamadas (CAC)

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Modelagem usando a CMTC
Espao de Estados
S={(v,d)/ 0vN, 0dKd}
v Nmero de chamadas de voz
d Nmero de chamadas de dados
Kd Threshold (limiar) de dados
Nmero de estados em S=(N+1)(Kd+1)

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Partindo do estado (v, d)
Prximo Estado

Taxa

Condio

Evento

(v+1,d)

v+d<N

Chegada de uma
chamada de voz

(v-1,d)

vv

v>0

Partida de uma
chamada de voz

(v,d+1)

v+d < Kd

Chegada de uma
chamada de dados

(v,d-1)

dd

d>0

Partida de uma
chamada de dados

Estudo de Caso
Diagrama de Transio do modelo CAC
Sistema de pequeno porte
2,0

2v

1,0

0,0

1,1

d
d

0,1

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Modelagem usando a CMTC
Mtricas de QoS
Probabilidade de bloqueio de uma
chamada de voz
Probabilidade de bloqueio de uma
chamada de dados

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Modelagem usando a CMTC
Mtricas de QoS
Probabilidade de bloqueio de uma
chamada de voz

Pv=

v +d=N

(v , d )

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Modelagem usando a CMTC
Mtricas de QoS
Probabilidade de bloqueio de uma
chamada de dados

Pd=

v+dKd

(v , d)

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Diagrama de transio
2,0

Bloqueio de voz
2v

1,0

0,0

1,1

d
d

0,1

Estudo de Caso
Controle de Admisso de Chamadas (CAC)
Diagrama de transio
Bloqueio de voz
2,0

2v

1,0

0,0

d
d

Bloqueio de dados

1,1

0,1

Estudo de Caso
Controle Conjunto de Admisso de
Chamadas (CCAC)
Diferentemente dos tradicionais algoritmos de CAC, algoritmos
para CCAC, no so apenas responsveis por decidir se uma
nova chamada dever ser aceita ou no, mas tambm devero
decidir qual RSF a mais adequada para servir a nova
chamada.
A deciso da RSF mais apropriada deve ser realizada levandose em considerao diversos fatores:
Preferncias do usurio e;
Preferncias do operador.

Estudo de Caso
Controle Conjunto de Admisso de
Chamadas (CCAC)
Critrios de seleo da RSF mais adequada
Preferncias do
Usurio

Preferncias do
Operador

Outros Critrios

Menor custo de servio

Distribuio de carga
uniforme

Requisitos de aplicao

Melhor QoS

Maximizao do ganho

Capacidade residual da
RSF

Maior rea de cobertura

Otimizao do consumo de
energia

Capacidade do terminal
mvel

Maior segurana

Minimizao da perda de
handoffs

Menor consumo de bateria

Exerccio
Questo 1
O modelo a seguir descreve um buffer de requisies de
impresso. O buffer faz o gerenciamento de duas
impressoras: laser e deskjet. Este buffer recebe, em
mdia, uma requisio a cada 5 minutos (12 requisies
por hora). A impressora laser leva em mdia 2 segundos
(1800 folhas por hora) para imprimir uma folha, enquanto
a impressora deskjet imprime uma folha em 5 segundos
(720 folhas por hora). Um pedido de impresso pode ser
atendido tanto pela laser como pela deskjet, respeitando
a razo de que para cada hora trabalhada pela
impressora deskjet, a impressora laser trabalha por 4
horas.

Exerccio
Questo 1
12

12

1800
0,25

12

1800

0,25

0,25

12
5

720

1800

0,25

12
4

12
6

720

720

Exerccio
Questo 1
Os estados 0, 1, 2 e 3 representam o nmero de requisies
no buffer (0, 1, 2 e 3 requisies respectivamente) que esto
sendo atendidas pela impressora laser. Em contra partida, os
estados 4, 5, 6 e 7 representam o nmero de requisies no
buffer (0, 1, 2 e 3 requisies respectivamente) que esto
sendo atendidas pela impressora deskjet.
Com base no modelo, construa o gerador infinitesimal da
CMTC.

Exerccio
Resposta
Etapa 1: Preenche-se os elementos no diagonais do
gerador infinitesimal, utilizando as taxas de ocorrncia da
transio de um estado para outro.

0
12
0.25
1 1800
12
0.25
2
1800
12
0.25
3
1800
0.25
Q=
4 1
12
5
1
720
12
6
1
720
12
7
1
720

Exerccio

Resposta

Etapa 2: Preenche-se os elementos diagonais (ajuste


diagonal das taxas de ocorrncia das transies entre os
estados) do gerador infinitesimal. Como a soma de cada
linha do gerador infinitesimal deve ser igual a zero, o mesmo
fica da seguinte maneira aps o ajuste da diagonal:

0 12.25
12
0.25
1 1800 1812.25
12
0.25
2
1800
1812.25
12
0.25
3
1800
1812.25
0.25
Q=
4
1
13
12
5
1
720 733
12
6
1
720 733
12
7
1
720 721

Exerccio

Resposta

Etapa 3: Preenche-se os elementos nulos do gerador


infinitesimal. Logo, tem-se o gerador infinitesimal do modelo

0 12.25
12
0
0
0.25
0
0
0
1 1800 1812.25
12
0
0
0.25
0
0
2
0
1800
1812.25
12
0
0
0.25
0
3
0
0
1800
1812.25
0
0
0
0.25
Q=
4
1
0
0
0
13
12
0
0
5
0
1
0
0
720 733
12
0
6
0
0
1
0
0
720 733
12
7
0
0
0
1
0
0
720 721

Referncia Bibliogrfica
V.G. Kulkarni. Modeling, Analysis, Design, and Control of
Stochastic Systems, Springer, 1999.
J.F. Hayes e T.V.J. G. Babu. Modeling and Analysis of
Telecommunications Network, Wiley, 2004.
Baseado no curso Introduo Modelagem Probabilstica de
Sistemas Computacionais e de Comunicao do Prof. Dr. Glaucio H.
S. Carvalho.