Matrizes e Cadeias de Markov

NOTAS DE AULA

Definies

Vetor Uma n-upla de nmeros: u = (u1; u2; u3;...; un)

Se todos ui = 0 u um vetor nulo componentes de u

Mltiplo escalar de u ku (k R): ku = (ku1; ku2; ku3;...; kun)
Dois vetores so iguais se e somente se suas componentes correspondentes so iguais.
Matriz Um agrupamento retangular de elementos: a11 a12 ... a1n linha (n-uplas)

A = (aij)mxn aij chamado a ij sima entrada a 21 a 21 ... a 2n
A
... ... ... ...
matriz m x n
a m1 a m1 ... a mn
Se m = n a matriz quadrada.
Obs.: Uma matriz com uma nica linha pode ser olhada como um vetor coluna (m-uplas)
e vice-versa.
A diagonal principal (DP) de uma matriz A = (aij) nn, quadrada, constituda pelos elementos aij com i = j, ou seja:
(a11; a22; a33;...; ann).
p
Sejam A = (aij) mxp e B = (bij)pxn AxB = AB = (cij)mxn onde cij = (cij)mxn = ai1.b1j + ai2.b2j + ... + aip.bpj = a
k 1
ik .b kj

Obs.: Se o nmero de colunas de A no igual ao nmero de linhas de B, o produto AB no definido. Normalmente

AB BA.
Se A uma matriz quadrada n x n possvel formar todas as potncias inteiras de A: A2, A3,...,An.
Se u um vetor com n componentes podemos formar o produto uA que tambm um vetor com n componentes.
Chamamos u 0 um vetor fixo (ou ponto fixo) de A quando uA = u (u fixo esquerda). Consequentemente
(ku)A = k(uA), ou seja, cada mltiplo escalar no nulo tambm um vetor fixo de A.
Exerccios:
r s b1 b 2 b 3 rb1 sa1 rb2 sa2 rb3 sa3
a) . a a ? Resp.:
t u 1 2 a3 tb1 ua1 tb2 ua2 tb3 ua3
1 2 2 7 10
b) Sendo A calcule A . Resp.: A
2

3 4 15 22
1 2 3

c) 1 2 3 . 4 5 6 ? Resp.: 30 36 42
7 8 9
2 1
d) u = 2 1 um ponto fixo de A ? E o vetor 2u? Resp.: Sim em ambos casos.
2 3
Vetores de probabilidades/matrizes estocsticas e matrizes estocsticas regulares

Um vetor u chamado vetor de probabilidade se suas componentes no so negativas e somam 1.

Uma matriz P = (pij)mxn chamada matriz estocstica se cada uma de sua linhas um vetor de probabilidade, ou
seja, se cada entrada de P = (pij) no negativa e a soma das entradas em cada linha 1.
Teorema: Se A e B so matrizes estocsticas, ento o produto AB uma matriz estocstica. Consequentemente
todas as potncias de A so matrizes estocsticas.
Uma matriz estocstica P dita regular se todas as entradas de alguma potncia Pm so positivas.
1 1
0 1 1 0
Ex.: A 1
2 2 2 ; o mesmo no ocorre para A 1
1 regular pois A 1 3 1 .

2 2 2 2
4 4
Pontos fixos e matrizes estocsticas regulares

Seja P uma matriz estocstica regular, ento:

P tem um nico vetor fixo t de probabilidade e os componentes de t so todos positivos;
as entradas das potncias P, P2, P3, ... de P convergem para as entradas correspondentes da matriz T cujas
linhas so todas iguais ao vetor fixo t;
se p qualquer vetor de probabilidade ento a seqncia de vetores pP, pP 2, pP3, ... converge para o ponto fixo t.
PG. 1/5
351461431.doc
Exemplo: Determine o vetor fixo de probabilidade da matriz estocstica P em cada caso abaixo.
0 1
a) P 1 1


2 2

1 1x x
x 1 x
0 1 2 2
Clculo de t = (x; x-1) e lembrando que tP = t, vem: 1 1 x x 1 1 1

2 2 x x 1 x
2 2
1
x
3

Portanto t
1 2
.
3 3
Mostre que Pn converge para a matriz T cujas linhas so o vetor t.
Basta calcular algumas potncias de P conforme abaixo indicado.
1 1 1 1 1 3
0 1 0 1 0 1
2
P 1 1 1 1 2 2 0,50 0,50
P3 2 2 1 1 4 4 0,25 0,75
2 2 2 2 1 3 0,25 0,75 1 3 2 2 3 5 0,38 0,62

4 4 4 4 8 8
1 3 3 5 1 3 1 1 5 11
0 1 0,38 0,62

P 4
4 4 1 1 8 8

P 4
5 4
2 2 16 16 0,31 0,69
3 5 3 5 3 11 21 0,34 0,66
2 2 5 11 0,31 0,69
1

8 8 16 16 8 8 4 4 32 32
Quadro 1
0 1 0


b) P 0 0 1
1 1
0
2 2

1 x y
0 1 0
2
x x1



1 x y 5
Mtodo 1: x y 1 x y . 0 0 1 x y 1 x y x y

y2
1 1
2
0
2 2 y 1 x y
5
Portanto t 1 2 2
.
5 5 5
Mtodo 2: Sabe-se que o sistema tem soluo diferente de zero ento pode-se atribuir, arbitrariamente, um valor para
cada uma das incgnitas lembrando que todo mltiplo de t um ponto fixo de P. Assim:
1z x
0 1 0 2

1
2 t

u 1 2
1 2 2
x y z . 0 0 1 x y z x z y ; fazendo z = 2 vem 5 5 5

1
1 0

2
2 2
yz

Cadeias de Markov

Considere-se uma seqncia de ensaios cujos resultados x1, x2, ..., satisfazem as seguintes propriedades:

PG. 2/5
351461431.doc
 cada resultado pertence a um conjunto finito de resultados (a 1, a2, ..., am) chamado espao dos estados do
sistema; se o resultado da n-sima tentativa ai diz-se que o sistema se encontra no estado ai
t c
no instante n;
o resultado de qualquer ensaio depende no mximo do resultado do ensaio imediatamente t
anterior e no de qualquer outro dos precedentes; a cada par de estados (a i; aj) est associada a c
probabilidade pij de que aj ocorre imediatamente aps ter ocorrido ai.
O processo estocstico com a probabilidades acima chamado cadeia de Markov (finita); os nmeros pij, chamados
probabilidades de transio, podem ser dispostos segundo uma matriz P denominada
p11 p12 ... p1mmatriz de transio.
p 21 p 22 ... p 2mAssim, a cada estado ai corresponde i-sima linha p = (pi1; pi2; ...; pim) da matriz de
P
transio . Se o sistema est no estado a i ento esse vetor linha representa as
... ... ... ... probabilidades de todos os possveis resultados do prximo ensaio de forma que um
p
m1 p m2 ... p mm
estocstica.
vetor de probabilidade, portanto a matriz de transio P da cadeia de Markov uma matriz

Exemplo (1): Um homem vai diariamente para o trabalho de carro ou de trem. Sabe-se que ele nunca toma o trem
dois dias seguidos mas se vai de carro para o trabalho to provvel que ele v de trem quanto de automvel para o
trabalho no dia seguinte. Posto isto:
o espao de estados do sistema t (trem); c (carro);
o processo estocstico uma cadeia de Markov pois o resultado em qualquer dia depende somente do que
aconteceu no dia anterior;
a matriz P de transio da cadeia de Markov mostrada ao lado onde a primeira linha da matriz corresponde ao
fato de que o usurio nunca toma o trem duas vezes seguidas de modo que, definitivamente, vai de carro no dia
seguinte ao que tomou o trem. A segunda linha da matriz corresponde ao fato de que no dia seguinte ao que foi
de carro o usurio poder ir de carro ou de trem com probabilidades iguais.
Exemplo (2): Trs crianas A, B e C esto arremessando uma bola uma para a outra. A sempre arremessa bola para
B e B sempre arremessa a bola para C mas to provvel que C lance a bola para B quanto para A. Ento:
o espao de estados do sistema A, B, C; A B C
esta uma cadeia de Markov pois a pessoa que arremessa a bola em um dado instante no
A
influenciada por aquelas que a arremessaram anteriormente.
a matriz de transio P se encontra ao lado onde a primeira linha corresponde ao fato de que B
A sempre arremessa a bola para B; a segunda linha deve-se ao fato de que B sempre C
arremessa a bola para C e a ultima linha corresponde ao fato de que C arremessa a bola para
A ou para B com probabilidades iguais e, como nos dois casos
anteriores, no fica com a bola. t=0
t=1/4
Exemplo (3): Um homem se encontra em algum ponto (inteiro) no
eixo dos x compreendido entre a origem e o ponto 5. Em cada etapa 0 1 c=1/2
2 3 4 5
ele anda para o ponto imediatamente esquerda com probabilidade 0
q = 1 p, ou para o ponto imediatamente direita com probabilidade t p=5/6 t=1/2 c=1/4
p a menos que esteja na origem O ou no ponto 5: neste ultimo caso 1
ele caminhar para o ponto imediatamente direita ou esquerda, 2
respectivamente. Esta uma cadeia de Markov com espao de
estados 0, 1, 2, 3, 4, 5 cuja a matriz de transio P se encontra ao c=1 3
lado. 4
t=1/4
Exemplo (4): Uma escola tem 180 meninos e 170 meninas; um
estudante aps o outro selecionado para submeter-se a um exame c=1/45
c=1/2
de vista. Seja Xn o sexo do n-simo estudante examinado. O espao t=1/8
de estado do processo estocstico m (macho); f (fmea),
c=1/4
contudo este processo no uma cadeia de Markov pois, por
exemplo, a probabilidade de que a quarta pessoa seja do sexo c=1/8
feminino no depende apenas do terceiro ensaio (o anterior) mas
tambm do segundo e primeiro ensaios, ou seja, tambm depende t=1/2 t=1/4
de todos os ensaios anteriores. c=1/4
Probabilidade de transio em vrias etapas c=1/2
t=1/8

Considere-se o exemplo (1) acima onde t representa o estado de ir c=1/4

para o trabalho de trem e c de ir carro. A questo determinar a c p=1/6 c=1/8
probabilidade do usurio, no quinto dia, ir de carro para o trabalho e
t=1/4
de ir de trem, ou seja, quer-se determinar p (t 4 ) e p (c4 ) ( claro que t=1/8
c=1/4
p (t 4 ) + p (c4 ) = 1). Suponha-se ainda que no primeiro dia de
c=1/8
trabalho o homem lance um dado, indo para o trabalho de carro c=1/2
somente se ocorrer a face 6 no lanamento desse dado esta a
t=1/8
chamada distribuio de probabilidade inicial: p t
(0)
5 e p (c0 ) 1 . c=1/8
6 6 c=1/4
PG. 3/5 t=1/16
351461431.doc
c=1/8

c=1/16
O quadro ao lado apresenta o digrama de rvore para a situao. No primeiro dia o usurio tem uma chance de 5/6
de ir de trem para o trabalho (depende da face obtida ao lanar o dado); se isto ocorrer a probabilidade de ir de trem
no segundo dia nula (vide quadro ao lado), existindo a certeza de uma viagem de carro (c=1) no segundo dia de
modo que, para o terceiro dia, existe a possibilidade (meio a meio) de ir de trem ou de novamente de carro devido s
condies iniciais impostas: se viajar de trem ter de viajar, obrigatoriamente (probabilidade igual a 1) de carro no
quarto dia, se em vez de trem optar por carro, no quarto dia tanto poder ir de carro (probabilidade de 50%) como de
trem (tambm probabilidade de 50%) de modo que a possibilidade para ambas condies neste dia so iguais entre
si e iguais a 25% (1/4 produto das probabilidades: teorema da multiplicao) e assim por diante, de modo que no
quinto dia encontra-se o apresentado no diagrama ao lado (ltima coluna). Uma vez que a primeira viagem foi feita
por trem (parte superior do diagrama) o usurio tem uma possibilidade de viajar de carro dada pela soma das
1 1 1
probabilidades em c, isto : .
4 4 8
Raciocino semelhante aplicado na parte inferior desse diagrama de modo que a possibilidade final (total) do homem
viajar de carro no quinto dia dada pela soma das probabilidades em c dessa quarta coluna (parte superior e inferior)
multiplicadas por cada uma das probabilidades iniciais (ou de partida) que no foram consideradas nos clculos do
diagrama de rvore apresentado ao lado, ou seja:
1 1 1 5 1 1 1 1 1 1 5 5 11 1 61
p(c4 ) x x
4 4 8 6 4 8 8 8 16 6 8 6 16 6 96
De modo anlogo, a probabilidade do homem viajar de trem no quinto dia dado por:

p (t 4 ) 1 1 x 5 1 1 1 x 1 3 5 5 1 35
4 8 6 8 8 16 6 8 6 16 6 96
Como esperado, verifica-se a igualdade p (t 4 ) + p (c4 ) = 1 extremamente interessante notar os coeficientes
associados s probabilidades iniciais e que esto indicados em negrito em cada uma das expresses acima.
No exemplo dado determinaram-se as probabilidade de transio da quarta etapa utilizando conhecimentos bsicos
sobre probabilidades. O prximo passo ser desenvolver um mtodo mais adequado para obter esses resultados.
A entrada pij na matriz de transio P da cadeia de Markov a probabilidade de que o sistema passe do estado ai
para o estado aj em uma etapa.
Conforme mencionado, a proposta estabelecer a probabilidade, representada por p (ijn ) , de o sistema passar de um
estado ai para o estado aj em exatamente n etapas: ai ak1 ak2 ak3 an-1 aj.
Teorema: Seja P a matriz de transio da cadeia de Markov, ento a matriz de transio de n etapas igual a
n-sima potncia de P, ou seja P(n) = Pn.
Suponha-se agora que, em algum instante arbitrrio, a probabilidade de que o sistema esteja no estado ai seja pi;
essas probabilidades so representadas atravs do vetor p = (p1; p2 ;...; pm) que chamado distribuio de

probabilidade do sistema naquele instante. Em particular, se denota por p ( 0 ) p 1( 0 ) ; p (20 ) ;...; p (m0 ) a distribuio
de probabilidade inicial, isto , a distribuio segundo a qual o processo se inicia. Denota-se por

p(n ) p1(n); p(2n );...; p(mn ) a distribuio de probabilidades na n-sima etapa, isto , a distribuio
t c
aps as n primeiras etapas.
Exemplo (a): Considere-se a cadeia de Markov do exemplo (1), cuja matriz de transio foi rescrita ao t
lado para facilitar, e determine-se a matriz P4. c
Do Quadro 1 obtm-se a matriz abaixo onde a probabilidade de que o sistema passe do estado t para o
5 (4) 5 (4) 3
3 5 estado c em exatamente 4 etapas 8 , isto , p tc 8 . Da mesma forma, p tt 8 ,

P 4 8 8 p ( 4 ) 5 e p ( 4 ) 11 (observar que os elementos dessa matriz so justamente os coeficientes
5 11 ct 16 cc
16
16 16
assinalados em negrito para o clculo de p (4) e p ( 4 ) acima!).
t c
Teorema: Seja P a matriz de transio de uma cadeia de Markov. Se p = (pi) a distribuio de probabilidade do
sistema em algum instante arbitrrio, ento pP a distribuio de probabilidade do sistema na etapa seguinte e pP n
a distribuio de probabilidades do sistema aps as n etapas seguintes. Em particular: p (1) = p(0)P; p(2) = p(1)P;
p(3) = p(2)P; ... ; p(n) = p(0)Pn.
Considerando a cadeia de Markov do exemplo acima pode-se escrever:
3 5
p ( 4 ) p ( 0 )P 4 5 1 8 8 35 61
que a distribuio de probabilidade aps 4
6 6 5 11 96 96
16 16

A B C
dias, ou seja: p t
(4)
35 e p (4)
c
61
confirmando os resultados acima obtidos por um processo
96 96 A
mais complexo. B
PG. 4/5 C
351461431.doc
Para fixar, considere-se a cadeia de Markov do exemplo (2) acima cuja matriz de transio a apresentada ao lado.
Para efeito de exemplificao considere-se que C foi a primeira pessoa a receber a bola determinar, ento, depois de
trs arremessos, a probabilidade de cada criana ter a bola.
Pelo enunciado, a distribuio de probabilidade inicial p (0) = (0; 0; 1) pois C foi a primeira pessoa a receber a bola.
Ento:
0 1 0

p(1) p( 0 )P (0 0 1) 0 0 1 1 1 0 portanto
2 2
1 1 0
2 2
0 1 0

p ( 2 ) p (1)P ( 1 1 0) 0 0 1 0 1 1
e
2 2 2 2
1 1 0
2 2
0 1 0


p ( 3 ) p ( 2 )P (0 1 ) 0 0 1 1 1 1
1
.
2
2 4 4 2
1 1 0
2 2
Assim, depois de trs arremessos, a probabilidade que A e B tenham a bola e de que C tenha a bola , isto
p (A3 ) 1 ; p B( 3 ) 1 e p (C3 ) 1 que o resultado esperado.
4 4 2
Ainda a ttulo de exemplo considere-se o passeio aleatrio do exemplo (3) anterior e suponha-se que o homem
comea no ponto 2. Qual a distribuio de probabilidade aps 3 etapas? E aps 4 etapas?.
O que se pede determinar p (3) e p(4) sendo dado p(0) 0 0 1 0 0 0 , portanto:
p(1) p( 0 )P 0 q 0 p 0 0 ;
p(2) p(1)P q2 0 2pq 0 p2 0 ;
p(3 )
p(2)
P 0 2
q 2pq 2
0 3p q 2
0 p 3
e, finalmente:
P q
p( 4 ) p( 3 ) 3
2pq3 0 pq2 5p2q2 0 3p3q p3 0 de onde se extrai a resposta q3 2pq3 .
Distribuio estacionria de uma cadeia de Markov e estados absorventes

Suponha-se que uma cadeia de Markov seja regular (i.e. sua matriz de transio P regular) de modo que a
seqncia das matrizes de transio em n etapas converge para a matriz T cujas linhas so iguais ao nico vetor fixo
(n )
de probabilidades t, portanto, a probabilidade Pij de que aj ocorre para um n suficientemente grande independe do
estado inicial ai e aproximadamente igual componente tj de t. Da advm:
Teorema: Supondo-se que a matriz de transio P de uma cadeia de Markov seja regular, ento para n
suficientemente grande, a probabilidade de que qualquer estado a j ocorra aproximadamente igual correspondente
tj do nico vetor fixo de probabilidade t de P, para todo j.
Com isso v-se que o efeito do estado inicial ou da distribuio inicial do processo desaparece conforme o nmero de
etapas aumente. Alm disso, toda a seqncia de distribuio de probabilidade converge para o vetor fixo de
probabilidade t de P, chamado distribuio estacionaria da cadeia de Markov.
Para efeito de exemplificao considere-se a cadeia de Markov do exemplo ,(1) ao lado repetida para t c

facilitar. Viu-se que o seu nico vetor fixo de probabilidade dessa matriz
1 2 de modo que t

3 3 c
aps um nmero suficientemente grande de dias, o homem ir para o trabalho de trem com
probabilidade 1/3 e ir para o trabalho de carro com probabilidade 2/3.

Analogamente, para o exemplo (2) acima como o nico vetor fixo de probabilidade da matriz P
1 2 2

5 5 5
conclui-se que aps um nmero suficientemente grande de etapas, a bola estar com A com 20% de probabilidade e
com B e C com 40% de probabilidade.
Um estado ai de uma cadeia de Markov chamado absorvente se o sistema permanece no estado ai uma vez que
este tenha sido visitado. Assim, um estado a i chamado absorvente se e somente se a i-sima linha da matriz de
transio P tem um 1 na diagonal principal e, bvio, zeros nas outras posies.
No exemplo do passeio aleatrio do exemplo (3) suponha-se que o homem permanea em a0 a1 a2 a3 a4 a5
qualquer dos extremos assim que os alcance. Esta tambm ser uma cadeia de Markov
cuja matriz de transio P se encontra ao lado. Chama-se este processo de passeio a0
aleatrio com barreiras absorventes pois o a 0 e a5 so estados absorventes; neste caso, a 1

a2
PG. 5/5 a3
351461431.doc
a4
p(0n ) representa a probabilidade de que o homem atinja o estado a 0 no mximo em n etapas; da mesma forma p(5n )
representa a probabilidade de que ele atinja o estado a 5 no mximo em n etapas.
Teorema: Se uma matriz estocstica P tem um nmero 1 na diagonal principal, ento P no regular exceto sendo P
uma matriz 1 x 1.
Mais um par de exemplos:
1) Um jogador tem x reais. Ele aposta um real por vez que joga, perde com probabilidade p e ganha com
probabilidade q = 1 p. A partida termina quando ele perde todo seu dinheiro (x = 0) ou quando ganha N x reais, isto
, quando tem N reais.
Este exemplo idntico ao do passeio aleatrio com a diferena de que aqui as barreiras absorvente so 0 e N.
2) Uma pessoa lana uma moeda no viciada at que ocorram 3 caras sucessivamente. Seja X n = k se, na n-sima
tentativa, a ltima coroa aconteceu na (n k)-sima tentativa, ou seja, Xn representa a maior seqncia de caras
finais da n-sima tentativa.
Este processo uma cadeia de Markov com espao estado a0; a1; a2; a3 onde ai significa que a seqncia de caras
tem comprimento i - a matriz de transio se encontra ao lado. Cada linha, exceto a ultima, a0 a1 a2 a3
corresponde ao fato de que a seqncia de caras interrompida pela ocorrncia de uma coroa
ou aumentada de 1 pela ocorrncia de uma cara. A ltima linha da matriz deve-se ao fato de a0
que o jogo termina se trs caras so obtidas em seguida notar que a3 um estado
absorvente. a1
Obs.: As probabilidades de transio da cadeia de Markov podem ser representadas por um
diagrama chamado diagrama de transio onde uma probabilidade positiva pij representada a2
por uma flecha do estado ai para o estado aj.
A matriz de transio P abaixo pode ser representada pelo diagrama de transio tambm a3
apresentado abaixo onde claramente se v que o espao de estados a1; a2; a3 e que a cada flecha est associada
um valor que corresponde probabilidade envolvida em cada entrada da matriz - observar
que no h necessidade de flechas quando a probabilidade nula.
a1 a2 a3
a1

a2

a3

PG. 6/5
351461431.doc