Universidade de Pernambuco

Escola Politécnica de Pernambuco

Teoria da Informação
Fonte de Markov
Prof. Márcio Lima
E-mail
mail:marcio.lima@upe.poli.br
:marcio.lima@upe.poli.br

21.09.2009
Fonte de Markov
1. Fonte que contém símbolos, em que a ocorrência de um símbolo si pode
depender da ocorrência prévia de m símbolos.
símbolos
2. Também é chamada de Fonte de Markov de ordem m.
3. É especificada por seu alfabeto e suas probabilidades condicionais

( )
p s i s j1 , s j 2 ,..., s j m , i = 1, 2,..., q e j k = 1, 2,..., q ,

em que
q a sequência
q de símbolos ocorrida foi s j1 , s j 2 ,..., s jm , isto é,, si ocorre
depois de sjm .

Para uma fonte de Markov de ordem m,, A p probabilidade de acontecer um

símbolo é conhecida se for conhecido quais foram os m símbolos precedentes.

Os m símbolos anteriores são chamados de ESTADOS

da fonte de Markov de ordem m.

q símbolos ⇒ Fonte p
possui q m p
possíveis estados ((ordem m))

Teoria da Informação – Prof. Márcio Lima 2

Fonte de Markov
Exemplo: Considere uma fonte de Markov de 2ª. Ordem com alfabeto binário S
{0 1} e com as seguintes probabilidades condicionais:
= {0,
0 ,8
p (0 00 ) = p (111 ) = 0 ,8
00
p (1 00 ) = p (0 11 ) = 0 , 2 0,2 0 ,5

p (0 01 ) = p (0 10 ) = p (1 01 ) = p (110 ) = 0 ,5
0 ,5

01 10
0 ,5

0 ,5 0,2
11

0 ,8
Di
Diagrama de
d Estados
E t d
q=2
Tem − se q m = 2 2 = 4 Estado da fonte : 00 , 01 , 10 e 11 .
m=2
Teoria da Informação – Prof. Márcio Lima 3
Fonte de Markov
Fonte de Markov Ergódica

Fonte que, após ser observado por longo tempo, emite uma sequência de
símbolos “típica com probabilidade 1.

Fonte não Ergódica (Exemplo): Considere a fonte binária com alfabeto S = {0,
1} e com probabilidades
p (0 00 ) = p (111 ) = 1
1

p (1 00 ) = p (0 11 ) = 0 00
p (0 01 ) = p (0 10 ) = p (1 01 ) = p (110 ) = 0 ,5
0 ,5
0 ,5
OBS: Observe que se chegar ai estado 00 ou 11, ficará nesse para sempre. Além
disso, selecione um dos quatro estados ao acaso (ou seja, com probabiliade ¼), 01 10
então,, se iniciarmos no estado selecionado,, sabe-se q que após
p um ggrande 0 ,5
número de transições, nós estaremos no estado 00 ou 11 com probabilidade 0,5.
Assim, após vários símbolos serem emitidos pela fonte, esta, emitirá um 0 com
probabilidade 0,5 e ou m símbolo 1 com probabilidade 0,5. Contudo, para 0 ,5
qualquer sequência emitida pela fonte, depois de um longo tempo, será 11
observado que todos os símbolos serão zero ou 1.
1

1
Teoria da Informação – Prof. Márcio Lima 4
Fonte de Markov
Propriedades de uma Fonte de Markov Ergódica

A distribuição de probabilidades dos estados, após muitas transições, (ou

equivalentemente, a distribuição para uma sequência típica) não depende da
distribuição inicial com que os estados são escolhidos.

A distribuição estacionária é obtida a partir das probabilidades condicionais dos

símbolos.

Exemplo Anterior: ⎡ 0,8 0,2 0 0 ⎤

⎢ 0 0 ,5 ⎥⎥
p (0 00 ) = p (111 ) = 1 P=⎢
0 0 ,5
⎢ 0 ,5 0 ⎥ 0 ,8
p (1 00 ) = p (0 11 ) = 0
0 ,5 0
⎢ ⎥ 00
⎣ 0 0 0,2 0 ,8 ⎦
p (0 01 ) = p (0 10 ) = p (1 01 ) = p (110 ) = 0 ,5
0,2 0 ,5
0 ,5

01 10
0 ,5

∏ = [Π 00 Π 01 Π 10 Π 11 ] 0 ,5 0,2
11
∏ = ∏P
0 ,8

Teoria da Informação – Prof. Márcio Lima 5

Fonte de Markov 0,2
0 ,8

00
0 ,5
0 ,5
Propriedades de uma Fonte de Markov Ergódica
01 10
0 ,5
Exemplo Anterior: ⎡ 0,8 0,2 0 0 ⎤
⎢ 0 0 ,5 ⎥⎥
0 ,5 0,2
11
∏ = [Π 00 Π 01 Π 10 Π 11 ] P=⎢
0 0 ,5
0 ,8
⎢ 0 ,5 0 ,5 0 0 ⎥
∏ = ∏P ⎢ ⎥
⎣ 0 0 0,2 0 ,8 ⎦
⎧ Π 00 = 0 ,8 Π 00 + 0 ,5 Π 10
⎪Π = 0 ,8 Π 00 + 0 ,5 Π 10
OBS: Note que a probabilidade do evento conjunto “(s
(sj1, sj2, ...,
⎪⎪ 01 sjm) e si ocorrer pode ser obtida por

⎨ Π 10
⎪Π
= 0 ,8 Π 01 + 0 ,5 Π 11
( ) ( )(
p s j1 , s j 2 ,..., s j m , s i = p s i s j1 , s j 2 ,..., s j m p s j1 , s j 2 ,..., s j m )
= 0 ,8 Π 01 + 0 ,5 Π 11
⎪ 11
⎪⎩ Π 00 + Π 01 + Π 10 + Π 11 = 1
( ) (
em que p s i s j1 , s j 2 ,..., s j m é dado e p s j1 , s j 2 ,..., s j m é a )
probabilidade estacionária que pode ser calculada a partir do
diagrama de estado.
⎧⎪ Π 00 = Π 11 = 5
⇒⎨ 14
⎪⎩ Π 01 = Π 10 = 2 14

Teoria da Informação – Prof. Márcio Lima 6

Fonte de Markov
Entropia de uma Fonte de Markov
A informação fornecida de si ocorrer,
ocorrer dado que esteja no estado (s
( j1, sj2, ..., sjm) é
dada por
( )
I s i s j1 , s j 2 ,..., s j m = log
(
1
P s i s j1 , s j 2 ,..., s j m
.
)
Logo, a quantidade média de informação por símbolo emitido enquanto
estivermos no estado (sj1, sj2, ..., sjm
j ) é dado por

(
H S s j1 , s j 2 ,..., s j m = ) ∑ P (s i ) ( )
s j1 , s j 2 ,..., s j m ⋅ I s i s j1 , s j 2 ,..., s j m .
S

Calculando a média sobre todos os qm possíveis estados, a entropia da fonte de

Markov S de ordem m é dada por

H (S ) = ∑ P (s j1 ) (
, s j 2 ,..., s j m ⋅ H S s j1 , s j 2 ,..., s j m . )
Sm
Nesta equação, usa-se a probabilidade que

∑ ∑ , ∑ ,..., ∑
o estado
t d (s
( j1, sj2, ..., sjm) equivale
i l a um símbolo
í b l
⇒ m vezes de Sm
Sm S Sm Sm

Teoria da Informação – Prof. Márcio Lima 7

Fonte de Markov
Entropia de uma Fonte de Markov
Logo tem-se
Logo, tem se

H (S ) = ∑ ( ) ( ) 1
P s j1 , s j 2 ,..., s j m ⋅ ∑ P s i s j1 , s j 2 ,..., s j m ⋅ log
Sm S (
P s i s j1 , s j 2 ,..., s j m )
∑∑ ( ) ( ) 1
= P s j1 , s j 2 ,..., s j m ⋅ P s i s j1 , s j 2 ,..., s j m ⋅ log
Sm S (
P s i s j1 , s j 2 ,..., s j m )
∑ ( ) 1
= P s j1 , s j 2 ,..., s j m , s i ⋅ log
S m +11 (
P s i s j1 , s j 2 ,..., s j m )
Para o caso de uma fonte sem memória, tem-se

( )
P s i s j1 , s j 2 ,..., s j m = P (s i )
H (S ) = P (s i ) ⋅ log
1
∑ P (s i )
S
∑ P (s j1 )
, s j 2 ,..., s j m , s i = P (s i )
Sm

Teoria da Informação – Prof. Márcio Lima 8

 0 ,8

Fonte de Markov 0,2

00

0 ,5
0 ,5

01 10
Entropia de uma Fonte de Markov 0 ,5

Exemplo: Considere a fonte de Markov ilustrada pelo diagrama 0 ,5

11
0,2

de estado, com distribuição estacionária

0 ,8

A probabilidades
As b bilid d são
ã apresentadas
t d a seguir
i ⎧⎪ Π 00 = Π 11 = 5
⇒⎨ 14
sj, sk, si P(si / sj, sk ) P(sj, sk ) P(sj, sk, si) ⎪⎩ Π 01 = Π 10 = 2 14
0 0 0 0,8 5/14
5/ 1/14
/
0 0 1 0,2 5/14 1/14
0 1 0 0,5 2/14 1/14 P (s j , s k , s i ) = P (s i s j , s k )P (s j , s k )
0 1 1 0,5 2/14 1/14
1 0 0 0,5 2/14 1/14
1 0 1 0,5 2/14 1/14
1 1 0 0,2 5/14 1/14
1 1 1 0,8 5/14 1/14

H (S ) = P (s j , s k , s i )⋅ log
1
∑ P (s i s j , s k )
= 0 ,81 bit/
bit/" binit
binit"
S3
Teoria da Informação – Prof. Márcio Lima 9