Vous êtes sur la page 1sur 8

Universidade de Pernambuco

Escola Politécnica de Pernambuco


Teoria da Informação
Fonte Adjunta
Prof. Márcio Lima
E-mail
mail:marcio.lima@upe.poli.br
:marcio.lima@upe.poli.br

21.09.2009
Fonte Adjunta
{ }
Seja S = s1 , s 2 ,..., s k ,..., s q o alfabeto de uma fonte de Markov de ordem m,
e seja P1 , P2 ,..., Pq , as probabilidades de 1ª. 1ª ordem dos símbolos da fonte.
fonte A
fonte adjunta de S , designada de S , é a fonte sem memória com alfabeto fonte
idêntico ao de S e com probabilidades dos símbolos dada por

P1 , P2 ,..., Pq .
Em que,
p (s1 ) = P1 , p (s 2 ) = P2 ,..., p (s k ) = Pk ,...., p (s q ) = Pq .

Exemplo: Considere uma fonte de Markov de 2 2ª. Ordem com alfabeto binário S
= {0, 1} e com as seguintes probabilidades condicionais:

p (0 00 ) = p (111 ) = 0 ,8
p ( 00 ) p (11 )
⎧} }
⎪⎪ Π 00 = Π 11 = 5
p (1 00 ) = p (0 11 ) = 0 , 2 ⇒⎨ 14
⎪Π 01 = Π 10 =
2
p (0 01 ) = p (0 10 ) = p (1 01 ) = p (110 ) = 0 ,5 { { 14
⎪⎩ p (01 ) p (10 )

Teoria da Informação – Prof. Márcio Lima 2


Fonte Adjunta p ( 00 ) p (11 )
⎧} }
p (0 00 ) = p (111 ) = 0 ,8 ⎪⎪ Π 00 = Π 11 = 5
Exemplo: ⇒⎨ 14
p (1 00 ) = p (0 11 ) = 0 , 2 ⎪Π 01 = Π 10 =
2
{ { 14
⎪⎩ p (01 ) p (10 )
p (0 01 ) = p (0 10 ) = p (1 01 ) = p (110 ) = 0 ,5

U
Usando
d a propriedade
i d d da
d probabilidade
b bilid d total:
t t l

p (0 ) = ∑ p (0 σ )p (σ ) = p (0 00 ) p (00 ) + p (0 01 ) p (01 ) + p (0 10 ) p (10 ) + p (0 11 ) p (11 )


i
i i

⇒ p (0 ) =
5 2 2 5 1
= 0 ,8 + 0 ,5 + 0 ,5 + 0,2
14 14 14 14 2

Logo, Probabilidade de Primeira ordem.

p (1) = 1 − p (0 ) =
1
2
Portanto, a fonte adjunta para o exemplo é a fonte binária sem memória com
símbolos equiprováveis e

()
H S = 1 bit/binit
Teoria da Informação – Prof. Márcio Lima 3
Fonte Adjunta
OBS:
1 A adjunta de uma fonte sem memória é ela mesma;
1.
2. Para uma fonte de Markov de 1ª. ordem:
Conjunto de Estados da Fonte = Conjunto de Símbolos da Fonte
Distribuição de Estados da Fonte = Probabilidades de 1
1ª. ordem dos
símbolos.

Exemplo: S = {s1 , s 2 , s 3 } Fonte de primeira ordem com: p (s i s j ), i , j = 1, 2 ,3

P1 = p (s1 ) = Π s1
s1 s2

P2 = p (s 2 ) = Π s 2
P3 = p (s 3 ) = Π s 3
s3

Teoria da Informação – Prof. Márcio Lima 4


Fonte Adjunta
Será provado a seguir que a entropia da fonte adjunta S nunca é menor que a
entropia da fonte S . Este importante fato pode ser interpretado do seguinte
modo. As duas fontes, S e S , têm a mesma distribuição de probabilidade de
primeira ordem dos símbolos; a diferença essencial entre elas vem do fato de
que S tem restrições adicionais, expressas na forma de probabilidades
condicionais dos símbolos, que restringem as possíveis sequências de saída.
Tais restrições
ç reduzem a incerteza sobre a saída da fonte.

Visando manter a notação o mais simples possível, será provado que H S é ()


maior ou igual a H (S ) quando S é uma fonte de Markov de primeira ordem. É
deixado como um exercício a demonstração do caso em que S é uma fonte de
Markov de ordem m.

Teoria da Informação – Prof. Márcio Lima 5


Fonte Adjunta
{
Seja S = s1 , s 2 ,..., s k ,..., s q } o alfabeto de uma fonte de Markov de ordem 1,
e probabilidades condicionais
p (s i s j ), i , j = 1,2,..., q
Seja P1 , P2 ,..., Pq , as probabilidades de 1
1ª. ordem dos símbolos de S e S , sua
fonte adjunta. Seja
p (s j , s i ) = p (s i s j ) p (s j ).
Probabilidade da fonte esta no Estado
especificado por (sj, si).

Considere o somatório duplo

∑ ∑ p (s , s i )log
Pi P j
p (s j , s i )
j
i j

Pela desigualdade fundamental da teoria da informação verifica-se que é menor


ou igual a zero, com igualdade se e somente se

p (s j , s i ) = Pi P j , ∀ i,
i j
Teoria da Informação – Prof. Márcio Lima 6
Fonte Adjunta

∑ ∑ p (s , s i )log
Pi P j
≤0
p (s i s j ) p (s j )
j
i j

p (s j , s i )log p (s j , s i )log
Pi P j Pi
∑∑
i j p (s i s j )P j
= ∑∑
i j p (s i s j )
≤0

Contudo tem
Contudo, tem-se
se
Pi 1
= log + log Pi
p (s i s j ) p (s i s j )
log

logo

∑i ∑j ( ) 1
≤ ∑∑ p (s j , s i )log
1
p (s i s j )
p s j , s i log
i j Pi
1 4 4 4 42 4 4 4 43
H (S )

Teoria da Informação – Prof. Márcio Lima 7


Fonte Adjunta
H (S ) ≤ ∑ p (s , si )
1
∑ log
i Pi
j
1j 42 43
p (si )

≤ ∑i i
p (s ) log
1
P
1 442 4 4 3i
H (S )
Logo, tem-se

()
H (S ) ≤ H S , iguadade sse p (s j ,ss i ) = P j Pi
Ou seja, se a fonte é estatisticamente independente, S é uma fonte sem
memória.

Desafio:

Teoria da Informação – Prof. Márcio Lima 8

Vous aimerez peut-être aussi