H(X1 X2 . . .

Xn )
�
= − P (x1 , x2 , . . . , xn ) log P (x1 , x2 , . . . , xn )
x1 x2 ...xn
�
= − P (x1 , x2 , . . . , xn ) [log P (x1 ) + log P (x2 |x1 ) + . . . + log P (xn |x1 , x2 , . . . , xn−1 )]
x1 x2 ...xn
� �
= − P (x1 ) log P (x1 ) − P (x1 , x2 ) log P (x2 |x1 ) − . . .
x1 x1 ,x2
!"#$%&'($)*)+,$-.)/0,12$)3245)
−P (x , x , . . . x ) log P (x |x , x , . . . , x
1 2 n ) n 1 2 n−1
= H(X1 ) + H(X2 |X1 ) + H(X3 |X1 X2 ) + . . . + H(Xn |X1 X2 . . . Xn−1 ).
)
I.2.4 Solução do exercı́cio 1.4
Enunciado: São dadas 9 moedas aparentemente idênticas e uma balança, com a qual é possı́vel comparar
dois grupos de moedas. Utilizando seus conhecimentos de teoria da informação prove que é possı́vel, por
meio de 3 pesagens, determinar a existência ou não, de uma moeda falsa dentre as 9 moedas, podendo a
eventual moeda falsa ser mais leve ou mais pesada que as demais.
Solução: Cada pesagem tem três resultados possı́veis:

• xA : a balança pende para a esquerda

• xB : Ocorre equilı́brio
• xC : a balança pende para a direita

Definimos a variável aleatória X, associada ao resultado das pesagens, do seguinte modo:

x X(x)
xA 1
xB 0
xC 2

De acordo com o Teorema 1.1 a quantidade de informação que recebemos após cada pesagem é máxima
quando os eventos xA , xB e xC são equiprováveis, ou seja, quando PX (xA ) = PX (xB ) = PX (xC ) = 1/3.
Nestas condições temos

H(X) = log 3 = 1.58 bits.

Denotando as três pesagens por X1 , X2 e X3 , respectivamente, temos que a correspondente incerteza
H(X1 X2 X3 ) pode ser expressa como (vide equação (1.23) e Teorema 1.2)

H(X1 X2 X3 ) = H(X1 ) + H(X2 |X1 ) + H(X3 |X2 X1 ) ≤ H(X1 ) + H(X2 ) + H(X3 )

com igualdade se e somente se as pesagens forem independentes, caso este que fornecerá 1.58 bits por
20
pesagem, isto é, APÊNDICE I. COMPLEMENTOS
)
H(X1 X2 X3 ) = 3 × 1.58 = 4.74 bits, com pesagens independentes.
Precisamos calcular agora qual o valor máximo da incerteza H(Y ) associada à existência de até uma
moeda falsa dentre as 9 moedas. Consideraremos que as moedas foram numeradas de 1 a 9, para podermos
distingui-las. Os 19 possı́veis eventos são:
• y0 : nenhuma moeda é falsa
• y1 : a moeda falsa é a de número 1 e é mais leve que as demais
• y2 : a moeda falsa é a de número 1 e é mais pesada que as demais
..
.
• y17 : a moeda falsa é a de número 9 e é mais leve que as demais
• y18 : a moeda falsa é a de número 9 e é mais pesada que as demais
Sabemos que a entropia H(Y ) será máxima quando os eventos y forem equiprováveis, caso em que teremos
H(Y ) = log 19 = 4.25 bits. Como H(X1 X2 X3 ) > H(Y ), isto é, como 4.74 > 4.25, concluı́mos que o problema
tem solução com três pesagens.
)
I.2.5 Solução do exercı́cio 1.5
) Enunciado: Suponha que o vetor aleatório [X , X , X ] assume os valores [0, 0, 0], [0, 1, 1], [1, 0, 1] e [1, 1, 0],
1 2 3
cada um deles com probabilidade 1/4.
) 1. Calcule H(X1 X2 X3 ).
2. Calcule as seguintes incertezas
)
(a) H(X1 ), H(X2 ) e H(X3 ).
(b) H(X2 |X1 = 0), H(X2 |X1 = 1) e H(X2 |X1 ).
) (c) H(X3 |X1 X2 = 00), H(X3 |X1 X2 = 01)
3. Verifique, usando (a) e (b), que a expressão
H(X1 X2 X3 ) = H(X1 ) + H(X2 |X1 ) + H(X3 |X1 X2 )
é satisfeita.

Solução:
 • y18 : a moeda falsa é a de número 9 e é mais pesada que as demais
Sabemos que a entropia H(Y ) será máxima quando os eventos y forem equiprováveis, caso em que teremos
H(Y ) = log 19 = 4.25 bits. Como H(X1 X2 X3 ) > H(Y ), isto é, como 4.74 > 4.25, concluı́mos que o problema
tem solução com três pesagens.

I.2.5 Solução do exercı́cio 1.5

Enunciado: Suponha que o vetor aleatório [X1 , X2 , X3 ] assume os valores [0, 0, 0], [0, 1, 1], [1, 0, 1] e [1, 1, 0],
cada um deles com probabilidade 1/4.
1. Calcule H(X1 X2 X3 ).
2. Calcule as seguintes incertezas
(a) H(X1 ), H(X2 ) e H(X3 ).
(b) H(X2 |X1 = 0), H(X2 |X1 = 1) e H(X2 |X1 ).
(c) H(X3 |X1 X2 = 00), H(X3 |X1 X2 = 01)
3. Verifique, usando (a) e (b), que a expressão
H(X1 X2 X3 ) = H(X1 ) + H(X2 |X1 ) + H(X3 |X1 X2 )
é satisfeita.

Solução:
1. H(X1 , X2 , X3 ) =
−PX1 X2 X3 [0, 0, 0] log PX1 X2 X3 [0, 0, 0] − PX1 X2 X3 [0, 1, 1] log PX1 X2 X3 [0, 1, 1]
−PX1 X2 X3 [1, 0, 1] log PX1 X2 X3 [1, 0, 1] − PX1 X2 X3 [1, 1, 0] log PX1 X2 X3 [1, 1, 0]
= −(1/4) log(1/4) − (1/4) log(1/4) − (1/4) log(1/4) − (1/4) log(1/4) = 2 bits.

2. Vamos começar pelo cálculo de H(X1 ). A partir dos vetores dados, somando as probabilidades daqueles
onde ocorre X1 = 0, isto é, [0, 0, 0] e [0, 1, 1], obtemos
PX1 (0) = PX1 X2 X3 [0, 0, 0] + PX1 X2 X3 [0, 1, 1] = 1/4 + 1/4 = 1/2
e portanto PX1 (1) = 1 − PX1 (0) = 1/2. Procedendo de modo análogo chegamos a PX2 (0) = PX2 (1) =
1/2 e PX3 (0) = PX3 (1) = 1/2.
I.2. SOLUÇÃO DOS EXERCÍCIOS PROPOSTOS 21 )
(a) Portanto, obtemos H(X1 ) = H(X2 ) = H(X3 ) = 1 bit.
(b) Sabemos que PX2 |X1 (0|0) = PX2 ,X1 (0, 0)/PX1 (0). A partir dos dados obtemos PX2 ,X1 (0, 0) = 1/4
e PX1 (0) = 1/2, e portanto PX2 |X1 (0|0) = 1/2, resultando

H(X2 |X1 = 0) = −PX2 |X1 (0|0) log PX2 |X1 (0|0) − PX2 |X1 (1|0) log PX2 |X1 (1|0)
= 1 bit.

Procedendo de maneira idêntica, obtemos H(X2 |X1 = 1) = 1 bit e portanto

H(X2 |X1 ) = PX1 (0)H(X2 |X1 = 0) + PX1 (1)H(X2 |X1 ) = 1 bit.

(c) Como X3 fica determinado quando X1 e X2 são especificados, a correspondente incerteza

H(X3 |X1 X2 ) é nula, i.e.,

H(X3 |X1 X2 = 00) = 0

H(X3 |X1 X2 = 01) = 0.

3. Substituindo os resultados dos itens anteriores na expressão (vide equação (1.23))

H(X1 X2 X3 ) = H(X1 ) + H(X2 |X1 ) + H(X3 |X1 X2 )

obtemos 2 = 1 + 1 + 0, verificando a igualdade conforme pedido.

)
)
)
)
)
 II.1 Solução dos exercı́cios propostos
II.1.1 Solução do exercı́cio 2.1
Enunciado: Uma fonte binária sem memória S emite o sı́mbolo s1 com probabilidade 0.8 e o sı́mbolo s2
com probabilidade 0.2. Sı́mbolos sucessivos são emitidos independentemente, a uma taxa de 80 sı́mbolos
por minuto. Dispõe-se de um canal binário, isto é, que transmite 0’s e 1’s, sem restrições, a uma taxa de 1
sı́mbolo por segundo.

1. Qual a taxa de informação de S, em bits por segundo?

2. É possı́vel transmitir através do canal dado a informação gerada por S ? Em caso afirmativo, construa
um código de fonte para S.

Solução:

1. A taxa de informação de S é dada pelo produto da sua entropia pela taxa de geração de sı́mbolos, ou
seja, h(0.2) × 80/60 = 0.7219 × 80/60 = 0.9625 bits por segundo.

2. A resposta para a primeira parte desta pergunta é imediata. Como o canal binário dado transmite a
uma taxa de 1 sı́mbolo por segundo, sem restrições, concluimos qua a sua taxa máxima de transmissão
é de 1 bit por segundo. Como a taxa máxima de transmissão do canal (1 bit por segundo) excede a
taxa de transmissão da fonte (.9625 bits por segundo), a primeira parte da resposta é afirmativa. Ou
seja, sim, é possı́vel transmitir através do canal dado a informação gerada por S.
)
A segunda parte da resposta, relativa à construção de um código de fonte, é um pouco mais elaborada
) e requer conhecimentos sobre codificação de fontes, razão pela qual deferimos a sua apresentação para
o apêndice do Capı́tulo 3.

) II.1.2 Solução do exercı́cio 2.2

Enunciado: Calcular a distribuição de probabilidade dos estados da fonte ergódica de Markov do Exem-
) plo 2.3 e também a probabilidade de 0’s e 1’s serem emitidos por esta fonte.
Solução:
)
37

)
)