Vous êtes sur la page 1sur 22

Departamento de Engenharia Electrotcnica e de Computadores

Exerccios de

Teoria da Informao

Slvio A. Abrantes

2000

Exerccios de Teoria da Informao

Exerccios de Teoria da Informao

1. Teoria de Shannon e cdigos de fonte


1.1.

Uma fonte produz letras estatisticamente independentes e equiprovveis, extradas de um alfabeto


(a1, a2) velocidade de 1 letra em cada 3 segundos. Essas letras so transmitidas atravs de um
canal binrio simtrico, usado uma vez em cada segundo codificando a letra de fonte a1 na palavra
de cdigo 000 e codificando a2 na palavra de cdigo 111. Se, na sada e no intervalo de 3 segundos
correspondente, qualquer das sequncias 000, 001, 010 e 100 for recebida, a1 descodificado;
seno, a2 descodificado. Seja < 1/2 a probabilidade de erro do canal.

a) Para cada sequncia de 3 dgitos possvel, recebida no intervalo correspondente a uma dada letra da
fonte, determine a probabilidade de a1 ter sido produzido pela fonte dada essa sequncia recebida.
b) Usando a alnea a) mostre que a regra de descodificao acima descrita minimiza a probabilidade de
uma deciso incorrecta.
c) Determine a probabilidade de uma deciso incorrecta (usar a alnea a) no a melhor maneira!) .
1.2.

Numa populao feminina X, consistindo em 1/4 de loiras, 1/2 de morenas e 1/4 de ruivas, as loiras
chegam sempre a horas nos seus compromissos, as ruivas chegam sempre atrasadas e cada morena
lana sempre uma moeda ao ar para decidir se h-de chegar atrasada ou no.

a) Que quantidade de informao fornecida pela afirmao "x, um membro de X, chegou a horas"
relativamente a cada uma das seguintes proposies:
(1)

x loira,

(2)

x morena,

(3)

x ruiva?

b) Que quantidade de informao fornecida pela afirmao "x, um membro de X, chegou a horas trs
vezes seguidas" relativamente proposio "x morena"?
1.3.

Uma fonte X produz letras de um alfabeto de trs smbolos com as probabilidades PX(0)=1/4,
PX(1)=1/4 e PX(2)=1/2. Cada letra x da fonte transmitida directa e simultaneamente atravs de
dois canais com sadas y e z e com as probabilidades de transio indicadas.
x
0
1
2

P(y|x)
1
1

1/2
1/2

P(z|x)

z
0

(Note que estes dois canais poderiam ser considerados como um nico canal com sada yz).

Calcule H(X), H(Y), H(Z), H(YZ), I(X,Y) e I(X,Z). Interprete as expresses da informao mtua.
1.4.

Uma fonte gera os smbolos 0 e 1, cada um com a durao de 2 e 4 segundos, respectivamente,


sendo o nmero de 1's metade do nmero de 0's. Determine a taxa de informao desta fonte.
3

Exerccios de Teoria da Informao


1.5.

Na figura est representado um canal discreto designado por binary erasure channel (ou BEC).
1-p

p
?

p
1

Probabilidade de transmitir um 0: p0
Probabilidade de transmitir um 1: p1 = 1 p0

1-p

a) Determine a informao mtua mdia do canal quando po = 1/4 e p = 0,1.


b) Represente graficamente a capacidade do canal em funo de p.
c) Determine a capacidade do canal, se p = 0,25.
1.6.

Imagine uma mquina de escrever com 26 teclas.

a) Se ao carregar numa tecla a letra correspondente escrita, determine a capacidade C em bits/letra.


b) A mquina est-se a avariar: ao carregar numa tecla a letra correspondente, ou a seguinte, escrita (isto
, A A ou B, , Z Z ou A. Quanto vale a nova capacidade?
1.7.

Um canal tem entrada e sada smbolos do conjunto {0, 1, 2, 3, 4}. As probabilidades de


transio so da forma
1 2
p( y| x) =
0

se y = x 1(mod 5)
outros valores

Determine a capacidade do canal.


1.8.

Um conjunto de oito palavras equiprovveis codificado no seguinte conjunto de oito palavras de


cdigo, para transmisso atravs de um canal binrio simtrico com probabilidade de transio
p = 0,2:
x1 = 0000

x5

= 1001

x2 = 0011

x6

= 1010

x3 = 0101

x7

= 1100

x4 = 0110

x8

= 1111

Se a sequncia de dgitos y = 0000 for recebida sada do canal, determine a quantidade de


informao que o primeiro dgito recebido fornece acerca de x1.
1.9.

Encontraram-se as seguintes probabilidades num canal discreto binrio: P(1|0) = 1/4; P(0|1) = 1/2.
Se P(0) = 2/5, determine a informao mtua mdia do sistema.

1.10.

Uma srie de cinco jogos entre duas equipas termina logo que uma delas ganhe trs vezes. Seja X a
varivel aleatria que representa o resultado dos jogos entre as equipas A e B; exemplos de valores
possveis de X so AAA , BABAB e BBAAA . Seja Y o nmero de jogos jogados (Y=3, 4 ou 5).

a) Admitindo que as duas equipas tem igual nvel competitivo e que os jogos so independentes, calcule
H(X) , H(Y ) , H(Y | X) e H(X| Y) .

Exerccios de Teoria da Informao


b) Seja Z a equipa vencedora. Determine H(X| Z ) e compare com H(X) . Determine ainda H(Z| X) .
1.11.

Considere o seguinte mtodo de construo de palavras de cdigo de fonte binrias para um


conjunto de mensagens A com probabilidades de smbolos P(ai): seja P(ak) P(aj) para k > j 1 e
defina-se
i 1

Qi = P( ak ) para i > 1; Q1 = 0
k =1

A palavra de cdigo atribuida mensagem ai formada determinando a expanso "decimal" de


Qi <1 no sistema binrio (isto , 1/2 1000, 1/4 01000, 5/8 101000) e depois
truncando esta expanso aos primeiros ni dgitos, em que ni o inteiro igual ou imediatamente
superior a I(ai) bits.
a) Construa as palavras binrias de cdigo para o conjunto de oito mensagens que ocorrem com as
probabilidades 1/4, 1/4, 1/8, 1/8, 1/16, 1/16, 1/16 e 1/16.
b) Prove que o mtodo acima descrito origina em todos os casos um conjunto de palavras de cdigo
satisfazendo a condio de prefixao e cujo comprimento mdio N satisfaz o teorema da codificao de
fonte H(A) N < H( A) + 1 .
1.12.

Verifique se existe um cdigo binrio com palavras de cdigo de comprimentos 1, 2, 3, 3 e 4 que


satisfaa a condio de prefixao.

1.13.

Uma fonte tem um alfabeto de quatro letras. Em baixo apresentam-se as probabilidades das letras e
dois conjuntos possveis de palavras de cdigo binrias:
Letras
a1
a2
a3
a4

Probabilidades Cdigo I
0,4
0,3
0,2
0,1

Cdigo II
1
01
001
000

1
10
100
1000

Para cada cdigo responda s seguintes questes:


a) O cdigo satisfaz a condio de prefixao?
b) O cdigo unicamente descodificvel?
c) Suponha que a primeira letra da palavra de cdigo "1". Qual a informao mtua que esta ocorrncia
fornece acerca do acontecimento "a letra da fonte a1"?
d) Qual a informao mtua mdia que a especificao da primeira letra da palavra de cdigo fornece
relativamente letra da fonte?
1.14.

Considere uma fonte com K=3 e probabilidades dos smbolos 0,6, 0,3 e 0,1.

a) Obtenha o cdigo de Shannon-Fano e calcule a sua eficincia.


b) Repita a alnea a) com um cdigo de extenso 2 (agrupando os smbolos em blocos de dois).
1.15.

Uma fonte binria tem smbolos com probabilidades 0,8 e 0,2.

Exerccios de Teoria da Informao


a) Agrupe os smbolos em blocos de dois, obtenha o correspondente cdigo de Shannon-Fano de extenso
2 e calcule a sua eficincia.
b) Repita a alnea a) para o cdigo de extenso 3.
1.16.

Suponha que uma fonte discreta produz as cinco letras E, R, T, C e O com as probabilidades de
ocorrncia 0.5, 0.09, 0.15, 0.01 e 0.25, respectivamente.

a) Determine a entropia da fonte.


b) Determine

sequncia

original

de

letras

que

deu

origem

sequncia

codificada

111110111011100111111010. O cdigo usado foi o de Shannon-Fano, com E '0'.


c) Determine, para o cdigo referido, o nmero mdio de bits por cada letra da fonte.
1.17.

Considere duas fontes discretas sem memria. A fonte 1 tem um alfabeto de 6 letras com as
probabilidades 0,3, 0,2, 0,15, 0,15, 0,12 e 0,08 e a fonte 2 tem um alfabeto de 7 letras com as
probabilidades 0,3, 0,27, 0,13, 0,12, 0,08, 0,05 e 0,05. Para cada fonte:

a) Construa um cdigo de Huffman binrio. Determine o nmero mdio de letras de cdigo por letra de
fonte.
b) Construa um cdigo de Huffman ternrio. Determine o nmero mdio de letras de cdigo por letra de
fonte.
1.18.

Determine um conjunto ptimo de comprimentos de palavras binrias n1, n2 , de um cdigo

instantneo se as probabilidades dos smbolos da fonte forem dadas pelos seguintes conjuntos:
10 9 8 7 7
a) p = , , , , .
41 41 41 41 41
9 9
1 9 1 2 9 1 3
b) p = , , , ,
10 10 10 10 10 10 10

1.19.

Do-lhe 6 garrafas de vinho, A, B, , F, e dizem-lhe que numa delas o vinho est estragado (sabe
mal).

-lhe

dito

ainda que a probabilidade de cada garrafa estar estragada


6 1 8 2
(pA , pB , pC , pD , p E , pF ) = 232 , 234 , 23
, , , . Pedem-lhe para encontrar o vinho estragado
23 23 23

atravs de provas gustativas.


Vamos supor que experimenta uma garrafa de cada vez. Escolha a ordem de prova de forma a
minimizar o nmero esperado de provas requeridas para escolher o mau vinho. claro que se as
primeiras 5 garrafas passarem o teste j no precisa de provar a sexta! Sendo assim:
a) Quantas garrafas espera provar?
b) Qual a garrafa que deve experimentar primeiro?
J concluiu que o mtodo anterior no o melhor e agora vai mudar de tctica: primeiro mistura
alguns dos vinhos num copo e prova a mistura, depois prossegue misturando e provando at que o
mau vinho tenha sido encontrado.
c) Qual o nmero esperado mnimo de provas que tem de fazer desta vez?
d) Qual a mistura que deve provar primeiro?

Exerccios de Teoria da Informao


1.20.

Uma fonte gera letras de um alfabeto ={A, E, I, O, U} com as probabilidades P(A)=P(I)=0,2,


P(E)=0,4 e P(O)=P(U)=0,1.

a) Codifique as letras com um cdigo de Huffman binrio e determine o nmero mdio de bits usado para
cada letra.
b) Determine a varincia do comprimento das palavras de cdigo.
c) Repita a alnea a) procurando obter um cdigo de Huffman de varincia mnima.
d) Determine a varincia do novo cdigo.
1.21.

Considere os dois cdigos de Huffman da tabela seguinte:


Smbolo

Probabilidade

Cdigo 1

Cdigo 2

x1

0,2

01

10

x2

0,4

00

x3

0,2

000

11

x4

0,1

0010

010

x5

0,1

0011

011

Poder verificar que o nmero mdio de bits/smbolo, N , igual em ambos os cdigos e que a varincia
do cdigo 2 a menor das duas.
a) A sequncia x 2 x1x 3x 2 x1 x2 x 4 foi codificada com o cdigo 1 e enviada atravs de um canal, que
provocou um erro no primeiro bit da sequncia binria (em vez de se receber um 1 recebeu-se um 0,
ou vice-versa). Quantos caracteres errados ocorrem antes do primeiro correctamente descodificado?
b) Repita o mesmo para o cdigo 2.
c) Repita as alneas anteriores mas supondo agora que o terceiro bit recebido que est errado.
1.22.

O alfabeto de uma fonte constitudo por smbolos ai que ocorrem com probabilidades
p(a1) = 0, 4

p(a2 ) = 0 ,2

p(a3 ) = 0, 03

p(a4 ) = 0, 05

p(a5 ) = 0, 02

p(a6 ) = 0, 3

Pretende-se codificar os smbolos gerados pela fonte atravs de um cdigo de Huffman ternrio.
a) Determine as palavras de cdigo usando um agrupamento prvio de smbolos. Determine N e a
eficincia da codificao. Determine ainda a redundncia da codificao, definida como a diferena
entre N e o seu valor mnimo possvel.
b) Repita a alnea a) mas sem recorrer a um agupamento prvio de smbolos. Compare os resultados com os
anteriores.
1.23.

Um alfabeto de entrada (por exemplo, um teclado de um processador de texto) consiste em 100


caracteres.

a) Se as teclas forem codificadas atravs de um cdigo de comprimento fixo, determine o nmero


requerido de bits para a codificao de cada tecla.
b) Suponhamos que 10 das teclas so equiprovveis e que cada uma ocorre com probabilidade 0,05.
Suponhamos tambm que as restantes 90 teclas so batidas com igual probabilidade. Determine o
nmero mdio de bits requerido para codificar este alfabeto usando um cdigo de Huffman.
7

Exerccios de Teoria da Informao


1.24.

Uma palavra foi codificada usando o cdigo de Huffman, tendo-se obtido a sequncia binria
10111011010111001110100
O alfabeto original era constituido pelas letras A, B, C, D, E, I, L, R e T e a letra I foi codificada
como "00". Supondo que estas letras ocorriam com as probabilidades
P(A) = 0,26

P(D) = 0,01

P(L) = 0,01

P(B) = 0,09

P(E) = 0,07

P(R) = 0,23

P(C) = 0,08

P(I) = 0,22

P(T) = 0,03

qual ter sido a palavra codificada?


1.25.

Uma fonte ternria apresenta as seguintes probabilidades de ocorrncia de smbolos: p(a1)=0,8,


p(a2)=0,02 e p(a3)=0,18. Codifique a sequncia a1a3a2a1 usando codificao aritmtica.

1.26. Dadas as probabilidades p(A)=0,2, p(B)=0,3 e p(C)=0,5, determine um valor real, usando
codificao aritmtica, que represente a sequncia AACBCA.
1.27. Dadas as probabilidades P(A) = 0,37, P(B) = 0,38 e P(C) = 0,25, use codificao aritmtica para
determinar a menor sequncia binria correspondente sequncia ABACABB.
1.28. Uma mensagem de seis smbolos {a1, a2, a3} representada pelo nmero real 0,927430. Sabe-se que
na fonte a probabilidade de ocorrncia dos smbolos p(a1 ) = 0, 6 , p(a2 ) = 0,3 e p(a3 ) = 0,1 .
Descodifique a mensagem.
1.29. Uma fonte discreta possui um alfabeto de 10 smbolos X1, X2, , X10 que ocorrem com as seguintes
probabilidades:
{1/50, 2/50, 3/50, 4/50, 5/50, 5/50, 6/50, 7/50, 8/50, 9/50}
a)

Codifique os smbolos da fonte com um cdigo de Huffman ternrio.

b) Determine o comprimento mdio das palavras do cdigo.


c)

Imagine que em vez de um codificador de Huffman se dispunha de um codificador aritmtico binrio.


Quantos bits seriam necessrios para representar a sequncia de smbolos X3X2X10X2X6?

1.30. Com um alfabeto de 47 caracteres uma fonte gerou a mensagem (de onde as aspas no fazem parte)
MUITO BEM, S QUE QUEM VIU NO DIZ QUE VIU, DIZ QUE OUVIU ALGUM QUE VIU.
Esta mensagem vai ser codificada com um codificador LZ77 com uma janela de observao de 60
caracteres dos quais 10 pertencem ao look-ahead buffer.
a) Quantos bits so necessrios para representar cada palavra de cdigo?
b) Suponha que o incio da mensagem j foi codificado, de tal modo que no corpo da janela j se
encontram 34 caracteres. Indique a sequncia de apontadores que se obtm sada do codificador a
partir desse momento.
8

Exerccios de Teoria da Informao


1.31. A sequncia de apontadores (7, 3, C) (5, 2, C) (4, 2, B) (3, 5, B) (3, 4, C) apresenta-se entrada de
um descodificador LZ77 quando no corpo da sua janela se encontra a sequncia descodificada
AAAABABCCA. Descodifique a mensagem restante.
1.32. Considere a mensagem binria seguinte:
ABAABBABABAAAABABBABBABBAABABABABBBABAABAABABABABAB
Esta mensagem vai ser codificada usando o cdigo LZ78 com um dicionrio que inicialmente contm
as entradas A e B (nas posies 1 e 2, respectivamente) e cujo tamanho mximo 30.
a)

Seccione a mensagem.

b) Construa uma tabela com as primeiras dez entradas do dicionrio.


c)

Quantos bits necessita para codificar toda a sequncia?

1.33. Deseja-se codificar a mensagem AAAABABCCAABACAACCABCABCABCABCC com o cdigo


LZ78.
a) Seccione a mensagem.
b) Construa o dicionrio de codificao partindo de um dicionrio inicial contendo as letras A, B e C (por
esta ordem).
c) Obtenha a sequncia codificada.
d) Quantos bits so precisos por cada palavra de cdigo de sada, admitindo que o dicionrio tem
capacidade para albergar 16 entradas?
1.34. A sequncia binria 000101000100001010001100001001100010 representa uma dada mensagem
codificada em LZ78. A fonte de mensagens ternria (produz as letras A, B e C) e o dicionrio de
codificao, com um tamanho de 16 caracteres, foi desenvolvido a partir de um dicionrio inicial
contendo apenas aquelas letras, e por aquela ordem. Qual a mensagem original?
1.35. Imagine que um veculo mvel equipado com uma cmara de TV a preto e branco foi proposto para
explorar a superfcie de Marte. As imagens de TV sero digitalizadas para serem transmitidas para
Terra. A largura de banda B tal que B/R > 10, em que R o ritmo de transmisso. Deseja-se estimar o
tempo requerido para transmitir uma imagem, dadas as seguintes especificaes:

Imagem digitalizada: np = 400x300 pixels (cada um com 16 nveis possveis de luminncia)

Ligao Marte-Terra: microondas, com frequncia de portadora fc = 2GHz, distncia l =3.108 km.

Emissor do veculo: S T = 20W ; Antena do veculo: 1 m de dimetro.

Antena da estao terrena: 30 m de dimetro; temperatura de rudo do receptor: TN = 58K.

Considere as seguintes expresses:


g g
Sinal no receptor: S = T R ST , em que gT e gR so os ganhos das antenas e L a perda em
L
espao livre

Ganho de uma antena parablica: g =

4Ae f 2
c2

Ae rea da antena
9

Exerccios de Teoria da Informao


2

4fl
Perda em espao livre: L = c

21
Densidade espectral de potncia do rudo: N 0 = 4.10

TN
,
T0

To = 300K

2. Cdigos detectores e correctores de erros: ARQ , cdigos de blocos e


cdigos cclicos
2.1.

Num determinado sistema ARQ verifica-se que td = 0,2ms e que as mensagens so geradas
cadncia de r = 72 kbits/s. A probabilidade de erro de transio do canal (binrio simtrico)
p = 10-3 e para detectar os erros usa-se um cdigo de paridade dupla, com k = 8 e n = 10. Sabendo
que as limitaes do canal impem que o ritmo de transmisso seja rb 120 kbits/s, mostre,
recorrendo a R'c (taxa de transferncia), que o mtodo "Go-Back-N" seria aceitvel, ao contrrio do
mtodo "Stop-and-Wait".

2.2.

Considere o cdigo BCH (2047, 2014), que corrige at 3 erros por palavra de cdigo, associado a
um sistema ARQ. Este cdigo satisfaz
Pend [1 (1 p ) k ]2 ( n k )

em que p representa a probabilidade de erro de transio do canal e Pend a probabilidade de erro


no detectado do cdigo. Como um padro de erros no detectvel pode ocorrer na transmisso
inicial de uma palavra ou em qualquer retransmisso, a probabilidade P(E) (probabilidade de uma
palavra recebida ser aceite pelo sistema ARQ e um erro de descodificao ser cometido) vem dada
por
P ( E ) = Pend + p R Pend + p R2 Pend + = Pend (1 + p R + p R2 + ) =
= Pend

Pend
1
=
1 p R P (0, n) + Pend

p R probabilidade de retransmisso

Suponha ento que o canal de tal modo ruidoso que p = 10-3. Verifique que, apesar disso e apesar
de cada palavra conter poucos bits de paridade, P(E) 8.10 -10 , isto , o sistema ARQ associado a
este cdigo BCH muito fivel.
2.3.

Num sistema de comunicaes ARQ o nmero de palavras de cdigo que podem ser transmitidas
durante o round-trip delay da comunicao de 4 e a probabilidade de erro de 10-3. Determine a
taxa de transferncia (throughput) dos trs mtodos ARQ estudados, se se usar um cdigo de
Hamming (7, 4).

2.4.

Considere um cdigo de blocos sistemtico (6,3) gerado pela submatriz P

10

Exerccios de Teoria da Informao


1

P=1

Escreva as equaes dos bits de paridade e construa uma tabela com as palavras de cdigo e
respectivos pesos, mostrando que dmin = 3.
2.5.

Queremos obter cdigos de blocos de comprimento n = 255 com capacidades de correco t = 1, 2


ou 3. De acordo com o limite de Hamming, quantos bits de paridade, no mnimo, devemos usar para
cada valor de t?

2.6.

As equaes de paridade de um cdigo binrio (8,4) so


c 0 = x1 + x2 + x3
c1 = x0 + x2 + x3
c 2 = x 0 + x1 + x3
c3 = x 0 + x1 + x 2

em que x 0 , x1 , x 2 e x3 representam os bits da mensagem.


a) Determine as matrizes geradora e de verificao de paridade deste cdigo.
b) Mostre analiticamente (isto , sem determinar todas as palavras de cdigo) que a distncia mnima deste
cdigo 4.
2.7.

Considere um cdigo de blocos linear (127,92) capaz de correces de erros triplos usado num canal
com uma probabilidade de erro de 10-4.

a) Qual a probabilidade de erro na mensagem, para um bloco no codificado de 92 bits?


b) Qual a probabilidade de erro na mensagem, quando se usa o cdigo de blocos (127,92)?
2.8.

Projecte um cdigo de blocos linear sistemtico (4,2).

a) Determine as palavras de cdigo, e escolhendo-as com o objectivo de maximizar dmin.


b) Determine a matriz geradora do cdigo.
c) Calcule a matriz de verificao de paridade.
d) Coloque os dezasseis conjuntos de 4 bits numa matriz padro.
e) Quantos (e quais) padres de erro consegue corrigir e detectar?
f) Construa uma tabela de sndromes para os padres de erros corrigveis.
2.9.

Considere um cdigo de blocos linear com cada palavra de cdigo definida por

X = x1 + x2 + x4 + x5, x1 + x3 + x4 + x5, x1 + x2 + x3 + x5, x2 + x3 + x4+ x5, x1, x2, x3, x4, x5

a) Determine a matriz geradora.


b) Determine a matriz de verificao de paridade.
c) Determine n, k e dmin.
2.10.

Um cdigo de blocos linear (15,11) pode ser definido pela seguinte matriz de paridade:
11

Exerccios de Teoria da Informao

0
0
P=
1

0 1 0 1 1 0 1 1 1 1
1 0 1 0 1 1 1 1 0 1
0 0 1 1 0 1 1 0 1 1

1 1 0 0 0 1 0 1 1 1

a) Indique a matriz de verificao de paridade deste cdigo.


b) Faa a lista dos "coset leaders" da matriz padro. Este cdigo um cdigo perfeito? Justifique.
c) Um vector recebido V = [0 1 1 1 1 1 0 0 1 0 1 1 0 1 1]. Calcule a sndrome. Supondo que um nico bit
est errado, determine a palavra de cdigo correcta.

2.11.

Um cdigo de blocos caracterizado pela submatriz P = 1

1 usado num canal com

probabilidade de erro p = 10-4. Determine:


a) Determine a probabilidade de eventuais erros no serem detectados.
b) Faa uma lista de coset leaders.
c) Calcule a probabilidade de correco errada.
2.12.

A matriz geradora de um cdigo de blocos


1

G = 0

a) Codifique a sequncia 0011010101.


b) Descodifique a sequncia 1001011000010101.
c) Determine o nmero de bits corrigveis por palavra recebida, t. O cdigo perfeito?
d) Estime a distncia mnima do cdigo.
2.13.

Um cdigo (7,3) um cdigo perfeito? E um cdigo (7,4)? E um cdigo (15,11)? Justifique as


respostas.

2.14.

Exprima a distribuio de pesos de um cdigo de Hamming aumentado em funo da distribuio de


pesos do cdigo de Hamming de onde ele foi obtido.

2.15.

Considere um cdigo sistemtico (7,3) gerado por g(p) = p4+p3+p2+1. Determine o polinmio de
paridade C(p) e a palavra de cdigo Y correspondentes mensagem X = (101). Determine tambm
Q(p), o quociente da diviso de Y(p) por g(p). Tome ento Z=Y1 (Y deslocado de uma casa para a
esquerda) e confirme que a sndrome nula.

2.16.

Determine a matriz geradora de um cdigo de Hamming (7,4) gerado por g(p) = p3 + p + 1.

12

Exerccios de Teoria da Informao


2.17.

Um cdigo cclico (15,5) tem o polinmio gerador g(p) = p10 + p8 + p5 + p4 + p2 + p + 1.

a) Desenhe o diagrama de um codificador para este cdigo.


b) Determine o polinmio de cdigo (na forma sistemtica) para a mensagem X(p) = 1 + p2 + p4.
c) O polinmio V(p) = p14 + p8 + p6 + p4 + 1 um polinmio de cdigo deste sistema? Justifique.
2.18.

A palavra 111100101110 codificada usando o cdigo de Golay de polinmio gerador


g(p) = p11 + p9 + p7+ p6 + p5+ p + 1. Determine a palavra de cdigo correspondente.

2.19.

Mostre que para qualquer cdigo binrio linear (n,k) com distncia mnima maior ou igual a 2t+1 o
nmero de dgitos de verificao de paridade satisfaz a seguinte desigualdade (chamada limite de
Hamming):
n n
n k log 2 1 + + +
1 2

n
+
t

(Como v, o limite de Hamming indica um valor mximo para a capacidade de correco de erros, t,
do cdigo).
2.20.

Um cdigo cclico com n=15 gerado pelo polinmio g(p) = p8 + p7 + p6 + p4 + 1.

a) Determine o polinmio de verificao de paridade h(p).


b) Qual a capacidade de correco de erros aleatrios, t, do cdigo? Acha que este cdigo perfeito?
c) Qual

10

r ( p) = p

vector
8

sndrome

S(p)

correspondente

ao

polinmio

recebido

+ p + p + p + p + p ? Confirme que a sndrome calculada corresponde ao padro de erro

[0 0 0 0 1 0 0 0 0 0 0 0 0 0 0].
d) Determine a matriz geradora, na forma sistemtica, de um cdigo cclico (7,3) gerado por
g1( p ) = p 4 + p2 + p + 1 .

2.21.

O polinmio gerador de um cdigo cclico g(p) = (p15 + 1)/(p2 + p + 1).

a) Construa uma tabela com as palavras de cdigo.


b) Determine a distncia mnima e o valor de t.
c) Determine o polinmio de verificao de paridade, h(p).
2.22.

Determine
p

2.23.

10

os
5

valores
4

(n,k)

do

cdigo

cclico

gerado

pelo

polinmio

+ p + p + p + p + p + 1.

O comprimento das palavras de um cdigo cclico binrio gerado pelo polinmio


g ( p ) = p5 + p 4 + p2 + 1 15.

a) Calcule o polinmio de verificao de paridade deste cdigo.


b) Qual o tamanho das mensagens e quantas palavras de cdigo existem?
c) Calcule as matrizes geradora e de verificao de paridade do cdigo.
d) Calcule os polinmios de cdigo correspondentes aos polinmios de mensagem seguintes, supondo que
o cdigo sistemtico: x1 ( p ) = p 2 ; x 2 ( p) = p7 + p3 + p .

13

Exerccios de Teoria da Informao


e) Determine a sndrome correspondente a cada um dos seguintes polinmios recebidos: z1 ( p ) = p10 ;
z2 ( p) = p8 + p6 + p +1 .

f) Desenhe um circuito codificador sistemtico para este cdigo.


g) Desenhe um circuito de clculo de sndromes para este cdigo.
2.24.

O polinmio p 4 + p + 1 o polinmio gerador de um cdigo de Hamming (15,11).

a) Determine a matriz geradora do cdigo.


b) Desenhe um circuito codificador.
2.25.

O polinmio de paridade de um cdigo de comprimento mximo (maximum length shift register


code) p 5 + p3 + 1 .

a) Determine o tamanho de cada palavra de cdigo.


b) Determine o polinmio gerador.
c) Determine a sndrome correspondente ao polinmio p 6 + p2 + p .
d) Este cdigo perfeito? Porqu?
2.26.

A palavra binria 10001100 foi recebida num descodificador cclico. Estime a sequncia de cinco
bits que lhe ter dado origem.

2.27.

Um sistema de comunicaes usa um cdigo RS (255, 223).

a) A transmisso afectada por uma interferncia que provoca bursts de 1000 erros. Verifique se o
descodificador corrige todos estes erros.
b) Analise com clareza a mesma situao quando se usa um sistema de entrelaamento e desentrelaamento
de blocos com profundidade de entrelaamento de 10 (nmero de colunas da matriz).
c) Se a interferncia provocar 1456 erros em bits consecutivos, qual a distncia entre eventuais bursts de
erros consecutivos sada do desentrelaador, e qual o seu tamanho, em bits?
2.28.

Os bits de paridade de um determinado cdigo de blocos linear so determinados atravs do sistema


de equaes (do Exerccio 2.6)
c 0 = x1 + x2 + x3
c1 = x0 + x2 + x3
c 2 = x 0 + x1 + x3
c3 = x 0 + x1 + x 2

a) O cdigo perfeito?
b) Determine as equaes de clculo da sndrome de uma palavra genrica Z = z0 z1 z7 e esboce o
respectivo circuito combinatrio.
c) Recebeu-se a palavra [10111111]. Determine a sndrome e o bloco de quatro bits de informao que ter
sido codificado.

14

Exerccios de Teoria da Informao

3. Cdigos detectores e correctores de erros: cdigos convolucionais


3.1.

Desenhe o diagrama de estados, a rvore do cdigo e a trelia do cdigo convolucional de taxa 1/3 e
comprimento de restrio (constraint length) 3 gerado pelos polinmios
g1( x ) = x + x 2
g2 ( x ) = 1 + x
g3 ( x ) = 1+ x + x 2

3.2.

Um cdigo convolucional com taxa 1/3 e constraint length igual a 3 tem os polinmios geradores
g1(x) = x2 + x + 1, g2(x) = x2 + x + 1 e g3(x) = x2 + 1. Determine:

a) a funo de transferncia T(D) do cdigo.


b) a distncia livre.
3.3.

A funo de transferncia de um cdigo convolucional


L3 D 4 (1 + L LD2 )
1 ( L + L2 + L3 ) D2 + L3 D4

a) Dos percursos que na trelia saem do estado nulo e a ele regressam quantos tm peso 6 e so compostos
por 6 ramos?
b) Qual a distncia livre do cdigo?
3.4.

Considere o seguinte codificador convolucional:

+
a) Desenhe o diagrama de estados adequado determinao da funo de transferncia T(D, L, N) do
codificador.
b) Considere todos os percursos da trelia que comeam num estado inicial "nulo" e a ele regressam.
Quantos percursos existem com peso 5, 6, 7 e 8? Cada percurso composto por quantos ramos?
3.5.

Construa a trelia para um cdigo (2,1,2) com x'j = mj-1 + mj e x''j = mj-2 + mj-1. Aplique depois o
algoritmo de Viterbi para determinar a mensagem original e a sequncia codificada estimada quando
a sequncia recebida Z = 10 11 01 01 10 01 10 11 00. Se dois percursos chegarem a um dado n
com igual mtrica acumulada escolha o percurso de cima.

3.6.

Considere o codificador convolucional descrito pelos polinmios de ligao p1 ( x ) = x e


p2 ( x ) = 1+ x + x 2 e com k=1.

a) Desenhe o diagrama de estados do codificador.


15

Exerccios de Teoria da Informao


b) Uma sequncia binria codificada foi enviada atravs de um canal ruidoso e entrada de um
descodificador de Viterbi foi recebida a sequncia 001011100111. Determine os primeiros bits da
sequncia binria enviada pelo codificador. (Para bom entendedor: escolha o percurso de cima em caso
de empate).
3.7.

(No tempo da Guerra do Golfo) Imagine que era um jornalista de televiso que, estando em Londres,
tinha a mxima urgncia em chegar a Bagdad. S dispondo do "mapa" apresentado, no qual esto
indicadas as horas de viagem inter-cidades, indique qual o percurso que escolheria e quanto tempo
demoraria at pr as primeiras imagens no ar (se o deixassem, claro!).

Londres Amesterdo

10

Munique

Viena

10

Paris

3.8.

Zurique

5
Tripoli
4

3
Rabat

16

Teero

Istambul

Argel

Atenas

Telavive

Ankara

2
Cairo

10
16

Bagdad

Considere um codificador convolucional (2,1,2) caracterizado pelos polinmios g1(x) = 1 e


g2(x) = x + x2. O canal de comunicao BSC introduz rudo, com probabilidade de erro de transio
p = 10-3 e os primeiros bits da sequncia recebida so 10 11 00 01 11 10 01 01 10 . Suponha que
se usa um descodificador sequencial com = 2. Trace o percurso de descodificao,
convenientemente anotado, e indique qual a mensagem original (no-codificada) estimada.

16

Exerccios de Teoria da Informao

TEORIA DA INFORMAO
Resultados dos exerccios
1.1

a) P(a1 |000) =
2

c) 3 2
1.2

(1 )3
; P(a1 |100) = P (a1 |010 ) = 1 ; P(a1 |011) =
(1 )3 + 3

a) I(x,y) = I (loira, a horas) = 1 bit; I(morena, a horas) = 0 bits; I(ruiva, a horas) = -


b) -1,32 bits

1.3

H(X) = 1,5 bits/smbolo; smbolo; H(Y) = 1 bit/smbolo; H(Z) = 1bit/smbolo;


H(YZ) = 2 bits/smbolo; I(X;Y) = 0,5 bit/smbolo; I(X;Z) = 1 bit/smbolo;

1.4

0,344 bit/s

1.5

a) 0,73 bits/smbolo
c) 0,75 bits/smbolo

1.6

a) log26.
b) log13.

1.7

log5 log 2 5 1= log2 2, 5 = 1,32 bits/smbolo.

1.8

0,68 bits

1.9

H(Y) = 0,97 bits/smbolo; H(Y|X) = 0,92 bits/smbolo; I(X, Y) = 0,05 bits/smbolo.

1.10 a) H(X) = 33 8 = 4,125 bits; H(Y ) = 1, 561 bits; H(Y |X) = 0 bits;
H(X|Y) = H(X) + H(Y| X) H(Y ) = 2,564 bits.

b) H(X|Z ) = 3,125 bits; H(Z| X) = 0 bits.


1.11 a) a1 00; a2 01; a3 100; a4 101; a5 1100; a6 1101; a7 1110; a8 1111
1.12 No existe.
1.13 c) Cdigo I: I(a1;y1) = 1,32 bits; Cdigo II: I(a1;y1) = 0 bits
d) Cdigo I: 0,971 bits/smbolo
1.14 a) 92,5%
b) 96,3%
1.15 a) 92,6%
b) 99,2%
17

Exerccios de Teoria da Informao


1.16 a) 1,791 bits/smbolo
b) "CORRECTO"
1.17 a) Cdigo binrio: fonte 1 N = 2,5 binits/smbolo da fonte; fonte 2 N = 2,53 binits/smbolo da
fonte.
b) Cdigo ternrio: fonte 1 N = 1, 7 dgitos ternrios/smbolo de fonte; fonte 2 N = 1, 61 dgitos
ternrios/smbolo de fonte.
1.18 a) (2, 2, 2, 3, 3).
b) (1, 2, 3,).
1.19 a) 2,39 garrafas
b) Deve-se experimentar a garrafa com probabilidade 8/23.
c) 2,35 garrafas (usar o cdigo de Huffman).
d) Deve-se experimentar a mistura das duas primeiras garrafas.
1.20 a) N = 2, 2 bits / smbolo .
b) V(X)=1,36.
c) V(X)=0,16.
1.21 a) Trs caracteres errados.
b) Um carcter errado.
c) Trs e um, respectivamente.
1.22 a) N = 1,35 dgitos ternrios/smbolo; Eficincia = 93,3%; Redundncia = 0,091
b) N = 1, 70 dgitos ternrios/smbolo; Eficincia = 74%; Redundncia = 0,441
1.23 a) 7 binits/tecla;

b) N = 5,967 binits/tecla; H(X) = 5,907 bits/tecla; Eficincia = 99%


1.24 "ACERTEI"
1.25 Intervalo final: [0,7712 0,773504[
1.26 Intervalo final: [0,027 0,0276[
1.27 Intervalo final: [0,1796862; 0,180398[; sequncia binria: 0010111
1.28 a3 a1a1a2 a1a2

18

Exerccios de Teoria da Informao


1.29 a)
X1 221

X6 11

X2 220

X7 10

X3 21

X8 02

X4 20

X9 01

X5 12

X10 00

b) 2,06 smbolos ternrios/smbolo de fonte.


c) 20 bits, no mximo.
1.30 a) 16 bits.
b) (21, 5, V) (16, 2, ,) (13, 9, O) (4, 1, V) (31, 3, A) (0, 0, L) (0, 0, G) (5, 1, ) (42, 2, Q) (30, 6, .)
1.31. AAAABABCCA ABAC AAC CAB CABCAB CABCC
1.32. a) AB / AA / BB / ABA / BA / AAA / BAB / BABB / ABB / AAB / ABAB / ABBB / ABAA / BAA
/ BABA / BABAB
b)
N entrada
1
2
3
4
5
6
7
8
9
10
:

Entrada
A
B
AB
AA
BB
ABA
BA
AAA
BAB
BABB
:

Representao
1B
1A
2B
3A
2A
4A
7B
9B
:

c) 96 bits.
1.33. a) AA / AAB / AB / CC / AABA / CA / AC / CAB / CABC / ABC / ABCC
b)
N entrada
1
2
3
4
5
6
7
8
9
10
11
12
:

Entrada
A
B
C
AA
AAB
AB
CC
AABA
CA
AC
CAB
CABC
:

Representao
1A
4B
1B
3C
5A
3A
1C
9B
11C
:

c) 1A 4B 1B 3C 5A 3A 1C 9B 11C 6B 13C
d) 6 bits.

19

Exerccios de Teoria da Informao


1.34. ABAABCCABBBBC
1.35 48 segundos
2.1

GBN: R'c 0,772; SW: R'c 0,172. Ter de ser R'c 0,6 logo o mtodo "stop-and-wait" no serve.

2.3

R'SW = 0,199

2.4

c1 = x1 x2; c2 = x1 x3; c3 = x2 x3; dmin = 3

2.5

t=1: n k = 8 ; t=2: n k = 15; t=3: n k = 22.

2.6

1
0
a) G =
0
0

2.7

4
4
4
'
, RGBN
= 0,972 , R'SR = 0, 993 .
7
7
7

0
1

0
0

0
0

0
1

1
0

1
1

1
1

1
0

0
1
H=
1
1

0
1
1

1
0
1

1
1
0

0
0
0

1
0
0

0
1
0

0 T
0

0
1

a) 9,2.10-3
b) 1,03.10-9

2.8

e) Corrige 3 padres de 1 erro e detecta 12 padres de erro.

2.9

c) n = 9, k = 5, dmin = 3.

2.10 b) um cdigo perfeito, com t = 1; c) S=[0 1 0 1], ^V = [0 0 1 1 1 1 0 0 1 0 1 1 0 1 1]


2.11 a) 4.10

12

7
c) 1, 4.10

2.12 a) [00110100] [10101100]


b) [00010] [00011]
c) t=0. O cdigo no perfeito.
d) 2.
2.13 No. Sim. Sim.
2.14 Hamming: {A1 , A2, , An }= {1, 0,0 , A3 , A4 , , An }
Hamming aumentado: {1, 0, 0, 0, A3 + A4 ,0, A5 + A6 , 0,}
2.15 Q(p) = p2+p+1; C(p) = p+1; Y = [1 0 1 0 0 1 1]
2.16 R1(p) = p2+1; R2(p) = p2+p+1; R3(p) = p2+p; R4(p) = p+1
2.17 b) p14+p12+p10+p9+p6+p2+p+1.
c) No.

20

Exerccios de Teoria da Informao


2.18 Y = 1 1 1 1 0 0 1 0 1 1 1 0 1 0 1 1 1 1 1 1 0 1 0
2.20 a) h (p ) = p 7 + p6 + p4 + 1 ;
b) t = 2. No perfeito;
c) S ( p) =
1

d) G = 0
0

p7 + p6 + p5 + p2 + p ;
0 0 1 0 1 1

1 0 1 1 1 0
0 1 0 1 1 1

2.21 b) t = 4
c) h (p ) = p 2 + p + 1
2.22 (15, 5)
2.23 a) h (p ) = p10 + p9 + p8 + p6 + p5 + p2 + 1 .
b) k=10; 1024 palavras de cdigo.
0 0 1
1 0 1
1 1 1 1
0 1

1 0
c) P = 0 1 1 1
1 0 0 1
1 0

0 1 1
0 1 0

1
0

0
1

1
1

1
1
0

0
1
1

1
1
1

1 T
0

P
1 ; G = [I10 |P ]; H =
I5
0

d) y1 ( p) = p 7 + p3 + p + 1 ; y2 ( p) = p12 + p8 + p6 + p4 + p 2 + 1.
e) S1 ( p) = p 2 + p + 1 ; S2 ( p) = p 3 + p
2.25 a) n=31.
b) g (p) = p26 + p24 + p22 + p21 + p20 + p18 + p17 + p13 + p12 + p11 + p10 + p 9 + p6 + p5 + p3 +1
c) S ( p) = p6 + p2 + p
d) No perfeito.
2.26 X = [10001] .
2.27 a) t = 16 smbolos. No consegue.
b) Permite a correco.
c) Distncia mnima: 1895 bits; Tamanho mximo: 146 bits.
2.28 a) No perfeito;
b) Equaes de clculo da sndrome:
s 0 = ( z1 + z 2 + z 3 ) + z 4
s1 = ( z 0 + z 2 + z 3 ) + z 5
s 2 = ( z 0 + z1 + z 3 ) + z 6
s 3 = ( z 0 + z1 + z 2 ) + z 7

c) S = [1 0 1 1] ; bloco de quatro bits: [1111].

21

Exerccios de Teoria da Informao

3.2

a) T (D) =

2D 8 D10
8
10
12
= 2D + 5D + 13D +;
1 3D2 + D 4

b) df = 8.
3.3

a) 2; b) 4.

3.4

b) T(D,L,N) = L3ND6 + L4N2D8 + L5N2D8 + L5N3D10 + .Peso 5: 0 percursos; peso 6: 1


percurso com 3 ramos; peso 7: 0 percursos; peso 8: 2 percursos, um com 4 ramos e outro com 5
ramos.

3.5

Sequncia original estimada: 1 0 0 0 1 1 0;


Sequncia codificada original estimada: 10 11 01 00 10 01 10 ...

3.6

b) 01 10 11 10

3.7

Londres Paris Rabat Tripoli Atenas Istambul Teero Bagdad.

3.8

1 1 0 0 0 1 0 0 1.

22