“A principal função de um sistema de comunicação é reproduzir,

exatamente ou de forma aproximada, uma informação proveniente

de outro ponto diferente.”

Claude Shannon, 1948

 Claude Elwood Shannon (1916 - 2001)

Nascido nos Estados Unidos, formou-se em Matemática e Engenharia Elétrica

em 1936 pela Universidade de Michigan.
Em 1937 ele estabeleceu uma ligação entre os circuitos elétricos e o formalismo
lógico. Ao longo da Segunda Guerra Mundial, seus estudos deram origem a um
ramo de estudos conhecido como Teoria da Informação. Shannon mostrou um
caminho para projetar máquinas baseadas na lógica algébrica descrita por
George Boole, a qual se baseia em dois valores lógicos: 0 se um valor é falso e
1 se é verdadeiro.
Na álgebra de Boole, se operações lógicas forem colocadas juntas, estas
passam a formar uma nova operação lógica. Shannon, então, percebeu que
essa álgebra poderia descrever o comportamento de circuitos elétrico
chaveados.
Esse foi o ponto de partida para a construção de computadores digitais: a
capacidade de um circuito elétrico realizar operações e armazenar informações.
Em 1948 Shannon publicou dois trabalhos que originaram a Teoria da
Informação.
Em 1950 publicou A Chess Playing Machine em que propunha que
computadores digitais poderiam trabalhar simbolicamente com elementos
representando palavras e proposições o que originaria, alguns anos depois, a
Inteligência Artificial.
Antes da transmissão o sinal tem de ser gerado, e.g., TV áudio e vídeo, além
dos dados para controle da transmissão e interatividade.

O codificador de fonte transforma o sinal analógico captado em um sinal

digital, para permitir o armazenamento em equipamento de memória.
•  Fonte: é comumente modelada por um sinal estocástico ou por um gerador
de dados aleatórios.
•  Transmissor: converte a saída da fonte em formas de onda adequadas para
transmissão no canal.
•  Codificador de Fonte: converso analógico/digital e remover detalhes
desnecessários da informação (redundância)
•  Codificador de Canal: adiciona redundância controlada à saída para
combater os efeitos do canal (ruído), e.g., Reed-Solomon (BCH) e
Virtebe (convolucional)
•  Modulador: translada a saída do codificador de canal para uma forma
de onda e freqüência adequada para a transmissão pelo canal.
•  Canal: meio físico pelo qual a informação passa antes de alcançar o
receptor, e.g., par de fios, fibra óptica, microondas (Serviço de Distribuição
Multiponto Multicanal (MMDS)), etc.
•  Receptor: processar a saída ruidosa do canal, com a finalidade de
determinar a forma de onda transmitida.
•  Demodulador: a partir da forma de onda recebida do canal, estima a
forma de onda que foi enviada pelo transmissor e entrega uma versão
digital correspondente.
•  Decodificador de canal: tenta corrigir os possíveis erros e produz sua
estimativa dos dígitos de saída do codificador de fonte.
•  Decodificador de fonte: processa a saída do decodificador de canal,
repondo a redundância que foi removida, reconstruindo a mensagem a
ser entregue ao destinatário.
•  Destinatário:
Teoria da informação é o nome da disciplina científica criada por Claude
Shannon ao publicar em 1948 um dos mais importantes artigos na história da
engenharia.

Os objetivos principais da teoria da informação são o estabelecimento de

limitantes teóricos de desempenho de sistemas de transmissão de
informação, de sistemas de armazenamento de informação e de sistemas
criptográficos. Atualmente encontramos aplicações de Teoria da
Informação em áreas bem estabelecidas, como por exemplo matemática,
na prova de teoremas.

A primeira, etapa em nosso estudo da informação será definir uma medida da

informação e investigar as propriedades desta medida.
 Tabela 1-1. Codificação binária dos dígitos decimais

Informação Codificada Dígitos Representação

Decimais Binária
0 0000
A correspondência de sucessões binárias 1 0001
para dígitos decimais dados na Tabela 1-1 2 0010
é um exemplo simples de um código. As 3 0011
10 seqüências binárias da Tabela 1-1 são 4 0100
chamadas palavras-código, e os 10 dígitos 5 0101
decimais são chamados os símbolos da 6 0110
mensagem. 7 0111
8 1000
9 1001

A possibilidade de recuperar as palavras-código binárias para os

símbolos da mensagem correspondentes, nem sempre possível.
 Tabela 1-2. Um Código Binário
Símbolos da Palavra-
massagem Código
Informação Codificada s1 0
s2 01
Por exemplo, considere o código definido s3 001
da Tabela 1-2. s4 111

Se determinamos uma sucessão de palavras código deste código, nós

podemos não poderemos recuperar o jogo original símbolos da mensagem. A
sucessão binária
111001 , (1-1)
poderia ser decodificada em
s4 s3 , (1-2)
ou em
s4 s1 s2 . (1-3)
 Tabela 1-3. Um Código Binário
Símbolos da Palavra
massagem Código
Informação Codificada s1 0
s2 01
Por outro lado, considere as palavras- s3 011
código do código da Tabela 1-3. s4 0111

Pode-se recuperar a seqüência original de símbolos da mensagem. A

sucessão binária

0111001

É possível receber a sequência 001111111?

 Table 1-4. O Estado do Tempo
Messagem Probabilidade
Sunny !
Cloudy !
Transmissão de Informação Rainy !
Para simplificar o assunto, é desejado classificar o Foggy !
estado de tempo em São Francisco em quatro possíveis
condições – “sunny” (ensolarado), “cloudy” (nublado),
“rainy” (chuvoso), ou “foggy” (nebuloso). Pode-se definir
probabidades associadas a cada evento desta
localidade da forma descrita na Tabela 1.4.

Um possível método de codificação destas mensagens em uma sucessão de

símbolos binários é montar a correspondência seguinte, código chamado !,
Código !
Sunny……………. 00 Assim, usando código !, “sunny”; “foggy”; “foggy”;
Cloudy…………… !"## “cloudy”, seria codificado como “00111101.”
Rainy…………….. 10
Foggy……………. 11
 Table 1-4. O Estado do Tempo
Mensagem Probabilidade
Sunny !
Cloudy "
Transmissão de Informação Rainy "
Agora; considere um problema similar apresentado a Smoggy #
um engenheiro em quatro possíveis condições –
“sunny” (ensolarado), “cloudy” (nublado),
“rainy” (chuvoso), ou “smoggy” (neblina (fumaceira)).
Pode-se definir probabidades associadas a cada evento
desta localidade da forma descrita na Tabela 1.4.

Se nós usamos o código ! para transmitir esta informação, nós faremos a

mesma coisa, mas não melhoraremos o sistema de comunicação. Porém,
considere a possibilidade de usar o código seguinte, código chamado ", para
transmitir Código
a informação:
"
Usando o código " para transmitir a mensagem
Sunny……………. 10 “sunny”; “smoggy”; “smoggy”; “cloudy”, seria
Cloudy…………… ""!# codificado como “1000110.”
Rainy…………….. 1110
Foggy……………. 0
 Table 1-4. O Estado do Tempo
Mensagem Probabilidade
Sunny !
Cloudy "
Transmissão de Informação Rainy "
A duração comum L (em binits) de uma palavra de Smoggy #
código usando código pode ser calculado como,

Pode-se verificar que se código usado para transmitir o tempo decrito na Tabela
1-4, tem um valor de duração de L=2! binits por mensagem.
A medida de Hartley

O único trabalho anterior ao de Shannon, do qual se tem notícia, foi

desenvolvido por R.V.L. Hartley e intitula-se Transmission of Information, Bell
System Technical Journal.

Talvez o mais importante foi o seu reconhecimento de que a recepção de um

determinado símbolo só fornece informação se o mesmo fizer parte de um
conjunto de símbolos com pelo menos dois símbolos.

Em outras palavras, o projeto de sistemas de comunicações deveria ser feito

levando em conta a transmissão de quantidades informação, ao invés de
apenas reproduzir senoides determinísticas.
A medida de Hartley

Por exemplo, numa central telefônica com 10.000 assinantes, cada assinante
seria identificado por um número distinto com quatro dígitos decimais, visto que
0000; 0001; 0002; ....; 9999 são os 10.000 números possíveis. Portanto a
identificação de qualquer um dos 10.000 telefones desta central requer 4
dígitos decimais de informação.

De forma análoga, precisamos de 8 dígitos binários de endereço para acessar

uma determinada posição de memória, numa memória semicondutora com 256
posições. Assim o endereço fornece 8 dígitos binários (bits) de informação.
A medida de Hartley

Considere a ocorrência de um símbolo, pertencente a um conjunto com K

símbolos. A informação provida pela ocorrência de n de tais símbolos deveria
ser igual a n vezes o valor da informação provida pela ocorrência de um único
símbolo deste conjunto, embora existam Kn possíveis maneiras distintas para a
ocorrência de n símbolos.
Isto sugere que log(Kn) = n logK é a medida apropriada de informação onde a
base selecionada (para o logaritmo) fixa o tamanho da unidade de informação,
nas palavras do próprio Hartley.

Pode-se portanto expressar a medida de Hartley da quantidade de informação

provida pela observação de uma variável aleatória discreta X como

onde K é o número de possíveis valores de X.

A medida de Shannon

Em 1948, vinte anos após a publicação do artigo de Hartley, Shannon publicou

um artigo propondo uma nova medida de informação, a qual deflagrou uma
explosão de atividades fazendo uso dos conceitos de Shannon, que perdura
até hoje.

Considere um experimento em uma urna, sabendo que quando a urna contêm

7 bolas azuis e uma verde, existe uma chance em oito de escolhermos a bola
verde. Desta forma, escolher esta bola é, num certo sentido, equivalente a
escolhermos uma dentre oito possibilidades e assim tal escolha deveria
fornecer log2 8 = 3 bits de informação. Contudo, existem sete chances dentre
oito de escolhermos uma bola azul. Desta forma, escolher tal bola é, num certo
sentido, equivalente a escolhermos uma dentre 8/7 possibilidades (!) e assim
tal escolha deveria fornecer log2 8/7 = 0,1926 bits de informação.
A medida de Shannon

O que fazer agora para compatibilizarmos estes dois resultados tão diferentes?
Uma possibilidade (aparente-mente óbvia) é ponderarmos cada resultado pela
respectiva probabilidade de ocorrência, obtendo

de informação provida pelo experimento aleatório X. Em geral, se o i-ésimo

valor de X tem probabilidade PX(xi), então a informação de Hartley log(1/PX
(xi)) = - log PX(xi) para este valor deveria ser ponderada por PX(xi), fornecendo
A medida de Shannon

como a quantidade de informação provida por X. Esta é exatamente a

medida de Shannon, que poderia ser considerada como a informação média
de Hartley. Shannon chamou esta medida de informação de entropia.
Table 2-2. Probabilities of Symbols in English (Reza, 1961)

Estrutura da Língua Symbol Probability Symbol Probability

Space 0.1859 N 0.0574
A 0.0642 O 0.0632
Considere o alfabeto da língua Inglesa, B 0.0127 P 0.0152
dessa forma, tem-se C 0.0218 Q 0.0008
D 0.0317 R 0.0484
E 0.1031 S 0.0514
F 0.0208 T 0.0796
G 0.0152 U 0.0228
H 0.0467 V 0.0083
I 0.0575 W 0.0175
J 0.0008 X 0.0013
K 0.049 Y 0.0164
L 0.0321 Z 0.0005
M 0.0198
Qualquer informação que precise ser armazenada ou transmitida,
necessariamente, deve passar por um processa de quantização e eliminação
de redundância.

O processo de codificação de fonte, ou digitalização de sinais, têm como

objetivo reduzir a entropia do sinal pela fonte de dados, de forma controlada.
A entropia representa a informação média fornecida pelos símbolos da fonte
e é definida para um alfabeto de símbolos X, como

em que p(x) representa a probabilidade do símbolo x. A entropia,como medida

de informação, é dada em shannon (Sh), mas é comum o uso do bit para
designar o conteúdo de informação.
Suponha, por exemplo, que um emissor transmita a mensagem "bom dia", letra por letra.
Ao emitir as primeiras letras, há uma expectativa da parte do receptor, que vê surgir as
letras "b", "o", "m", um espaço, e depois "d" e o "i". O "a" final é quase inútil, pois sua
probabilidade de ocorrência é tão grande, para dar sentido à seqüência anterior, que a
quantidade de informação transmitida por essa letra é muito menor que a transmitida
pelas primeiras.
Seqüência da fonte de informação possui K diferentes símbolos, em que a
probabilidade de ocorrência do k-ésimo símbolo (ak) é denominada pk. A palavra
código (binária) associada ao símbolo ak tem tamanho lk

Comprimento médio da palavra código: número médio de bits por símbolo da

fonte usado na codificação:

Valor mínimo possível de L: Lmin

Eficiência de codificação do codificador de fonte

Também chamado de Teorema da codificação sem ruído - trata da condição de
codificação sem erros.

Responde a questão fundamental da codificação de fonte

Teorema:
Dada uma fonte de informação discreta com entropia H(A), o tamanho
médio da palavra código L para qualquer codificação de fonte sem
distorção é limitado por

Remoção da redundância de informação do sinal a ser transmitido. Processo

geralmente chamado de compactação de dados ou compressão sem perdas
a(t) x(t) y(t) b(t)
Amostrador Quantizador Codificador

Modelo genérico para um sistema de codificação de fonte.

No processo de
amostragem, um sinal
qualquer continuou no
tempo é transformado
em um sinal discreto
no tempo
a(t) x(t) y(t) b(t)
Amostrador Quantizador Codificador

Modelo genérico para um sistema de codificação de fonte.

De acordo com o Teorema de Nyquist, a quantidade

de amostras por unidade de tempo de um sinal,
chamada taxa ou freqüência de amostragem, deve
ser maior que o dobro da maior freqüência contida
no sinal a ser amostrado, para que possa ser
reproduzido integralmente sem erro de aliasing. A
metade da freqüência de amostragem é chamada
freqüência de Nyquist e corresponde ao limite
máximo de freqüência do sinal que pode ser
reproduzido.
O processo de amostragem e
geração do sinal modulado por
amplitude de pulso (PAM) é
mostrado na figura.

Aplicações:
• Telefonia: fA = 8k amostras/s
• Compact Disc: fA = 22k amostras/s
• M PEG-1: f A = 32, 44.1, 48 k
amostras/s
• TV 480i: fA = 13,5M amostras/s
 Amostragem do Sinal de Vídeo
Nos processo de amostragem de vídeo as lentes da câmera projetam sobre a
superfície do sensor (Charge Coupled Device – CCD) uma imagem que é
segmentada em elementos de imagem (picture elemnets – pixels)

O dispositivo
analisa o sinal
analógico
proveniente da
laitura dos pixels e
o discretiza,
gerando o sinal no
formato digital
 Amostragem do Sinal de Vídeo
Após a digitalização, a imagem é composta por um número
determinado de pixels, por exemplo, no formato NTSC DV, esse
número é de 720 pixels de largura por 480 pixels de altura, ou seja,
345.600 pixels.

Na digitalização DV, a componente de

luminânica é amostrada à taxa de 13,5
M amostra/s. As componetes U e V, que
representam as diferenças de cor em
relação a Y, são amostradas a ua taxa
de menor, 3,37 amostras/s (4:1:1).
 Algumas Propriedades

Um código de bloco é não-

singular se todas suas
palavras-código forem
distintas.
Algumas Propriedades
Algumas Propriedades
Algumas Propriedades
Algumas Propriedades
Codificando Fontes de Informação
Codificando Fontes de Informação
Codificando Fontes de Informação - Huffman
Codificando Fontes de Informação - Huffman