Universidade de Pernambuco

Escola Politécnica de Pernambuco

Teoria da Informação
Informação e Fontes
Prof. Márcio Lima
E-mail
mail:marcio.lima@upe.poli.br
:marcio.lima@upe.poli.br

21.09.2009
Informação e Fontes
Introdução
Seja o evento E = ek que ocorre com probabilidade P(E = ek) = Pk.

Antes do Evento Ocorrência do Evento E = ek Depois do Evento

Há incerteza! Há surpresa! Há ganho de quantidade de informação!

A medida de Hartley y ((base 10))

Defini-se informação com quantidade de informação (informação) associada ao
evento E = ek .
⎛ 1 ⎞
I (e k ) = log ⎜⎜ ⎟⎟ = − log Pk
⎝ Pk ⎠

Teoria da Informação – Prof. Márcio Lima 2

Informação e Fontes
Introdução

⎛ 1 ⎞
I (e k ) = log ⎜⎜ ⎟⎟ = − log Pk
⎝ Pk ⎠

Propriedade Intuitivas:
• I(ek) = 0 para Pk = 1 (Se houver certeza absoluta do resultado do evento,
mesmo antes dele ocorrer, nenhuma informação será ganha com evento).
( k) ≥ 0 p
• I(e para 0 ≤ Pk ≤ 1 ((A ocorrência de um evento E = ek fornece alguma
g
informaçaò ou não fornece qualquer informação, mas já mais provoca uma
perda de informação).
• I(ek) > I(ei) 0 para Pk < Pi (Quanto menos provável for um evento,
evento mais
informação esta agregada).
• I(ekei) = I(ek) + I(ei) 0 se ek e ei (forem estatisticamente independentes).

Teoria da Informação – Prof. Márcio Lima 3

Informação e Fontes
Introdução
llog b x
Sabendo que log a x = , tem-se:
log b a
⎛ 1 ⎞
• Base 2: I (e k ) = log 2⎜
⎜ ⎟⎟ bits (binary units )
⎝ Pk ⎠
⎛ 1 ⎞
•Natural: I (e k ) = ln ⎜⎜ ⎟⎟ nats (natural units )
⎝ Pk ⎠
⎛ 1 ⎞
•Base 10: I (e k ) = log 10 ⎜⎜ ⎟⎟ Hartles
⎝ Pk ⎠
⎛ 1 ⎞
•Base D: I ( e k ) = l
log ⎜ ⎟⎟ unidades
D⎜ d d D − árias
á
⎝ Pk ⎠

Teoria da Informação – Prof. Márcio Lima 4

Informação e Fontes
Introdução
OBS: log ( ) é mais usual! Quando nada for dito, assume-se que

log (⋅) = log 2 (⋅ )

logo,
1 Hartley
l = 3 ,32 bits
b
1 nat = 1, 44 bits
OBS: Se
1
Pk = ⇒ I (e k ) = 1 bit
2
Ou seja, um bit é a quantidade de informação associada à ocorrência de um
evento, quando dois eventos são equiprováveis (e.g., lançamento de uma
moeda).

Teoria da Informação – Prof. Márcio Lima 5

Informação e Fontes
Fonte de Informação (Discreta)

Suponha que uma experiência probabilística envolva a observação da saída

emitida por uma Fonte de Informação durante cada unidade de tempo (intervalo
de sinalização) a saída da fonte é modelada como uma Variável Aleatória
Discreta S que assume valores de um alfabeto finito fixo {s1, s2, ...., sq} com
probabilidade P(s=sk) = Pk, k = 1,
1 2,
2 3,
3 ....., q.
q

Fonte
F t de
d s i , s j , s k .....
Informação

Ou seja, Cada símbolo ocorre com probabilidade fixa Pk.

Teoria da Informação – Prof. Márcio Lima 6

Informação e Fontes
Fonte de Informação (Discreta)
Fonte Discreta Sem Memória
• Emite símbolos estatisticamente independentes;
• É descrito por seu alfabeto S e suas probabilidade.
probabilidade

Estatisticamente Independentes: A ocorrência de um

símbolo independe da ocorrência de símbolos anteriores

S = {s1 , s 2 ,..., s k ,..., s q } ⇒ p (s1 ), p (s 2 ),..., p (s k ),...., p (s q )

q

∑ p (s ) = 1
k =1
k

Informação associada a um símbolo, da forma:

1
s k ⇒ log 2 bits (bits/símbo lo )
p (s k )

Teoria da Informação – Prof. Márcio Lima 7

Informação e Fontes
Fonte de Informação (Discreta)
Fonte Discreta Sem Memória
A Informação média da fonte S é dada por:
H (S ) = E [I (s k )] = ∑ p (s )I (s ) = ∑ p I (s ) bits
k k k k
k k

1
= ∑k
p k log
pk
bits
Observe que H(S) depende somente das
probabilidades
b bilid d d
dos símbolos
í b l existentes
i t t no
alfabeto da fonte.

H(S) – Entropia de ma fonte de informação Discreta Sem Memória S com alfabeto S.

S

É a quantidade média de informação por

símbolo de uma fonte sem memória

Teoria da Informação – Prof. Márcio Lima 8

Informação e Fontes
Fonte de Informação (Discreta)
Fonte Discreta Sem Memória
Pode-se também interpretar a Entropia com “a quantidade média de incerteza
que o observador possui antes de observar a saída da fonte”.
fonte”

Exemplo: Considere a fonte S = {s1, s2, s3} com probabilidades p(s1) = ½ , p(s2) =
p(s3) = ¼ , logo:
1 1 1 3
H (S ) = log 2 + log 4 + log 4 = bits/simb
2 4 4 2
Desafio:
Se I(sk) for medida em unidades D-ária, então:

1
H D (S ) = ∑ p (s k ) log D unidades D − ária/simb
S p (s k )
H (S )
=
log D 9
Teoria da Informação – Prof. Márcio Lima
Informação e Fontes
Propriedades da Entropia
Da uma fonte discreta sem memória, da forma
S = {s1 , s 2 ,..., s k ,..., s q } ⇒ p (s1 ) = p1 , p (s 2 ) = p 2 ,...., p (s q ) = p q
q

∑p
k =1
k =1

A Entropia dessa fonte limita-se da seguinte maneira:

0 ≤ H (S ) ≤ logg 2 q
Para demonstrar, considere as duas desigualdades:

1. H (S ) = 0 ⇔ pk = 1

Probabilidade 1 para algum k e zero para as demais. Esse limite inferior

corresponde a NENHUMA INCERTEZA.

Teoria da Informação – Prof. Márcio Lima 10

Informação e Fontes
Propriedades da Entropia
1
2. H (S ) = log 2 q ⇔ pk = , ∀k
q
ou seja,
seja os símbolos da fonte são equiprovável.
equiprovável

Demonstração:

⎛ 1 ⎞
• p k ≤ 1 ⇔ p k log 2 ⎜⎜ ⎟⎟ ≥ 0 ⇔ H (S ) ≥ 0
⎝ pk ⎠
⎛ 1 ⎞
p k log 2 ⎜⎜ ⎟⎟ = 0 ⇔ p k = 0 ou p k = 1
⎝ pk ⎠
H (S ) = 0 ⇔ p k = 0 ou pk = 1

Se pk = 1 p
para algum
g símbolo
e o resto é igual a zero

Teoria da Informação – Prof. Márcio Lima 11

 u
u=z u = z −1
Informação e Fontes u = ln
l z
1
Propriedades da Entropia z
−1
OBS: ln z ≤ z − 1 ( com iguald ade sse z = 1)
1
ln ≥ 1 − z ( com iguald
g ade sse z = 1)
z

Considere dois conjuntos qualquer de probabilidades de duas fontes, da forma,

S = {s1 , s 2 ,..., s k ,..., s q } ⇒ p (s1 ) = x1 , p (s 2 ) = x 2 ,...., p (s q ) = x q
U = {u1 , u 2 ,..., u k ,..., u q } ⇒ p (u1 ) = y1 , p (u 2 ) = y 2 ,...., p (u q ) = y q
Como são probabilidades, tem-se:
q q

∑x
i =1
i =1 e ∑y
j =1
j =1 ⇔ 0 ≤ x i ≤ 1, 0 ≤ y j ≤ 1 ∀ i,j

Sabe-se:
1
log a b = log c b
log c a
Teoria da Informação – Prof. Márcio Lima 12
Informação e Fontes
Propriedades da Entropia
Analisando a relação entre as probabilidades das duas fontes, pode-se ter:

⎛ yi ⎞ 1 ⎛ y i ⎞ × xi ⎛ yi ⎞ xi ⎛ yi ⎞
l 2 ⎜⎜ ⎟⎟ =
log l ⎜⎜ ⎟⎟ ←
ln l 2 ⎜⎜ ⎟⎟ =
⎯→ x i log l ⎜⎜ ⎟⎟.
ln
⎝ x i ⎠ ln 2 ⎝ x i ⎠ ÷ x i ⎝ x i ⎠ ln 2 ⎝ x i ⎠
xi
U
Usando d a desigualdade
d i ld d ln l z ≤ z − 1, em que z = , ∀i :
yi
⎛ yi ⎞ ⎛ yi ⎞ xi ⎛ y i ⎞ xi ⎛ y i − xi ⎞ 1
x i log 2 ⎜⎜ ⎟⎟ =
xi
ln ⎜⎜ ⎟⎟ ≤ ⎜⎜ − 1 ⎟⎟ = ⎜⎜ ⎟⎟ = ( y i − xi )
⎝ x i ⎠ ln 2 ⎝ x i ⎠ ln 2 ⎝ x i ⎠ ln 2 ⎝ x i ⎠ ln 2
Somando em i:
q
⎛ yi ⎞ 1 q 1 ⎛ q q
⎞
∑ ⎜
x i log 2 ⎜ ⎟ ≤ ⎟ ∑ ( y i − xi ) = ⎜⎜ ∑ y i − ∑ x i ⎟⎟
i =1 ⎝ x i ⎠ ln 2 i =1 ln 2 ⎝ i =1 i =1 ⎠
q
⎛ yi ⎞
∑ x i log 2 ⎜⎜ ⎟⎟ ≤ 0
i =1 ⎝ xi ⎠ Teoria da Informação – Prof. Márcio Lima 13
Informação e Fontes
Propriedades da Entropia
Logo,
q
⎛ yi ⎞ q q

∑ x i logg 2 ⎜⎜ ⎟⎟ ≤ 0 ⇔ ∑ x log
123 ∑ 123
g y −
i x logg x ≤ 0
2 i i 2 i
i =1 ⎝ xi ⎠ i =1
⎛ 1 ⎞
i =1
⎛ 1 ⎞
− log ⎜⎜ ⎟⎟ − log ⎜⎜ ⎟⎟
⎝ i ⎠
y ⎝ i ⎠
x

q
⎛ 1 ⎞ q ⎛ 1 ⎞
⇔ − ∑ x i log 2 ⎜⎜ ⎟⎟ + ∑ x i log 2 ⎜⎜ ⎟⎟ ≤ 0
i =1 ⎝ y i ⎠ i =1 ⎝ xi ⎠
q
⎛ 1 ⎞ q
⎛ 1 ⎞
⇔ ∑ x i log 2 ⎜⎜ ⎟⎟ ≤ ∑ x i log 2 ⎜⎜ ⎟⎟
i =1 ⎝ x i ⎠ i =1 ⎝ yi ⎠
Igualdade se e somente se
xi = y i , ∀ i

Teoria da Informação – Prof. Márcio Lima 14

Informação e Fontes
Propriedades da Entropia
Para determinarmos a condição de máxima Entropia, considere que a fonte U é
equiprovável, ou seja,
1
yi = , ∀ i. Portanto, para um fonte sem
Portanto
memória com q símbolos, o
q máximo valor de entropia possível
Logo, tem-se q
⎛ 1 ⎞ é iguala logq, e este máximo valor é
∑ l 2 ⎜⎜
x i log ⎟⎟ ≤ 0 atingindo se,
se e somente se, se os
i =1 ⎝ qx i ⎠ símbolos
equiprováveis.
da fonte forem

q
⎛1⎞ q ⎛ 1 ⎞
∑ l 2 ⎜⎜ ⎟⎟ + ∑ x i log
x i log l 2 ⎜⎜ ⎟⎟ ≤ 0
i =1 ⎝ q ⎠ i =1 ⎝ xi ⎠
⎛1⎞ q ⎛ 1 ⎞
1 ⋅ log 2 ⎜⎜ ⎟⎟ + ∑ x i log 2 ⎜⎜ ⎟⎟ ≤ 0
⎝ q ⎠ i =1 ⎝ xi ⎠
q
⎛ 1 ⎞
∑ x i log 2 ⎜⎜ ⎟⎟ ≤ log 2 q ⇔ H (S ) ≤ log 2 q
i =1 ⎝ xi ⎠ 15
Teoria da Informação – Prof. Márcio Lima