TEORA DE LA INFORMACIN

Para la comunicacin digital los lmites se establecen mediante la eficiencia que es el

nmero mnimo de bits que se requiere para representar todos los smbolos de una
fuente y la mxima rapidez a la cual se puede realizar la comunicacin de datos.
INFORMACIN Y ENTROPA
Una fuente es capaz de generar un grupo discreto de smbolos, a los que se conoce
como alfabeto, de forma:
S= {So, S1, S2,..,Sk-1}
El proceso de emisin de smbolos es probabilstico en cada unidad de tiempo.
La posibilidad de salida de cada smbolo tiene la probabilidad
P(S=sK) =pk

K= 0,1,,k-1

pk =1
Se considera que los smbolos son estadsticamente independientes. Y el sistema se
conoce como una fuente discreta sin memoria.
Los smbolos con mayor probabilidad, debern tener un cdigo de menor nmero de
bits que el de ms baja probabilidad.
CANTIDAD DE INFORMACIN
Para un evento S=sk, que describe el suceso de la emisin de unsmbolo, si pk=1 y
pi=0 para todo i k; se dice que no existe sorpresa y no existe transmisin de
informacin. Si pk es bajo existe mayor sorpresa y por tanto mayor cantidad de
informacin; por tanto la cantidad de informacin es la inversa de la probabilidad de
emisin de un smbolo
I(sK)=log(1/ pk)
ENTROPA
Cantidad promedio de informacin por smbolo

SISTEMA DE BLOQUES DE SMBOLOS

Para un sistema que tiene k smbolos que genera bloques de n smbolos, la entropa
extendida del sistema es:
H(Sn) = n H(S)

Ejemplo: Considere un sistema con una fuente que genera los smbolos S={So, S1,
S2} con probabilidades 1/4,1/4 y 1/2 respectivamente. Determine la entropa de la
fuente y de la fuente extendida para la combinacin de 2 smbolos.
TEOREMA DE CODIFICACIN DE LA FUENTE
Para representar eficientemente los datos, se debe considerar codificar los datos,
mediante un dispositivo conocido como codificador fuente. Para que se produzca la
eficiencia requerida, es necesario el codificador conozca las probabilidades de los
smbolos de la fuente, lo que se utiliza para determinar el tamao de los cdigos de
los smbolos (menos probables, ms bits.)
Ejemplo de clave morse: (E=.; Q= --.-)
En comunicacin digital se debe considerar que los cdigos que se generan estn en
forma binaria y luego deben ser decodificables, es decir que el receptor debe conocer
los cdigos para poderlos reconstruir en forma perfecta.
Para un sistema binario que genera cadenas de bits de 0 y 1s, se considera que la
fuente tiene K smbolos posibles a generar y que cada smbolo Sk, tiene una
probabilidad pk. Con K=01,2,.,k-1
LONGITUD PROMEDIO DE UN CDIGO
En un sistema de k smbolos con longitudes lk, la longitud promedio se define como:

Y representa el promedio de bits empleados para codificar cada smbolo de una

fuente.
EFICIENCIA DE LA FUENTE
= Lmin/L
El primer teorema de Shannon establece: Dada una fuente discreta sin memoria con
entropa H(S), la longitud media de los cdigos de una fuente est limitada por:

Es decir que la entropa define el lmite fundamental del valor medio de la longitud de
los cdigos
VARIANZA DE UN CDIGO

GENERACIN DE CDIGOS
1) CDIGOS DE PREFIJO
Un cdigo de prefijo se define como un cdigo en el cual ningn cdigo es la parte
inicial de otro cdigo. El de mayor probabilidad de ocurrencia; tiene una asignacin
menor de bits. Ejemplo:

Smbolo
So
S1
S2
S3

Probabilidad
0,5
0,3
0,1
0,1

Cdigo 1

Cdigo 2
0
1
00
11

0
10
110
111

Cdigo 3
0
01
011
0111

Para generar un cdigo de prefijo se emplea rboles de decisin, que consiste en lo

siguiente:

Se cumple que

Ejemplo: Sea el dato transmitido: 011111011010101001110011; hallar la informacin

recibida si se trabaja con 3 smbolos codificados utilizando cdigo de prefijo:

CDIGO DE HUFFMAN
Es un cdigo que se acerca en bits; al lmite fundamental, fijado por la entropa; este
establece un algoritmo especfico, que se explica a continuacin:
-

Los smbolos de la fuente se ordenan en forma descendente de probabilidades;

a los smboles de menores probabilidades se les asigna el 0 y 1
respectivamente.
Los dos smbolos asignados, ahora se combinan para formar un nuevo cdigo,
cuya probabilidad combinada es la suma de las dos probabilidades. Los
cdigos se ordenan de acuerdo a los nuevos valores de probabilidades.
El proceso contina hasta conseguir las dos ltimas asignaciones
La codificacin para cada smbolo se realiza en base a las asignaciones de 0 y
1; partiendo desde el final.

Ejemplo: Determinar la codificacin de Huffman del siguiente sistema:

Smbolos: So a S4
Probabilidades: 0.4, 0.2, 0.2, 0.1 y 0.1

Cdigos generados:
So: 11
S1: 01
S2: 00
S3:101
S4: 100
Ejercicio: Las probabilidades de la fuente vocales son:
P(a)=0.5
P(e)=0.15
P(i)=0.12
P(o)=0.18
P(u)=0.05
a)
b)
c)
d)

Obtener el cdigo de Huffman

Encontrar la longitud promedia de smbolos
Calcular la varianza
Calcular la entropa