MEDIDA DE LA INFORMACION ENTROPIA DE UNA FUENTE DE INFORMACION DE MEMORIA CERO Suponga que tiene una fuente emisora de una

secuencia de smbolos donde los smbolos son estadsticamente independientes. Tal fuente de informacin se llama FUENTE DE MEMORIA CERO. La fuente queda completamente especificada por los smbolos y sus probabilidades P(s1), P(s2), .,P(sk). Si se recibe el smbolo sk de la fuente, se dice que se ha recibido:

I ( s k ) = log 2

1 = log 2 P ( s k ) P(sk )

bits

Si la base es e, la unidad de informacin es el Nat, si la base es 10, la unidad de informacin es el Hartley

Ejemplo: Los smbolos A, B, C, D ocurren con probabilidades , , 1/8, 1/8 respectivamente. Calcule la informacin en el mensaje X = BDA asumiendo que los smbolos son estadsticamente independientes. Solucin: Dado que los smbolos son independientes, la medida de la informacin es aditiva, por tanto: Ix=log24+log28+log22 = 6 bits El valor promedio de la cantidad de informacin obtenida por smbolo se llama la entropa H(s) de la fuente:

H ( s ) = P( sk ) I ( sk ) = P( sk ) log 2 P( sk ) bits
k =1 k =1

Entropa H(s), bits

Ejemplo: Considere una fuente binaria para la cual el smbolo 1 ocurre con probabilidad p1 y el smbolo 0 con probabilidad po=1- p1. Se asume que la fuente es de memoria cero. H(s) = - po log2 po p1 log2 p1 = -(1- p1) log2 (1-p1) p1 log2 p1

H(s)
1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 0 0,2 0,4 0,6 0,8 1

ESPOL-FIEC JC

Probab. p1

Se observa en la figura que la mxima entropa ocurre para p0=p1=0,5, es decir cuando los smbolos son equiprobables. Ejemplo: Determine la entropa de la fuente para el caso de los cuatro smbolos del ejemplo1 asumiendo a) que ocurren con las probabilidades dadas y b) los smbolos son equiprobables. a) H(S) = 1/4log24+1/8log28+1/2log22+ 1/8log28 = (2)+1/8(3)+1/2(1)+1/8(3)=1.75 bits b) H(S) = (log24+log24+log24+ log24) = (8)=2 bits Entropa de una distribucin contnua En el caso anterior se haba considerado variables aleatorias discretas. Si ahora se considera una variable aleatoria continua con funcin densidad fx(x), la entropa se define como:

H ( x) = f x ( x) log 2 [ f x ( x)]dx

bits

Propiedades de la Entropa Considere una fuente discreta sin memoria. Se cumple:

Donde K es el nmero de smbolos de la fuente. 1. H()=0, si y solo si la probabilidad pk=1 para algn k, y el resto de probabilidades en el conjunto son todas ceros. Este lmite inferior corresponde a una no incertidumbre. 2. H()=log2K, si y solo si pk=1/k para todo k. Este lmite superior corresponde a una mxima incertidumbre. Demostracin: Puesto que pk 1, entonces cada trmino en la definicin de entropa pklog2(1/pk) es no negativo y por tanto . Luego se observa que pklog2(1/pk) es cero o uno si y solo si pk=0 o 1. Por tanto se deduce que =0 si y solo si pk=0 o 1, es decir pk =1 para algn k y el resto cero.

Para probar el lmite superior, se observa que log x x-1 Considere dos distribuciones de probabilidades: de una fuente discreta sin memoria.

ESPOL-FIEC JC

Suponga que:

q pk log2 pk k =0 k
k 1

p log
k

k 1 1 log 2 qk + pk log 2 0 k p k =0 k =0 k k 1 1 pk log2 p log2 K k =0 k

k 1

1 qk + log 2 0 p k =0 k k 1 1 1 k 1 pk log2 K + pk log2 p k =0 k =0 k

k 1 2

Extensin de una fuente discreta sin memoria Al discutir temas de la teora de la informacin se considera bloques en vez de smbolos. Cada uno conteniendo n smbolos. Se puede ver a cada uno de esos bloques como que ha sido generado por una fuente extendida con un alfabeto de fuente que tiene Kn bloques distintos, donde K es el nmero de smbolos en el alfabeto de fuente de la fuente original. En el caso de una fuente discreta sin memoria, los smbolos de fuente son estadsticamente independientes, por tanto la probabilidad de un smbolo de fuente en de los n smbolos en es igual al producto de las probabilidades . Intuitivamente: que constituye un smbolo particular en

ESPOL-FIEC JC

TEOREMA DE CODIFICACION DE FUENTE Un problema importante en comunicaciones es la representacin eficiente de los datos generados por una fuente discreta, esto es codificacin de fuente.

Para que un codificador de fuente sea eficiente, se requiere conocimiento de la estadstica de la fuente. En particular, si algunos de los smbolos son ms probables que otros, se puede aprovechar este hecho en la generacin del cdigo asignando cdigos cortos a smbolos frecuentes y cdigos largos a smbolos de fuente que ocurren muy poco frecuentemente, esto es, usar cdigos de longitud variable. El desarrollo de un codificador de fuente eficiente debe satisfacer dos requerimientos funcionales: Las palabras de cdigo generadas por el codificador deben estar en forma binaria El cdigo de fuente es decodificable en forma nica, de tal manera que la secuencia de fuente puede ser reconstruida perfectamente a partir de la secuencia binaria codificada.

ESPOL-FIEC JC

Se asume que la fuente tiene un alfabeto de K smbolos diferentes y que el smbolo Sk ocurre con pk, k=0,1,2,.,k-1. Asuma que la palabra de cdigo asignada por el codificador al smbolo sk tiene longitud lk bits. Se define la longitud promedio de cdigo, L, como:

Asumiendo que Lmin representa el valor mnimo de L, se define:

Pero como se determina el Lmin?. La respuesta se la tiene usando el primer teorema de Shannon Teorema de Codificacin de la fuente. Dado una fuente discreta sin memoria de entropa H(), la longitud promedio de cdigo L para cualquier esquema de codificacin de fuente sin distorsin est limitado por:

De acuerdo al teorema de codificacin de la fuente, la entropa H() representa un lmite fundamental (inferior) sobre el nmero promedio de bits por smbolo de fuente necesario para representar a una fuente discreta sin memoria, el que puede ser pequea, pero no ms pequea que la entropa. Haciendo Lmin=H():

Compactacin de datos (Data Compaction) Una caracterstica comn de seales generadas por fuentes fsicas, es que contienen una cantidad significativa de informacin que es redundante, cuya transmisin es una prdida de recursos. Para que ocurra una transmisin eficiente, la informacin redundante debera ser removida antes de la transmisin. Esta operacin, sin prdida de informacin, se llama compactacin de datos o compresin de datos sin prdida. El cdigo que resulta de tal operacin provee una representacin de la salida de la fuente que no solamente es eficiente en trminos del nmero de bits por smbolo pero tambin es exacto en el sentido de que los datos originales pueden ser reconstruidos sin prdida de informacin. La entropa de la fuente establece el lmite fundamental sobre la remocin de la redundancia. Bsicamente la compactacin de datos se realiza asignando una descripcin corta a los smbolos de mayor probabilidad y una descripcin larga a los smbolos de menor probabilidad. Los esquemas de codificacin de fuente con el propsito de compactacin de datos son:

Pr efijo Esquemas de codificacion de fuente = Huffman Lempel Ziv

ESPOL-FIEC JC

Prefijo

ESPOL-FIEC JC

ESPOL-FIEC JC

Problema: Considere una secuencia de smbolos con probabilidades: Smbolo So S1 S2 S3 S4 Prob 0.55 0.15 0.15 0.10 0.05

Calcule dos codificaciones de Huffman diferentes. En un caso, ubique un smbolo combinado en el procedimiento de codificacin tan alto como sea posible y en el segundo caso, ubquelo tan bajo como sea posible. En ambos casos encuentre la longitud promedio y la varianza de la longitud de cdigo.

ESPOL-FIEC JC

ESPOL-FIEC JC

ESPOL-FIEC JC

Algoritmo Lempel Ziv

ESPOL-FIEC JC

ESPOL-FIEC JC

ESPOL-FIEC JC

Canales discretos sin memoria

ESPOL-FIEC JC

Ejemplo: Considere el canal binario de la figura, donde

[P(Y / X )] =

0.7

0.4

0.3 . 0.6

Asuma P(x1)=0.5 y P(x2)=0.5.

0.7 0.3 P(Y ) = [0.5 0.5] = [0.55 0.45] 0.4 0.6 0.5 0 0.7 0.3 0.35 0.15 P( X , Y ) = = 0.5 0.4 0.6 0.2 0.3 0
ESPOL-FIEC JC

ESPOL-FIEC JC

ESPOL-FIEC JC

Representacin de canal Un canal discreto sin memoria queda completamente especificado por un conjunto de probabilidades condicionales que relacionan la probabilidad del estado de cada salida en funcin de las probabilidades de las entradas. Asuma un canal con dos entradas y tres

p ( y1 / x1 ) [P(Y / X )] = p ( y 2 / x2 )
salidas.

p ( y2 / x1 ) p ( y 2 / x2 )
p ( y3 ) ]

p ( y3 / x1 ) p ( y3 / x2 )

[P (Y )] = [ p ( y1 )

p ( y2 )

[P( X )] = [ p( x1 )

p ( x2 ) ]

[P(Y )] = [P( X )][P(Y / X )]

pij=p(yj/xi) es la probabilidad condicional de obtener la salida yj dado que la entrada es xi. Si [P(X)] se escribe como una matriz diagonal, la ecuacin [P(Y )] = [P( X )][P(Y / X )] nos da [P(X,Y)]. Cada elemento en esta matriz tiene la forma p(xi,yj)=p(xi)p(yj/xi) que es la probabilidad conjunta de transmitir xi y recibir yj. Entropa conjunta y condicional Si se usan las probabilidades de entrada p(xi), probabilidades de salida p(yj), probabilidades de transicin p(xi/yj) y las probabilidades conjuntas p(xi, yj), se pueden definir diferentes funciones de entropa para un canal de n entradas y m salidas.

H ( X ) = p ( xi ) log 2 p ( xi )
H (Y ) = p ( y j ) log 2 p ( y j )
j =1

Incertidumbre promedio de la fuente

i =1 m

Incertidumbre promedio del smbolo recibido

H (Y / X ) = p ( xi , y j ) log 2 p ( y j / xi )
i =1 j =1 n m

Incertidumbre promedio del smbolo recibido dado que X fue transmitido

H ( X / Y ) = p ( xi , y j ) log 2 p ( xi / y j )
i =1 j =1

Incertidumbre promedio de un smbolo transmitido despus de que se haya recibido un

smbolo

H ( X , Y ) = p ( xi , y j ) log 2 p ( xi , y j ) =
i =1 j =1

p ( xi , y j ) log 2 p ( xi / y j ) p ( y j ) log 2 p ( y j ) =
i =1 j =1 j =1

ESPOL-FIEC JC

H ( X , Y ) = H ( X / Y ) + H (Y ) H ( X , Y ) = H (Y / X ) + H ( X )

CAPACIDAD DE CANAL

ESPOL-FIEC JC

Ejemplo: Encuentre la capacidad de un canal binario simtrico:

H (Y / X ) = p ( xi , y j ) log 2 p ( y j / xi )
i =1 j =1 2 2

H (Y / X ) = p ( xi ) p ( y j / xi ) log 2 p ( y j / xi )
i =1 j =1

p ( x1 ) p ( y1 / x1 ) log 2 ( y1 / x1 ) + p ( x1 ) p ( y2 / x1 ) log 2 ( y2 / x1 ) + H (Y / X ) = + p ( x2 ) p ( y1 / x2 ) log 2 ( y1 / x2 ) + p ( x2 ) p ( y2 / x2 ) log 2 ( y2 / x2 ) H (Y / X ) = p log 2 p q log 2 q p (1 ) log 2 p q (1 ) log 2 q H (Y / X ) = p log 2 p q log 2 q I ( X ; Y ) = H (Y ) + p log 2 p + q log 2 q
I(X; Y) es mximo cuando H(Y) es mximo. H(Y) es mximo cuando cada salida tiene igual probabilidad, esto es, . Esto es: H(Y)=-1/2log21/2-1/2log21/2=1

C = 1 + p log 2 p + q log 2 q = 1 + p log 2 p + (1 p) log 2 (1 p)

Si p=0 o p=1, la salida del canal esta completamente determinada por la entrada al canal y la capacidad es un bit/smbolo. Si p=1/2, C=0 La probabilidad de error Pe de un canal binario simtrico es:
ESPOL-FIEC JC

Pe = p (e / xi ) p ( xi ) = qp ( x1 ) + qp ( x 2 )
i =1

(Ver grfico del canal binario)

Pe = q + q (1 ) = q

Ejemplo: Dado P(X1)= , P(X2)=P(X3)=, calcule H(X), H(Y/X), H(Y), I(X;Y) y la capacidad C para el canal mostrado.

0 1 0 0 p 1 - p = [ P[Y 1 Y2 Y3] = [ ] 0 1 - p p H (Y ) = log 2 2 log 2 H (Y / X ) = p ( X i , Y j ) log 2 p (Y j / X i )

i =1 j =1 3 3

p + (1 p ) (1 p ) + p ] = [

H ( X ) = log 2 log 2 log 2 = log 2 2 log 2

p (Y j / X i ) =

p( X i , Y j ) p( X i )

p ( X i , Y j ) = p (Y j / X i ) p ( X i )

H (Y / X ) = p ( X 1 , Y1 ) log 2 p (Y1 / X 1 ) p ( X 1 , Y2 ) log 2 p (Y2 / X 1 ) p ( X 1 , Y3 ) log 2 p (Y3 / X 1 ) p ( X 2 , Y1 ) log 2 p (Y1 / X 2 ) p ( X 2 , Y2 ) log 2 p (Y2 / X 2 ) p ( X 2 , Y3 ) log 2 p (Y3 / X 2 ) - p ( X 3 , Y1 ) log 2 p (Y1 / X 3 ) p ( X 3 , Y2 ) log 2 p (Y2 / X 3 ) p ( X 3 , Y3 ) log 2 p (Y3 / X 3 )

H (Y / X ) = p (Y1 / X 1 ) p ( X 1 ) log 2 p (Y1 / X 1 ) p (Y2 / X 1 ) p ( X 1 ) log 2 p (Y2 / X 1 ) p (Y3 / X 1 ) p ( X 1 ) log 2 p (Y3 / X 1 ) p (Y1 / X 2 ) p ( X 2 ) log 2 p (Y1 / X 2 ) p (Y2 / X 2 ) p ( X 2 ) log 2 p (Y2 / X 2 ) p (Y3 / X 2 ) p ( X 2 ) log 2 p (Y3 / X 2 ) - p (Y1 / X 3 ) p ( X 3 ) log 2 p (Y1 / X 3 ) p (Y2 / X 3 ) p ( X 3 ) log 2 p (Y2 / X 3 ) p (Y3 / X 3 ) p ( X 3 ) log 2 p (Y3 / X 3 )

H (Y / X ) = 0 0 0 0 p log2 p (1 p) log2 (1 p) 0 (1 p) log2 (1 p) p log2 p H (Y / X ) = p log2 p (1 p) log2 (1 p) (1 p) log2 (1 p) p log2 p H (Y / X ) = 2 p log2 p 2(1 p) log2 (1 p)

ESPOL-FIEC JC

I ( X ; Y ) = H (Y ) H (Y / X ) I ( X ; Y ) = log 2 2 log 2 + 2 p log 2 p + 2(1 p) log 2 (1 p)

La mxima informacin ocurre cuando ==1/3. Por tanto:

C = (1 / 3) log 2 (1 / 3) 2(1 / 3) log 2 (1 / 3) + 2 p (1 / 3) log 2 p + 2(1 p )(1 / 3) log 2 (1 p ) C = log 2 (1 / 3) + ( 2 / 3) p log 2 p + ( 2 / 3)(1 p ) log 2 (1 p ) C = log 2 3 + 2p 2(1 p ) log 2 p + log 2 (1 p ) 3 3
Capacidad Canal versus p

1,6 1,4 1,2

Bits/seg

1 0,8 0,6 0,4 0,2 0 0 0,2 0,4 0,6 0,8 1

Otra forma de hacerlo

0 0 0 1 0 0 0 0 p 1 - p = 0 P[ X ; Y ] = 0 0 0 1 - p p 0

p( X 1, Y 1) p(X1, Y2) p(X1, Y3) p (1 p) = p( X 2, Y 1) p(X2, Y2) p(X2, Y3) (1 p) p p( X 3, Y1) p(X3, Y2) p(X3, Y3) 0 0

H (Y / X ) = p( X 1 , Y1 ) log 2 p(Y1 / X 1 ) p( X 1 , Y2 ) log 2 p(Y2 / X 1 ) p( X 1 , Y3 ) log 2 p(Y3 / X 1 ) p( X 2 , Y1 ) log 2 p(Y1 / X 2 ) p( X 2 , Y2 ) log 2 p(Y2 / X 2 ) p( X 2 , Y3 ) log 2 p(Y3 / X 2 ) - p( X 3 , Y1 ) log 2 p(Y1 / X 3 ) p( X 3 , Y2 ) log 2 p(Y2 / X 3 ) p( X 3 , Y3 ) log 2 p(Y3 / X 3 ) H (Y / X ) = log1 0 0 0 p log p (1 p) log(1 p) 0 (1 p) log(1 p) p log p H (Y / X ) = 2p log p 2 (1 p) log(1 p)
Ejemplo: Encuentre la capacidad de un canal discreto no ruidoso de la siguiente figura:

I(X;Y)=H(X)-H(X/Y)

H ( X / Y ) = p ( xi , y j ) log 2 p ( xi / y j )
i =1 j =1

ESPOL-FIEC JC

Para el canal de la figura, todos los p(xi,yj) =0 excepto para i=j. Para el caso de i=j, p(xi/yj)=1. Por tanto: I ( X ; Y ) = H ( X ) Se ha visto que la entropa de la fuente es mxima si todos los smbolos son equiprobables. Por tanto: C = max[I ( X ; Y )] = TEOREMA DE CODIFICACION DEL CANAL

n log
i =1

n = log 2 n

ruido del canal se minimice. La primera operacin de mapeo se lleva a cabo en el transmisor mediante un codificador de canal, mientras que la operacin inversa se lo realiza en el receptor mediante un decodificador de canal. (No se ha incluido el codificador ni el decodificador de fuente). En un sentido simplista se puede ver que la codificacin de canal como el dual de la codificacin de fuente en que el primero introduce redundancia controlada para mejorar la confiabilidad mientras que el ltimo reduce redundancia para mejorar la eficiencia Para la presente discusin, el mensaje se subdivide en bloques secuenciales cada uno de una longitud de k bits y cada bloque de k bits se mapea en un bloque de n bits donde n>k. La relacin r=k/n< 1se llama la razn de codificacin. La reconstruccin exacta de la secuencia original requiere que la probabilidad promedio de error de smbolo sea arbitrariamente pequea. Existe un esquema de codificacin de canal de tal manera que la probabilidad de que un bit del mensaje tenga error sea menor que cualquier nmero positivo y todava el esquema de codificacin del canal sea eficiente en el sentido de que la razn de codificacin r no sea demasiado pequea? Respuesta SI Segundo teorema de Shannon Suponga que una fuente discreta sin memoria tiene un alfabeto y una entropa H() bits por smbolo. Se asume que la fuente emite smbolos cada Ts segundos por lo que la velocidad promedio de informacin de la fuente es H()/Ts [bits/segundo] = (bits/smbolo)/(segundo/smbolo). Se asume tambin que el canal es capaz de ser usado cada Tc segundos, por lo que la capacidad del canal por unidad de tiempo es C/Tc bits por segundo.

ESPOL-FIEC JC

Ejemplo

ESPOL-FIEC JC

Ejemplo: Considere una fuente discreta que tiene dos posibles smbolos de salida A y B, con probabilidades P(A) = 0.8 y P(B) = 0.2. La fuente transmite a la velocidad de 2.66 smbolos/segundo. La salida de la fuente se conecta a un canal que puede transmitir los binarios 0 o 1 a una velocidad de 2 smbolos/segundo con un error despreciable.

Lo que se desea es escoger una codificacin de los datos de entrada para que el canal tenga suficiente capacidad para transportarlos. Al aplicar el teorema de codificacin sin ruido se tiene: H(X) = - 0.8 log(0.8) - 0.2 log(0.2) = 0.72 bits por smbolo R = 2.66 [simbolos/seg] x 0.72 [bits por smbolo] = 1.92 bps Observar que: Rs = R H(X) bps
Donde:
Rs = Velocidad de informacin de la fuente [bits/seg] H(X) = Entropa de la fuente en bits/smbolo R = Velocidad en smbolos/seg.

Dado que la capacidad del canal es de 2 bps, debe existir una codificacin tal que la transmisin por este canal sea posible. Como se vio anteriormente, la capacidad del canal binario est dado por:

C = 1 + p log 2 p + q log 2 q = 1 + p log 2 p + (1 p) log 2 (1 p)

En este caso p=0 o p=1, C = 1 bit por smbolo, lo cual corresponde a una velocidad de

C =1

bit smbolo bit x2 =2 smbolo seg seg

Un primer esquema es que el codificador simplemente tome cada elemento de la fuente (smbolo) y lo represente por un 1 o un 0, esto es:

ESPOL-FIEC JC

Smbolo/ Evento

Palabra de cdigo
(codeword)

p(xi)

p(xi). [Number of code symbols]

A B

1 0

0.8 0.2

0.8 0.2 1

Longitud de palabra promedio

Con este esquema hay 1/1= 1 smbolo a la salida del codificador por cada smbolo a la salida de la fuente. La velocidad a la salida del codificador es:
(1 smbolo de cdigo/smbolo de fuente)(2.66 smbolo de fuente/seg)=2.66 smbolos/seg

Lo cual es todava mayor que la capacidad del canal. En este caso una transmisin sin error no sera posible por el canal ya que la capacidad de dicho canal (2 smbolos/seg) es menor que la velocidad a la salida del codificador (2.66 smbolos/seg). Un segundo intento puede ser codificar un par de smbolos de la fuente a la vez y asignarle la palabra de cdigo (Codeword) ms corta
Palabra (cdigo)

Smbolo

p(xi)

p(xi). [Number of code symbols]

AA AB BA BB

0.64 0.16 0.16 0.04

0 10 110 111

0.64 0.32 0.48 0.12 1.56

Longitud Promedio

Se tiene entonces una nueva fuente con los smbolos AA, AB, BA, BB (Extensin de fuente de segundo orden). Con este esquema hay 1.56/2= 0.78 smbolos a la salida del codificador por cada smbolo a la salida de la fuente. La velocidad a la salida del codificador es:
(0.78 smbolo de cdigo/smbolo de fuente)(2.66 smbolo de fuente/seg)=2.08 smbolos/seg

Lo cual es todava mayor que la capacidad del canal Un posible tercer esquema es el indicado en la siguiente tabla:

ESPOL-FIEC JC

Smbolo AAA AAB ABA BAA ABB BAB BBA BBB

p(xi) 0.512 0.128 0.128 0.128 0.032 0.032 0.032 0.008

Palabra 0 100 101 110 11100 11101 11110 11111

p(xi). [Number of code symbols] 0.512 0.384 0.384 0.384 0.160 0.160 0.160 0.040 2.184

Longitud Promedio de la palabra

Con este esquema hay 2.184/3= 0.728 smbolos a la salida del codificador por cada smbolo a la salida de la fuente. La velocidad a la salida del codificador es:
(0.728 smbolo de cdigo/smbolo de fuente)(2.66 smbolo de fuente/seg)=1.94 smbolos/seg.

Lo cual el canal binario puede aceptar.

Entropa diferencial e informacin mutua para una distribucin contnua Se haba mencionado que si se considera una variable aleatoria continua con funcin densidad fx(x), la entropa se define como:

H ( x) = f x ( x) log 2 [ f x ( x)]dx

bits

En este caso a H(x) se lo conoce como entropa diferencial.

ESPOL-FIEC JC