2009 - Apuntes Primera prueba ET0822

Apuntes ET0822 Primera Prueba.

Parte Teórica.-

Estudiar cada uno de los conceptos entregados en clases:

- Relación entre probabilidad de ocurrencia de un evento y la cantidad de
información contenida en ese evento.
- Fuente de información.
- Canal de comunicaciones.
- Entropía.
- Tasa (velocidad) de Información.
- Capacidad de canal (limite de Shannon)
- Codificación de la fuente (teorema de Shannon)
- Codificación de canal (teorema de Shannon).
- Compresión de datos.

Parte Ejercicios.-

Problema 1.-
Se tiene una fuente de información sin memoria, que entrega símbolos del
alfabeto S = {A, B, C, D} con una probabilidad de aparición:
P(A) = 0.5 P(B) = 0.25
P(C) = 0.125 P(D) = 0.125

a) Obtenga la información contenida en cada símbolo.

b) Codifique en binario cada símbolo de la fuente, usando código binario
natural.
c) Calcule la entropía de la fuente de información.
d) Calcule la longitud media del código obtenido en b). Obtenga la
eficiencia del código.
e) Calcule nuevamente longitud media del código, pero primero obtenga un
nuevo código considerando asociar a cada símbolo un número de bits
igual a la información por símbolo que contienen. Obtenga la eficiencia
del código.

Respuesta.-
a) Obtendremos la información de cada símbolo empleando la siguiente
formula:

I(A) = log2 ( 1/ p(A) ) = log2 (1/0.5) = log2 (2) = 1 bit

I(B) = log2 ( 1/ p(B) ) = log2 (1/0.25) = log2 (4) = 2 bit
I(C) = log2 (1/ p(C) ) = log2 (1/0.125) = log2 (8) = 3 bit
I(D) = log2 ( 1/ p(C) ) = log2 (1/0.125) = log2 (8) = 3 bit

También puede usar la siguiente equivalencia: log2 N ≈ 3,322 log10 N

Profesor Ivan Romaratti

2009 - Apuntes Primera prueba ET0822

b) Si tenemos cuatro elementos podemos codificar cada uno de ellos con

dos bits, usando código binario natural:

Símbolo A codificado en dos bits: 00 (código ‘00’ representa el símbolo A)

Símbolo B codificado en dos bits: 01(código ‘00’ representa el símbolo A)
Símbolo C codificado en dos bits: 10 (código ‘00’ representa el símbolo A)
Símbolo D codificado en dos bits: 11(código ‘00’ representa el símbolo A)

O puede ser otra distribución. Por ejemplo A: 11, B: 10, C: 01, D: 00.

c) Para calcular la entropía de la fuente empleamos la siguiente fórmula:

Tenemos entonces:

H(x) = P(A)*I(A) + P(B)*I(B) + P(C)*I(C) + P(D)*I(D)

= 0.5 * 1 + 0.25 * 2 + 0.125 * 3 + 0.125 * 3 = 1.75 bit

d) El valor medio del código esta dado por

Donde: pi es la probabilidad de aparición del símbolo.

li es el número de bits asociados a ese símbolo.

L medio = P(A) * 2 + P(B) * 2 + P(C) * 2 + P(D) *2.

= 0,5 * 2 + 0,25* 2 + 0,125* 2 +0,125*2 = 2 bits

La eficiencia del código se calcula de acuerdo a:

Donde: n es la eficiencia de la codificación.

H(s) es la entropía de la fuente.
L longitud media por símbolo.
Entonces la eficiencia de este código será:
n = H(x) / L medio = 1.75 / 2 = 0.875 = 87.5%

e) Calculamos nuevamente longitud media del código usando una nueva

codificación que se obtiene utilizando para cada símbolo lo obtenido de
información I(x) por símbolo. Entonces:

I(A) = 1 bit => A se codifica en 1 bit: 0 (también puede ser ‘1’)

I(B) = 2 bit => B se codifica en 2 bit: 11 (u otra combinación de 2 bits)
I(C) = 3 bit => C se codifica en 1 bit: 010 (u otra combinación de 3 bits)

Profesor Ivan Romaratti

2009 - Apuntes Primera prueba ET0822

I(D) = 3 bit => D se codifica en 1 bit: 011 (u otra combinación de 3 bits)

Luego:
L medio = P(A) * 1 + P(B) * 2 + P(C) * 3 + P(D) *3.
= 0,5 * 1 + 0,25* 2 + 0,125* 3 +0,125*3 = 1.75 bits

La eficiencia de este código será:

n = H(x) / L medio = 1.75 / 1.75 = 1 = 100%
Por lo tanto, la eficiencia del código es máxima al escoger longitud promedio de
las palabras de código (número promedio de dígitos binarios), a la entropía de
la fuente. Así sabremos si nuestro código es eficiente o tenemos redundancia
como en el caso d) (código binario natural).

Problema 2.-
Consideremos la información producida por una máquina de escribir de 26
letras y el espacio entre letras; en otras palabras, la fuente produce 27
símbolos. Si todos los símbolos tuvieran la misma probabilidad, calcular la
entropía:

H(x) = Sumatoria [ p(x) * I (x) ]

= Sumatoria [ 1/27 * log2 (1/[1/27]) ]
= 1/27 * log2 (27) + 1/27 * log2 (27) +…+ 1/27 * log2 (27). (27 términos)
= 27/27 * log2 (27) = 1 * 4,75 = 4,75 bits /símbolo

Esta es la máxima información que la máquina de escribir puede generar, con

todos los símbolos igualmente probables.

Problema 3.-
Calcule la velocidad (tasa) de información de la fuente, si se tienen los
siguientes símbolos y probabilidades (del problema 1), y velocidad de emisión
de símbolos igual a 1000 símbolos por segundo.

S = {A, B, C, D} con una probabilidad de aparición:

P(A) = 0.5; P(B) = 0.25; P(C) = 0.125; P(D) = 0.125.

Respuesta.
i) Si calculamos la entropía de la fuente con tal alfabeto y probabilidades
tendremos:

H(x) = 1,75 bits /símbolo.

Y la velocidad de información será:
R = r * H(x) = 1000 * 1.75 = 1750 bits por segundo [bps]

ii) Que pasa si los símbolos son equiprobables? Si los símbolos son
igualmente probables de ocurrir cada uno, tendremos;

H(x) = Sumatoria [ p(x) * I(x) ].

= Sumatoria [ 1/4 * log2 (1/[1/4]) ].

Profesor Ivan Romaratti

2009 - Apuntes Primera prueba ET0822

= 1/4*log2 (4) + 1/4*log2 (4) +1/4*log2 (4) + 1/4*log2 (4).

= 4/4 * log2 (4) = 1 * 2 = 2 bits /símbolo

Y la tasa de información será.

R = r * H(x) = 1000 * 2 = 2000 bits por segundo [bps]

Problema 4 (capacidad de canal).- Una señal binaria es enviada por un canal

de 3 KHz de BW existiendo una relación S/N = 20 dB. ¿Cuál es la razón de
transferencia de información libre de error que es posible transmitir?

Respuesta:
20 = 10 log10 (S / N) ⇒ S / N = 10(20 / 10) = 100

C = BW log2 (1 + S/N) = 3.000 log2 (1 + 100) = 19,9 x 103 [bits/segundo]

Problema 5 (capacidad de canal).-

Para un canal de comunicaciones de banda de voz estándar con una relación
de potencia de señal a ruido de 1000 veces (30dB) y un ancho de banda de
2.7KHz, calcular el límite de Shannon para la capacidad de información:

Respuesta.-

C= B * log2 (1 + S/N) [bits/seg]

C= 2.7 KHz * 3.32 *log10 (1 + 1000)
C= 2.7 KHz *3.32* 3
C= 2.7KHz * 9,96 = 26.89 Kilobits por segundo.

Profesor Ivan Romaratti