TEORIA DE LA INFORMACION Y CODIFICACION EJERCICIO EN CLASE

.
.


1
TRABAJO EN CLASE: CAPITULO 3
Fuentes De Codificacin: Cdigos Fano



1. CONTENIDO

2. INTRODUCCIN ..................................................... 1

3. OBJETIVOS .............................................................. 1

3.1.Objetivo General .................................................. 1
3.2.Objetivos Especficos .......................................... 1

4. DESARROLLO ......................................................... 1

4.1.Planteamiento del Problema ................................ 1
4.2.Mtodo de Solucin del Problema ....................... 1

5. CONCLUSIONES Y RECOMENDACIONES ......... 4

6. REFERENCIAS ......................................................... 4


2. INTRODUCCIN

En Teora de la Informacin y codificacin, uno de los
aspectos ms relevantes es el de la codificacin en
donde la informacin se codifica hacia un conjunto de
palabras que pueden ser transmitidas de una manera ms
ptima, para que en el receptor se pueda reconocer la
seal a decodificar.

Un problema importante en el almacenamiento de las
comunicaciones y la informtica digital es la eficiencia
en la transmisin y almacenamiento de informacin.
Adems transmisin y almacenamiento datos digitales
requieren de la informacin para ser representada en
forma digital o binaria. Por lo tanto hay una necesidad
para llevar a cabo la codificacin de fuente, el proceso
de codificacin de la informacin mensaje de origen a
una palabra de cdigo binario, y sin prdidas y
decodificacin fieles de la palabra de cdigo binario
para el mensaje fuente de informacin original.

3. OBJETIVOS

3.1 OBJETIVO GENERAL

Aplicar los conceptos abordados en la
asignatura de Teora de la Informacin y codificacin,
para el desarrollo de un ejercicio planteado con enfoque
prctico para una fuente ternaria de cinco smbolos.

3.2 OBJETIVOS ESPECFICOS

Codificar usando CDIGO FANO

Comprobar la desigualdad de Kraft.

Realizar el Clculo de la longitud media.

Calcular la eficiencia del cdigo

Calcular la varianza del Cdigo.



4. DESARROLLO

4.1 Planteamiento del Problema.

Necesitamos codificar la siguiente frase:
EL PROXIMO MES INICIA EL MUNDIAL
DE FUTBOL usando cdigo Fano, Calcular:

a) Inigualdad de Kraft
b) Longitud media
c) Eficiencia del Cdigo
d) Varianza del Cdigo






4.2 Mtodo de Solucin del Problema.
Se tiene el siguiente modelo:

Procedemos a calcular las probabilidades:
Con el nmero de repeticiones de la letra en la frase
dividido para el total de caracteres:

()






Smbolo(

) (

TEORIA DE LA INFORMACION Y CODIFICACION EJERCICIO EN CLASE
.
.


2

Ordenando las Probabilidades :






Smbolo(

) (

)
-

Un arbol Shannon-Fano se construye de acuerdo a una
especificacin diseada para definir una tabla de cdigos
efectiva. El algoritmo actual es simple:

1 Para una lista de smbolos dada, crear su
correspondiente lista de probabilidades o de frecuencias
de aparicin de manera que se conozca la frecuencia
relativa de ocurrencia de cada smbolo.

2 Ordenar las listas de smbolos de acuerdo a la
frecuencia, con los smbolos de ocurrencia ms
frecuente a la izquierda y los menos comunes a la
derecha.

3 Dividir la lista en dos partes, haciendo la frecuencia
total de la mitad izquierda lo ms prxima posible a la
de la mitad derecha.



4 Asignar a la mitad izquierda el dgito binario 0, y a
la mitad derecha el dgito 1. Esto significa que los
cdigos para los smbolos en la primera mitad
empezarn con 0, y que los cdigos de la segunda
mitad empezarn por 1.

5 Aplicar recursivamente los pasos 3 y 4 a cada una de
las dos mitades, subdividindolas en grupos y aadiendo
bits a los cdigos hasta que cada smbolo se corresponde
con una hoja del rbol.

Ordenando en orden alfabtico y codificando usando
cdigo fano:

Smbolo(

) (

)
-

0 0 0

0 0 1

0 1 0
TEORIA DE LA INFORMACION Y CODIFICACION EJERCICIO EN CLASE
.
.


3

0 1 1

1 0 0 0

1 0 0 1

1 0 1 0

1 0 1 1

1 0 1 0

1 1 0 0

1 1 0 1 1

1 1 0 1 0

1 1 0 0 1

1 1 1 0 0

1 1 1 0 0

1 1 1 0 1

1 1 1 1 0

1 1 1 1 1





CODIFICANDO:

Smbolo(

) cdigo
-


















a) Inigualdad de Kraft

La desigualdad de Kraft dice que:
Para que un cdigo sea instantneo con un
alfabeto de tamao y palabras de cdigo
con largos individuales

es
necesario que la siguiente inecuacin sea
cumplida:

Desarrollando la inecuacin tenemos:

b) Longitud media

Para calcular la longitud media aplicamos la siguiente
formula:

Sea

: i=1,2q las probabilidades de smbolo

individuales para una fuente con q smbolos posibles.
Definimos

como el largo de las palabras

de cdigo correspondientes para una codificacin dada.

c) Eficiencia del Cdigo

Para calcular la eficiencia del cdigo aplicamos lo
siguiente:

()

TEORIA DE LA INFORMACION Y CODIFICACION EJERCICIO EN CLASE
.
.


4

Debemos calcular

() que es la entropa de la fuente

en base r de la siguiente manera:

()
()

, donde r es el tamao del alfabeto. Para esto
necesitamos calcular la entropa binaria de la fuente de
la siguiente manera:

()

()

()

Calculada la entropa binaria podemos obtener la
entropa de la fuente en base r=2.

()

()


Una vez calculada la entropa en base r=2 de la fuente
calculamos la eficiencia:

d) Varianza del Cdigo






5. CONCLUSIONES Y RECOMENDACIONES.

Para la construccin de un cdigo fano, Fano se
construye de acuerdo a una especificacin diseada para
definir una tabla de cdigos efectiva, de tal manera que
la palabra de cdigo actual no contenga ninguna de las
otras palabras como prefijo.

A travs de la desigualad de kraft pudimos comprobar
que el cdigo es instantneo, es decir que la desigualdad
de Kraft puede ser usada cuando necesitemos comprobar
si algn cdigo es instantneo.

Logramos una eficiencia del %, con lo cual
obtenemos una notable mejora en el sistema de
codificacin.

El aprendizaje de la materia se refuerza en gran medida
con el desarrollo de ejercicios con enfoque prctico y
que permiten entender de mejor manera el uso y
aplicacin de las herramientas desarrolladas en clase.

El trabajo en equipo permite tener diversas opiniones y
soluciones acerca del problema, teniendo otros puntos
de vista y discutiendo las soluciones se pueden llegar a
desarrollar el ejercicio.


6. REFERENCIAS
[1] Fundamentals of Information Theory and Coding Design
Roberto Togneri, Christopher J.S deSilva
[2]Pablo gil , Jorge Pomares,Francisco Candelas, Redes
De transmisin de Datos,Universidad de alicante.
7. Autoevaluacin:
NOMBRE CALIFICACION
Ismael Chacho 9
David Espinoza 9
Fabin Guamn 9
Josu Vanegas 9
Juan Martin Ynez. 9