Universidad Politécnica Salesiana-Sede Cuenca.
CODIFICACION DE LA FUENTE
Erick Barbecho, Iván Llivisaca, Cindy Romero
ebarbechob@est.ups.edu.ec, illivisaca@est.ups.edu.ec, cromero@est.ups.edu.ec
Universidad Politécnica Salesiana - Sede Cuenca
Comunicaciones Digitales
Abstract -- In the following document we will present in
detail the source coding, with some main topics such as the
case of McMiller theorem, Fanon Coding and others.
Key words— McMiller, Fanon, Coding, Gaussian, Noise.
I. INTRODUCCIÓN
El teorema de codificación de fuente es uno de los teoremas
fundamentales de teoría de información introducidos por
Shannon. Este teorema establece el límite fundamental sobre
la forma en que puede representarse la salida de una fuente de
información sin originar una probabilidad de error grande. Se
vio que la entropía de una fuente de información es una
medida de la incertidumbre o, equivalentemente, el contenido
de la información de la fuente. En consecuencia, es natural
que en la proposición del teorema de la codificación de fuente
la entropía juegue un papel principal. La entropía proporciona
el límite inferior del número de bits por muestra necesarios
para transmitir la información de la fuente sin pérdidas, y es la
tasa de salida hacia la que debe tender un buen codificador de
fuente. Cuando la tasa de transmisión es mucho mayor que la
entropía de la fuente, entonces es posible que algunas de las
propiedades de las modulaciones (por ejemplo, su anchura
espectral) no sean idénticas a los valores teóricos, lo que
puede dar lugar a interferencias con otros sistemas de
comunicaciones. La codificación de fuente se encarga de
eliminar dicha correlación de tal forma que los bits que
aparecen a su salida están incorrelados, y todas las cadenas de
cualquier longitud son igualmente probables, obteniéndose un
espectro similar al teórico y una cadena de bits a transmitir lo
más corta posible.
II. MARCO TEÓRICO
CODIFICACION DE FUENTE
La codificación de fuente es la primera etapa de un sistema de
comunicación digital.
Consiste en convertir la señal de información en una secuencia
de ceros y unos.
La codificación de fuente trata de reducir el tamaño medio de
los mensajes, expresando los símbolos nativos de la fuente en
función de un segundo conjunto de símbolos, normalmente, en
función de grupos de bits
TEOREMA DE MCMILLAN
El uso de longitudes de palabra de código más cortas crea
códigos más eficientes. Dado que la clase de códigos
unívocamente decodificables es mayor que la clase de códigos
instantáneos, se esperaría que se obtuvieran mayores
eficiencias considerando la clase de todos los códigos
exclusivamente decodificables en lugar de la clase más
restrictiva de códigos instantáneos. Por lo que, se prefieren los
códigos instantáneos sobre los códigos únicamente
decodificables dado que los códigos instantáneos son más
fáciles de analizar, sistemáticos de diseñar y pueden ser
decodificados usando una estructura de árbol de
decodificación máquina de estado. El teorema de McMillan
nos asegura que no perderemos si consideramos solamente la
clase de códigos instantáneos.
Las longitudes de palabra de código de cualquier código des-
codificable de manera única deben satisfacer la desigualdad
Kraft:
q
K=∑ r−l ≤ 1 i
i =1
Por el contrario, dado un conjunto de longitudes de palabras
de código que satisfacen esta desigualdad, entonces existe un
código de descodificación única con estas longitudes de
palabra de código.
La demostración del Teorema de McMillan se presenta ya que
es instructivo ver cómo usa la definición formal de la
descodificación única para demostrar que la desigualdad debe
ser satisfecha.
Asumir un código de descodificación única y considerar la
cantidad:
q n
(∑ )
i=1
r −li
=( r −l +r −l +…+ r−lq )
1 2
n
Cuando está escrito, la cantidad consistirá en el qn
Términos que se derivan de n la extensión del código,
cada uno de la forma:
−l 1−l i2−…−l ¿ −k
r =r
Donde definimos: l i 1+l i 2 +…+l ¿ =k
Entonces l ij es la longitud l i de la palabra código
nth en la extensión del código y k es la secuencia de
Universidad Politécnica Salesiana-Sede Cuenca. 2

palabras de código en la nth extensión del código. Deje Ejemplo:

I m=max {l i :i=1,2, … , q } ser la longitud máxima Símbolo Proba C1 C2 C3
que
i S1 0.4 0 00 0
de la palabra de código sobre q palabras claves. La S2 0.3 10 01 10
longitud mínima de la palabra código es una longitud de 1. S3 0.2 110 10 110
Entonces k puede asumir cualquier valor de n a S4 0.1 1110 11 111
n l m . Entonces: Longitud 2bits/ 2 bits/ 1.9
Promedi palabra palabra bits/palabr
q n n lm o a

( )
∑ r −l = ∑ N k r−k
i=1
i

K=n L=∑ Pi l i
bits
Así N k representa el número de secuencias de palabras de Ls 1=0.4 (1 )+ 0.3 ( 2 ) +0.2 ( 3 ) +0.1 ( 4 )=2
seg
código en la extensión nth del código con una longitud de bits
k . Si el código es únicamente decodificable, la extensión Ls 2=0.4 ( 2 )+ 0.3 (2 )+ 0.2 ( 2 ) +0.1 ( 2 )=2
seg
nth del código debe ser no singular. Es decir N k no bits
debe ser mayor que r k el número de secuencias distintas Ls 3=0.4 ( 1 )+ 0.3 (2 )+ 0.2 ( 3 )+ 0.1 ( 3 ) =1.9
seg
de longitud k . Así es para cualquier valor de n
debemos tener: Entonces Podemos decir que el mas eficiente es C3 ya la
n n lm n lm
q longitud promedio obtenida es la menor en comparación de las
(∑ )
i=1
r −l = ∑ N k r−k = ∑ 1
i

K=n K =n
demás longitudes.

≤ nl m −n+1 EFICIENCIA DE CODIFICACIÓN

≤ nl m
La eficiencia de codificación es un índice numérico de la
O también: eficiencia con que se usa un código PCM. La relación de la
q 1
cantidad mínima de bits necesarios para lograr cierto intervalo
∑ r −l ≤ ( nlm ) ni

dinámico, entre la cantidad real de bits PCM que se usan, la

i=1
ecuación de la eficiencia es:
Para n ≥1 y lm ≥ 1 tenemos que

{ } { }
1 1
cantidad minimade bits
n
min ( n l m ) =lim ( nl m ) =1 ⁡ . Como la desigualdadn
Eficiencia de codigo= ∗100
n n→∞ cantidad real de bits
anterior tiene que mantenerse para todos los valores de n ,
entonces esto sería cierto si: CODIFICACIÓN FANO
q La codificación de Fano se basa en la idea de que símbolos
∑ r −l ≤1 i
equiprobables deberían ser cargadas a los códigos de palabras
i=1 de igual longitud.
Para el caso importante de códigos binarios, la codificación de
La implicación del teorema de McMillan es que para cada Fano divide cada grupo en dos subgrupos equiprobables
código no decodificable no instantáneo que obtengamos, añadiendo un 0 a un grupo y 1 para el otro grupo. Los grupos
siempre se encontrará un código instantáneo con las mismas se dividen sucesivamente hasta que no más grupos pueden
longitudes de palabras de código, ya que ambos códigos dividirse (es decir, cada grupo tiene solamente un símbolo).
satisfacen la misma Desigualdad Kraft.
Por lo tanto, podemos restringirnos a la clase de códigos “Se divide la lista en dos partes de forma que la suma total de
instantáneos, ya que no ganaremos eficiencias basadas en la mitas superior sea lo más cercana posible a la suma total de
longitudes de palabras de código al considerar la clase más la parte inferior”
grande de códigos unívocamente decodificables
Ejemplo:
LONGITUD MEDIA DE UN CÓDIGO
Obtener la codificación FANO para la siguiente palabra:
La longitud media de un código se define como la sumatoria UNIVERSIDAD.
de los productos entre las probabilidades y longitudes de cada
símbolo. Se ordena las probabilidades de forma descendente de mayor a
L=∑ Pi l i menor.
Se divide en dos subgrupos equiprobables asignando un 0 ó 1.
Universidad Politécnica Salesiana-Sede Cuenca. 3

Esta operación (parte hacia delante del algoritmo) se repite

hasta que:

Una vez que el árbol está completamente construido (es decir,

en el momento en que todos los símbolos se han juntado en
uno solo con probabilidad 1), se recorre el árbol de derecha a
izquierda (parte hacia atrás del algoritmo), asociando con cada
bifurcación (esto es, donde se han sumado 2 probabilidades)
un 0 y un 1 en cada una de sus ramas (se puede hacer de
manera arbitraria).

Código Fano obtenido

Por último, se leen los bits de derecha a izquierda hasta llegar

CODIFICACIÓN HUFFMAN
El algoritmo de Huffman intenta asignar cada símbolo una
palabra de código de longitud proporcional a la cantidad de
información transmitida por dicho símbolo.
Ejemplo:
al símbolo original, y dicha cadena de bits es la que se le
asigna a cada símbolo de entrada.
Los símbolos más probables tienen asociadas cadenas más
cortas, y las menos probables cadenas asignadas más largas.

Supongamos que se dispone de una fuente continua que

discretizamos empleando un cuantificador uniforme con 8
niveles.
A continuación, codificamos sus salidas, asignándole a cada
muestra de entrada un símbolo compuesto por tres bits.

Las probabilidades de cada uno de estos símbolos son:

P(000) =0.2, P(001) =0.01, P(010) =0.4, P(011) =0.04, P(100)

=0.1, P(101) =0.02, P(110) =0.07 y P(111) =0.16.

En consecuencia, la entropía de esta fuente es:

M
H=−∑ Pi log 2 Pi =2.38
i=1
Se ordenan los símbolos de acuerdo con sus probabilidades:
desde el más probable hasta el menos probable.
Se juntan los dos símbolos menos probables, dando lugar a un
nuevo símbolo cuya probabilidad es la suma de ambos, y se
vuelven a ordenar.
Universidad Politécnica Salesiana-Sede Cuenca. 4

III. CONCLUSIONES Y RECOMENDACIONES

 para el teorema de mcMillan o desigualdad de Kraf

es usada para verificar si un código de bloques es
instantáneo o de decodificación única.
 Para la codificación Fano se puede decir que ésta
codificación no es óptimo en el sentido que no se
puede conseguir una menor longitud de palabra
código, y para poder comprobar se puede utilizar la
longitud media de la palabra y la varianza.
 Podemos concluir que para la codificación Huffman
el resultado para ciertos casos son diferentes de
acuerdo al recorrido del árbol a utilizarse o
implementarse, aunque podría existir coincidencia
entre palabras respecto al resultado binario.

IV. REFERENCIAS

[1] Bernard Sklar, "Digital Communications Fundamentals and

Applications", en Comunicaciones Digitales, 2° Ed., New Jersey, Cap. 1,
pp.19-21