1 Teoría de La Información y Codificación - Introducción

DEPARTAMENTO DE
ELECTRNICA,
TELECOMUNICACIONES Y
REDES DE INFORMACIN
TEORA DE LA INFORMACIN Y CODIFICACIN

INTRODUCCIN
Ing. Christian Tipantua, MSc.
E-mail: christian.tipantuna@epn.edu.ec
Quito, 2014 - 2015
TIC - Introduccin y conceptos 1
TEORA DE LA INFORMACIN Y
CODIFICACIN
Me lo contaron y lo olvid; lo vi y lo
entend; lo hice y lo aprend.
- Confucio
Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Teora de la Informacin y Codificacin
1. INTRODUCCIN
2. FUENTES DE INFORMACIN
3. CODIFICACIN DE FUENTE
4. CANALES DE INFORMACIN
5. CODIFICACIN DE CANAL

Qu se va a aprender en este curso?

En sta era la informacin est presente en cualquier lugar y en
cualquier momento.
Informacn digital: archivos, voz y video representados por 0s y

1s.
La teora de la informacin es un tema de un amplio contenido

intelectual, y adems un poco filosfico.

La ciencia de la informacin
Claude Elwood Shannon (1916 2001)
En 1948 publica, The Mathematical Theory of Communication.
Publicaciones
Shannon, Claude Elwood (1948). A mathematical theory of
communication. Bell System Technical Journal 27 (379-423 and 623-
656).
Shannon, Claude Elwood (1949). Communication theory of secrecy
systems. Bell System Technical Journal 28 (656-715).
La teora de la informacin estudia los lmites presentes en la

comunicaciones, lmites en la transmisin y almacenamiento.

La ciencia de la informacin

Sistema de comunicaciones
Esquema planteado por Shannon en 1948 [1]
Sistemas de comunicaciones analgico
Teora de la Informacin y Codificacin Escuela Politcnica Nacional

Espectro Radioelctrico
Servicios de telecomunicaciones

TIC
Informacin Digital
FIEL EFICIENTE
Codificacin de Canal Codificacin de Fuente
Teora de la informacin
Dos teoremas fundamentales:

Source Coding Theorem: establece los limites en la compresin de datos,
actualmente diferentes formatos y algoritmos de compresin. Ejemplo:
mp3, jpeg, rar, mpeg, mp4, etc.
Channel Coding Theorem: establece los limites para una comunicacin

confiable, considerando las alteraciones del canal (ruido). Capacidad del
canal.

Revisin de probabilidad
X variable randmica discreta, la cual puede tomar valores de X.

X alfabeto de la variable randmica X.
{pX(x)} distribucin de probabilidad para X.
SX soporte de X, es decir {x X | pX(x) > 0 }

Conjunto de todos los resultados donde la probabilidad es mayor a cero.
Si SX = X, se dice que p es estrictamente positiva.

La distribuciones no estrictamente positivas son peligrosas.

Revisin de probabilidad (2)
Dos variable randmicas X e Y son idenpendientes, XY, si:

p(x,y) = p(x)p(y)
Para todo x e y , es decir para todo (x,y) X x Y
Idenpendencia mutua: Para n 3, las variables randmicas X1, X2 ,, Xn son

mutuamente independientes si:
p(x1, x2 , , xn ) = p(x1) p(x2) p(xn)
Para todo x1, x2 , , xn.
Independiente por pares: Para n 3, las variables randmicas X1, X2 ,, Xn son

independientes por pares si Xi y Xj son independientes para:
1 i j n

Revisin de probabilidad (3)
Independencia condicional: Para las variables randmicas X,Y y Z; X es

independiente de Z condicional Y , denotado X Z|Y, si:
Si p(y) > 0 , entonces:
X Y Z
p(y|x) p(z|y)
La distribucin conjunta: p(x,y,z) = p(x) p(y|x) p(z|y) = p(x,y) p(z|y)

Conceptos
Informacin
Conjunto de datos que constituyen un mensaje
Materializado en forma de voz, texto, imgenes, video, etc.
Nos interesa la informacin digital (originalmente analgica).
Fuentes de informacin
Producen seales, mensajes (auditivas, visuales, etc.)
Adaptacin de la informacin de acuerdo al canal de TX, es decir seales
elctricas, luminosas, electromagnticas, etc.
Objeto de estudio: fuentes de informacin digitales

Sistema de comunicaciones digital
Esquema
Bits Eliminacin
Compresin adicionales de bits de
Fuente control Desompresin Destino
de control
Codificador Codificador Decodificador Decodificador

A/D Canal de Tx D/A
de Fuente de canal de canal de Fuente
Ruido
Interferencia
Distorsin

Sistema de comunicaciones
Con modulacin digital

Ruido AWGN
Dominio del tiempo (muestras)
Funcin de distribucin de probabilidad - PDF

Ruido AWGN (2)

Funcin de distribucin de probabilidad
PDF Curva, u=0, sigma=1 Otros valores

Conceptos (2)
Informacin
Conjunto de datos que constituyen un mensaje
Materializado en forma de voz, texto, imgenes, video, etc.
Nos interesa la informacin digital (originalmente analgica)
Mensaje digital
Secuencia de elementos de un alfabeto.
Alfabeto
Conjunto finito de smbolos.
Alfabeto fuente: nmero de smbolos emitidos por la fuente; 1,2,3,,q.
Alfabeto cdigo: nmero de smbolos de cdigo utilizado; 0,1,2,..,r Ejm: cdigo
binario.

Conceptos (3)
BER (Bit Error Rate)

Cuando se transmite sobre el canal las seales (formas de onda)
cambian. Por diversas razones:
Respuesta en frecuencia del canal
Ruido, otras anomalas en el canal
El BER es la probabilidad de que los bits de informacin sean recibidos

incorrectamente.

Descripcin de ejemplos de TIC
Representacin (codificacin) binaria de nmero decimales
Dgitos decimales Representacin binaria

(smbolos mensaje) (palabra cdigo cdigo BCD)
0 0000
1 0001
2 0010
3 0011
4 0100
5 0101
6 0110
7 0111
8 1000
9 1001

Descripcin de ejemplos de TIC (2)
Cdigo de longitud variable
Smbolos mensaje Palabra cdigo
S1 0
S2 01
S3 001
S4 111
Decodificar la secuencia de palabra cdigo: 001111001
Observacin: existe ambigedad en la decodificacin.
Solucin: utilizacin de otro cdigo. Ejm: cdigo coma.

Descripcin de ejemplos de TIC (3)
Cdigo coma
Smbolos mensaje Palabra cdigo
S1 0
S2 10
S3 110
S4 111
Para la secuencia: 1011110110
La decodificacin ser: S2S4S2S3
Observacin: no existe ambigedad en la decodificacin.
En este caso el 0 acta como una coma que indica el fin de una
palabra cdigo.

Informacin vinculada con la probabilidad
Ejemplo transmisin de estado del tiempo (forecast)

Considerando estados de tiempo equiprobables.
Smbolos mensaje Probabilidad Smbolos mensaje Palabras cdigo
Soleado 1/4 S1 00
Nublado 1/4 S2 01
Lluvioso 1/4 S3 10
Brumoso 1/4 S4 11
Observacin:
No existe ambigedad en el proceso de decodificacin.
Ejemplo:
o Codificar la transmisin sucesiva: Soleado, nublado, lluvioso.
o Decodificar la secuencia de palabra cdigo: 00111110

Informacin vinculada con la probabilidad
Ejemplo transmisin de estado del tiempo (forecast)

Considerando estados de tiempo no equiprobables.
Si un estado del tiempo se presenta con mayor frecuencia.
Smbolos mensaje Probabilidad Smbolos mensaje Palabras cdigo
Soleado 1/2 S1 0
Nublado 1/4 S2 10
Lluvioso 1/8 S3 110
Brumoso 1/8 S4 111
Observacin:
No existe ambigedad en el proceso de decodificacin.
Ejemplo:
o Codificar la transmisin sucesiva: Soleado, soleado, nublado.
o Decodificar la secuencia de palabra cdigo: 00111110

Longitud promedio de un cdigo (L)

Definicin
Nmero promedio de smbolos del alfabeto cdigo utilizado por el cdigo
para codificar un smbolo fuente.
Suponiendo que una fuente genera n smbolos, y algunos se presentan de

forma repetitiva, se tiene:
n1 smbolos S1 con probabilidad P1=p(S1), al que se le asigna una

palabra cdigo con longitud l1
n2 smbolos S2 con probabilidad P2=p(S2), al que se le asigna una
palabra cdigo con longitud l2

nq smbolos Sq con probabilidad Pq=p(Sq), al que se le asigna una
palabra cdigo con longitud lq

Longitud promedio de un cdigo (2)

En consecuencia la longitud promedio de un cdigo ser:
En trminos de probabilidad:
La longitud promedio de un cdigo (L) es:
Donde:
q= nmero de smbolos diferentes que genera la fuente (a codificarse)
Pi = probabilidad de ocurrencia del smbolo Si
li = longitud de la palabra cdigo correspondiente al smbolo Si

Longitud promedio de un cdigo (3)

Ejercicio:
Considerado los ejemplos antes tratados, calcular la longitud promedio del
cdigo para cada caso:
Con smbolos equiprobables
Smbolos PC Probabilidad
S1 00 1/4
S2 01 1/4
S3 10 1/4
S4 11 1/4
Con smbolos de diferente probabilidad
Smbolos PC Probabilidad
S1 0 1/2
S2 10 1/4
S3 110 1/8
S4 111 1/8
Medidas de Informacin

Cantidad de Informacin
La cantidad de informacin sobre un evento (mensaje) est
estrechamente relacionada con su probabilidad.
La informacin que se recibe de un evento (mensaje) esta relacionada
inversamente con su probabilidad de ocurrencia. Ejemplos:
Fuertes lluvia en Quito Erupcin del volcn Guagua Pichincha

Cantidad de informacin I()

Considerando que una fuente de informacin produce varios mensajes y uno
de ellos es , con probabilidad P(), cuando ocurre se produce una cantidad
de informacin I(), igual a:
Dependiendo la base del logaritmo se puede tener diferentes unidades de

medida de la cantidad de informacin.
Base I() Unidad
Base 2
(log2) bits
Base e nats
(ln)
Base 10 Hartleys
(log10)

Cantidad de informacin I() (2)

La forma generalizada de I() es:
Se puede pasar de una unidad de medida a otra, utilizando la siguiente

expresin:
Actividad:
o Encontrar la equivalencia de Hartleys a bits.
o Encontrar la equivalencia de nats a bits.
o Encontrar la probabilidad correspondiente a 1 bit.

Propiedad de la informacin
Propiedad aditiva de la informacin
La cantidad de informacin producida por 2 eventos independientes es igual

a la suma de la informacin de cada una de ellas.
Para 2 eventos E1, E2
Para n- eventos

Referencias Bibliogrficas
Shannon, Claude Elwood (1948). A mathematical theory of
communication. Bell System Technical Journal 27 (379-423 and 623-
656).
Raymond W. Yeung, Information Theory and Network Coding, The
Chinese University of Hong Kong, Springer, August 2008.
Stallings W., Data and Computer Communications, Prentice Hall,
9th. Ed., USA, 2011.
Wen-Ching Winnie Li, Recent Trends in Coding Theory and its
Applications", American Mathematical Soc. 2007.
Viterbi A. and Omura J., Principles of digital Communications and
Coding", Ed. McGraw Hill, USA, 2010.

1 Teoría de La Información y Codificación - Introducción

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

1 Teoría de La Información y Codificación - Introducción

Transféré par

Droits d'auteur :

Formats disponibles

DEPARTAMENTO DE

TEORA DE LA INFORMACIN Y CODIFICACIN

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Teora de la Informacin y Codificacin

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Qu se va a aprender en este curso?

Informacn digital: archivos, voz y video representados por 0s y

La teora de la informacin es un tema de un amplio contenido

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

En 1948 publica, The Mathematical Theory of Communication.

La teora de la informacin estudia los lmites presentes en la

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Sistemas de comunicaciones analgico

Teora de la Informacin y Codificacin Escuela Politcnica Nacional

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Dos teoremas fundamentales:

Channel Coding Theorem: establece los limites para una comunicacin

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

X variable randmica discreta, la cual puede tomar valores de X.

{pX(x)} distribucin de probabilidad para X.

SX soporte de X, es decir {x X | pX(x) > 0 }

Si SX = X, se dice que p es estrictamente positiva.

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Revisin de probabilidad (2)

Dos variable randmicas X e Y son idenpendientes, XY, si:

Para todo x e y , es decir para todo (x,y) X x Y

Idenpendencia mutua: Para n 3, las variables randmicas X1, X2 ,, Xn son

Para todo x1, x2 , , xn.

Independiente por pares: Para n 3, las variables randmicas X1, X2 ,, Xn son

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Revisin de probabilidad (3)

Independencia condicional: Para las variables randmicas X,Y y Z; X es

Si p(y) > 0 , entonces:

La distribucin conjunta: p(x,y,z) = p(x) p(y|x) p(z|y) = p(x,y) p(z|y)

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Sistema de comunicaciones digital

Codificador Codificador Decodificador Decodificador

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Con modulacin digital

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Funcin de distribucin de probabilidad - PDF

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Ruido AWGN (2)

PDF Curva, u=0, sigma=1 Otros valores

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

BER (Bit Error Rate)

El BER es la probabilidad de que los bits de informacin sean recibidos

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Descripcin de ejemplos de TIC

Representacin (codificacin) binaria de nmero decimales

Dgitos decimales Representacin binaria

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Descripcin de ejemplos de TIC (2)

Cdigo de longitud variable

Smbolos mensaje Palabra cdigo

Decodificar la secuencia de palabra cdigo: 001111001

Observacin: existe ambigedad en la decodificacin.

Solucin: utilizacin de otro cdigo. Ejm: cdigo coma.

Teora de la Informacin y Codificacin Escuela Politcnica Nacional Christian Tipantua

Descripcin de ejemplos de TIC (3)

Para la secuencia: 1011110110