Sistemade comunicaciones

• Sistemas de comunicaciones analógico

TIC - Introducción y conceptos

 2 Teoríade la información

Dos teoremas fundamentales:

• Source Coding Theorem: establece los limites en la compresión de datos, actualmente

diferentes formatos y algoritmos de compresión. Ejemplo: mp3, jpeg, rar, mpeg, mp4,
etc.

• Channel Coding Theorem: establece los limites para una comunicación confiable,
considerando las alteraciones del canal (ruido). Capacidad del canal.

TIC - Introducción y conceptos

 3 Revisiónde probabilidad

X variable randómica discreta, la cual puede tomar valores de X.

X alfabeto de la variable randómica X.

{pX(x)} distribución de probabilidad para X.

SX soporte de X, es decir {x ∈ X | pX(x) > 0 }

Conjunto de todos los resultados donde la probabilidad es mayor a cero.

Si SX = X, se dice que p es estrictamente positiva.

La distribuciones no estrictamente positivas son peligrosas.

TIC - Introducción y conceptos

 4 Revisiónde probabilidad (2)

 Dos variable randómicas X e Y son idenpendientes, X⊥Y, si:

p(x,y) = p(x)p(y)

Para todo x e y , es decir para todo (x,y) ∈ X x Y

 Idenpendencia mutua: Para n ≥ 3, las variables randómicas X1, X2 ,…, Xn son mutuamente
independientes si:
p(x1, x2 , …, xn ) = p(x1) p(x2) … p(xn)

Para todo x1, x2 , … , xn.

 Independiente por pares: Para n ≥ 3, las variables randómicas X1 , X2 ,…, Xn son independientes por
pares si Xi y Xj son independientes para:
1≤ i ≤ j ≤ n TIC - Introducción y conceptos
 5 Revisiónde probabilidad (3)

 Independencia condicional: Para las variables randómicas X,Y y Z; X es independiente de Z

condicional Y , denotado X⊥ Z|Y, si:

 Si p(y) > 0 , entonces:

X Y Z
p(y|x) p(z|y)

TIC - Introducción y conceptos

 6
Conceptos

Información
 Conjunto de datos que constituyen un mensaje
 Materializado en forma de voz, texto, imágenes, video, etc.
 Nos interesa la información digital (originalmente analógica).

Fuentes de información
 Producen señales, mensajes (auditivas, visuales, etc.)
 Adaptación de la información de acuerdo al canal de TX, es decir señales eléctricas,
luminosas, electromagnéticas, etc.
 Objeto de estudio: fuentes de información digitales

TIC - Introducción y conceptos

 Sistemade comunicaciones
7

Con modulación digital

TIC - Introducción y conceptos

 8
Ruido AWGN
 Dominio del tiempo (muestras)

 Función de distribución de probabilidad - PDF

TIC - Introducción y conceptos

 9
Ruido AWGN (2)
▪ Función de distribución de probabilidad

PDF – Curva, u=0, sigma=1 Otros valores

TIC - Introducción y conceptos

10 Conceptos

Información
 Conjunto de datos que constituyen un mensaje
 Materializado en forma de voz, texto, imágenes, video, etc.
 Nos interesa la información digital (originalmente analógica)

Mensaje digital
 Secuencia de elementos de un alfabeto.

Alfabeto
 Conjunto finito de símbolos.
▪ Alfabeto fuente: número de símbolos emitidos por la fuente; 1,2,3,…,q.
▪ Alfabeto código: número de símbolos de código utilizado; 0,1,2,..,r Ejm: código binario.
TIC - Introducción y conceptos
11 Conceptos(2)

BER (Bit Error Rate)

 Cuando se transmite sobre el canal las señales (formas de onda) cambian. Por
diversas razones:
▪ Respuesta en frecuencia del canal
▪ Ruido, otras anomalías en el canal

El BER es la probabilidad de que los bits de información sean recibidos

incorrectamente.

TIC - Introducción y conceptos

 12 Descripciónde ejemplosde TIC

Representación (codificación) binaria de número decimales

Dígitos decimales Representación binaria

(símbolos mensaje) (palabra código – código BCD)
0 0000
1 0001
2 0010
3 0011
4 0100
5 0101
6 0110
7 0111
8 1000
9 1001

TIC - Introducción y conceptos

 13 Descripción de ejemplosde TIC (2)

Código de longitud variable

Símbolos mensaje Palabra código

S1 0
S2 01
S3 001
S4 111

Decodificar la secuencia de palabra código: 001111001

Observación: existe ambigüedad en la decodificación.

Solución: utilización de otro código. Ejm: código coma.

TIC - Introducción y conceptos
 14 Descripción de ejemplosde TIC (3)

Código coma
Símbolos mensaje Palabra código

S1 0
S2 10
S3 110
S4 111

Para la secuencia: 1011110110

La decodificación será: S2S4S2S3

Observación: no existe ambigüedad en la decodificación.

TIC - Introducción y conceptos

▪ En este caso el “0” actúa como una coma que indica el fin de una palabra código.
 15 Informaciónvinculadacon la probabilidad
Ejemplo transmisión de estado del tiempo (forecast)
1. Considerando estados de tiempo equiprobables.

Símbolos mensaje Probabilidad Símbolos mensaje Palabras código

Soleado 1/4 S1 00
Nublado 1/4 S2 01
Lluvioso 1/4 S3 10
Brumoso 1/4 S4 11

Observación:
▪ No existe ambigüedad en el proceso de decodificación.
Ejemplo:
o Codificar la transmisión sucesiva: Soleado, nublado, lluvioso.
TIC - Introducción y conceptos

o Decodificar la secuencia de palabra código: 00111110

 16 Informaciónvinculadacon la probabilidad
Ejemplo transmisión de estado del tiempo (forecast)
② Considerando estados de tiempo no equiprobables.

▪ Si un estado del tiempo se presenta con mayor frecuencia.

Símbolos mensaje Probabilidad Símbolos mensaje Palabras código

Soleado 1/2 S1 0
Nublado 1/4 S2 10
Lluvioso 1/8 S3 110
Brumoso 1/8 S4 111

Observación:
▪ No existe ambigüedad en el proceso de decodificación.
Ejemplo:
TIC - Introducción y conceptos
o Codificar la transmisión sucesiva: Soleado, soleado, nublado.
 17 Longitud promediode un código (L)
Definición
• Número promedio de símbolos del alfabeto código utilizado por el código para codificar un
símbolo fuente.

Suponiendo que una fuente genera n símbolos, y algunos se presentan de forma repetitiva, se
tiene:

n1 símbolos S1 con probabilidad P1=p(S1 ), al que se le asigna una

palabra código con longitud l1
n2 símbolos S2 con probabilidad P2=p(S2 ), al que se le asigna una
palabra código con longitud l2
…
nq símbolos Sq con probabilidad Pq=p(Sq), al que se le asigna una
palabra código con longitud lq

TIC - Introducción y conceptos

Teoría de la Información y Codificación Escuela Politécnica Nacional Christian Tipantuña

 18 Longitud promediode un código (2)
En consecuencia la longitud promedio de un código será:

En términos de probabilidad:

La longitud promedio de un código (L) es:

Donde:
▪ q= número de símbolos diferentes que genera la fuente (a codificarse)
▪ Pi = probabilidad de ocurrencia del símbolo Si
▪ li = longitud de la palabra código correspondiente al símbolo Si

TIC - Introducción y conceptos

 19 Longitud promediode un código (3)
Ejercicio:
Considerado los ejemplos antes tratados, calcular la longitud promedio del código para cada
caso:
▪ Con símbolos equiprobables

Símbolos PC Probabilidad

S1 00 1/4
S2 01 1/4
S3 10 1/4
S4 11 1/4
▪ Con símbolos de diferente probabilidad

Símbolos PC Probabilidad

S1 0 1/2
S2 10 1/4
S3 110 1/8
TIC - Introducción y conceptos
S4 111 1/8
 20 Cantidad de informaciónI(ε)
Considerando que una fuente de información produce varios mensajes y uno de ellos es ε,
con probabilidad P(ε), cuando εocurre se produce una cantidad de información I(ε), igual a:

▪ Dependiendo la base del logaritmo se puede tener diferentes unidades de medida de la

cantidad de información.
Base I(ε) Unidad

Base 2
(log2) bits

Base e nats
(ln)

Base 10 Hartleys
(log10)
TIC - Introducción y conceptos
 21 Cantidad de informaciónI(ε) (2)
La forma generalizada de I(ε) es:

▪ Se puede pasar de una unidad de medida a otra, utilizando la siguiente expresión:

Actividad:
o Encontrar la equivalencia de Hartleys a bits.
o Encontrar la equivalencia de nats a bits.
o Encontrar la probabilidad correspondiente a 1 bit.

TIC - Introducción y conceptos

 22 Propiedad de la información
Propiedad aditiva de la información

La cantidad de información producida por 2 eventos independientes es igual a la suma de la

información de cada una de ellas.

▪ Para 2 eventos E1, E2

▪ Para n- eventos

TIC - Introducción y conceptos

 Referencias Bibliográficas
23
1. Shannon, Claude Elwood (1948). «A mathematical theory of communication».
Bell System Technical Journal 27 (379-423 and 623-656).
2. Raymond W. Yeung, Information Theory and Network Coding, The Chinese
University of Hong Kong, Springer, August 2008.
3. Stallings W., “Data and Computer Communications”, Prentice Hall, 9th. Ed., USA,
2011.
4. Wen-Ching Winnie Li, “Recent Trends in Coding Theory and its Applications",
American Mathematical Soc. 2007.
5. Viterbi A. and Omura J., “Principles of digital Communications and Coding", Ed.
McGraw Hill, USA, 2010.

TIC - Introducción y conceptos