Transmisi on de Datos

Tema 2: De la Entrop a a la Codicaci on de Canal. Clase 4

Jose Antonio Portilla Figueras

Curso 2009/10

Jose Antonio Portilla Figueras

Transmisi on de Datos

De la Entrop a a la Codicaci on de Canal

Contenidos Clase 3

Concepto de Incertidumbre y Cantidad de Informaci on.

Denici on de Entrop a.

Lema de Gibs.

Entrop a de una fuente binaria.

Contenidos Clase 4

Concepto de Entrop a Conjunta.

Entrop a condicionada

Informaci on m utua.

Capacidad de Canal.

Jose Antonio Portilla Figueras

Transmisi on de Datos

Incertidumbre

En general un canal es un sistema de entrada/salida. Por lo tanto para poder estudiar la capacidad del mismo, deberemos estudiar la relaci on entre la informacin de entrada y la informaci on de salida.

Esta relaci on se denomina Informaci on M utua y se dene como la cantidad de informaci on que una variable aleatoria contiene sobre la otra.

Sin embargo antes de continuar con este concepto debemos estudiar otros.

El primero de ellos es la entropa conjunta de dos variables aleatorias.

H (X , Y ) =
i =1 j =1

m n X X

p (xi , yj ) logb

1 p (xi , yj )

Evidentemente p (xi , yj ) es la probabilidad denida por la variable aleatoria bidimensional (X,Y).

Jose Antonio Portilla Figueras

Transmisi on de Datos

Entrop a Condicionada

Formalmente la Entropa Condicionada de una fuente de informacin Y es la cantidad de informaci on que nos proporcionan los mensajes de dicha fuente una vez que se conoce el mensaje de otra fuente X que puede guardar alguna relaci on con la primera. Pn
i =1

H (Y |X ) = H (Y |x = xi ) = Pm

p (xi ) H (Y |x = xi )

1 p ( y | x ) log j i 2 j =1 p (yj |xi )

Jose Antonio Portilla Figueras

Transmisi on de Datos

Informaci on M utua

Ya tenemos las herramientas necesarias para poder denir el concepto de Informaci on M utua. Consideremos dos variables aleatorias discretas X e Y, se dene la informaci on mutua I (X ; Y ) como:

I (X ; Y ) = H (X ) H (X |Y ) = H (Y ) H (Y |X )

Jose Antonio Portilla Figueras

Transmisi on de Datos

Capacidad de Canal

Comencemos ahora a estudiar el concepto de Capacidad de Canal. Para ello lo primero que debemos hacer es caracterizar el canal. En un canal discreto vamos a tener:

Un conjunto nito de entrada X = {x1 , x2 , xn } Un conjunto nito de salidad Y = {y1 , y2 , ym } Un conjunto de probabilidades condicionadas, que establecen la matriz Q .

p (y1 /x1 ) B p (y1 /x2 ) B Q=B @ p (y1 /x2 )

p (y2 /x1 ) p (y2 /x2 ) p (y2 /x2 )

1 .. . p (ym /x1 ) p (ym /x2 ) . . . p (ym /x2 ) C C C A

Jose Antonio Portilla Figueras

Transmisi on de Datos

Capacidad de Canal

Capacidad de Canal: Sea X la variable aleatoria discreta que representa la introducci on de un s mbolo en el canal, y sea Y la variable aleatoria discreta que representa la salida de un s mbolo del canal. Se dene la Capacidad del canal como el m aximo valor posible que puede adoptar la informaci on m utua entre las variables aleatorias X e Y cuando se consideran todas las posibles distribuciones de la variable aleatoria X .

C = max I (X ; Y )
p (x )

Jose Antonio Portilla Figueras

Transmisi on de Datos

Resumen

Hemos estudiado la entrop a condicionada como relaci on entre la entrada y la salida de un sistema de comunicaciones.

Debemos recordar las propiedades y las f ormulas que la denen.

La Informaci on M utua nos proporciona la informaci on que tenemos de lo que se ha enviado una vez que hemos recibido.

La maximizaci on de la Informaci on M utua nos proporciona el valor de la Capacidad del Canal.

Nos queda un cierto camino hasta llegar a la formulaci on de la Capacidad de Canal ofrecida en la Introducci on.

Jose Antonio Portilla Figueras

Transmisi on de Datos