Fundamentos de Informtica I

Tema 2 Introduccin

2
2.1 Introduccin

Introduccin

Toda ciencia surge de la necesidad de dar respuesta a una serie de interrogantes planteados en algn mbito del conocimiento humano. En este captulo, y a partir de una ejemplo prctico, se llegar a una serie de cuestiones, de cuya resolucin se encarga la disciplina cientfica denominada Teora de la Informacin. Dicho de otra manera, se intentar descubrir que cuestiones prcticas hicieron necesario que surgiera un estudio matemtico de la comunicacin. La teora de la informacin, como cualquier otro estudio cientfico, debe poseer dos propiedades fundamentales: Creacin de un modelo matemtico del fenmeno fsico, cuya estructura sea, en s misma, consistente, demostrable y capaz de explicar el fenmeno bajo estudio. Que las relaciones matemticas obtenidas sea de aplicacin prctica.

Antes de pasar a la exposicin del ejemplo prctico comentado, vamos a concretar un poco ms el mbito de estudio de la teora de la informacin.

2.2 mbito de Estudio La teora de la informacin nace, fundamentalmente, por la necesidad de solucionar los problemas planteados en la transmisin de la informacin mediante corriente elctrica. La aplicacin de la matemtica al estudio de la transmisin se remonta a la poca de la telegrafa, con estudios como el de William Thomson (Lord Kelvin) en 1885, sobre la corriente recibida cuando se transmite un punto o una raya por un cable submarino. La invencin del telfono en 1875, supuso un revulsivo en estos intentos. Entre los muchos que colaboraron en el establecimiento de un tratamiento matemtico a la telefona cabe destacar a Poincar, Heavside, Papin y Campbell. Los mtodos que emplearon para el anlisis del comportamiento de corrientes elctricas que varan en el tiempo, fue una extensin del trabajo que Fourier realiz en el siglo XIX en relacin con el flujo de calor.

Fundamentos de Informtica I

Tema 2 Introduccin

No fue hasta 1928, cuando, de la mano de Hartley, se produjo el primer intento por definir informacin. Su propuesta incluye ya la medicin logartmica: I = n lg m con n: n de smbolos del mensaje. m: n de smbolos del alfabeto elegido.

Esta expresin, desde nuestro conocimiento actual de la teora de la informacin, es vlida, pero en situaciones particulares. Tras el parn de la segunda guerra mundial, en la que los esfuerzos se centraron ms en la resolucin de problemas referentes a sistemas particulares de comunicacin, es en 1948 cuando Shannon, tras la publicacin de su artculo: Una Teora Matemtica de la Comunicacin, establece los principios fundamentales de la teora de la informacin tal y como la conocemos hoy en da. El carcter totalmente general con que est formulada, ha hecho que actualmente su aplicacin haya transcendido el mbito para el que inicialmente fuera enunciada. El uso de la palabra "comunicacin" es premeditado, ya que Shannon era consciente de la confusin que puede crear el trmino informacin. Y es que, mientras lo que se estudia es el soporte del mensaje, o sea, los smbolos empleados en la comunicacin, en el uso comn del trmino informacin nos solemos referir al contenido semntico o prctico del mensaje. Estudiemos ms en profundidad esta cuestin. 2.2.1 Niveles de la comunicacin Se pueden distinguir tres niveles en la comunicacin: a) Sintctico. Centrado en la forma del mensaje, es decir, en el nmero de posibles smbolos, palabras o cualquier otro soporte de la informacin, su duracin, caractersticas estadsticas y las reglas que han de seguir los sucesivos smbolos, impuestas por el lenguaje adoptado o por el sistema de codificacin empleado. b) Semntico. Interesa el significado de los mensajes. De difcil tratamiento matemtico, ya que la comunicacin a este nivel est muy influenciada por factores difcilmente cuantificables, como son el receptor y el contexto. El estudio de este nivel tiene inters en tareas como la traduccin automtica. c) Prctico. Lo que cuenta es la utilidad prctica del mensaje. Su tratamiento se enfrenta a los mismos problemas que en el caso enterior. El estudio de la teora de la informacin se desarrolla en el nivel sintctico, centrndose en la problemtica surgida de la representacin y transmisin de la informacin. Las cuestiones a resolver son mltiples, y como ya se coment en la introduccin, vamos a ver cules son stas mediante un ejemplo.

Fundamentos de Informtica I

Tema 2 Introduccin

2.3 Ejemplo de Transmisin de Informacin Se tiene la necesidad de enviar al estado del tiempo desde dos ciudades A y B, a una tercera C. La situacin meteorolgica a transmitir desde la ciudad A consta de 4 estados diferentes, sol, niebla, lluvia y nublado, siendo cada uno de estos igualmente probables: Mensaje Probabilidad Sol ................... 1/4 Niebla .............. 1/4 Lluvia ............... 1/4 Nublado ........... 1/4 Vamos a suponer que la transmisin del mensaje se realiza mediante una medio de transmisin digital, o sea, por el que slo circulan 0s 1s, lo que impone la necesidad de tener que codificar los mensajes anteriores. Para esto, se propone el uso del siguiente cdigo, que llamaremos cdigo I: Palabra de cdigo Mensaje Sol ................... 00 Niebla .............. 01 Lluvia ............... 10 Nublado ........... 11 Cada vez que desde la ciudad A (centro emisor) queramos enviar a la C (centro receptor) un estado del tiempo, por el medio de transmisin se enviar la palabra de cdigo asociada; al proceso de transformar el mensaje a binario se le denomina codificacin. Una vez recibida la palabra de cdigo en el centro receptor (ciudad C), en ste se sabr cul es el mensaje enviado, sin ms que consultar la tabla del cdigo, y ver cul es el mensaje asociado a la palabra de cdigo recibida; a este proceso se le denomina decodificacin. Un ejemplo del proceso descrito en el prrafo anterior sera: Emisor(ciudad A) Receptor(ciudad C) Mensaje a enviar: niebla Mensaje recibido: niebla codificacin decodificacin 0 ..........(transmisin del primer dgito binario)......... 0 1 ........(transmisin del segundo dgito binario)........ 1 Adelantando conceptos que veremos en siguientes temas, comentar que la validez de la codificacin planteada, como la de cualquier otra, viene dada por el hecho de que cualquier secuencia de palabras de cdigo, se tiene que corresponder de manera nica con una secuencia de mensajes. El cdigo I cumple esta condicin. Por ej., la secuencia de palabras de cdigo 01001100,

Fundamentos de Informtica I

Tema 2 Introduccin

se corresponde de forma nica con los mensajes: niebla, sol, nublado, sol, no pudindose decodificar de ninguna otra manera. Imaginemos que, como ocurre en la realidad, el coste de la transmisin depende del tiempo de uso de la lnea de transmisin, o lo que es lo mismo en nuestro caso, del nmero de dgitos binarios enviados por mensaje:
Coste medio por mensaje = n medio de dgitos binarios por mensaje x precio por dgito binario transmitido

Como el precio por dgito binario es una cantidad, en principio constante, el coste medio por mensaje depende directamente del nmero medio de dgitos binarios transmitidos por mensaje. En el caso del cdigo I, es fcil ver como esta cantidad es 2 dgitos binarios/mensaje. Vamos ahora a abordar el mismo problema pero desde la ciudad B. Supongamos que en este caso las probabilidades de los estados del tiempo a transmitir son las siguientes: Mensaje Probabilidad Sol ................... 1/4 Niebla .............. 1/8 Lluvia ............... 1/8 Nublado ........... 1/2 A la hora de transmitir esa informacin se podra volver a usar el cdigo I, obteniendo una codificacin con las propiedades ya vistas. Supongamos, sin embargo, que usamos un nuevo cdigo que vamos a llamar cdigo II: Palabra de cdigo Mensaje Sol ................... 10 Niebla .............. 110 Lluvia ............... 111 Nublado ........... 0 El ejemplo anterior de transmisin con este nuevo cdigo quedara: Emisor(ciudad B) Receptor(ciudad C) Mensaje a enviar: niebla Mensaje recibido: niebla codificacin decodificacin 1 ....... (transmisin del primer dgito binario)........... 1 1 ......(transmisin del segundo dgito binario)......... 1 0 ........(transmisin del tercer dgito binario)............ 0 Nuevamente la validez de este cdigo viene dada por la correspondencia unvoca entre cualquier combinacin de palabras de cdigo, y la secuencia de mensajes asociada. Por ejemplo, la secuencia de palabras de cdigo 0111100, slo se puede decodificar en la siguiente secuencia de mensajes: nublado, niebla, sol, nublado.

Fundamentos de Informtica I

Tema 2 Introduccin

Como vimos, el coste medio por mensaje, depende directamente del nmero medio de dgitos binario por mensaje (cantidad a la que vamos a llamar para abreviar notacin en lo que sigue L), y que en este caso vale: L = 2P(sol) + 3P(niebla) + 3P(lluvia) + 1P(niebla) = = 21/4 + 31/8 + 31/8 + 11/2 = 14/8 dgitos binarios/mensaje < 2 d.b./m. Comparando esta cantidad media, con la que se hubiera obtenido al usar el cdigo I, se ve que es menor. Tenemos, entonces, que usando el cdigo II en la transmisin de los mensajes desde la ciudad B, se obtiene un ahorro en el nmero medio de dgitos enviados por mensaje, y por lo tanto en el coste medio por mensaje, de aproximadamente el 12.5%. Adems de ahorrar en coste, al enviar menos dgitos en promedio, tambin ahorraremos en tiempo de transmisin. En resumen, hemos encontrado un cdigo ms eficiente que el I. En este punto, el meteorlogo de la ciudad B, llamara entusiasmado al de la ciudad A, indicndole que ha encontrado un cdigo maravilloso que les va a permitir un ahorro importante en tiempo y dinero. Ante esta situacin, obviamente, el meteorlogo de la ciudad A se decidira claramente a cambiar su cdigo para la transmisin del estado del tiempo. Sin embargo, la pregunta es: ser el cdigo II es en s mismo siempre ms eficiente que el I?, o lo que es lo mismo, la bondad de la mejora reside slo en el cdigo?. Veamos que pasa al usar el cdigo II desde la ciudad A, para lo que vamos a calcular el valor de L en este caso: L = 2P(sol) + 3P(niebla) + 3P(lluvia) + 1P(niebla) = = 21/2 + 31/2 + 31/2 + 11/2 = 9/4 dgitos binarios/mensaje > 2 d.b./men. Se puede ver como el entusiasmo inicial se viene abajo: al usar el nuevo cdigo, el II, pagamos y tardamos ms tiempo en la trasmisin de los mensajes que con el cdigo anterior, el I.

2.4 Cuestiones a Resolver Los resultados observados en el ejemplo desarrollado, llevan a plantear una serie de cuestiones, que podemos dividir en los siguientes dos puntos, fundamentalmente: Primero vamos a fijar nuestra atencin en las diferencias entre ciudades: se ha obtenido que los mismos mensajes se pueden transmitir con un nmero medio menor de dgitos binarios por mensaje desde la ciudad B, que desde la A. El interrogante es inmediato: qu diferencia existe entre las informaciones a transmitir en cada una?, cmo podemos medir de manera cuantitativa esas diferencias?

Fundamentos de Informtica I

Tema 2 Introduccin

Si nos centramos ahora en las diferencias dentro de cada ciudad, se obtiene que para la B, se ha logrado un segundo cdigo, el II, que ha permitido un ahorro en el nmero medio de dgitos binarios enviados por mensaje, o sea, un ahorro en coste y tiempo. La pregunta que surge es: hasta dnde se puede llegar con este ahorro?, o de otra manera, planteado un determinado problema de codificacin, qu caractersticas ha de poseer el cdigo que permita la transmisin con un coste mnimo, y podr ser encontrado ste?

A todas estas cuestiones es a las que da respuesta la teora de la informacin, que ser desarrollada en los siguientes temas.

2.5 Desarrollo del Resto del Temario Concretemos un poco ms, a la luz de las cuestiones planteadas, el contenido del resto del curso: Tema 3, la informacin y sus fuentes: est centrado en las cuestiones planteadas en el primer punto de los vistos en el apartado anterior. Temas 4, propiedades de los cdigos, y 5, codificacin de las fuentes de informacin: se desarrollarn las cuestiones planteadas en el segundo de los puntos del apartado anterior. Tema 6, algunos cdigos usados habitualmente en informtica: aplicaremos lo visto en los temas anteriores al estudio de los cdigos de uso ms frecuente para representar informacin en el ordenador, describiendo cada uno de stos. Tema 7, canales e informacin mutua: en el ejemplo visto en el presente tema, slo nos hemos centrado en el problema de la codificacin, suponiendo que en la transmisin de la palabra de cdigo, lo enviado, es lo recibido. Sin embargo la realidad no es as, y no existe ningn medio de transmisin libre de errores. En este tema aplicaremos los conceptos vistos en el tema 3 para estudiar esta problemtica. Tema 8, cdigos detectores y correctores de error: estudiaremos una serie de cdigos que mejoran la fiabilidad de la transmisin de informacin por medios ruidosos, o sea, con errores.

Bibliografa Norman Abramson, Teora de la Informacin Paraninfo, 1986. y la Codificacin, Ed.