Teoría de La Información

Aftab, Cheung, Kim, Thakkar, Yeddanapudi Me NFORMACIÓN T HEORY y L A D R EVOLUCIÓN IGITAL 1
Teoría de la información
TEORÍA DE LA INFORMACIÓN Y LA ERA DIGITAL
UN FTAB, do HEUNG, K ESTOY, T Hakkar, Y EDDANAPUDI
6.933 - F INAL PAG APER
6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

SNAPES@MIT.EDU
INTRODUCCIÓN
Teoría de la información es uno de los pocos campos científicos tienen la suerte de tener una identificación
comenzando - 1948 El artículo de Claude Shannon. La historia de la evolución de la forma en que progresó de un solo artículo
teórico de un campo amplio que ha redefinido nuestro mundo es fascinante. Se ofrece la oportunidad de estudiar las
interacciones sociales, políticas y tecnológicas que han ayudado a guiar su desarrollo y definir su trayectoria, y nos da una
idea de cómo evoluciona un nuevo campo.
A menudo oímos Claude Shannon llamado el padre de la era digital. En el comienzo de su papel de Shannon reconoce el trabajo
hecho antes que él, por pioneros como Harry Nyquist y RVL. Hartley en los Laboratorios Bell en la década de 1920. Aunque su
influencia fue profunda, el trabajo de aquellos primeros pioneros fue limitada y se centró en sus propias aplicaciones particulares.
Fue visión unificadora de Shannon que revolucionó la comunicación, y dio lugar a una gran cantidad de investigación de la
comunicación que ahora se define como el campo de la teoría de la información.
Uno de los conceptos clave fue su definición del límite de la capacidad del canal. Al igual que en la Ley de Moore, el límite de
Shannon se puede considerar una profecía auto-cumplida. Es un punto de referencia que le dice a la gente lo que se puede
hacer, y lo que queda por hacer - que les obliga a lograrlo.
Lo que hizo posible, lo que indujo el desarrollo de la codificación como una teoría, y el desarrollo de
códigos muy complicado, era el teorema de Shannon: él le dijo que se podía hacer, por lo que la gente
trató de hacerlo. [Entrevista con Fano, R. 2001]
En el curso de nuestra historia, se explora cómo la zona de codificación, en particular, evoluciona para llegar a este límite. Era la
constatación de que no estábamos ni siquiera cerca de lo que renovó el interés en la investigación de las comunicaciones.
Teoría de la información no era sólo un producto de la obra de Claude Shannon. Fue el resultado de las contribuciones cruciales
realizadas por muchas personas distintas, a partir de una variedad de orígenes, que tomaron sus ideas y se expanden sobre ellos. De
hecho, la diversidad y las direcciones de sus perspectivas e intereses en forma de dirección de la Teoría de la Información.
En un principio, la investigación fue principalmente teórico, con aplicaciones prácticas poco percibidas. Christensen dice que el
dilema del innovador es que no puede obtener apoyo para sus nuevas ideas, porque no siempre se puede garantizar un
beneficio final. Afortunadamente, Teoría de la Información fue patrocinado en previsión de lo que podría proporcionar. Esta
perseverancia e interés continuado con el tiempo dieron lugar a la multitud de tecnologías que tenemos hoy.
En este trabajo, se explora cómo estos temas y conceptos se manifiestan en la trayectoria de la Teoría de la Información. Comienza
como un amplio espectro de campos, desde la dirección hasta la biología, todos creyendo Teoría de la Información sea una 'llave
mágica' para la comprensión multidisciplinar. A medida que el campo se trasladó de este caos inicial, diversas influencias se
estrecharon su enfoque. Dentro de estos límites establecidos, influencias externas, como la carrera espacial desviaron el progreso del
campo. A pesar de todo, la expansión de la Teoría de la Información estaba constantemente controlada por el hardware

SNAPES@MIT.EDU
limitaciones tecnológicas - de hecho, la falta de dicha tecnología causaron la muerte de la Teoría de la Información, y su
amplia disponibilidad está detrás de su actual éxito abrumador.
“Teoría matemática de la comunicación” de Shannon
“Antes de 1948, sólo había la idea más borrosa de lo que era un mensaje. Hubo cierta comprensión
rudimentaria de cómo transmitir una forma de onda y procesar una forma de onda recibida, pero no hubo
esencialmente ninguna comprensión de cómo convertir una mensaje en un transmitida forma de onda. ”[Gallager,
Claude Shannon: A Retrospective, 2001 pg. 2683]
En 1948, Shannon publicó su artículo “Una teoría matemática de la comunicación” en el De Bell Systems Journal Técnica. Mostró
cómo la información se podría cuantificar con precisión absoluta, y demostró la unidad esencial de todos los medios de
información. señales telefónicas, texto, ondas de radio, e imágenes, esencialmente cada modo de comunicación, podrían ser
codificados en bits. El documento proporciona un “modelo para la era digital” 1
Desde el De Bell Systems Journal Técnica Sólo fue dirigido a ingenieros de comunicación, matemático Warren Weaver
“tenía la sensación de que esto debería llegar a un público más amplio que las personas (sólo) en el campo”, recuerda
Betty Shannon 2. Se reunió con Shannon, y juntos, publicó “La teoría matemática de la comunicación” en 1949. El cambio
de “A” a “El” papel de Shannon establecido como la nueva “escritura” en el tema - que permitió llegar a una mucho más
amplia grupo de personas.
¿Por qué era el papel de Shannon tan influyente? ¿Qué había en este documento que las personas se refieren a ella como uno de
los mayores triunfos intelectuales del siglo XX? La respuesta está en los conceptos innovadores que Una teoría matemática de la
comunicación contiene. Conceptos que eran lo suficientemente influyente para ayudar a cambiar el mundo.
En realidad, hay cuatro conceptos importantes en el papel de Shannon. Tener una idea de cada uno es fundamental para comprender el impacto
de la Teoría de la Información.
Capacidad de canal y el Teorema de Codificación de Canal Ruidoso

Tal vez el más eminente de los resultados de Shannon fue el concepto de que cada canal de comunicación tenía un límite de
velocidad, medida en dígitos binarios por segundo: este es el famoso límite de Shannon, ejemplificada por el famoso y familiar
fórmula para la capacidad de un canal de ruido gaussiano blanco:
+
= Iniciar2 sesión
t NNPWC
1 Gallagher, R. Citado en Technology Review,

2 Shannon, B. Teléfono Entrevista

SNAPES@MIT.EDU
La mala noticia es que es matemáticamente imposible conseguir un error de comunicación libre por encima del límite. No importa qué
tan sofisticado un esquema de corrección de errores que utiliza, no importa cuánto se puede comprimir los datos, no se puede hacer
que el canal sea más rápido que el límite sin perder alguna información.
La buena noticia es que por debajo del límite de Shannon, es posible transmitir información con error cero. Shannon demostró
matemáticamente que había formas de codificar la información que permitiría a uno para obtener hasta el límite sin ningún error:
independientemente de la cantidad de ruido o estática, o cómo es débil la señal era.
Por supuesto, que uno pueda necesitar para codificar la información con más y más bits, por lo que la mayoría de ellos obtener a
través de los que se perdieron y podría regenerarse a partir de las demás. El aumento de la complejidad y la longitud del mensaje
haría que la comunicación cada vez más despacio, pero en esencia, por debajo del límite, que podrían hacer que la probabilidad de
error tan bajo como quisieras.
Para hacer que la posibilidad de error tan pequeño como usted desea? Nadie había pensado en eso. ¿Cómo
se hizo esa visión, la forma en que incluso llegó a creer tal cosa, no sé. Pero casi toda la ingeniería de la
comunicación moderna se basa en que el trabajo. [Fano, R. Citado en Technology Review, Jul 2001]
El canal ruidoso teorema de codificación es lo que dio lugar a todo el campo de los códigos de corrección de errores y codificación
de canal teoría: el concepto de introducir redundancia en la representación digital para evitar la corrupción. Hoy en día si se toma
un CD, se rasca con un cuchillo, y reproducirla se reproducirá perfectamente. Eso es gracias al teorema de canal ruidoso.
Arquitectura formal de Sistemas de Comunicación

El siguiente diagrama ilustra la arquitectura formal Shannon ofrece como un esquema para un sistema de comunicación
general. Tapa abierta al inicio de cualquier libro de texto al azar en las comunicaciones, o incluso un papel o una
monografía, y encontrará este diagrama.
Figura 1. De Shannon de “Una teoría matemática de la comunicación”, página 3.
Esta cifra representa una de las grandes aportaciones de una teoría matemática de la comunicación: la arquitectura y
el diseño de los sistemas de comunicación. Demuestra que cualquier

SNAPES@MIT.EDU
sistema de comunicación se puede separar en componentes, que pueden ser tratadas independientemente como modelos
matemáticos distintos. Así, es posible separar completamente el diseño de la fuente desde el diseño del canal. Shannon a sí
mismo, se dio cuenta de que su modelo tenía “aplicaciones no sólo en teoría de la comunicación, sino también en la teoría de las
máquinas de computación, el diseño de centrales telefónicas y otros campos.” 3
Todos los sistemas de comunicación de hoy en día se basa esencialmente en este modelo - que es verdaderamente 'un modelo para la era
digital'
Representación digital
Shannon también se dio cuenta de que el contenido del mensaje era irrelevante para su transmisión: que no importaba lo que representó
el mensaje. Podría ser texto, sonido, imagen o vídeo, pero era todo de 0 y 1 del al canal. En un documento de seguimiento, Shannon
también señaló que una vez que los datos fueron representados digitalmente, podría ser regenerado y se transmite sin error. Esta era
una idea radical a los ingenieros que estaban acostumbrados a pensar en la transmisión de información como una forma de onda
electromagnética sobre un alambre. Antes de Shannon, los ingenieros de comunicación trabajado en sus propios campos distintos, cada
uno con sus propias técnicas distintas: la telegrafía, telefonía, transmisión de audio y datos de todas tenían nada que ver entre sí.
La visión de Shannon unificó todas ingeniería de la comunicación, el establecimiento de ese texto, señales telefónicas, imágenes y películas -
todos los medios de comunicación - podrían ser codificados en bits, un término que fue utilizado por primera vez en forma impresa en su artículo.
Esta representación digital es la base fundamental de todo lo que tenemos hoy en día.
La eficiencia de la representación: Fuente Codificación

En su documento, Shannon también discute codificación de la fuente, que se ocupa de la representación eficiente de los datos. Hoy en día el
término es sinónimo de compresión de datos. El objetivo básico de codificación de fuente es eliminar la redundancia en la información para hacer
el mensaje más pequeño. En su exposición, se trata de un método menos pérdida de compresión de datos en el origen, el uso de un código de
bloque de tipo variable, más tarde llamado un código de Shannon-Fano.
Un desafío planteado por Shannon en su artículo de 1948 fue el diseño de un código que fue óptima en el sentido de que se
reduciría al mínimo la duración prevista. (El código de Shannon-Fano que introdujo no siempre es óptima). Tres años más tarde,
David Huffman, un estudiante de la clase del Prof. Fano en el MIT llegó con la codificación de Huffman, que es ampliamente utilizado
para la compresión de datos. JPEG, MP3 y archivos .ZIP son sólo algunos ejemplos.
Entropía e información contenido

Como hemos dicho, el papel de Shannon expresa la capacidad de un canal: la definición de la cantidad de información que puede enviarse
por un canal ruidoso en términos de la potencia de transmisión y ancho de banda.
De este modo, Shannon mostró que los ingenieros podrían optar por enviar una cantidad dada de información a través de alta potencia y
ancho de banda bajo o alto ancho de banda y baja potencia.
3 Shannon, C. Una teoría matemática de la comunicación, pg. 3

SNAPES@MIT.EDU
La solución tradicional era utilizar las radios de banda estrecha, que se centraría todo su poder en una pequeña gama de
frecuencias. El problema era que como el número de usuarios aumenta, el número de canales comenzó a ser utilizado para
arriba. Adicionalmente, dichos radios eran altamente susceptibles a la interferencia: tanto poder se limita a una pequeña porción
del espectro que una sola señal de interferencia en la gama de frecuencias podría interrumpir la comunicación
Shannon ofreció una solución a este problema mediante la redefinición de la relación entre la información, el ruido y la energía. Shannon
cuantificó la cantidad de información en una señal, indicando que es la cantidad de datos inesperados el mensaje contiene. Llamó a este
contenido de información de un mensaje de 'entropía'. En la comunicación digital de una corriente de bits inesperado es sólo ruido
aleatorio. Shannon mostró que cuanto más se asemeja a una transmisión de ruido aleatorio, cuanta más información se puede
almacenar, con tal de que se modula a un vehículo apropiado: se necesita un soporte de baja entropía para llevar un mensaje de alta
entropía. Así Shannon indicó que una alternativa a las radios de banda estrecha estaba enviando un mensaje con baja potencia,
distribuidos en un amplio ancho de banda.
espectro ensanchado es sólo una técnica tal: se toma una señal de banda estrecha y se extiende su poder sobre una amplia banda de
frecuencias. Esto hace que sea muy resistente a las interferencias. Sin embargo, hace uso de rangos de frecuencias adicionales, y por lo
tanto la FCC hasta hace poco se había limitado a la técnica de los militares. En la actualidad se utiliza en teléfonos celulares CDMA.
Ahora que hemos discutido algunos de los conceptos fundamentales en el trabajo de Shannon, vamos a dar un paso atrás y ver cómo la
formalización de estos conceptos se inició una cadena de investigación que llegó a ser conocido como el campo de la teoría de la
información.
TRAYECTORIA DE LA TEORÍA DE LA INFORMACIÓN - I
Empezamos por explorar la historia de la teoría de la información, cómo el campo evolucionó y resistido diversas influencias para
convertirse en lo que es hoy. En esencia, nos trazar la trayectoria de una nueva ciencia.
Creación del Campo

Teoría de la información surgió a partir de los conceptos introducidos en "Una teoría matemática de la comunicación." Si
bien, la frase "teoría de la información" nunca fue utilizado en el periódico, el énfasis de Shannon en la palabra
"información" probablemente ayudó a acuñar el término. La idea de que algo tan nebuloso como "información" se podía
cuantificar, analizar, y se reduce a una fórmula matemática atrajo una enorme atención.
Este entusiasmo inicial dio vida al campo. Pero ¿cuáles fueron las fuerzas que permitieron a este proceso? De acuerdo con Latour, una
de las tareas en la creación de un nuevo campo está reuniendo el apoyo y entusiasmo de las masas 4. A pesar de que había tenido la
intención de Shannon a su audiencia a ser confinado a la ingeniería de comunicación, sus conceptos y la metodología de pensar
rápidamente trasladado a la prensa popular. de 1953 Fortuna revista describe efusivamente el campo como más crucial para el progreso
del hombre en la paz y la seguridad en la guerra 'de la física nuclear de Einstein.
4 Latour. SEGUNDO, Ciencia en Acción, pg. 150

SNAPES@MIT.EDU
Tal vez, sin el apoyo popular y el interés de investigadores de otros campos, Teoría de la información puede no haber
existido como lo hace hoy.
Otra de las tareas en la creación de un nuevo campo es reclutar a los aficionados para el personal de investigación 5. Como se mencionó
anteriormente, el papel de Shannon 1948 atrajo a una multitud de personas para llevar a cabo la investigación Teoría de la Información. En ese
momento, estos investigadores fueron todos los aficionados a la que el papel de Shannon había abierto completamente nuevas formas de
abordar el problema de la transmisión de la información. Sin embargo, estos aficionados pronto se convierten en los expertos 6 y posteriormente
guiado a la dirección del campo.
La circulación y la propagación de las ideas

La identificación de los factores que transformaron un solo papel a un campo floreciente, requiere una investigación sobre las actividades
que se produjeron poco después de Shannon introdujo su teoría. Inicialmente había un fervor absoluto de excitación. Universidades
comenzaron a ofrecer seminarios que más tarde desarrollaron en clases. El Instituto de Ingenieros de Radio, o IRE 7, trabajos publicados
sobre la investigación actual en un diario la intención de centrarse exclusivamente en la teoría de la información, y formaron un grupo
llamado el Grupo Profesional sobre Teoría de la Información, o la PGIT. Además, se han organizado simposios para presentar estos
documentos y para permitir que los foros de discusión.
En medio de todo el entusiasmo inicial, muchos sintieron que con todos los nuevos conceptos e investigaciones que se generan,
había una necesidad de una generación más joven a involucrarse. Como resultado, varios seminarios y departamentos se
organizaron en diferentes universidades como la Universidad de Michigan y Université di Napoli. Estos seminarios se convirtieron
después en clases, que han influido en el campo, ya que discuten temas de investigación actuales, y produjeron estudiantes
graduados que eventualmente se convertirían en los nuevos practicantes del campo. Profesor Fano, de hecho, enseñó uno de los
primeros cursos, 6.574 comúnmente conocida como la 'Teoría de la Información Curso', en el MIT. En sus primeras conferencias,
Fano comenzó por reconocer que su tema era todavía no está completamente definido:
Vamos a empezar por la especificación de un modelo de sistema de comunicación a los que la teoría que se desarrolló se
aplicarán ... Este modelo debe ser lo suficientemente general para incluir, como casos especiales, la mayoría de los
sistemas de comunicación de interés práctico, pero lo suficientemente sencilla como para prestarse a un estudio
cuantitativo detallado. [Fano, R. 6.574 notas de la conferencia, el MIT Archives]
En ese momento, el profesor Fano enseñó a su clase mediante la investigación actual y sus direcciones como su fuente de material didáctico.
Sacó de aquí sus lecturas asignadas, los boletines de problemas, exámenes y preguntas finales del proyecto. De hecho, la codificación de
Huffman, una forma de representación eficiente, originó a partir de un documento final que Fano asignado.
Un segundo supuesto, 6.575 "Temas avanzados en Teoría de la Información", más tarde fue impartido por el propio Shannon después de
que tomó de profesor en el MIT en 1956. Profesor G. David Forney, Jr. atribuye este curso "como la causa directa de su regreso a la Teoría
de la Información ". 8
5 Latour, B. Ciencia en Acción, pg. 150

6 Edén, M. Entrevista
7 IRE, el Instituto de Ingenieros de Radio posteriormente se fusionó con AIEE, Instituto Americano de Ingenieros Eléctricos 1 de enero de 1963 para formar el IEEE
8 TI Boletín para la sociedad, pg. 21

SNAPES@MIT.EDU
Hoy en día, si bien no existe ni un departamento de Teoría de la Información, ni un programa específico dentro del departamento de
Ingeniería Eléctrica e Informática del MIT. El campo se ha vuelto demasiado omnipresente, y sus fuera de los brotes se les enseña bajo
una multitud de diferentes áreas: Ciencias de la Computación, Tecnología de la Información, Ingeniería Eléctrica, Matemáticas. Por otra
parte, los conceptos desarrollados a través de la investigación Teoría de la Información se han integrado en el material del curso de las
diferentes disciplinas de ingeniería. La "Teoría de la Información Curso" numerada 6.574 todavía existe hoy en forma de 6,441 "La
transmisión de la información."
Vemos que, como siguiendo el consejo de Latour, Teoría de la información rápidamente encontró su camino en el plan de estudios en
diversas instituciones educativas, y Shannon aseguró un puesto en la universidad. Estas son las dos tareas más que Latour considera
importante la creación de un campo 9.
La educación no sólo tuvo lugar en el aula sin embargo. los Transacciones IRE sobre Teoría de la Información se convirtió
en una revista cuyo "propósito principal [fue] asocia con la palabra 'educación' y, más concretamente, la educación de los
miembros PGIT en sintonía con los intereses y las tendencias actuales" 10.
Como un diario muy conocido, bien leído, y muy respetado, que tenía una gran cantidad de control sobre la información y la
investigación que llegó a sus lectores. los Actas, de manera guiada por el campo de la investigación que optó por presentar en sus
publicaciones. Se publicó editoriales por científicos respetados en el campo, incluyendo voces influyentes tales como Claude
Shannon, Peter Elias, y Norbert Wiener. Su sección de correspondencia sirvió como un foro de debate que contenga por escrito
comentarios y reacciones a los materiales publicados, ya sea dentro de la revista o en otro lugar. Además de las clases y las
revistas de IRE, simposios temprana juega un papel clave en el crecimiento de la Teoría de la Información. El propósito del
simposio fue la introducción de la investigación de vanguardia y fomentar un ambiente de educación y discusión.
Para estos simposios, los organizadores buscaron el "mejor de lo mejor" en términos de papeles; dejando fuera tutoriales y
revisiones. Los resúmenes se presentaron por muchas personas de diversas áreas de investigación y revisadas por un comité
que evalúa si el material estaba dentro del alcance de la conferencia. Se gasta mucho esfuerzo para mantener la calidad de la
investigación lo más alto posible. Debemos tener en cuenta que a pesar de este proceso de selección fue necesario obtener
trabajos de mérito dentro de los intereses de los asistentes, se abrió la posibilidad de ser sesgada hacia los intereses de los
miembros del comité organizador.
A pesar del proceso de selección los simposios temprano refleja un ensanchamiento en su alcance y una explosión de
emoción. En el primer simposio celebrado en Londres en 1950, seis de los veinte trabajos presentados eran acerca de la
psicología y la neurofisiología. Este número aumentó a ocho en el momento del segundo simposio. Pero en la tercera
celebrada en 1956, el alcance era tan amplia que incluyó participantes con experiencia en campos tan diversos como la
"anatomía, bienestar animal,

10 Cheathem, T. Una base más amplia para la PGIT, IEEE Transactions, 1958, pág. 135

SNAPES@MIT.EDU
la antropología, las computadoras, la economía, la electrónica, la lingüística, las matemáticas, la neuropsiquiatría, la neurofisiología, la
filosofía, la fonética, la física, la teoría política, la psicología y las estadísticas ". 11
Carro
A mediados de los años 50, se hace evidente que la teoría de la información se había convertido en algo de una moda. Esto fue debido a
confusión en cuanto a lo que realmente era Teoría de la Información.
No me gusta el término Teoría de la Información. Claude no le gustó tampoco. Usted ve, el término 'teoría
de la información' sugiere que se trata de una teoría acerca de la información - pero no lo es. Es el transmisión
de información, no la información. Mucha gente simplemente no entendían esto ... acuñaron el término
'información mutua' para evitar tal sentido: hacer el punto de que la información es siempre acerca de alguna
cosa. Es la información proporcionada por algo, por algo. [Entrevista con Fano, R. 2001]
Tales conceptos erróneos, junto con la creencia de que la Teoría de la Información serviría como un agente unificador a través de una amplia
gama de disciplinas llevado a algunos investigadores a intentar aplicar la terminología Teoría de la información a algunos de los más aleatoria
de los campos.
... las aves tienen claramente el problema de la comunicación en presencia de ruido ... el examen de los
pájaros sobre la base de la teoría de la información podría ... sugerir nuevos tipos de experimentos de campo y
análisis ...
[Bates, J. “Importancia de la Teoría de la Información de la neurofisiología.” Feb1953: pg. 142]
artículos de poca profundidad en base a un sinnúmero de campos de ingeniería no estaban siendo publicados en el Transacciones
IRE en el momento. Peor aún, los investigadores podrían introducir deliberadamente las palabras 'Teoría de la Información' o
'cibernética' como se le llamaba, alternativamente, en su trabajo con la esperanza de atraer fondos. Estos intentos ciegos a
aplicar la teoría de la información a 'todo bajo el sol' creó una gran controversia dentro de la PGIT sobre cuáles deben ser los
límites del campo.
En diciembre de 1955, LA De Rosa, presidente de la PGIT, formalizado estos
las tensiones en un editorial titulado "En qué ámbitos Nos pastar?"
Se debe hacer un intento de ampliar nuestros intereses a tales campos como la gestión, la biología, la
psicología y la teoría lingüística, o debería ser la concentración estrictamente en la dirección de la
comunicación por radio o por cable? [De Rosa, LA “En qué ámbitos Nos Graze?” DEC 1955: 2]
PGIT miembros se dividieron. Algunos creían que si el conocimiento y la aplicación de la teoría de la información no se extendió más
allá de las comunicaciones de radio y de alambre, los avances en otros campos podría retrasarse o retraso en el crecimiento. Al
ampliar el alcance de PGIT, el conocimiento se comparte con otras áreas. Otros insistieron en confinar el campo de desarrollo de las
comunicaciones de radio, la electrónica y los cables. Los dos puntos de vista se debatieron acaloradamente en los próximos años a
través de la correspondencia en el Actas y en otros lugares.
Este es un claro ejemplo de los grandes, ya que se define por Latour 12. El PGIT es una red científica. Dentro del
PGIT, existía una red interna y externa. "internos" de Latour consisten
11 Blachman, N. Un informe sobre el tercer Simposio de Londres, IEEE Transactions, marzo de 1956, pg. 17

SNAPES@MIT.EDU
de los miembros que creían que la Teoría de la Información debe limitarse a los ingenieros de comunicaciones (o el puristas). Los
"extraños", por supuesto, son los miembros que apoyaron la expansión de Teoría de la información a otros campos. En los
grandes, los de adentro no creen que los extranjeros tienen una comprensión correcta de la naturaleza del campo.
En 1956, el debate se había calentado lo suficiente para que el padre del campo tuvo que hacer frente a ella. En su editorial de
marzo, “El tren en marcha” Claude Shannon respondió a la pregunta de De Rosa, tomando el lado de los puristas. Él escribió en su
manera suave de costumbre, pero mostró signos de frustración por el estado de la Teoría de la Información. Shannon sintió que la
Teoría de la Información había "disparado" en más de lo que realmente era, por su novedad y la exposición popular. La esposa de
Shannon, Betty Shannon, comentó: "Se puso un poco irritado con la forma en la gente se retiraba a su alrededor. La gente no
entendía lo que estaba tratando de hacer." 13 Shannon se había propuesto la teoría para ser dirigido de una manera muy específica,
y por lo tanto se cree que puede no ser relevante para otras disciplinas. Por otra parte, se cree que la Transacciones IRE, siendo
una revista académica, debe requerir documentos investigado con más cuidado que se apropiadamente - y no sólo
superficialmente - aplicar Teoría de la Información y hacerlo de una manera más rigurosa.
Una comprensión profunda de la matemática fundación y su

aplicación de comunicación es sin duda un requisito previo para otras aplicaciones. Personalmente,
creo que muchos de los conceptos de la teoría de la información va a ser útil en otros campos y, de
hecho, algunos resultados ya son bastante prometedores, pero el establecimiento de este tipo de
aplicaciones no es un asunto trivial de traducir las palabras a un nuevo dominio, pero más bien el
tedioso proceso lento de hipótesis y verificación experimental. [Shannon, “El tren en marcha” Marzo
1956]
Norbert Wiener, otro miembro influyente de la PGIT, también estuvo de acuerdo con Shannon que el concepto estaba siendo pensó
equivocadamente como la solución a todos los problemas de información.
... Como el Dr. Shannon sugiere en su editorial: El tren en marcha, [ Teoría de la Información] está empezando
a sufrir de la forma indiscriminada en que se ha tomado como una solución de todos los problemas de
información, una especie de llave mágica. Me estoy declarando en este editorial que Teoría de la Información
... volver al punto de vista desde el que se originó: el ... concepto estadístico de la comunicación. [Wiener,
“¿Qué es la Teoría de la Información?”, Junio de 1956]
Tales editoriales hicieron las vistas del centro de la PGIT clara. Vemos una rápida reducción en el número de papeles suaves ''
en el Actas - los temas se vuelven cada vez más centrado en la nueva investigación en ingeniería de la comunicación.
En 1958, el destino del campo más o menos se ha decidido. 1958 mordaces editoriales "Dos papeles famosos" de Pedro Elias
cristalizaron la "gran división". Él tomó una postura mucho más dura que la de Shannon en la descripción de un documento típico
que no debe ser publicado:
El primer documento tiene el título genérico 'Teoría de la Información, la fotosíntesis y la religión' ... escrito por
un ingeniero o un físico ... Yo sugeriría que dejar de escribir [él], y liberar una gran cantidad de mano de obra
para trabajar en ... problemas importantes que necesitan investigación .

13 Shannon, B. Teléfono Entrevista

SNAPES@MIT.EDU
[Elias, P. Dos papeles famosos, Sep 1958]
Las palabras de Elias son los últimos en el debate - el campo ha encontrado sus límites. O más bien, que se han encontrado para
ello. Los puristas, con su control sobre el Actas, y su capacidad para controlar el mismo foro de discusión, había ganado.
Con el campo de establecer sus límites, la PGIT comenzó a mirar hacia el futuro y cambiar su enfoque para el
desarrollo de aplicaciones prácticas. F. Louis Stumpers, Presidente Honorario ahora de la Unión Internacional de
Radio Ciencia comentado:
Los estudios teóricos y fundamentales son lo primero, y aún queda mucho trabajo por hacer, pero muchos nos
juzgarán por la aplicación práctica que podemos encontrar. Vamos a dar un cuidado especial para este ...
[Stumpers “Teoría de la Información y Int. Organizaciones de radio”en junio de 1957, 85]
Digresión - Algunos Antecedentes esencial

Para entender lo que estas "aplicaciones prácticas" con el tiempo serían, es importante darse cuenta de lo que estaba ocurriendo
en el área de las comunicaciones en el momento. Vamos a hacer una digresión por un momento para algunos antecedentes. Con
el advenimiento de la Segunda Guerra Mundial, el foco de la comunicación ha cambiado desde la telefonía y la radiodifusión de
control radar, control de incendios, y la comunicación militar. El enfoque de la comunicación a larga distancia, también había
cambiado, desde la transmisión de formas de onda para la transmisión de datos, ya que las computadoras fueron finalmente
convirtiendo en la nueva terminal de recepción. Los seres humanos son expertos en el manejo de errores y pueden extrapolar el
contenido de un mensaje, mientras que un equipo no puede interpretar un conjunto de datos sin algoritmos para corregir los
errores. Estos nuevos detalles técnicos necesarios métodos eficientes para codificar y enviar datos. Shannon
Hacia el final de la Segunda Guerra Mundial, los servicios militares eran muy impresionado por la contribución al esfuerzo de guerra hecha
por los físicos altamente cualificados, matemáticos e ingenieros, como los que están en el Laboratorio de Radiación del MIT. El ejército
consideró que era fundamental contar con una gran reserva de mano de obra disponible, especialmente uno muy hábil en la electrónica y
la comunicación en caso de una nueva guerra.
El Ejército, la Armada y la Fuerza Aérea por lo tanto decidieron patrocinar la investigación, y en 1951 los militares iniciaron el
contrato Tri-Services, que incluye las tres ramas. Primero en ser financiado fue Radiation Laboratory del MIT, que más tarde se
convirtió en el Laboratorio de Investigación de Electrónica (RLE).
De acuerdo con Latour, los científicos necesitan alinearse con bolsillos profundos, los de la industria o el gobierno federal 14. Sólo
aquellos que tienen financiación será influyente. El militar fue una de las ramas más bien financiado del gobierno federal.
Soportados por el fondo servicios de Tri-militar, la investigación Teoría de la Información fue pronto bien posicionada.
Volviendo a nuestra historia, nos encontramos con que en 1958 era obvio que el campo se había convertido maduro y

SNAPES@MIT.EDU
bien definido. los IEEE 15 Actas comenzó a reflejar la actitud de la PGIT. Había zonas que eran apropiadas, y las
áreas que no estaban.
Temas de corriente oportunidad incluir extensiones de teorías de la información de Shannon y Wiener y de sus
ramificaciones, análisis y diseño de sistemas de comunicación, fuentes de información, el reconocimiento de
patrones, de la recepción y la detección, autómatas y el aprendizaje, los sistemas de procesamiento de
información a gran escala, y así sucesivamente.
[El Comité Administrativo PGIT en 1959, 136 (énfasis añadido)]
Discusión
Consideremos de nuevo la historia que acabamos de ver: la historia de un campo de búsqueda de sus límites, más allá de los torpes
intentos de aplicarlo a ciegas donde no pertenecía, con el tiempo progresa a lo largo de su trayectoria natural ...
Un buen cuento, ¿verdad? Sabemos por MacKenzie que no hay tal cosa como una trayectoria natural:
“El cambio tecnológico es social hasta la médula. Quitar los ... estructuras que soportan los cambios
tecnológicos de una especie en particular, y deja de parecer 'natural' - de hecho, cesa por
completo'[MacKenzie, La invención de Precisión, 384]
Vamos a seguir con nuestra historia, a continuación, con estas palabras de advertencia: aunque se presenta una trayectoria, esta
trayectoria es de ninguna manera 'natural'. Está influenciada por un inmenso número de factores: los sesgos del PGIT, opiniones de
Shannon personales, el costo de la tecnología de hardware, los intereses de los militares, eventos externos, tales como el
lanzamiento del Sputnik ... Considere los límites del campo, y el camino tomado para definirlos. Latour habla de la inmensa
importancia de trabajos científicos en la determinación de 'la verdad', o lo que se cree que es la verdad. Ya hemos hablado de que
hay un intenso debate en el PGIT sobre el futuro de la Teoría de la Información - la publicación de artículos al azar sobre temas tales
como pájaros, había enfurecido a los puristas, quienes sintió que tal disparate diluiría la gravedad de su campo. Los científicos estaban
usando el término “teoría de la información” como una etiqueta de línea pegadiza para obtener financiación, incluso si su trabajo no
tenía nada que ver con ello. La reacción en contra de esto era tan fuerte, que hizo descarrilar incluso intentos serios para aplicar
Teoría de la información a otros campos.
Este efecto se vio reforzada por el hecho de que los pesos pesados en el PGIT: Shannon, Wiener, Fano et. Alabama. eran todos
los puristas, y los titulares de oficinas en el PGIT. Y controlaron lo que se publica y qué no lo era. Por lo tanto sus prejuicios y
opiniones personales contribuyeron en gran medida en lo que el campo finalmente optó por incluir ... y lo que se optó por excluir.
Al mirar a través de los documentos personales de Pedro Elias, encontramos papel después de papel que había rechazado para
el IEEE Transactions, porque eran simplemente 'irrelevante'
El interés de los militares también, no debe pasarse por alto. El militar no estaba especialmente interesado en la aplicación de la Teoría
de la Información para las aves, el arte o incluso la neurofisiología. Fue interesados
15 IRE (Institute of Radio Engineers) más tarde se fusionó con AIEE (Instituto Americano de Ingenieros Eléctricos) el 1 de enero de 1963 hasta formar IEEE (Instituto de Ingenieros Eléctricos y
Electrónicos).

SNAPES@MIT.EDU
en comunicación. A pesar de que la investigación era de interés secundario a ella, todavía tenía influencia sobre las áreas
exploradas: y los intereses de los puristas y los militares se alinea fácilmente. Y el resto es historia.
Vamos a tocar en estos temas de nuevo al final de nuestro trabajo. Pero, por ahora, de vuelta a nuestro cuento ...
TRAYECTORIA II - progresión de la CAMPO
El trabajo sobre teoría de la información tendía a centrarse en tres áreas principales de investigación basada
en la aplicación: tecnología de espectro ensanchado, la codificación de fuente y la codificación de canal.
Codificación de la teoría finalmente se convirtió en un área tan dominante que Teoría de la información se
convirtió en sinónimo de codificación. “Teoría de la codificación es Teoría de la Información”, insiste el
profesor Fano,‘Es sólo el progreso’.
Spread Spectrum Technology

Figura 3. Hedy Lamarr Una de las primeras aplicaciones de los conceptos Teoría de la información, sin embargo, fue en la
tecnología de espectro ensanchado, donde su desarrollo fue impulsado por las necesidades militares.
Durante la Segunda Guerra Mundial, se utilizaron las señales de radio para el guiado de misiles, así
como la comunicación, y es importante que estas señales sean protegidos de detección enemigo y
atascos. Salto de frecuencia, que consiste en bicicleta a través de las frecuencias al azar para evadir el
atasco fue una de las primeras partes delanteras corredores de la tecnología moderna de espectro
ensanchado. La técnica fue desarrollada por la actriz de Hollywood Hedy Lamarr y músico George
Antheil. El concepto de espectro ensanchado como se le conoce hoy en día se debe a la idea de
Shannon de la entropía. En nuestra discusión sobre el papel de Shannon señalamos que para la
comunicación robusta un mensaje de alta entropía necesita un portador de baja entropía, tales como el
Figura 4. Patente de Hedy ruido. tecnología Spread Spectrum se propaga una señal de radio estrecho sobre un ancho de banda
mayor y hace que sea resistente a las interferencias y la interferencia. Desde la década de 1940 hasta
mediados de la década de 1980 -, casi toda la investigación y desarrollo dedicado a la tecnología fue
respaldada por los militares y fue altamente clasificadas dieciséis.
Una gran parte del trabajo inicial de espectro ensanchado se llevó a cabo en el MIT en los primeros
años 50 como parte del proyecto NOMAC, lo que significa NO ise
METRO odulation UN Dakota del Norte do orrelation. Las investigaciones realizadas en el MIT llevó al
desarrollo de varios sistemas de espectro de transmisión de referencia '' de cálculo, todo para aplicaciones
militares. Estos sistemas de lograr la detección
dieciséis CDMA Development Group, sitio web.

SNAPES@MIT.EDU
mediante la transmisión de dos versiones de la portadora, uno modulados por datos y el otro no moduladas. Un detector de correlación
continuación, extrae el mensaje de las dos señales 17.
El primer sistema de espectro ensanchado operativo fue el sistema de Lincoln Lab F9C, desarrollado por el Dr. Paul Green. Fue mejorada por
el sistema RASTRILLO en 1958 18. Hoy en día, espectro ensanchado puede ser visto como la tecnología CDMA en los teléfonos celulares.
Representación de la eficiencia
Como hemos mencionado, la teoría de codificación estaba a la vanguardia de la Teoría de la Información - que era una zona amplia, y uno
donde la influencia de Teoría de la información se define con mayor claridad. el trabajo de codificación temprana se centró originalmente en
la compresión de datos. En ese momento, la comunicación confiable no se considera especialmente relevante o aplicable. El foco de
interés estaba en la eficiencia de la representación y la conservación de ancho de banda, “ser capaz de representar el habla y las imágenes
de forma más económica ... En ese momento, la gente sentía que se podía ganar unos dB de codificación, pero valió la pena?” 19
Algunas de las preguntas de investigación importantes principios y las cuestiones de aplicabilidad estaban en esta dirección, por ejemplo, la
codificación Huffman. En 1951, David Huffman tomó el curso de posgrado en 6.574
Teoría de la Información, impartido por el profesor en el MIT Fano. Como una alternativa a tomar el examen final, el profesor Fano utiliza
para dar su clase de la opción de escribir un trabajo sobre los temas de investigación abiertas en Teoría de la Información. El tema de ese
año era encontrar el método de codificación más eficiente para la representación de símbolos, tales como números y letras. En ese
momento, no había ninguna solución conocida al problema: Shannon y Fano mismos habían tenido problemas con él.
Después de trabajar en el problema durante meses, Huffman, finalmente decidió abandonar. Cuando fue destrozando sus
notas, tuvo una revelación. "Fue el momento más singular de mi vida", dijo Huffman. "No era el rayo absoluta de realización
repentina." 20 Ya se sabía que aparece con más frecuencia en un símbolo, se utiliza más su código, y por lo tanto, era mejor
para representar los símbolos más frecuentes con los códigos más cortos. Los que habían estado tratando de descubrir una
codificación eficiente previamente habían estado tratando de asignar códigos que van de más frecuente a menos frecuente.
Huffman se dio cuenta de que al ir al revés, desde el menos frecuente a más frecuente, fue posible asignar los símbolos con
el algoritmo más óptimo. Huffman publicó su algoritmo en su artículo titulado “Un método para la construcción de códigos de
redundancia mínima”. Su algoritmo de compresión de datos, conocida como codificación de Huffman, se utiliza
universalmente en la compresión de datos y sistemas de almacenamiento de datos de hoy 21.
Por lo tanto, el foco de los primeros trabajos en la codificación se mantuvo la eficacia de la representación. Incluso la literatura temprana
sobre el alcance de tiempo Teoría de la Información traiciona un enfoque casi miope en él. La cuestión del tiempo parece ser el ahorro de
ancho de banda: ¿Podemos utilizar las técnicas de la teoría de la información para ahorrar algo de ancho de banda, o comprimir algunos
datos para una aplicación en particular? Si no, entonces probablemente no es particularmente útil para ello. Por ejemplo, D. Gabor
regañadientes
17 Jachimczyk, W. Doble página web espectro

18 Hochfelder, D. Entrevista con el Dr. Paul Green, Centro de Historia IEEE
19 Fano, R. Entrevista
20 Stix, G. Perfil: David. A. Huffman, Scientific American, septiembre de de 1991 54,58
21 Huffman, K. página Web David Huffman Elegy

SNAPES@MIT.EDU
concluye en su artículo de 1953 Teoría de la Comunicación, pasado, presente, prospectivo, que, como no hay mucho ancho de banda se
puede guardar en radiotelegrafía o transmisión de la música, “es evidente que sólo un beneficio moderado puede ser obtenido por la
aplicación de la teoría de la comunicación moderna” a estos campos.
La codificación de canal
Con la popularidad de compresión de datos y codificación de la fuente, no se ha reconocido la verdadera importancia del
teorema canal ruidoso de Shannon. Se trató como poco más que una curiosidad teórica. Las razones detrás de esto eran
simples: después de todo, una manera sencilla de lograr una comunicación fiable es destruir la señal en una señal de alto a
ruido. Si usted quiere ser escuchado, grita. Otro problema es el hardware: esquemas de corrección de errores eran
complejas y exigió potencia de cálculo, que era prohibitivamente caro.
“Recuerdo John Pierce en los Laboratorios Bell ... Él era el jefe de Shannon. Estaba jugando minimizar la
importancia del teorema canal ruidoso, diciendo: 'sólo tiene que utilizar más ancho de banda, más poder' ...
no había ninguna limitación a continuación - que podría hacer lo que sea necesario en términos de
comunicación fiable y sin tiempo de codificación. Y además, incluso si se quería, que estaba muy mal por
equipos de complejidad y el costo ...”[Entrevista con Fano, R. 2001]
Afortunadamente, todavía había algunas mentes interesado en explorar las posibilidades de corrección de errores. Estos primeros
pioneros diferidas las cuestiones de aplicabilidad, y continuaron explorando el potencial del teorema de canal ruidoso.
Los códigos convolucionales y decodificación secuencial

Peter Elias inventado códigos convolucionales en 1955. A diferencia de los códigos de bloques simples, códigos convolucionales se
aproximan a una estructura de árbol al azar, y son más poderosos. Son la base de algunos de los códigos más populares en uso hoy
en día.
Lo que hizo que este método particular particularmente atractivo

era la relativa facilidad con la que los datos podrían ser
codificados. Sin embargo, como señala el profesor Forney en su
Conferencia 1995 Shannon - un honor anual otorgado por la
IEEE Information Theory Sociedad - “el obstáculo clave para
acercarse a la práctica la capacidad del canal no era
el
Figura 5. Un codificador convolucional simple
construcción de códigos largos buenas específicos ... más bien era la
complejidad de decodificación” 22
Para los códigos convolucionales, la complejidad de decodificación aumenta exponencialmente con la longitud del código. Por lo tanto los
códigos convolucionales, a pesar de sus propiedades atractivas, parecían condenados a la extinción.
Luego, en su tesis doctoral 1957, “La decodificación secuencial para una comunicación fiable,” John
22 Forney, D. Conferencia Shannon, 1995. IEEE TI Boletín para la sociedad, Verano '98: 21

SNAPES@MIT.EDU
Aftab, Cheung, Kim, Thakkar, Yeddanapudi Me NFORMACIÓN T HEORY y L A D R EVOLUCIÓN IGITAL dieciséis
Wozencraft abordó el problema de la complejidad de decodificación. decodificación secuencial era esencialmente una clase de
“técnicas de búsqueda exhaustiva de los árboles” 23 cuyo enfoque probabilístico le dio una ventaja. La complejidad de decodificación de
su algoritmo aumentó exponencialmente con el la longitud de los códigos, en lugar de exponencialmente - un gran avance. Con las
mejoras de Fano en 1963, la decodificación secuencial se convirtió en un método manejable de manejar códigos convolucionales. El
trabajo de estos pioneros, sin embargo, permaneció teórico. Aunque decodificador de Wozencraft hizo el uso de códigos
convolucionales factibles, la tecnología de hardware se quedó atrás. El decodificador secuencial experimental original, SECO
construido en el Lincoln Labs en '62 era muy grande, ocupando dos habitaciones sólidas de equipo.
Plagado por una falta de motivación, y peor aún, por la falta de tecnología, el teorema de canal ruidoso parecía condenada al
estancamiento. Pero entonces ocurrió algo que dio la corrección de errores y el teorema de canal ruidoso su primera gran
oportunidad. Y ese algo era el espacio.
Sputnik
El lanzamiento del Sputnik en 1957 cambió todo. Los rusos habían tomado la delantera en la carrera espacial, y no había
consternación generalizada en los EE.UU.. El efecto ha sido comparado a un segundo 'Pearl Harbor'. Hubo una repentina
oleada de interés en los lanzamientos espaciales y, en consecuencia, en comunicación espacial. Decidido a no ser superado
por los rusos, los Estados Unidos potenciará rápidamente el programa espacial nacional. En 1958, el presidente Eisenhower
aprobó un plan para los satélites, y la NASA se estableció.
Sputnik, y el posterior desarrollo del programa espacial, generan una gran cantidad de interés en la comunicación fiable en
presencia de ruido. Fue de repente un problema muy real, y ya no era posible decir con soltura 'sólo tiene que utilizar más
energía.' Como resultado, una gran cantidad de trabajo se realizó en la codificación de canal.
“Lo que realmente cambió todo el panorama era de comunicaciones espaciales. Debido a que la energía es
muy cara en el espacio - la generación de energía, el peso de la fuente de alimentación. Y fue entonces
cuando la industria y la investigación en general comenzaron a pensar mucho más en serio acerca de la
comunicación en presencia de ruido. Espacio cambió el panorama por completo ...”[Entrevista con Fano, R.
2001]
Había realmente un número de factores que hicieron codificación de canal de modo perfectamente adecuado para el problema de la comunicación
el espacio profundo.
Ante todo, como se ha mencionado, el poder es muy caro en el espacio El canal de espacio profundo - el canal para la
comunicación con las sondas espaciales - casi perfectamente coincide con el modelo de canal ruidoso teórico que
Shannan presenta en su papel original, que fue muy bien entendido. Ancho de banda, que se utiliza por la codificación, es
relativamente abundante en el espacio.

SNAPES@MIT.EDU
Como hemos mencionado, el equipo hizo la complejidad de codificación de una proposición tan caros que la mayoría
de la gente no lo consideraría seriamente. Pero para una misión espacial ultra caro, el costo porcentual de los equipos
de codificación es pequeña. Además, cada dB salvado por la codificación como resultado más de un $ 1000.000 de
ahorro en el equipo de comunicación. Y eso es un $ 1.000.000 en 1960.
Debido a estas razones el profesor James L. Massey llama espacio profundo

comunicación y la codificación de un “matrimonio perfecto” 24. Espacio de codificación
dio su primera aplicación real - y el campo que originalmente había sido marginado
rápidamente comenzó a prosperar.
Los avances en la tecnología de hardware

La tecnología espacial no sólo impulsó la necesidad de avances de codificación, pero para
el hardware avanza también. En 1958, Jack Kilby en Texas Instruments subió con el circuito
integrado, que sustituyó transistores discretos. Con el tiempo, el coste, peso y potencia
La Figura 6. Marte, Mariner IV, '64 usando no codificación.necesaria para la operación de decodificación promedio se redujo por órdenes de magnitud.
Al mismo tiempo, las velocidades de decodificación alcanzaron varios megabits por
segundo. La complejidad se convirtió en una preocupación menor a medida que se
desarrollan nuevos circuitos integrados y más rápido. Esto permitió a la aplicación práctica
de la codificación de canal, no sólo en el espacio sino en otras áreas también. En 1968, el
decodificador secuencial que utilizan para ocupar dos habitaciones en el Lincoln Lab, había
sido miniaturizado suficiente para ser colocado en Pioneer 9 - una pequeña nave espacial
que sólo pesa 67 kilogramos.
Aplicaciones espaciales
La Figura 7. Marte, Mariner VI, '69 utilizando una
codificación Reed-Muller. Algunos de la primera serie de misiones para utilizar la codificación eran misiones
Pioneer y Mariner de la NASA. A partir de Mariner VI en 1969, la serie Mariner fue el
primero en utilizar la codificación oficial. Mariner VI utiliza códigos de Reed-Muller, que
fue desarrollado en 1954 y permitieron la corrección de un número variable de errores.
Tenga en cuenta la diferencia entre la Figura 6, que muestra uno de los primeros cierre
encima de imágenes de Marte cortesía de Mariner IV, que se usa sin la codificación, y la
Figura 7, otra inyección de Marte de Mariner VI, utilizando el código Reed-Muller
mencionado.
Mientras que estaban desarrollando códigos Reed-Muller de la serie Mariner, la tecnología

llegó a estar disponible para usar un decodificador secuencial en el espacio. De este modo,
en 1968 ingenieros de la NASA decidieron probar el decodificador secuencial, diseñado por
Figura 8. Saturno, Voyager, '71 usando Golay el profesor del MIT Forney en el Codex poniéndolo en una 'forma experimental' en Pioneer
codificación. IX.
24 Massey, JL “comunicación-espacio profundo y de codificación.”, En Lecture Notes para el Control y Ciencias de la Información, 1992.

SNAPES@MIT.EDU
Esta fue una táctica deliberada para evitar el proceso de aprobación de la NASA 25. Pioneer IX, de hecho se convirtió en la primera nave espacial
para utilizar codificación.
En 1979, se pusieron en marcha las sondas Voyager, y eran capaces de transmitir imágenes en color. Para el color, el alfabeto fuente es
mucho más grande, y por lo tanto es necesaria una mejor corrección de errores. El esquema de codificación elegido fue el código de Golay.
Codificación de la teoría y la tecnología de hardware necesario para implementar se expande rápidamente. Tanto es así, que la misión
Voyager fue realmente cambió sobre la marcha para mantenerse al día con las mejoras en la tecnología. El código Golay se utiliza en el
lanzamiento fueron sustituidos por códigos Reed-Solomon - los códigos ubicuos que ahora se utilizan en todas partes por la corrección
de errores, incluyendo CDs y discos duros. códigos Reed-Solomon se inventaron en 1960 en el Lincoln Lab.
¿Con qué rapidez el campo progresaba puede verse al observar que entre el momento del lanzamiento de la Voyager y su llegada a
Neptuno, había una seis veces aumento de la tasa de transmisión de datos. Un sentido aún más dramático de la cantidad y de la
rapidez, el campo había progresado se puede obtener observando que la tasa de telemetría para Voyager en Neptuno. La tasa fue
de 21,6 kbits / s en una distancia de 4.4 mil millones de millas - una mejora del rendimiento de casi el 10 7 sobre Mariner IV en apenas
una década.
“Codificación está muerto”

A finales de los años 60, había una sensación general de que la teoría de la información como un campo, y la codificación, en particular,
se estaba muriendo. decodificación secuencial se había aplicado en el espacio, pero se mantuvo demasiado caro para su uso comercial.
El microchip aún no estaba alrededor, se está inventando nuevas solicitudes, y los nuevos esquemas de codificación se sugiere ya
estaban demasiado compleja de implementar.
Los códigos convolucionales y decodificación secuencial habían conseguido de codificación más cerca del límite de Shannon, y no habían
desarrollado una “creencia casi religiosa que hay ... (era a)‘en general la capacidad práctica’de un canal sin memoria, y que por el uso de la
decodificación secuencial de la podría más o menos puede lograr la capacidad práctica. Problema resuelto" 26
... Una consecuencia lamentable de esta conclusión (que es bastante irónico en vista de la historia posterior
de decodificación secuencial) fue que el grupo de teoría de la información del MIT, probablemente el más
grande conjunto de talento que nuestro campo ha conocido, comenzó a dispersarse a otros campos y
instituciones, poniendo así fin a la primera edad de oro de la teoría de la información ... [Forney, Shannon
Lecture, 1995]
Profesor Fano, junto con los profesores Shannon y Elias, eran sólo algunas de las incluidas en este “gran conjunto”, que
decidió seguir adelante con los proyectos más interesantes.
25 Costello et. Alabama. Las aplicaciones de codificación de errores-Control, IEEE Transactions on Information Theory, Oct 98

SNAPES@MIT.EDU
En la década de los 60, muchas personas sintieron que el campo estaba convirtiendo en obsoleto. Nada muy
interesante estaba ocurriendo ... Se demostró que se podía codificar y decodificar de manera eficiente, pero la
aplicación práctica de esta era una historia diferente. Todas las operaciones implicadas en la codificación y
decodificación eran muy, muy caro ... [Entrevista con Fano, R. 2001]
Las cosas fueron desalentadores, y ellos estaban empeorando. El profesor Gallagher recuerda que algunas de las mentes más sabias en el
MIT sugirieron que se mueven en un campo más prometedor 'tales como tubos de vaccum'. Prof. Forney recuerda recibir consejos similares.
A finales de la década de los asuntos habían llegado a un punto crítico. En 1971, hubo un taller de codificación celebrada en San
Petersburgo, Florida, titulado “Orientaciones para el futuro”. Muchos teóricos de codificación prominentes asistieron a discutir otras áreas
a considerar. Después de pasar un día o dos de discutir las posibilidades futuras, llegaron a la conclusión de que todo lo que era de
interés para su comunidad había terminado, y que no había ninguna dirección futura, excepto a cabo. En la conferencia, Robert McEliece
dio una charla infame titulado “La codificación es Dead”
La tesis de su charla fue que él y otros teóricos de codificación formó un pequeño grupo endogámico que había sido
aislado de la realidad demasiado tiempo. Ilustró esta charla con una sola diapositiva que muestra una pluma de ratas
que habían psicólogos encerrados en un espacio cerrado para un período extenso de tiempo. No puedo decir aquí lo
que esas ratas estaban haciendo, pero baste decir que la corredera desde entonces se ha prestado muchas veces para
representar las profundidades de la depravación en la que un grupo desconectado puede caer. Las ratas hechas señor
de las moscas parecerse a un picnic de la escuela.
Todo este comportamiento depravado tenía su paralelo en las actividades de los teóricos de codificación. Demasiados
ecuaciones se habían generado con muy pocas consecuencias ... Codificación profesores teórico tenían engendrado
más de codificación doctores teoría en su propia imagen ... nadie más cuidado; ya era hora de ver esta perversión de
lo que era. Renunciar a esta fantasía y tome una ocupación útil ... Codificación está muerto. [Lucky, R. Lucky Strike
Una vez más el 93, Recopilación de artículos de IEEE Spectrum]
El profesor de la Universidad Northeastern Proakis recuerda la consternación de la conferencia creado. “Eran personas que habían
estado trabajando en la teoría de la codificación para un número de años, y llegaron a la conclusión de que todo vale la pena hacer se
ha hecho ya.” Los investigadores que asistieron al taller que se cree que la codificación tuvo un papel muy limitado, sus únicas
aplicaciones en profundidad comunicación el espacio y en el ejército. En este momento, el trabajo, incluso de Viterbi, que era la clave
para la decodificación óptima de códigos secuenciales, era poco entendido y apreciado, y era simplemente demasiado caro impliment.
Una de las pocas voces discrepantes en la conferencia fue la de Irwin Jacob. Se puso de pie, diciendo, “teoría de la codificación no está
muerto”, mientras sacaba un 4 bits del registro de desplazamiento integrada de su bolsillo “, y esta es porque."
Ese registro de desplazamiento de 4 bits puede ser penoso para los estándares actuales, pero fue una gran cosa a continuación. Había sido la
falta de tecnología de hardware que condujo a los teóricos de anunciar la muerte de codificación. Sin embargo, también fue la disponibilidad de la
tecnología de hardware, que dio paso a su reactivación.

SNAPES@MIT.EDU
TRAYECTORIA III - APLICACIONES COMERCIALES Y PROBLEMAS DE LA TECNOLOGÍA
tecnología de hardware siempre ha sido el factor determinante para la Teoría de la Información. La teoría es sólo eso: la
teoría. Algoritmos, conceptos, códigos. Requieren tecnología, en forma de hardware complejo y potencia de cálculo que se
utiliza. Cuando la tecnología era escasa, complejo y caro, ya que a principios de los años 60 - aplicaciones se limitan a los
que tienen los bolsillos de pagarlos: NASA y el ejército.
A finales de los años 60 la revolución semiconductor estaba acelerando rápidamente. Intel salió con el primer microprocesador en
1971. Al igual que la falta de tecnología de hardware de codificación había empujado en coma, la creciente disponibilidad de la
tecnología allanó el camino para su reactivación. De hecho, a finales de los años 60, la tecnología de semiconductores había
progresado lo suficiente para que se estaba haciendo factible para Teoría de la Información para salir de los límites de confinamiento
de ultra caros aplicaciones militares y espaciales y puso la mira en el mundo comercial.
“Ciertamente circuitos integrados jugaron un papel importante en la fabricación de estos esquemas de codificación práctico” 27
dice el profesor Proakis. Profesor Fano pone más énfasis: “Fue la revolución microprocesador que cambió la
imagen completa!” 28
Tecnología de nuevo, en forma de hardware listo y barato, y potencia de cálculo, está detrás del éxito fenomenal de Teoría de la
Información en la actualidad. Ejemplo de ello es la historia de paridad de baja densidad, consulte los códigos. Estos códigos
permiten que uno consiga infinitesimalmente cerca del límite de Shannon - que son los códigos más potentes conocidas en la
actualidad. Lo interesante es que hayan sido propuestos por el profesor Gallagher, en su tesis doctoral 1960. En cuarenta años de
la tecnología para llegar al punto en el que se pueden implementar.
De hecho, el Codex Corporation, una de las primeras empresas en aplicar los conceptos de Teoría de la información comercialmente, adquirido
los derechos de Baja Densidad códigos de comprobación de paridad en la década de 1960. Los códigos no se llevaron a cabo: eran simplemente
demasiado compleja.
Códice
Codex era un arranque MIT, fundado en 1962. Cuando el profesor Forney se unió después de completar su doctorado en 1965, que era
una pequeña de 12 personas la puesta en marcha. Codex en un principio, como todo el mundo, estaba en el negocio de las aplicaciones
militares. Se trabajó en la construcción de los parches de corrección de errores independientes, que se monten en los sistemas de
comunicaciones militares existentes. “Nuestro negocio entonces era poner vendajes '' en los sistemas que ya habían sido diseñados”,
recuerda el profesor Forney. “Hemos sido capaces de conseguir un poco de negocio, casi todos del gobierno, pero era evidente que el
error autónomo de codificación no era el camino a seguir. 29 ”Así Codex se movió en el uso de las ideas Teoría de la información de
corrección de errores para el trabajo militar, para aplicarlos a su éxito comercial, el modulador-demodulador, más conocido como, el
módem.
27 Proakis, J. Entrevista
29 Una conversación con Forney, D. IEEE TI Boletín para la sociedad, junio de 1997

SNAPES@MIT.EDU
De hecho módems fueron una de las primeras aplicaciones comerciales importantes de la Teoría de la Información: módems y
relacionados con el trabajo en las máquinas de facsímil, son lo que permitió que se rompa en el ámbito comercial.
Profesor Gallagher, que trabajaba como asesor para el Codex, era consciente de que Jerry Holsinger estaba trabajando en un
diseño para un módem de 9600 baudios a una firma de defensa California. Gallagher sugirió que la empresa adquiera Holsinger
y su investigación. Como resultado, en 1967 obtuvo el Codex diseño de hardware preliminar para lo que eventualmente se
convirtió en su primer módem: AE-96. El AE-96, lanzado en 1968, fue un “gran bestia que cuesta $ 23.000” 30 recuerda el profesor
Forney. A pesar de que era la pieza voluminosa de equipo, no muy fiable, y que era más barato para comprar un coche, el AE-96
fue el primer módem en baudios del mundo 9600, y generó mucho interés. Uno de los mayores obstáculos en la comercialización
de los módems y máquinas de fax era el estado de derecho. Era ilegal para fijar nada a las líneas telefónicas de AT & T - a
menos que se hizo por AT & T. Este mandato se había paralizado de manera efectiva cualquier incentivo para producir
dispositivos de telecomunicaciones comerciales. ¿Cuál sería el punto de hacer un dispositivo nadie podía usar? Pero el 26 de
junio º en el mismo año que el AE-96 hizo su debut, la FCC determinó que sería en adelante legal el uso de la no-AT & T módems
en las líneas telefónicas públicas. Esta decisión abrió el campo de las telecomunicaciones a cualquier empresa interesada en la
fabricación de equipos. El efecto en la industria fue fenomenal. En 1970, el Codex, y muchos otros, había cambiado su enfoque
en su totalidad al sector comercial.
En ese momento, el profesor Gallagher y otros habían estado investigando la teoría y la estructura de la modulación de amplitud
en cuadratura, o QAM, una técnica que podría ser valiosa en el diseño de módem. QAM es un método de combinación de dos
señales en un solo canal, por lo tanto doblando efectivamente ancho de banda.
Codex utilizar esta investigación para implementar un módem de 9600 baudios QAM
que salió en 1971. En esto vemos la cara de lo que vendrá: la tecnología comenzaba a
progresar hasta el punto donde la corriente de investigación Teoría de la Información
en realidad podría aplicarse rápidamente. La QAM 9600 fue un éxito fenomenal en
todo el mundo. De hecho, la norma internacional módem de 9600 baudios,
V.29, “fue en gran medida, escrito alrededor de nuestro módem 9600 baudios 31 ”Dice
el profesor Forney.
La Figura 9. Codex QAM 9600
Linkabit
Otra empresa pionera que aplica conceptos Teoría de la información era Linkabit, fundada por el profesor Irwin Jacobs del
MIT, y los profesores Andrew Viterbi y Len Kleinrock de la UCLA en 1968. Linkabit era una empresa de consultoría a tiempo
parcial que se inició en el campo de la codificación y
30 Una conversación con Forney, D. IEEE TI Boletín para la sociedad, junio de 1997
31 ibídem

SNAPES@MIT.EDU
descodificación. Sin embargo, pronto cambió su enfoque a las comunicaciones por satélite, y el tiempo de acceso múltiple por división de
sistemas (TDMA) 32.
Al igual que el Codex, Linkabit era rápida para tratar de aplicar las ideas teóricas. Uno de los mayores avances en la teoría de la
codificación era la decodificación Viterbi, un algoritmo óptimo para la decodificación de códigos convolucionales desarrollado por Andrew
Viterbi en 1967. decodificación secuencial, la técnica probada y verdadera-era conocido por ser sub-óptima. El algoritmo de Viterbi,
demasiado exigente para la tecnología de los años sesenta, se puso en práctica por primera vez por Linkabit: se diseñó uno de los
primeros decodificadores Viterbi, implementados en VLSI, y se aplican a los sistemas militares. “Los años 70 fue la edad del algoritmo de
Viterbi”, dice Proakis 33 haciendo hincapié en la importancia del algoritmo de Viterbi es en sistemas de comunicación de hoy en día.
También como el Codex, Linkabit finalmente cambió de investigación y trabajo militar para el sector comercial. Ellos
desarrollaron el primer teléfono inalámbrico TDMA comercial, y el primer sistema de televisión por satélite cifrada comercial,
VideoCypher.
Qualcomm
Una de las empresas pioneras que comercializan la tecnología de espectro ensanchado era Qualcomm. Qualcomm fue
fundada por Viterbi y Jacobs, quien dejó Linkabit en 1985. Su objetivo inicial era de la comunicación inalámbrica digital, y
desarrollaron CDMA para la comunicación inalámbrica de voz. CDMA es una técnica de espectro ensanchado que permite a
más personas a compartir bandas de frecuencias al mismo tiempo sin diafonía, estática o interferencias. [Qualcomm].
Qualcomm ha desarrollado la tecnología CDMA que podría acomodar varios usuarios en el mismo canal. Antes de eso, el
espectro extendido se considera un desperdicio de ancho de banda, ya que utiliza una gama de frecuencias. Hoy en día,
CDMA es un estándar para la comunicación inalámbrica y se utiliza en todo el mundo.
Las aplicaciones actuales

Los avances en la tecnología de hardware tienen dos impactos importantes sobre Teoría de la Información. Se ha proporcionado a la potencia de
cálculo para realizar complicados esquemas de codificación. esquemas increíblemente complejos tales como CDMA pueden hoy ser
implementados en un único chip. También ha hecho de codificación asequibles y fácilmente disponibles. Por ejemplo, un decodificador
Reed-Solomon ahora se sienta en la estantería de todo el mundo dentro de un reproductor de CD.
teoría de la información tiene innumerables aplicaciones en la actualidad. CDMA sigue siendo utilizado e investigado para mejorar los sistemas de
comunicaciones de voz y de datos. Las aplicaciones modernas de la gama de espectro ensanchado de los dispositivos de seguridad contra
incendios de baja velocidad a redes de área local inalámbricas de alta velocidad. Los dispositivos de almacenamiento, tales como discos duros y
memoria RAM, también emplean conceptos Teoría de la información. El uso de códigos Reed-Solomon para la compresión y códigos de Hamming
para corregir errores, se han hecho grandes avances, lo que permite gigabits de información para ser almacenada en pulgadas de espacio.
32 Corrientes RLE, Masa. Inst. Tech., la primavera de 1996
33 Proakis, J. Entrevista

SNAPES@MIT.EDU
La larga sombra del teoría de la información cae sobre muchos más de las cosas que se han vuelto comunes en la actualidad.
Ha influido fuertemente no sólo el desarrollo de sistemas inalámbricos, CDs y almacenamiento de datos, sino también las redes
de ordenadores, satélites, sistemas de comunicación óptica, teléfonos móviles, MP3, JPEG, y por supuesto, Internet. Estos son
quizás las áreas que continuarán utilizando las ideas de la teoría de la información en el futuro.
La codificación es muerto ... otra vez

Irónicamente, el pasado junio de 2001, en el Simposio Internacional IEEE sobre Teoría de la Información (ISIT), teóricos de
la información se reunieron una vez más y proclamó el campo para estar muerto. Esto no es nada nuevo. Como dijo el
profesor Forney 34, “El campo ha sido declarado muerto una y otra vez. Creo que hay una moral en que, debido a que cada
vez que se declaró muerto, surge algo nuevo “.
Pero esta vez, el campo está siendo declarado muerto por una nueva razón. No es debido a una limitación en la tecnología, ni es debido a
la capacidad del canal se puede alcanzar teóricamente. Está siendo declarado muerto debido a la capacidad del canal ha sido en realidad alcanzado
en la práctica, mediante el uso de códigos de comprobación de paridad de baja densidad y los códigos turbo. El límite de Shannon
prometida por fin se ha cumplido. Es la codificación, entonces, realmente muerto esta vez? Es esta vez de verdad? Sería más justo decir,
que en lugar de morir, se ha logrado lo que se había propuesto hacer: se ha alcanzado el límite de Shannon para el canal de ruido blanco
aditivo gaussiano. La clave, sin embargo, es que la capacidad se solamente han cumplido los canales de ruido blanco gaussiano aditivo.
Estos canales se entiende ahora prácticamente por completo. módems comerciales están disponibles que llegan muy cerca del límite de
Shannon para estos canales. Pero todavía hay problemas que deben abordarse, canales en los que los límites aún no se han alcanzado,
tales como canales inalámbricos y canales múltiples fuentes-trayectos múltiples.
Así que, aunque se podría decir que las partes de Teoría de la Información son “serio maduro 35 ”Una indicación saludable del estado
de teoría de la información hoy en día es el volumen considerable de la última edición de IEEE Transactions on Information Theory. Papeles
todavía se están escribiendo, y aún queda mucho por hacer investigación. Profesor de Princeton y ex presidente de la Sociedad
IEEE Information Theory, Sergio Verdú dice, “Tal vez el día en que un paquete de software permitirá que el ingeniero de acercarse
estrechamente la capacidad de casi cualquier canal con la tecnología de la época. Es cierto que me temo que es nosotros que
estará muerto cuando llegue ese día! 36 ”
En última instancia, ¿quién puede decir lo que está por venir? “Cada dos años el límite entre 'viable' y 'inviable' Jugada por
otro factor de dos.” 37 Si la historia sirve de indicio, Teoría de la Información y el legado de Claude Shannon tienen muchos
años más productivos por delante de ellos.
34 Transcripción, IEEE Taller sobre Teoría de la Información - Shannon Teoría: presente y futuro ' Diciembre de 1994.
35 McEliece, R. Simposio Internacional sobre Teoría de la Información, junio de 2001, citado en Forney y Proakis entrevistas.
36 Transcripción, IEEE Taller sobre Teoría de la Información - Shannon Teoría: presente y futuro ' Diciembre de 1994.

SNAPES@MIT.EDU
DISCUSIÓN Y RESUMEN
De acuerdo con Christensen 38, tecnologías emergentes tenían dificultades para ser financiados. ¿Por qué era Teoría de la
Información no es el caso? Los militares en gran medida la investigación financiada Teoría de la información porque creían en su
potencial en las comunicaciones, su área particular de interés. Los investigadores trataron de aprovechar este interés militar
adjuntando la frase “Teoría de la Información” a su trabajo, relacionados o no. Este efecto no se limita a los EE.UU.; como la
fama de Teoría de la Información se extendió, el fenómeno se produjo en Rusia. “Fueron hasta él también! 39 ”Exclamó el profesor
Fano.
La naturaleza generalizada del contrato Tri-servicios también ayudó a financiar la investigación Teoría de la información,
especialmente en el MIT, porque había menos restricciones sobre cómo se utiliza el dinero. Creyeron que Teoría de la
información podría revolucionar las comunicaciones, pero su interés principal fue la generación de un grupo de individuos
expertos en ingeniería de las comunicaciones y la electrónica. Profesor Fano discute el éxito que se encontraban en esta meta
en particular:
Terminé mi doctorado en junio de 1947. Yo era el quincuagésimo doctorado otorgado por el Departamento de
Ingeniería Eléctrica. En unos pocos años después del contrato, que se estaban graduando que muchos estudiantes
de doctorado en un año ... [Entrevista con Fano, R. 2001]
Hemos seguido la evolución de la teoría de la información desde sus comienzos hasta su estado actual. Hemos visto las
muchas influencias diferentes que han dado forma a su progreso, haciendo lo que es hoy. Como ya hemos comentado, los
factores sociales tales como las creencias personales de los miembros PGIT influyentes, como Shannon y Elias, ayudaron a
dar forma a los límites del campo. Se controló Transacciones IRE y lo que se publicó en el mismo. Al dominar el foro de
discusión en sí, que influyó en el resultado del debate. Por otra parte, los intereses de los puristas estaban alineados con los
de los militares que querían investigación en comunicaciones. Juntos, eran fácilmente capaz de sofocar la disidencia.
Como hemos visto, las influencias políticas como Sputnik y la carrera espacial ayudaron a cambiar el foco del campo hacia la
codificación de canal. Hardware limitaciones tecnológicas también controlan el progreso del campo, detener su a veces y
prestarlo impulso a otros. A pesar de todo, profetizado límite de Shannon conducía el progreso en Teoría de la Información.
Durante 50 años, la gente ha trabajado para llegar a la capacidad del canal, dijo que era posible. Sólo
recientemente hemos conseguido cerca. Su influencia fue profunda. [Lucky, R., citado en Technology
Review, Jul 2001]
MacKenzie 40 dice que una trayectoria tecnológica es como una profecía autocumplida [168]. Análoga a la Ley de Moore, límite
de Shannon define una hoja de ruta, dando a la gente una idea de dónde están en relación a donde puedan estar. Antes de
Shannon, los límites eran desconocidos y no había
38 Christensen, El dilema innovadores

40 MacKenzie, D. La invención de Precisión, 168

SNAPES@MIT.EDU
ninguna motivación clara para empujarlos. Su visión proporcionó el impulso para innovar. Una vez que explicó los límites y
define los horizontes, la gente se esforzaron para alcanzarlos. A lo largo del fondo de nuestra historia, Shannon ha estado allí,
su límite tirando de la trayectoria de la Teoría de la Información hacia la cada vez mayor rendimiento.
BIBLIOGRAFÍA
Abraham, LG Carta a Robert Fano. 1954.
Comité Administrativo, La. “Una declaración de política editorial.” Transacciones IRE sobre Teoría de la Información.
De diciembre de 1959: 136.
Bates, JAV “Importancia de la Teoría de la Información de la neurofisiología.” Transacciones sobre IRE

Teoría de la información. De febrero de 1953: 137-142. Betty Shannon.
Entrevista telefónica. 30 de noviembre de 2001.
Blachman, Nelson. “El Tercer Simposio de Londres sobre Teoría de la Información”. Transacciones IRE de Información
Teoría. De marzo de 1956 17
Caiainiello, Carta ER a Jerome B. Wiesner. 11 marzo de 1958. CDMA
Development Group. ¿Qué es CDMA? 2000. < http://www.cdg.org/tech/about_cdma.asp
>.
Cheatham, Thomas P. Jr. “una base más amplia para la PGIT.” Transacciones IRE de Información
Teoría. De diciembre de 1958: 135.
Chiu, Eugene, et al. “Teoría matemática de Claude Shannon.” 13 de diciembre de 2001. Christensen, El dilema
innovadores, Comité 2000. HarperBusiness en Ciencias de la Comunicación en la Universidad de Michigan. Informe
resumido de la
Programa de Ciencias de la Comunicación en la Universidad de Michigan. 15 de abril de 1960. Costello et al. “Aplicaciones de error de
codificación-Control.” IEEE Transactions on Information Theory. octubre

1998: página ????.
De Rosa, LA “En qué ámbitos Nos pastan?” Transacciones IRE sobre Teoría de la Información. De diciembre de 1955: 2 Edén, Murray. Entrevista
personal. 5 de noviembre de 2001. Elias, Peter. Carta a Andrew E. Ford. 3 Sept 1959. Elias, Peter. “Papeles dos famosos.” Transacciones IRE sobre
Teoría de la Información. De septiembre de 1958: 99 Fano, Robert M. “anuncio preliminar - Simposio sobre Teoría de la Información.” 19 de marzo de
1954. Fano, Robert M. entrevista personal. 1 de noviembre de 2001. Fano, Robert M. Entrevista personal. 15 noviembre de 2001.

SNAPES@MIT.EDU
Fano, Robert M. notas 6.574 conferencias. 1950. Forney, Entrevista David G. personal. 29 de noviembre de 2001. Forney, David G. “1995 Shannon
Conferencia.” IEEE Information Theory Boletín para la sociedad. Verano 1998: 21.
<Http://golay.uvic.ca/nltr/96_mar/06sha.pdf>. Frontera de banda ancha. Historia de la página Spread Spectrum
Technology. 30 de noviembre de 2001.

<Http://www.frontierbb.com/benefits_history.html>. Gabor, D. “Teoría de la Comunicación pasado, presente y prospectiva”. Transacciones
IRE sobre Teoría de la Información.

De febrero de 1953: 2.
Gallagher, Robert. Entrevista personal. 19 de noviembre de 2001.
Gallagher, Robert G. “Claude E. Shannon: una retrospectiva sobre su vida, obra e impacto.” IEEE Transactions on
Teoría de la información. Noviembre de 2001: 2681-2695.
Hochfelder, D. “Una historia oral con el Dr. Paul Green.” Centro de Historia del IEEE. 15 octubre de 1999.
<Http://www.ieee.org/organizations/history_center/oral_histories/transcripts/pgreen.html>. Huffman, Ken. Página de
David Huffman elegía.

< http://home.columbus.rr.com/kenhuffman/family/elegy.html >.
Huggins, Carta a WH Comandante Gould Hunter. 1954.
IEEE Information Theory Boletín para la sociedad. “Taller IEEE sobre Teoría de la Información
'Shannon Teoría: presente y futuro.'”Diciembre de 1994.
IEEE Information Theory Boletín para la sociedad. “Una conversación con David G. Forney Jr.” de junio de 1997. Jachimczyk, W. Worcester
Polytechnic Institute. Página de espectro ensanchado.

<Http://www.ece.wpi.edu/courses/ee535/hwk11cd95/witek/witek.html>. Jamil, Asad. “Un
simple codificador convolucional y el decodificador Viterbi.”

<Http://www.ecel.ufl.edu/~ajamil/report400.html>. Latour, B. Ciencia en Acción, Harvard University Press, 1987 Massey, JL “comunicación en
el espacio profundo y codificación.”, En Lecture Notes para el Control y Ciencias de la Información 82
J. Hagenauer, Ed .. Bonn, Alemania: Springer-Verlag, 1992.
Mueller, GE “Teoría de la información del informe de progreso 1960-1963: Comunicación Espacial”. IEEE
Las transacciones en Teoría de la Información. De octubre de 1963: 257-264. MacKenzie, D. La
invención de Precisión, MIT Press 1993.
Peterson, WW y J. Massey. “Teoría de la Información Informe de Progreso 1960-1963: Codificación

Teoría." IEEE Transactions on Information Theory. De octubre de 1963: 223-229. Proakis, John. Entrevista
personal. 16 de noviembre de 2001. Qualcomm. Acerca de página. < http://www.qualcomm.com/about/ >.

SNAPES@MIT.EDU
Reynolds, John H. Carta a Robert Fano. 27 de de febrero de 1973.
Riley, Laura J. 4i2i Communications Ltd. “codificación convolucional.” 11 octubre de 2001.

< http://www.4i2i.com/viterbi.htm >.
Corrientes RLE. “En el camino hacia el éxito con los fundadores de la compañía Alumni de RLE.” Primavera 1996.
< http://rleweb.mit.edu/Publications/currents/8-1cov.htm#jaco >.
Ross, Arthur HM Introducción a CDMA. 11 junio de 1996.

< http://www.amug.org/~ahmrphd/Intro.html >.
Shannon, Claude E. “El tren en marcha.” Transacciones IRE sobre Teoría de la Información. De marzo de 1956 3 Shannon,
Claude E. y Warren Weaver. "La teoria matematica de la comunicacion."

Urbana, Illinois: University of Illinois Press, 1949. Stephenson,
Robert C. Carta a Robert Fano. 13 de julio 1965.
Stumpers, F. Louis HM “Teoría de la Información y las organizaciones internacionales de radio.” Transacciones sobre IRE
Teoría de la información. De junio de 1957 85. Tuller, WC Carta a LG Abraham. 11 enero de 1954. Viterbi,
Andrew J. “Teoría de la Información en los años sesenta.” IEEE Transactions on Información
Teoría. Mayo 1973: 257-262.
Waldrop, Mitchell M. “Claude Shannon: Padre renuente de la era digital.” Tecnología

Revisión. Julio / agosto de 2001. <http://www.techreview.com/magazine/jul01/waldrop.asp>. Wiener, Norbert. “¿Qué es la Teoría de la
Información?”. Transacciones IRE sobre Teoría de la Información. De junio de 1956, 48 Lobo, Jack K. “Un Estudio de Teoría de Códigos: 1967-1972.” IEEE
Transactions on Información
Teoría. De julio de 1973: 381-388.
Yankopolus, Andreas. “Cápsula historia del control de error de código.”

< http://www.csc.gatech.edu/~yank/research/history.pdf >.

SNAPES@MIT.EDU

Teoría de La Información

Transféré par

Informations du document

Description originale:

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Teoría de La Información

Transféré par

Droits d'auteur :

Formats disponibles

Aftab, Cheung, Kim, Thakkar, Yeddanapudi Me NFORMACIÓN T HEORY y L A D R EVOLUCIÓN IGITAL 1

UN FTAB, do HEUNG, K ESTOY, T Hakkar, Y EDDANAPUDI

6.933 - F INAL PAG APER

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

“Teoría matemática de la comunicación” de Shannon

Capacidad de canal y el Teorema de Codificación de Canal Ruidoso

1 Gallagher, R. Citado en Technology Review,

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

Arquitectura formal de Sistemas de Comunicación

Figura 1. De Shannon de “Una teoría matemática de la comunicación”, página 3.

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

La eficiencia de la representación: Fuente Codificación

Entropía e información contenido

3 Shannon, C. Una teoría matemática de la comunicación, pg. 3

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

TRAYECTORIA DE LA TEORÍA DE LA INFORMACIÓN - I

Creación del Campo

4 Latour. SEGUNDO, Ciencia en Acción, pg. 150

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

La circulación y la propagación de las ideas

documentos y para permitir que los foros de discusión.

5 Latour, B. Ciencia en Acción, pg. 150

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

9 Latour, B. Ciencia en Acción, pg. 150

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

Una comprensión profunda de la matemática fundación y su

para trabajar en ... problemas importantes que necesitan investigación .

12 Latour, B. Ciencia en Acción, pg. 211

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

[Elias, P. Dos papeles famosos, Sep 1958]

[Stumpers “Teoría de la Información y Int. Organizaciones de radio”en junio de 1957, 85]

Digresión - Algunos Antecedentes esencial

14 Latour, B. Ciencia en Acción, pg. 172

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

[El Comité Administrativo PGIT en 1959, 136 (énfasis añadido)]

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

TRAYECTORIA II - progresión de la CAMPO

Spread Spectrum Technology

respaldada por los militares y fue altamente clasificadas dieciséis.

dieciséis CDMA Development Group, sitio web.

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

17 Jachimczyk, W. Doble página web espectro

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

Los códigos convolucionales y decodificación secuencial

Lo que hizo que este método particular particularmente atractivo

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

Debido a estas razones el profesor James L. Massey llama espacio profundo

Los avances en la tecnología de hardware

Mientras que estaban desarrollando códigos Reed-Muller de la serie Mariner, la tecnología

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

“Codificación está muerto”

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

TRAYECTORIA III - APLICACIONES COMERCIALES Y PROBLEMAS DE LA TECNOLOGÍA

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts

Las aplicaciones actuales

32 Corrientes RLE, Masa. Inst. Tech., la primavera de 1996

6.933 Historia del Proyecto, Instituto de Tecnología de Massachusetts