La comunicación en la presencia de ruido

CLAUDE E. Shannon, MIEMBRO, IRE

papel clásico

Se desarrolla un método para representar cualquier sistema de comunicación

geométricamente. Los mensajes y las señales correspondientes son puntos en dos
“espacios de funciones”, y el proceso de modulación es una asignación de un espacio en
el otro. Usando esta representación, una serie de resultados en teoría de la comunicación
se deduce concern- ing expansión y compresión del ancho de banda y el efecto umbral.
Las fórmulas se encontraron para la velocidad máxima de transmisión de dígitos binarios
a través de un sistema cuando la señal es perturbado por varios tipos de ruido. Se
discuten algunas de las propiedades de los sistemas “ideales” que transmiten en este tipo
máximo. se calcula el número equivalente de dígitos binarios por segundo para ciertas
fuentes de información. Figura 1. sistema general de comunicaciones.

perturbaciones. La distorsión puede, en principio, ser corregido mediante la

I. INTRODUCCIÓN
Un sistema de comunicaciones general se muestra camente schemati- en la Fig. 1.
Se compone esencialmente de cinco elementos.
1) una fuente de información: La fuente selecciona uno MeS- salvia de
un conjunto de posibles mensajes a transmitir al terminal receptor. El
mensaje puede ser de varios tipos; por ejemplo, una secuencia de letras o
números, como en telegrafía o teletipo, o una función continua de tiempo
aplicación de la operación inversa, mientras que una perturbación debida al ruido
no siempre se puede quitar, ya que la señal no siempre los mismos cambios
durante la transmisión.
4) El receptor: Esta opera sobre la señal recibida y los intentos de
reproducir, de ella, el mensaje original. Por lo general se llevará a cabo
aproximadamente el inverso matemático de las operaciones del transmisor,
aunque pueden diferir de alguna manera con el mejor diseño con el fin de
combatir el ruido.

, como en radio o telefonía. 5) El Destino: Esta es la persona o cosa a la que va dirigido el mensaje.
2) El transmisor: Este opera en el mensaje de alguna manera y produce Después de Nyquist 1 y Hartley, 2 es conveniente utilizar una medida logarítmica de
una señal adecuada para su transmisión al punto de recepción sobre el canal. la información. Si un dispositivo tiene posiciones posibles que puede, por
En telefonía, esta operación consiste en el simple cambio de presión de definición, las unidades de registro de almacén de información. La elección de la
sonido en una corriente eléctrica proporcional. En telegrafía, tenemos una base equivale a una elección de la unidad, ya que log
operación de codificación que produce una secuencia de puntos, guiones y
espacios que corresponden a las letras del mensaje. Para tomar un ejemplo Iniciar sesión . Vamos a utilizar la base
Iniciar sesión
más complejo, en el caso de la telefonía multiplex PCM las diferentes 2 y llamar a las unidades resultantes dígitos binarios o bits. Un grupo de
funciones del habla deben ser muestreados, comprimido, cuantificados y relés o flip-circuitos op ha posibles conjuntos de
codificados, y fi nalmente intercaladas adecuadamente para construir la señal. posiciones, y, por consiguiente registro tienda Bits.
Si es posible distinguir de forma fiable señal diferente
funciones de duración en un canal, se puede decir que el canal puede
3) El Canal: Esto es simplemente el medio utilizado para transmitir la señal transmitir registro bits en tiempo . los tarifa de
desde el transmisor hasta el punto de recepción. Puede ser un par de cables, transmisión se inicie sesión . Más precisamente, la canal
un cable coaxial, una banda de frecuencias de radio, etc. Durante la capacidad puede ser definido como
transmisión, o en el terminal receptor, la señal puede ser perturbada por el
ruido o la distorsión. El ruido y la distorsión pueden ser diferenciados en base
(1)
a que la distorsión es una operación fija aplicada a la señal, mientras que el
ruido implica estadística e impredecible
1 H. Nyquist, “Ciertos factores que afectan la velocidad de telégrafo,” Campana Syst. Tech.

J., vol. 3, p. 324, abril de 1924.

Este papel se reimprime de la P Os procedimientos sustanciados DE LA IRE, vol. 37, no.
2 RVL Hartley, “La transmisión de la información” Campana Syst. Tech.
1, pp. 10-21, enero de 1,949.
Editorial artículo Identi fi er S 0018-9219 (98) 01299-7. J., vol. 3, p. 535-564, julio de 1928.

0018-9219 / 98 $ 10.00 © IEEE 1998

ACTAS DE LA IEEE, vol. 86, NO. 2, febrero de 1998 447

Un significado exacto se dará más adelante a la exigencia de la resolución aparte. La función se puede simplemente reconstruye a partir de las muestras
fiable de la señales. mediante el uso de un pulso del tipo

pecado
II. T ÉL S UESTREO T HEOREM (6)

Vamos a suponer que el canal tiene un ancho de banda determinado en cps a

Esta función es la unidad en y cero en ,
partir de la frecuencia cero, y que se nos permite usar este canal durante un
es decir, en todos los demás puntos de muestra. Además, su espectro es constante en la
cierto período de tiempo . Sin
banda de y cero fuera. En cada muestra
ninguna restricción adicional, esto significaría que podemos utilizar como funciones de señal
apuntar un pulso de este tipo se coloca cuya amplitud se ajusta a la igualdad
de cualquier función del tiempo cuya espectros situada en su totalidad dentro de la banda
de la de la muestra. La suma de estos pulsos es la función requerida, ya que
, y cuyas funciones de tiempo se encuentran
satisface las condiciones en el espectro y pasa a través de los valores
dentro del intervalo . A pesar de que no es posible cumplir fi ll
muestreados. Matemáticamente, este proceso puede ser descrito como sigue.
ambas condiciones exactamente, es posible mantener el espectro dentro
Dejar
de la banda , y tener la función de tiempo
ser el ésima muestra. Entonces la función es
muy pequeño fuera del intervalo . Podemos describir de una forma más
representado por
forma útil de las funciones que cumplen estas condiciones? Una respuesta
es la siguiente. pecado
(7)
Teorema 1: Si una función no contiene frecuencias
más alto que cps, que está completamente determinada por dar
sus ordenadas en una serie de puntos espaciados media segundos Un resultado similar es cierto si la banda no empieza
aparte. en la frecuencia cero pero en algún valor más alto, y puede ser probado de una
Este es un hecho que es de conocimiento común en la técnica de traducción lineal (que corresponde físicamente a la modulación de banda lateral
comunicación. La intuitiva justificación es que, si no contiene las frecuencias única) de la caja de frecuencia cero. En este caso se obtiene el pulso elemental
más alto que , no se puede cambiar a del pecado por

una sustancialmente nuevo valor en un tiempo de menos de un medio ciclo de la modulación de banda lateral única. Si la función se limita al
frecuencia más alta, es decir, 1/2. Una prueba matemática que muestra que esto no es intervalo de tiempo y el
sólo aproximadamente, pero exactamente, la verdadera se puede dar la siguiente muestras están espaciados 1/2 segundo aparte, habrá un total de
manera. Dejar ser el muestras en el intervalo. Todas las muestras fuera serán
espectro de . Entonces sustancialmente cero. Para ser más precisos, podemos de fi nir una función que se ha
limitado al intervalo de tiempo si y solo si,
(2) todas las muestras fuera de este intervalo son exactamente cero. Entonces podemos
decir que cualquier función limitada al ancho de banda y el intervalo de tiempo
puede ser indicado por dar
(3)
números.
Teorema 1 se ha dado anteriormente en otras formas por los matemáticos 3 pero
ya que se supone cero fuera de la banda . Si dejamos a pesar de su evidente importancia no parece haber aparecido de manera
explícita en la literatura de la teoría de la comunicación. Nyquist, 4, 5 Sin
(4) embargo, y más recientemente Gabor, 6 han señalado que aproximadamente
números son su fi ciente, basando sus argumentos en un desarrollo en serie de
dónde es cualquier número entero positivo o negativo, obtenemos Fourier de la función sobre el intervalo de tiempo

(5) . esta dada y términos coseno hasta

frecuencia . La ligera discrepancia se debe al hecho
que las funciones obtenidas de esta manera no se limitan estrictamente a la
A la izquierda están los valores de en los puntos de muestreo. los
banda pero, a causa de la repentina partida
integral de la derecha serán reconocidos como esencialmente la ésimo coeficiente en
y la detención de los componentes seno y coseno, contener algún contenido
un desarrollo de Fourier de la serie de la función de
de frecuencias fuera de la banda. Nyquist señaló la importancia fundamental
, teniendo el intervalo a como fundamental
de los segundos intervalos de tiempo en relación con la telegrafía, y vamos a
período. Esto significa que los valores de las muestras determinan los
llamar a este intervalo de Nyquist correspondiente a la banda
coeficientes de Fourier en el desarrollo en serie de
.
. De este modo se determinan , ya que es cero para
3 JM Whittaker, Teoría Función Interpolatory, Cambridge Tracts en Matemáticas y Física
frecuencias superiores , y para frecuencias más bajas
Matemática, no. 33. Cambridge, UK: Cambridge Univ. Prensa, cap. IV, 1935.
se determina si se determinan sus coe fi cientes de Fourier. Pero
determina la función original completamente, 4 H. Nyquist, “Ciertos temas en la teoría de la transmisión de telégrafo,” AIEE Trans., pag. 617, abril

puesto que se determina una función de si se conoce su espectro. Por lo de 1928.

5 WR Bennett, “sistemas de multiplexión por división de tiempo” Campana Syst. Tech.
tanto las muestras originales determinan la función por completo. Hay una
J., vol. 20, p. 199, abril de 1941, donde se establece un resultado similar al Teorema 1, pero sobre una
y sólo una función cuyo espectro se limita a una banda
base de estado estable.
, y que pasa a través 6 D. Gabor, “Teoría de la comunicación,” J. Inst. Electo. Ing. ( Londres), vol. 93, pt. 3, no. 26, p.

valores dados en puntos de muestreo separados 1,2 segundos 429, 1946.

448 ACTAS DE LA IEEE, vol. 86, NO. 2, febrero de 1998

 los los números utilizados para especificar la función no tiene por qué usando el hecho de que

ser las muestras igualmente espaciadas utilizados anteriormente. Por ejemplo, las
muestras pueden ser distribuidas de manera desigual, aunque, si hay considerable pecado pecado

agrupamiento, las muestras deben ser conocidos de forma muy precisa para dar una
buena reconstrucción de la función. El proceso de reconstrucción también es más
involucrada con espaciamiento desigual. Se puede demostrar, además, que el valor de
(11)

la función y su derivada en cada otro punto de muestra están su fi ciente. Los derivados
de valor y primera y segunda en cada tercer punto de muestra dan un conjunto todavía Por lo tanto, el cuadrado de la distancia a un punto es veces el
diferente de parámetros que determinan unívocamente la función. En términos energía (más precisamente, la energía en una resistencia unidad) de la señal
generales, cualquier conjunto de correspondiente

números independientes asociados con el

función se puede utilizar para describirlo.
(12)

dónde es la potencia media sobre el tim mi . Similar,

III. GRAMO EOMETRICAL R REPRESENTACIÓN DE LA S IGNALS
la distancia entre dos puntos es veces el valor eficaz
Un conjunto de tres números , , , independientemente de su
discrepancia entre las dos señales correspondientes. Si tenemos en cuenta sólo
fuente, siempre se puede considerar como coordenadas de un punto en el espacio
las señales cuya potencia media sea inferior a
tridimensional. Del mismo modo, la uniformemente espaciadas
, éstos corresponden a puntos dentro de una esfera de radio
muestras de una señal pueden ser considerados como coordenadas de un punto en un
espacio de dimensiones. cada particular,
la selección de estos números corresponde a un punto en particular en este espacio. (13)
Por lo tanto hay exactamente un punto correspondiente a cada señal en la banda de
y con la duración. Si se añade ruido a la señal en la transmisión, que significa que el punto

El número de dimensiones será, en general, muy correspondiente a la señal se ha desplazado una cierta distancia en el espacio

alto. Una señal de televisión 5-Mc duración de una hora estaría representada por proporcional al valor rms del ruido. Por lo tanto ruido produce una pequeña

un punto en un espacio con región de incertidumbre acerca de cada punto en el espacio. Una distorsión fija

dimensiones. Ni que decir tiene, un espacio de este tipo no puede ser en el canal corresponde a una deformación del espacio, de modo que se

visualizado. Es posible, sin embargo, para estudiar analíticamente las propiedades de mueve cada punto, pero en una de fi finito manera fija. En el espacio

- espacio dimensional. A una considerable tridimensional ordinario es posible establecer diferentes sistemas de

medida, estas propiedades son una generalización simple de los propiedades del coordenadas. Esto también es posible en el espacio de la señal de

espacio de dos y tres dimensiones, y, a menudo se puede llegar a por

razonamiento inductivo a partir de estos casos. La ventaja de esta representación dimensiones que nos

geométrica de las señales es que podemos utilizar el vocabulario y los resultados están considerando. Un sistema diferente de coordenadas corresponde a una forma

de la geometría en el problema de comunicación. Esencialmente, hemos diferente de la descripción de la misma función de la señal. Las diversas formas de

sustituido una entidad compleja (por ejemplo, una señal de televisión) en un especificar una función dada anteriormente son casos especiales de este. Otra forma

entorno sencillo [la señal requiere sólo un avión para su representación como de particular importancia en la comunicación es en términos de componentes de
frecuencia. La función

] Por una entidad sencilla (un punto) en una se puede ampliar como una suma de senos y

entorno complejo ( espacio dimensional). cosenos de frecuencias aparte, y los coeficientes utilizados

Si imaginamos la ejes de coordenadas para estar a la derecha como un conjunto diferente de coordenadas. Se puede demostrar que estas

ángulos entre sí, entonces las distancias en el espacio tienen una coordenadas son todos perpendiculares entre sí y se obtienen por lo que es

interpretación sencilla. La distancia desde el origen a un punto es análoga a esencialmente una rotación del sistema de coordenadas original.

la de dos y casos tridimensionales

Pasar una señal a través de un filtro ideales corresponde a proyectar el punto
correspondiente sobre una cierta región en el espacio. De hecho, en el sistema de

(8) frecuencia coordenada se retienen aquellos componentes que yacen en la banda de

paso del filtro y los que están fuera son eliminados, de modo que la proyección está
en una de las coordenadas líneas, planos o hiperplanos. Cualquier filtro realiza una
dónde es la ésima muestra. Ahora, ya operación lineal en los vectores de la espacio, produciendo un nuevo vector
linealmente relacionada con el antiguo.

pecado
(9)

IV. GRAMO EOMETRICAL R REPRESENTACIÓN DE METRO ENSAJES

tenemos Hemos asociado un espacio de dimensiones con el

conjunto de posibles señales. De manera similar se puede asociar un espacio con el

(10) conjunto de posibles mensajes. Supongamos que estamos considerando un sistema

de voz y los mensajes que consisten

SHANNON: La comunicación en la presencia de ruido 449


Figura 2. La reducción de dimensionalidad a través de clases de equivalencia.
de todos los sonidos posibles que no contienen frecuencias de más de un cierto límite
y una duración de una hora . resultante tiene una dimensionalidad, lo que, por supuesto, ser menor o igual
Al igual que para el caso de las señales, estos mensajes pueden ser
representados de una manera uno-a-uno en un espacio de dimensiones. Hay
varios puntos que deben observarse, sin embargo. En el primer lugar fi, varios
puntos diferentes pueden representar el mismo mensaje, en la medida en que se
refiere al destino final. Por ejemplo, en el caso de voz, el oído es insensible a una
cierta cantidad de distorsión de fase. Los mensajes que difieren sólo en las fases
de sus componentes (en un grado limitado) sonar el mismo. Esto puede tener el
efecto de reducir el número de dimensiones esenciales en el espacio de
mensaje. Todos los puntos que son equivalentes para el destino se pueden
agrupar juntos y se tratan como un punto. Entonces puede requerir un menor
número para especificar una de estas “clases de equivalencia” que para
especificar un punto arbitrario. Por ejemplo, en la Fig. 2 tenemos un espacio de
dos dimensiones, el conjunto de puntos en un cuadrado. Si todos los puntos en
un círculo se consideran equivalentes, se reduce a un espacio-a unidimensional
punto ahora puede ser indicado por un número, el radio del círculo. En el caso de
sonidos, si el oído eran completamente insensibles a la fase, a continuación, el
número de dimensiones se reduciría a la mitad debido a esta causa solo. Los
componentes seno y coseno
y para una frecuencia dada no lo haría
necesita ser específico ed independientemente, pero sólo
es decir, la amplitud total para esta frecuencia. La reducción en la discriminación
de frecuencias de la oreja medida que aumenta la frecuencia indica que una
reducción adicional de dimensionalidad se produce. El vocoder hace uso en un
grado considerable de estas equivalencias entre los sonidos del habla, en el
primer lugar fi eliminando, en gran medida, la información de fase, y en segundo
lugar por la formación de grumos grupos de frecuencias juntos, en particular en
las frecuencias más altas.
En otros tipos de comunicación puede que no haya ningún clases de
equivalencia de este tipo. El destino final es sensible a cualquier cambio en
el mensaje dentro del espacio mensaje lleno de
dimensiones. Esto parece ser
el caso en la transmisión de televisión.
Un segundo punto a destacar es que la fuente de información puede poner
ciertas restricciones en los mensajes reales. El espacio de
dimensiones contiene un punto de cada
en función del tiempo limitado a la banda de y de la duración
. La clase de los mensajes que queremos transmitir puede ser sólo un pequeño
subconjunto de estas funciones. Por ejemplo, los sonidos del habla deben ser
producidos por el sistema vocal humano. Si estamos dispuestos a renunciar a la
transmisión de cualquier otro sonido, la dimensionalidad efectiva puede ser
considerablemente
450
disminuido. Un efecto similar puede ocurrir a través de consideraciones de
probabilidad. Algunos mensajes pueden ser posibles, pero tan improbable en
relación con los otros que podemos, en un cierto sentido, el abandono de ellos. En
una imagen de televisión, por ejemplo, cuadros sucesivos son probables de ser
casi idénticos. Hay una probabilidad razonable de un elemento de imagen
particular que tiene la misma intensidad de la luz en imágenes sucesivas. Si esto
se analiza matemáticamente, da lugar a una reducción efectiva de la
dimensionalidad del espacio de mensaje cuando es grande.
No vamos a entrar más en estos dos efectos en la actualidad, pero
supongamos que, cuando se toman en cuenta, el espacio de mensaje
a . En muchos casos,
a pesar de que los efectos están presentes, su utilización implica demasiada
complicación en la forma de equipo. El sistema está diseñado continuación, sobre
la base de que todas las funciones son diferentes y que no existen limitaciones a
la fuente de información. En este caso, el espacio de mensaje se considera que
tiene el pleno
dimensiones.
V. G EOMETRICAL R REPRESENTACIÓN DE LA
T Y TRANSMISOR R ECEIVER
Consideremos ahora la función del transmisor desde este punto de vista geométrico. La entrada
al transmisor es un mensaje; es decir, un punto en el espacio de mensaje. Su salida es un punto de
señal de una en el espacio de señal. Cualquiera sea la forma de codificación o modulación se lleva
a cabo, el transmisor debe establecer alguna correspondencia entre los puntos en los dos espacios.
Cada punto en el espacio de mensaje debe corresponder a un punto en el espacio de la señal, y no
hay dos mensajes puede corresponder a la misma señal. Si lo hicieran, no habría manera de
determinar en el receptor cuál de los dos mensajes que se pretendía. El nombre geométrico para
una correspondencia de este tipo es un mapeo. El transmisor asigna el espacio de mensaje en el
espacio de la señal. De manera similar, el receptor asigna el espacio de la señal de nuevo en el
espacio de mensaje. Aquí, sin embargo, que es posible tener más de un punto mapeado en el
mismo punto. Esto significa que varias señales diferentes son demoduladas o decodificados en el
mismo mensaje. En AM, por ejemplo, la fase de la portadora se pierde en la demodulación.
; ese
Diferentes señales que difieren sólo en la fase de la portadora se demodulan en el mismo mensaje.
En FM la forma de la onda de la señal por encima del valor límite del limitador no afecta el mensaje
recuperado. En PCM considerable distorsión de los impulsos recibidos es posible, sin ningún efecto
en la salida del receptor. Diferentes señales que difieren sólo en la fase de la portadora se
demodulan en el mismo mensaje. En FM la forma de la onda de la señal por encima del valor límite
del limitador no afecta el mensaje recuperado. En PCM considerable distorsión de los impulsos
recibidos es posible, sin ningún efecto en la salida del receptor. Diferentes señales que difieren sólo
en la fase de la portadora se demodulan en el mismo mensaje. En FM la forma de la onda de la
señal por encima del valor límite del limitador no afecta el mensaje recuperado. En PCM
considerable distorsión de los impulsos recibidos es posible, sin ningún efecto en la salida del
receptor.
Hemos establecido hasta ahora una correspondencia entre un sistema
de comunicación y ciertas ideas geométricas. La correspondencia se
resume en la Tabla 1.
VI. METRO APPING do ONSIDERACIONES
Es posible sacar algunas conclusiones de carácter general con respecto a
los métodos de modulación de la imagen geométrica solo. Matemáticamente,
los tipos más simples de pings MAP son aquellos en los que los dos espacios
tienen el mismo
ACTAS DE LA IEEE, vol. 86, NO. 2, febrero de 1998
tabla 1
Fig. 3. Mapeo similar a la modulación de frecuencia.
número de dimensiones. ción modula- amplitud de banda lateral única es un
ejemplo de este tipo y un especialmente sencillo, ya que las coordenadas en el
espacio de la señal son proporcionales a las coordenadas correspondientes en el
espacio de mensaje. En la transmisión de doble banda lateral del espacio de señal
tiene dos veces el número de coordenadas, pero ocurren en pares con valores
iguales. Si sólo había una dimensión en el espacio de mensaje y dos en el espacio
de la señal, que correspondería a la cartografía de una línea a una plaza de modo
que el punto de la línea está representada por
en la plaza. Por lo tanto no signi fi cativa
se hace uso de las dimensiones extra. Todos los mensajes entran en un
subespacio sólo tener dimensiones.
En la modulación de frecuencia el mapeo es más complicado. El espacio de
la señal tiene una dimensión mucho mayor que el espacio de mensajes. El tipo
de mapeo puede ser sugerido por la Fig. 3, donde una línea se mapea en un
espacio tridimensional. La línea comienza en la unidad de distancia desde el
origen en el primer eje de coordenadas, se mantiene a esta distancia desde el
origen en un círculo al siguiente eje de coordenadas, y luego va a la tercera. Se
puede observar que la línea se alarga en esta asignación en proporción al
número total de coordenadas. No es, sin embargo, casi tan largo como podría
ser si se enrolla hacia atrás y adelante a través del espacio, llenando hasta el
volumen interno de la esfera que atraviesa.
Esta expansión de la línea está relacionada con la mejora de la relación señal
a ruido que se puede obtener con mayor ancho de banda. Puesto que el ruido
produce una pequeña región de incertidumbre sobre cada punto, el efecto de esto
en el mensaje recuperado será menor si el mapa está en una gran escala. Para
obtener la mayor escala posible requiere que la línea de atrás y vagar
SHANNON: La comunicación en la presencia de ruido
Fig. 4. mapeo fi ciente de una línea en un cuadrado.
vuelta a través de la región de dimensiones superiores, como se indica en
la Fig. 4, donde hemos mapeado una línea en un cuadrado. Se observará
que cuando se hace esto el efecto del ruido es pequeño en relación a la
longitud de la línea, siempre que el ruido es menor que un cierto valor
crítico. A este valor se convierte en incierto en el receptor en cuanto a qué
parte de la línea contiene el mensaje. Esto es válido en general, y
demuestra que cualquier sistema que trata de utilizar las capacidades de
una banda más ancha, hasta donde sea posible, se sufre de un efecto
umbral cuando hay ruido. Si el ruido es pequeño, se producirá muy poca
distorsión, pero en algún amplitud de ruido crítico el mensaje llegará a ser
muy muy distorsionada. Este efecto es bien conocido en PCM.
Supongamos, por el contrario, queremos reducir dimensionalidad, es decir,
para comprimir el ancho de banda o el tiempo, o ambos.
y la duración
sobre un canal con . Que ya ha sido
indicó que la dimensionalidad efectiva del espacio de mensaje puede ser
menor que debido a las propiedades de la
origen y del destino. Por lo tanto necesitamos ciertamente no más de
dimensión en el espacio de señal para un buen
cartografía. Para hacer este ahorro es necesario, por supuesto, para aislar las
coordenadas efectivas en el espacio de mensaje, y enviar estos solo. La
transmisión de ancho de banda reducido de expresión por el codificador de voz
es un caso de este tipo. Se plantea la cuestión, sin embargo, en cuanto a si una
reducción adicional es posible. En nuestra analogía geométrica, es posible
asignar un espacio de alta dimensionalidad a una de menor dimensionalidad?
La respuesta es que es posible, con ciertas reservas. Por ejemplo, los puntos
de un cuadrado pueden ser descritos por sus dos coordenadas, que podría ser
escritas en notación decimal
(14)
A partir de estos dos números podemos construir un número de dígitos tomando
alternativamente desde y
(15)
El conocimiento de y determina, y determina
ambos y . Así, hay una correspondencia uno-a-uno entre los puntos de un
cuadrado y los puntos de una línea.
451
 Este tipo de asignación, debido al matemático Cantor, se puede ampliar VII. T ÉL do APACIDAD DE A do ANALES DE LA
fácilmente por lo que deseamos en la dirección de la reducción de PAG RESENCIA DE W HITE T HERMAL norte OISE
dimensionalidad. Un espacio de Las dimensiones se pueden
No es difícil de establecer ciertas relaciones cuantitativas importantes que han
mapeado de una manera uno-a-uno en un espacio de una dimensión. Físicamente, de cuando cambiamos el producto . Nos deja
esto significa que el producto frecuencia-tiempo puede ser reducido por lo que Supongamos, por la presente, que el ruido en el sistema es una banda-ruido
deseamos cuando no hay ruido, con la recuperación exacta de los mensajes térmico blanco limitado a la banda , y eso
originales. se añade a la señal transmitida para producir la señal recibida. Un ruido
En un sentido menos exacta, un mapeo del tipo mostrado en la Fig. 4 los mapas de un
térmico blanco tiene la propiedad de que cada muestra es perturbado de forma
cuadrado en una línea, a condición de que no son demasiado particular sobre la recuperación
independiente de todos los demás, y la distribución de ea do h amplitud es
de exactamente el punto de partida, pero estamos satisfechos con uno cercano. La
gaussiana con desviación estándar
sensibilidad nos dimos cuenta antes, cuando el aumento de dimensionalidad ahora toma una
dónde es la potencia media de ruido.
forma diferente. En una asignación de este tipo, para reducir
¿Cuántas señales diferentes se pueden distinguir en el punto de recepción a
, habrá una pesar de las perturbaciones debidas al ruido? Una estimación cruda se puede
cierto efecto umbral cuando perturbar la mensaje. A medida que cambiamos obtener como sigue. Si la señal tiene una potencia
el mensaje de una pequeña cantidad, la señal correspondiente cambiará una , entonces la señal perturbada tendrá una potencia
pequeña cantidad, hasta que se alcanza un cierto valor crítico. En este punto, . El número de amplitudes que pueden ser razonablemente
la señal se someterá a un cambio considerable. En la topología se muestra 7 que distingue bien es
no es posible mapear una región de dimensión más alta en una región de
dimensión inferior continuamente. Es la discontinuidad necesario que produce
(dieciséis)
los efectos de umbral que hemos descrito para sistemas de comunicación.
Esta discusión es relevante para la conocida “ley Hartley”, que establece que dónde es una pequeña constante en la vecindad de la unidad
“un límite superior a la cantidad de información que se puede transmitir es dependiendo de cómo “razonablemente bien” se interpreta la frase. Si se
establecido por la suma de las distintas líneas de la disponibilidad del requiere muy buena separación, será
producto de la gama de frecuencia de línea de cada uno por el tiempo ser pequeña, mientras que la tolerancia de errores ocasionales permite ser más grande. Dado
durante el cual está disponible para su uso.”Hay ​un sentido en el que esta que en el tiempo existen independiente
afirmación es cierta, y otro sentido en el que es falso. No es posible mapear amplitudes, el número total de señales razonablemente distintos es
el espacio de mensaje en el espacio de señal en una, de manera continua
uno-a-uno (esto se conoce matemáticamente como una topológico mapping) a
menos que los dos espacios tienen la misma dimensionalidad; es decir, a (17)
menos

El número de bits que pueden ser enviados en este tiempo es log ,

y la tasa de transmisión es

. Por lo tanto, si limitamos el transmisor y el receptor Iniciar sesión (bits por segundo) (18)
a continuas operaciones de uno-a-uno, hay un límite inferior para el producto
en el canal. Este límite inferior es La di fi dif con este argumento, además de su carácter general

determinado, no por el producto de ancho de banda mensaje aproximada, radica en el supuesto tácito de que para dos señales sean

y el tiempo, sino por el número de esencial dimensión , como distinguibles deben difieren en algún punto de muestreo en más del ruido

indica en la Sección IV. Hay, sin embargo, hay una buena razón para limitar esperado. El argumento presupone que PCM, o algo muy similar a la PCM,

el transmisor y el receptor de asignaciones topológicos. De hecho, PCM y es el mejor método de codificación de dígitos binarios en señales. En

sistemas de modulación similares son altamente discontinua y vienen muy realidad, dos señales resulta fácil distinguir si difieren en sólo una pequeña

cerca del tipo de mapeo dada por (14) y (15). Es, entonces, a FI límites nd cantidad, RESPETA esta diferencia se mantiene durante un largo período

deseables para lo que puede hacerse sin restricciones en el tipo de de tiempo. Cada muestra de la señal recibida a continuación, da una

operaciones de transmisión y recepción. Estos límites, que se derivan en pequeña cantidad de información estadística relativa a la señal transmitida;

las siguientes secciones, dependen de la cantidad y la naturaleza del ruido en combinación, estas indicaciones estadísticas resultan en casi certeza.

en el canal, y en la potencia del transmisor, así como en el producto tiempo Esta posibilidad permite una mejora de alrededor de 8 dB en el poder sobre

de ancho de banda. (18) con una razonable definición de resolución fiable de señales, Como se
verá más adelante. Ahora vamos a hacer uso de la representación
geométrica para determinar la capacidad exacta de un canal ruidoso.

Es evidente que cualquier sistema, ya sea para comprimir o

para expandir y hacer un uso completo del volumen adicional, debe ser
altamente no lineal en carácter y bastante complejo debido a la naturaleza
peculiar de las asignaciones implicadas. Teorema 2: Dejar ser la potencia media del transmisor, y
supongamos que el ruido es ruido blanco térmica del poder en el
banda . Por su fi sistemas de codificación suficientemente complicado que es posible
transmitir dígitos binarios a una velocidad

7 W. Hurewitz y H. Wallman, Teoría dimensión. Princeton, NJ: Princeton Univ. Press, 1941.
Iniciar sesión (19)

452 ACTAS DE LA IEEE, vol. 86, NO. 2, febrero de 1998

con una frecuencia tan pequeño de errores según se desee. No es posible por la superficie de una esfera de radio . Cómo

cualquier método de codificación para enviar a una tasa mayor y tener un muchas señales transmitidas diferentes se pueden encontrar que podrán
arbitrariamente baja frecuencia de errores. Esto muestra que la tasa distinguirse? Ciertamente, no más que el volumen de la esfera de radio
Iniciar sesión medidas dividido por el
de una manera definida bruscamente de fi la capacidad del canal para la volumen de una esfera de radio , Ya que la superposición de

transmisión de información. Es un resultado bastante sorprendente, ya que uno el ruido Esferas resultados en confusión en cuanto al mensaje en el punto
esperaría que la reducción de la frecuencia de errores requeriría la reducción de la de recepción. El volumen de una esfera -dimensional 8 de radio
tasa de transmisión, y que la tasa debe aproximarse a cero a medida que la es

frecuencia de error hace. En realidad, podemos enviar a la tasa

pero reducen (20)
errores mediante el uso de codificación más involucrados y retardos más largos en el
transmisor y el receptor. El transmisor se llevará a largas secuencias de dígitos
Por lo tanto, un límite superior para el número de distinguibles
binarios y representar esta secuencia entera por una función de señal particular de
señales es
larga duración. El retraso es necesario porque el transmisor debe esperar a que la
secuencia completa antes de que se determina la señal. Del mismo modo, el receptor
debe esperar a que la función de señal completa antes de la decodificación en dígitos (21)
binarios.

En consecuencia, la capacidad del canal está delimitado por

Ahora demostramos el Teorema 2. En la repre- sentación geométrica de cada
punto de la señal está rodeado de una pequeña región de incertidumbre debido al Iniciar sesión (22)
ruido. Con el ruido térmico blanco, las perturbaciones de las diferentes muestras (o
coordenadas) son todos de Gauss e independiente. Por lo tanto la probabilidad de Esto demuestra la última declaración en el teorema. Para probar la primera
una perturbación que tiene coordenadas parte del teorema, tenemos que demostrar que existe un sistema de
(estos son codificación que transmite
las diferencias entre las coordenadas señal original y recibidas) es el Iniciar sesión dígitos binarios por segundo con una fre-
producto de las probabilidades individuales para las diferentes cuencia de errores menores que cuando es arbitrariamente pequeño.

coordenadas El sistema para ser considerado funciona como sigue. Una larga secuencia de,
digamos, dígitos binarios se toma en en el trans-

exp misor. Existen tales secuencias, y cada uno corresponde

a una función de la señal particular de duración . Por lo tanto existe

son diferentes funciones de señal. Cuando la secuencia

exp de se ha completado, el transmisor comienza a enviar la señal corres-
pondiente. En el receptor se recibe una señal perturbada. El receptor
compara esta señal con cada una de las
Dado que este sólo depende
posibles señales y de transmisión selecciona el que es más cercana a la
señal perturbada (en el sentido de error rms) como la que realmente enviado.
El receptor construye entonces, como su salida, la correspondiente secuencia
de dígitos binarios. Habrá, por lo tanto, un retardo global de

la probabilidad de una perturbación dada depende sólo de la segundos.

distancia de la señal original y no en la dirección. En otras palabras, la Para asegurar una frecuencia de errores inferior, a la señal
región de incertidumbre es de naturaleza esférica. Aunque los límites de funciones deben ser razonablemente bien separadas unas de otras. De
esta región no son marcadamente definida por un pequeño número de hecho, hay que elegirlos de manera tal que, cuando se recibe una señal
dimensiones , el perturbada, el punto de señal más cercana (en la representación
límites se hacen más y más de fi nida medida que aumenta la geométrica) es, con probabilidad mayor que
dimensionalidad. Esto es porque el cuadrado de la distancia es perturbado , la señal original real.
una señal es igual a veces el promedio Resulta que, sorprendentemente, que es posible elegir nuestro
potencia de ruido durante el tiempo . Como aumenta, este funciones de señal al azar de los puntos
potencia media de ruido debe acercarse . Por lo tanto, para los grandes dentro de la esfera de radio Y lograr el máximo
, la perturbación será casi ciertamente a algún punto cerca de la eso es posible. Físicamente, esto corresponde casi a la utilización de

superficie de una esfera de radio centrado diferentes muestras de ruido blanco de banda limitada con poder

en el punto de señal original. De manera más precisa, mediante la adopción de como funciones de señal.

su fi cientemente grande podemos asegurar (con probabilidad como cerca de Una selección particular de puntos en la corres- esfera
uno como deseamos) que la perturbación se encuentran dentro de una esfera de ponde a un sistema de codificación particular. El esquema general de la prueba es

radio dónde es considerar todos estos procesos de selección, y para mostrar que la frecuencia de

arbitrariamente pequeña. Por lo tanto, las regiones de ruido se pueden considerar más o menos tan los errores como media de todas las selecciones particulares es menor que. Esto

marcadamente de fi nidas las bolas de billar, cuando es demostrará que existen

muy grande. Las señales recibidas tienen una potencia media 8 DMY Sommerville, Una introducción a la geometría de dimensiones. Nueva York:

, y en el mismo sentido debe casi todos se encuentran en Dutton, 1929, p. 135.

SHANNON: La comunicación en la presencia de ruido 453

 frecuencia de los errores será inferior. Esto será cierto si

(25)

Ahora es siempre mayor que cuando es

positivo. En consecuencia, (25) será verdadera si

(26)

o si

Fig. 5. La geometría implicada en el teorema 2.

(27)

selecciones particulares en el set con frecuencia de errores menores al. Por o

supuesto, habrá otras selecciones particulares con una alta frecuencia de
Iniciar sesión Iniciar sesión
errores. Iniciar sesión (28)
La geometría se muestra en la Fig. 5. Esta es una sección transversal según un
plano a través de la alta dimensión esfera definida por una señal transmitida típico Para cualquier fi jo, podemos satisfacer esta tomando suf fi

, señal recibida , y el cientemente grande, y también tienen registro o log como

origen 0. La señal transmitida se encuentran muy cerca de la superficie de cerca como se desee para Iniciar sesión . Esto demuestra que, con

la esfera de radio , Ya que en una selección aleatoria de puntos para las señales, se puede obtener una arbitrariamente

una esfera de alta dimensión casi todo el volumen está muy cerca de la pequeña frecuencia de los errores y transmitir a una velocidad arbitrariamente cerca de la

superficie. La señal recibida s imilar ly se acuesta sobre la superficie de la tasa . También podemos enviar a el

esfera de radio . tasa con arbitrariamente pequeña, ya que los dígitos binarios adicionales No es necesario

La región en forma de lente de alta dimensión es la región transmitir a todos, pero puede ser llenada en forma aleatoria en el receptor. Esto sólo

de posibles señales que podrían haber causado , Ya que la añade otro arbitrariamente pequeña cantidad para. Esto completa la demostración.

distancia entre la señal transmitida y recibida es casi seguro que muy

cerca . es de menor
volumen de una esfera de radio . Podemos determinar VIII. re ISCUSION
igualando la área del triángulo , calculado dos Vamos a llamar a un sistema que transmite sin errores a la tasa
diferentes caminos un sistema ideal. Tal sistema no puede lograrse con cualquier proceso de
codificación finito pero se puede aproximar como estrechamente como se desee. A
medida que nos aproximamos más al ideal, se producen los siguientes efectos.

1) La tasa de transmisión de los enfoques de dígitos binarios

Iniciar sesión .
La probabilidad de cualquier punto de señal particular (que no sea la 2) La frecuencia de los errores se aproxima a cero.
causa real de ) acostado en es, por lo tanto,
3) La señal transmitida se aproxima a un ruido blanco en propiedades
menor que la relación de la volum es de esferas de radios
estadísticas. Esto es cierto, en términos generales, porque las diversas
y , ya que en nuestro conjunto
funciones de señales utilizadas deben ser dis- tribuyeron al azar en la
de sistemas de codificación que elegimos los puntos de señal al azar de los
esfera de radio .
puntos en la esfera de radio . Esta
4) El efecto umbral se vuelve muy agudo. Si el ruido se incrementa por
relación es
encima del valor para el que fue diseñado el sistema, la frecuencia
de errores aumenta muy rápidamente.

(23)
5) Los retrasos requeridos en el transmisor y el receptor in- pliegue inde fi nidamente.

Por supuesto, en un sistema de banda ancha una milésima de segundo puede ser
Tenemos puntos de señal. Por lo tanto la probabilidad que todos

excepto la causa real de son fuera de es mayor que sustancialmente una en el retardo finito. En la Fig. 6 la función

Iniciar sesión se traza

con en dB horizontal y el número de bits
(24)
por ciclo de banda vertical. Los círculos representan los sistemas de PCM de la
binaria, ternaria, etc., tipos, utilizando impulsos positivos y negativos y se ajustó
Cuando estos puntos están fuera , la señal se interpreta para dar un error en aproximadamente
correctamente. Por lo tanto, si hacemos mas grande que , el dígitos binarios. Los puntos son para un sistema PPM con dos,

454 ACTAS DE LA IEEE, vol. 86, NO. 2, febrero de 1998

 Fig. 7. la capacidad del canal en función del ancho de banda.

poder; después de esto, el incremento es bajo, y se acerca un registro de valor

asintótico veces la capacidad de .

IX. UN RBITRARY GRAMO AUSSIAN norte OISE

Si un ruido térmico blanco se pasa por un filtro cuya función de

transferencia es , el ruido resultante tiene un poder
Fig. 6. Comparación de PCM y PPM con un rendimiento ideal.
espectro y se conoce como Gaussian
ruido. Podemos calcular la capacidad de un canal perturbado por el ruido gaussiano a
tres, etc., posiciones discretas para el pulso. 9 La diferencia entre la serie de los partir del resultado de ruido blanco. Supongamos que nuestra potencia total del transmisor
puntos y la curva ideal corresponde a la ganancia que se podría obtener por es y se distribuye entre
sistemas de codificación más complicado. Esto equivale a unos 8 dB en el las diversas frecuencias de acuerdo con . Entonces
poder sobre la mayor parte de la gama práctica. La serie de puntos y círculos
es de lo mejor que se puede hacer sin demora. Si vale la pena utilizar tipos
(31)
más complejos de la modulación para obtener algo de esto sea posible el
ahorro es, por supuesto, una cuestión de costos relativos y las valoraciones.
Podemos dividir la banda en un gran número de pequeñas bandas, con
La cantidad
aproximadamente constante en cada uno. El total
capacidad para una distribución dada luego será dado por
Iniciar sesión es, por grande , el
número de bits que pueden transmitirse en el tiempo . Puede
ser considerado como una relación de intercambio entre los diferentes parámetros. Iniciar sesión (32)
Las cantidades individuales , , y
puede ser alterado a voluntad sin cambiar la cantidad de información que ya que, para cada banda elemental, se aplica el resultado de ruido blanco. El
podemos transmitir, siempre Iniciar sesión es porcentaje máximo de transmisión se encuentra mediante la maximización
Permanece constante. Si esta reducido, se debe aumentar, sujeto a la condición (31). Esto requiere
etcétera que maximizamos
Normalmente, a medida que aumentamos , la potencia de ruido en el
banda aumentará proporcionalmente; dónde es Iniciar sesión (33)
la potencia de ruido por ciclo. En este caso, tenemos

La condición para esto es, por el cálculo de variaciones, o simplemente de la

Iniciar sesión (29) naturaleza convexa de la curva de log

Si dejamos , es decir, es la banda para la cual el (34)

potencia de ruido es igual a la potencia de la señal, esto puede escribirse

o debe ser constante. La constante se ajusta

Iniciar sesión (30) para hacer que la potencia de la señal total igual. Para frecuencias en las que la
potencia de ruido es baja, la potencia de la señal debe ser alto, y viceversa,
como era de esperar. La situación se muestra gráficamente en la Fig. 8. La
En la Fig. 7, se representa gráficamente como una función de . Como
curva es el espectro de ruido asumido, y las tres líneas corresponden a
aumentamos la banda, la capacidad se incrementa rápidamente hasta que la potencia de
diferentes opciones de
ruido total aceptada es aproximadamente igual a la señal de
. Si es pequeño, no podemos hacer
Los puntos de PCM se calculan a partir de las fórmulas dadas en BM Oliver,
9
constante, ya que esto requeriría negativo
JR Pierce, y CE Shannon, “La filosofía de la PCM,” Proc. IRA,
de potencia en algunas frecuencias. Se demuestra fácilmente, sin embargo, que en
vol. 36, pp. 1324-1332, noviembre de 1948. Los puntos de PPM son a partir de cálculos inéditos
de B. McMillan, que señala que, por muy pequeña ,
este caso la mejor se obtiene haciendo
los puntos de enfoque de menos de 3 dB de la curva ideal. constante cuando sea posible, y haciendo

SHANNON: La comunicación en la presencia de ruido 455

 Es conveniente medir la aleatoriedad de un tipo arbitrario de ruido no
directamente por su entropía, pero en comparación con el ruido blanco
gaussiano. Podemos calcular la potencia de un ruido blanco que tiene la misma
entropía como el ruido determinado. Este poder, a saber,

exp (39)

dónde es la entropía del ruido dada, se llamará poder entropía del sin es
mi. Un ruido de entr o py poder
Fig. 8. Mejor distribución de la potencia del transmisor. actúa muy parecido a un blanco
el ruido del poder , la medida en que el mensaje es perturbando
preocupado. Puede ser demostrado que la región de incertidumbre acerca de
cero en otras frecuencias. Con valores bajos de , algunos de
cada punto de la señal tendrá el mismo volumen que la región asociada con el
las frecuencias no serán utilizados en absoluto. Si ahora
ruido blanco. Por supuesto, ya no será una región esférica. Para probar el
hacemos variar el espectro de ruido , Manteniendo el
teorema 1 de este volumen de incertidumbre era la principal característica del
total constante potencia de ruido y siempre ajustando el espectro de la señal
ruido utilizado. En esencia, el mismo argumento se puede aplicar a cualquier
para dar el máximo de transmisión, podemos
tipo de ruido con modificaciones menores. El resultado se resume en lo
determinar el peor espectro para el ruido. Este resulta ser el caso de ruido
siguiente.
blanco. Aunque esto sólo muestra que es peor entre los ruidos de Gauss,
se mostrará más adelante a ser el peor entre todos los posibles ruidos con
Teorema 3: Deje un ruido limitado a la banda tener
el poder dado
poder y el poder entropía . La capacidad es entonces
en la banda.
delimitada por

X. T ÉL do ANALES do APACIDAD CON UNA Iniciar sesión Iniciar sesión (40)

UN RBITRARY T IPO DE norte OISE

Por supuesto, hay muchos tipos de ruido que no son de Gauss; por dónde es la potencia media de la señal y el ancho de banda.

ejemplo, el ruido de impulso, o de ruido blanco que ha pasado a través de Si el ruido es un ruido blanco gaussiano, y
un dispositivo no lineal. Si la señal es perturbado por uno de estos tipos de los dos límites son iguales. El resultado se reduce entonces con el teorema en la

ruido, todavía habrá una capacidad de canal de fi nita Sección VII. Para cualquier ruido,

, la tasa máxima de . Esta es la razón por blanco gaussiano

transmisión de dígitos binarios. simplemente vamos a describir la teoría ruido es el peor entre todos los ruidos posibles. Si el ruido es gaussiano con
general aquí. 10 el espectro ,A

Dejar ser las amplitudes del ruido en continuación,

los sucesivos puntos de muestreo, y dejar exp Iniciar sesión (41)

(35)
se alcanza entonces el límite superior en el teorema 3 cuando estamos por encima de

la probabilidad de que estas amplitudes se encuentran entre y la potencia de ruido más alto en la Fig. 8. Esto es fácilmente fi veri por sustitución.

, y , etc. Entonces la función En los casos de mayor interés,

describe la estructura estadística del ruido, en la medida en muestras es bastante grande. los

sucesivas se refiere. los entropía del dos límites son luego casi lo mismo, y que se pueden utilizar

el ruido se define de la siguiente manera. Dejar Iniciar sesión como la capacidad. El límite superior es la
mejor opción, ya que se puede demostrar que a medida aumenta,
se acerca al límite superior.

Iniciar sesión (36)

XI. re ISCRETE S UENTES DE yo NFORMACION

Hasta ahora hemos sido Chie mosca preocupados con el canal. La

Entonces capacidad mide la velocidad máxima a la que una serie aleatoria de dígitos
binarios pueden transmitirse cuando se codifican de la mejor manera posible.
(37)
En general, la información que se transmite no será en esta forma. Se puede,
por ejemplo, ser una secuencia de letras como en raphy teleg-, una onda de
Este límite existe en todos los casos de interés práctico, y puede ser determinada
habla, o una señal de televisión. ¿Podemos hallar un número equivalente de
en muchos de ellos. es una medida de la
bits por segundo para las fuentes de información de este tipo? Considere la
aleatoriedad del ruido. En el caso de ruido Gaussiano blanco del poder
primera el caso discreto; es decir, el mensaje consiste en una secuencia de
, la entropía es
símbolos discretos. En general, puede haber correlación de varios tipos entre
Iniciar sesión (38) los diferentes símbolos. Si el mensaje es texto Inglés, la
10 CE Shannon, “Una teoría matemática de la comunicación” Campana Syst. Tech. J., vol. 27, pp

379-424, julio de 1,948.; pp. 623-657, octubre de 1,948 mil.

456 ACTAS DE LA IEEE, vol. 86, NO. 2, febrero de 1998

carta es la más frecuente, a menudo es seguido por , el número de mensajes diferentes que debe ser capaz de transmisión distinta
etc. Estas correlaciones permiten una cierta compresión del texto por la es del orden del volumen de la región de los posibles mensajes dividido por el
codificación apropiada. Podemos de fi nir la entropía de una fuente discreta de volumen de las pequeñas esferas. La realización de este argumento en
una manera análoga a la de un ruido; es decir, dejar detalle a lo largo de líneas similares a las utilizadas en las secciones VII y IX
conduce al siguiente resultado.

Iniciar sesión (42) Theor mi m 5: Si la fuente del mensaje tiene poder , la entropía

poder Y ancho de banda , La tasa de generar

información en bits por segundo está delimitada por
dónde es la probabilidad de la secuencia de
símbolos , y la suma es sobre todas las secuencias de
Iniciar sesión Iniciar sesión (44)
símbolos. A continuación, la entropía es

(43) dónde es el error cuadrático medio máximo tolerable en la

reproducción. Si tenemos un canal con capacidad y

Resulta que es el número de bits producidos por el una fuente cuya tasa de generación de información es menos

fuente para cada símbolo de mensaje. De hecho, el siguiente resultado se que o igual a , es posible codificar la fuente en
de una manera tal como para transmitir a través de este canal con la infidelidad fi medido por
demuestra en el apéndice.
Teorema 4: Es posible codificar todas las secuencias de símbolos de mensaje en . Si , esto es imposible.

secuencias de dígitos binarios de una manera tal que el número promedio de dígitos En el caso w h ERE la fuente del mensaje está produciendo ruido térmico blanco,

binarios por símbolo de mensaje es de aproximadamente . Por lo tanto los dos límites son iguales

, la aproximación se acerca y Iniciar sesión . Podemos, por lo tanto, transmitir blanco

igualdad como aumenta. el ruido del poder y la banda sobre un canal de banda

De ello se desprende que, si tenemos un canal de la capacidad y perturbado por un ruido blanco del poder y recuperar el

una fuente discreta de entropía , es posible codificar el mensaje original con el error cuadrado medio si y solo si

mensajes a través de dígitos binarios en señales y transmitir a la tasa

Iniciar sesión Iniciar sesión (45)
de los símbolos de mensaje originales por segundo. Por ejemplo,
si la fuente produce una secuencia de letras
, , o con probabilidades , , , UN PÉNDICE
y las letras sucesivas se eligen independientemente, entonces
Tenga en cuenta las posibles secuencias de símbolos. Déjalos
Iniciar sesión Iniciar sesión Iniciar sesión
estar dispuestos en orden decreciente de probabilidad,
y la información producida es equivalente a 1.294 bits para cada letra del
. Dejar . El mensaje ésimo es codificada
mensaje. Un canal con una capacidad de 100 bits por segundo podría
mediante la ampliación como una fracción binaria y utilizando sólo la primera
transmitir con mejor codificación
lugares donde se determina a partir del registro
letras de mensajes por segundo.

Iniciar sesión (46)

XII. do ONTINUOUS S UENTES

Si la fuente está produciendo una función continua de tiempo, entonces sin secuencias probables tienen códigos cortos y largos códigos improbables.

más datos hay que atribuirlo una en la tasa finito de generación de información. Tenemos

De hecho, sólo para especificar exactamente una cantidad que tiene un rango
continuo de posibilidades requiere un número infinito de dígitos binarios. No
(47)

podemos enviar información continua exactamente por un canal de capacidad

Los códigos para diferentes secuencias serán todos diferentes.
finita.
, por ejemplo, se diferencia por desde, y por lo tanto
su expansión binaria será diferente en uno o más de los primeros
Afortunadamente, no necesitamos para enviar mensajes continuos
lugares, y lo mismo para todos los demás. La longitud media del
exactamente. Una cierta cantidad de discrepancia entre la inal orig- y los
mensaje codificado será . El uso de (46)
mensajes recuperados siempre puede ser tolerada. Si se permite una cierta
tolerancia, entonces un infinito fi tasa noche de en dígitos binarios por segundo Iniciar sesión Iniciar sesión (48)
se puede asignar a una fuente continua. Hay que recordar que esta tasa
depende de la naturaleza y la magnitud del error permitido entre los mensajes o
originales nal y fi. La tasa puede ser descrito como la tasa de generación de
(49)
información en relación con el criterio de fidelidad.

El número medio de dígitos binarios utilizado por símbolo de mensaje es

Supongamos que el criterio de fidelidad es la discrepancia entre el origen rms Alabama y
y se recuperó señales, y que podemos tolerar un valor
. Luego, cada punto en el espacio de mensaje (50)
está rodeado por una pequeña esfera de radio . Si

el sistema es tal que el mensaje recuperado se encuentra dentro de este Como , y , Por lo que el promedio

ámbito, la transmisión será satisfactorio. Por lo tanto, número de bits por símbolo de mensaje se acerca .

SHANNON: La comunicación en la presencia de ruido 457