20

Captulo 2 de Abramson
Clase 3
2. LA INFORMACIN Y SUS FUENTES
2.1. Definicin de informacin
Definicin: sea E un suceso que puede presentarse con probabilidad (). Cuando
tiene lugar se dice que hemos recibido

() = (
)
()

Al elegir la base se elige la unidad (, , para 2, y 10

respectivamente)
Se observa que s () = /, ser () = , o sea que un bit es la cantidad de
informacin obtenida al especificar una de dos posibles alternativas igualmente
probables.
Ej.: imagen de televisin en gris de pixeles con igualmente
probables de brillantez y sin dependencia entre pxeles consecutivos.
Ej.: Informacin contenida en emitidas por un locutor de radio de un
vocabulario de .
2.2. Fuente de informacin de memoria nula
2.2.1. Definicin:
Se define un mecanismo generador de informacin (fuente) como el de la ilustracin 1

Ilustracin 1: fuente de informacin

Si la fuente emite una secuencia de smbolos pertenecientes a un alfabeto finito y fijo =

{ , , , } y, adems, los smbolos son estadsticamente independientes, la fuente es
de memoria nula y se puede describir mediante el alfabeto fuente y la probabilidad de
que los smbolos se presenten ( ), ( ), , ( ).
La informacin media suministrada por esta fuente est dada por la entropa:
() =

( )

= ( )( )
( )
=

21
En donde nuevamente las unidades por smbolo de la entropa dependern de la base
escogida para el logaritmo.
Ejemplo: sea la fuente sin memoria = { , , } con ( ) = / y ( ) =
( ) = / , entonces
() =

1
1
1
3
(2) + (4) + (4) = /
2
4
4
2

Puede interpretarse ( ) como la informacin necesaria para que la presencia de sea

cierta.
La entropa () puede interpretarse como el valor medio de la informacin por smbolo
suministrada por la fuente o el valor medio de la incertidumbre de un observador antes de
conocer la salida de la fuente.
2.2.2. Propiedades de la entropa
Las propiedades de la entropa se pueden obtener con base en el comportamiento de las
dos curvas que se muestran en la ilustracin 2:

Ilustracin 2: Grficos de = () y =
Como se observa en esta figura, la recta = se mantiene por encima de la curva
= () y por tanto puede escribirse

22
()
Multiplicando por 1 se tiene que

()
Si , , , , e , , , , son dos conjuntos de probabilidades, se demuestra
(ver Pg. 30) que

= ( )

Y, adems,

= ( ) = ( )

Ejemplo:
Si se tienen los siguientes conjuntos de probabilidad
1 1 1

() = { 3 , 6 , 6 , 12 , 12 }

1 1 1 1 2

() = { 6 , 6 , 6 , 6 , 6 }

La informacin de los smbolos individuales ser:

() = {1.5850, 2.5850, 2.5850, 3.5850, 2.0000}
() = {2.5850, 2.5850, 2.5850, 2.5850, 1.5850}
La entropa de la fuente est dada por

log
=1

1
= 2.1887

La entropa de la fuente est dada por

log
=1

1
= 2.2516

Las entropas cruzadas:

1
log = 2.335

=1

log
=1

1
= 2.39

23
Para analizar de qu modo depende la entropa de la probabilidad de los diferentes
smbolos de la fuente sea una fuente S si y sus probabilidades Psi , i 1,2,, q
Se demuestra (ver Pg. 31) que
log( q) H S 0
O sea que la entropa de la fuente siempre es menor o igual que log( q) . La igualdad se
1
cumple si Pi
q
Luego el valor mximo de la entropa es log( q) y se alcanza cuando todos los smbolos
son equiprobables. (Ejemplo: representacin fija con log 2 () ).
Un ejemplo particularmente importante de fuente de informacin de memoria nula
corresponde a una fuente binaria de memoria nula. En tal fuente, el alfabeto se reduce a
{0 , 1}. La probabilidad de un 0 es y la de un 1,
= . La entropa de tal fuente

(/
)
() = () +

(2-12)

La funcin en (2.12) aparece con frecuencia en los problemas de teora de la informacin.

Por esta razn se acostumbra a representarla por un smbolo especial. Por definicin:

(/
)
() = () +

(2-13)

Que llamaremos funcin entropa. Hay que sealar la diferencia existente entre (2-12) y
(2-13). La funcin () determina la entropa de una fuente particular S, mientras que
() es una funcin de la variable definida en el lintervalo [ , ]. El significado del
smbolo () depende, en definitiva, de la variable. Otro punto importante es que

( ) =

Y as por definicin

( ) =

En la ilustracin 3 se observa la variacin de la curva () en funcin de , en el

intervalo [0 , 1] de la variable independiente.
En este caso se muestra que una fuente binaria no suministra ninguna informacin en
el caso de la informacin cierta y que la informacin media mxima es 1 bit. Adems,
aunque los binits de salida pueden aportar informacin mayor a 1 bit, en promedio la
informacin de la fuente siempre ser menor o igual a 1 bit por binit.

24
Debe observarse tambin que la cantidad mxima de informacin crece
lentamente al aumentar , de tal manera que para duplicar la informacin promedio
mxima se debe tener una fuente con q 2 smbolos.

Ilustracin 3: funcin entropa

2.2.3. Extensiones de una fuente de memoria nula

Se trabaja con grupos de smbolos, lo que equivale a tener una fuente con ms smbolos.
Si se tiene una fuente de memoria nula con un alfabeto { , , , } se pueden agrupar
las salidas en paquetes de smbolos, lo que permite q n secuencias de salida distintas.
Sea una fuente de memoria nula, con un alfabeto { , , , }. Sea Pi la probabilidad
correspondiente a si . La extensin de orden de , S n , es una fuente de memoria nula

de q n smbolos, 1 , 2 ,, q n

. El smbolo

corresponde a una secuencia de

smbolos de los s q , con una probabilidad P i que es precisamente la probabilidad de la

secuencia correspondiente. Es decir, si i representa la secuencia si1 , si 2 ,, sin ,

entonces P i Pi1 * Pi 2 ** Pin
En este caso se demuestra (ver pginas 35-36) que

H S n n * H S

25
Ejemplo: Consideremos la extensin de segundo orden de la fuente que tiene un alfabeto
S s1 , s 2 , s3 con probabilidades PS 1 / 2, 1 / 4, 1 / 4. Dicha fuente tendr los
=
nueve smbolos mostrados en la tabla 1:

Tabla 1: Fuente extendida

Para esta fuente extendida la informacin promedio ser:

( ) = ( )

( )

1
1
1
= log 4 + 4 log 8 + 4 log 16
4
8
16
= 3 /
2.3. Fuentes de informacin de Markov (fuente con memoria)
2.3.1. Definicin:
En este caso la presencia de un determinado smbolo si depende de un nmero finito
de smbolos precedentes. Tal fuente se define por su alfabeto y el conjunto de
probabilidades condicionales
Psi / s j1 , s j 2 ,, s jm para i 1, 2,, q; j p 1, 2,, q, p 1,2,, m

En una fuente de Markov de orden la probabilidad de un smbolo cualquiera viene

determinada por los smbolos precedentes. Puesto que existen smbolos distintos,
existirn estados posibles, en donde estado significa los smbolos precedentes.
Un estado cambia cuando la fuente emite nuevos smbolos. Una forma de representar este
comportamiento es el diagrama de estados.
En este diagrama los estados se representan cada uno por un punto (o por un crculo),
indicndose mediante flechas las transiciones entre estados.
Ejemplo: consideremos una fuente de Markov de segundo orden con un alfabeto binario
= {0,1}. Supongamos que las probabilidades condicionales son
(000) = (111) = 0.8
(100 ) = (011) = 0.2
(001) = (010) = (101) = (110) = 0.5

26
El diagrama de estados para esta fuente se muestra en la ilustracin 4:

Ilustracin 4: Diagrama de estados de una fuente de Markov de segundo orden

Fuente ergdica: es aquella que observada durante un tiempo suficientemente largo, emite
con toda seguridad una secuencia tpica de smbolos.
Las fuentes no ergdicas son una rareza y por tanto si se escoge un estado inicial de una
fuente de Markov y se deja transcurrir un gran nmero de transiciones de estado, se sabe
que existir una probabilidad finita de que se presente cada uno de ellos. Adems en una
fuente ergdica los estados que realmente aparecen en una secuencia larga lo harn (con
probabilidad 1) con las mismas probabilidades.
Ejemplo: Consideremos una fuente de Markov de segundo orden con un alfabeto binario
= {0,1}. Supongamos que las probabilidades condicionales son:
(001) = (010) = (101) = (110) = 0.5
(000) = (111) = 1.0
(100) = (011) = 0.0
Su correspondiente diagrama de estados se muestra en la ilustracin 5:

Ilustracin 5: Diagrama de estados de una fuente de Markov de segundo orden no ergdica.

27
Una propiedad adicional de las fuentes ergdicas es que la distribucin de probabilidades
de un conjunto de estados que se presentan despus de producirse un gran nmero de
transiciones (o, anlogamente, la distribucin de estados en una secuencia de salida tpica)
no depende de la distribucin inicial con que son elegidos los diferentes estados.
Existe una distribucin de probabilidades nica para un conjunto de estados de una fuente
de Markov ergdica y los estados en cualquier secuencia suficientemente larga se
presentarn (con probabilidad 1) de acuerdo con esa distribucin. Esta distribucin se
llama distribucin estacionaria y puede calcularse a partir de las probabilidades
condicionales de los smbolos ya que no depende de la distribucin inicial con que los
estados fueron escogidos.
Por ejemplo en la fuente de Markov del ejemplo 2.3 Pg. 37 se tiene que

P00 P0 / 00 * P00 P0 / 10 * P10

P00 2.5 * P10

P01 P1 / 00 * P00 P1 / 10 * P10

P01 P10
P11 P1 / 11 * P11 P1 / 01 * P01

P11 P00
Adems

P00 P01 P10 P11 1

P00 P00 / 2.5 P00 / 2.5 P00 1

Finalmente:
P00 P11 5/14
P01 P10 2/14

Cuando

se

definen

las

probabilidades

condicionales

de

los

smbolos

Psi / s j1 , s j 2 , , s jm de un proceso ergdico de Markov de orden , implcitamente

definimos tambin las q m probabilidades de estado Ps j1 , s j 2 , , s jm .

Combinando estas dos probabilidades se obtiene la probabilidad del suceso simultneo,

fuente en el estado s j1 , s j 2 ,, s jm y s i presente. Esta probabilidad es precisamente
Ps j1 , s j 2 ,, s jm , si Psi / s j1 , s j 2 ,, s jm * Ps j1 , s j 2 ,, s jm .

28
En la tabla 2 se observan las probabilidades de transicin, las probabilidades de los
estados y las probabilidades del suceso simultneo.
, , ( , ) ( , ) ( , , )

000
0,8
5/14
4/14
001
0,2
5/14
1/14
010
0,5
2/14
1/14
011
0,5
2/14
1/14
100
0,5
2/14
1/14
101
0,5
2/14
1/14
110
0,2
5/14
1/14
111
0,8
5/14
4/14
Tabla 2: Tabla con las probabilidades de la fuente del ejemplo

La informacin media suministrada por una fuente ergdica de Markov de orden se

puede calcular de la siguiente manera:
Si nos encontramos en el estado s j1 , s j 2 ,, s jm , la probabilidad condicional de recibir
el smbolo s i es Psi / s j1 , s j 2 ,, s jm . La informacin obtenida si se presenta s i es

I si / s j1 , s j 2 ,, s jm log

1
Psi / s j1 , s j 2 ,, s jm

La informacin media por smbolo cuando nos encontramos en el estado s j1 , s j 2 ,, s jm

est dada por

H S / s j1 , s j 2 ,, s jm Psi / s j1 , s j 2 ,, s jm * I si / s j1 , s j 2 ,, s jm
S

La cantidad media de informacin o entropa de la fuente de Markov de orden , se

calcula obteniendo el valor medio de esta cantidad, extendida a los q m estados posibles.

H S Ps j1 , s j 2 ,, s jm * H S / s j1 , s j 2 ,, s jm
Sm

Al escribir esta ecuacin se ha supuesto que el estado s j1 , s j 2 ,, s jm es equivalente a

un smbolo de S m

H S Ps j1 , s j 2 ,, s jm * Psi / s j1 , s j 2 ,, s jm * log
Sm

H S

Ps

S m 1

j1

, s j 2 ,, s jm * Psi / s j1 , s j 2 ,, s jm * log

1
Psi / s j1 , s j 2 ,, s jm

1
Psi / s j1 , s j 2 ,, s jm

29

H S

Ps

S m 1

j1

, s j 2 ,, s jm , si * log

1
Psi / s j1 , s j 2 ,, s jm

En donde S m es una extensin de orden de una fuente de Markov.

Ejemplo: Consideremos la fuente de Markov ergdica previa. Las probabilidades ms
significativas estn resumidas en la tabla 3:
, , (
, ) ( , ) ( , , )

000
001
010
011
100
101
110
111

0,8
0,2
0,5
0,5
0,5
0,5
0,2
0,8

5/14
5/14
2/14
2/14
2/14
2/14
5/14
5/14

4/14
1/14
1/14
1/14
1/14
1/14
1/14
4/14

Tabla 3: distribucin de probabilidades para la fuente de Markov de segundo orden del ejemplo.

La entropa se calcula de la siguiente manera:

() = ( , , ) (
)

(
)
,

1
1
1
1
1
= 2 414 ( ) + 2
( ) + 4
( )
0.8
14
0.2
14
0.5

= 0.81

2.3.2. Fuente afn

Se define una fuente afn as: Suponiendo que el alfabeto de una fuente de Markov de
orden es = { , , , } y que, adems, , , , son las probabilidades de
, es la fuente de
primer orden de los smbolos de la fuente, la fuente afn de , llamada
informacin de memoria nula del alfabeto idntico al de , y de smbolos de
probabilidades , , , .
Por la simetra que tiene la fuente de Markov de orden 2 de la ilustracin 4 los 1 y los
0 son igualmente probables y por tanto la fuente afn ser aquella fuente de memoria
) = .
nula con smbolos equiprobables y (
Se demuestra (ver pp. 42-43) que la entropa de la fuente afn
nunca es menor que la
entropa de la fuente , o sea

30
)
() (
tienen las mismas probabilidades de
Lo cual significa que como las dos fuentes y
primer orden y difieren en el hecho de las probabilidades condicionales de impuestas a
sus secuencias de salida, entonces es esta restriccin la que hace decrecer la informacin
promedia que fluye de la fuente.
La igualdad se cumple cuando es estadsticamente independiente de o sea que sea
una fuente de memoria nula. Esto se comprueba en el ejemplo visto previamente en donde
la fuente de Markov tiene una entropa de . y su fuente afn tiene una entropa
de .
2.3.3. Extensiones de una fuente de Markov
Se define una fuente conformada por smbolos construidos a partir de smbolos de una
fuente de Markov de orden , as:
Sea una fuente de informacin de Markov de orden , de alfabeto { , , , } y
probabilidades condicionales ( , , , ). La extensin de orden de , ,
es una fuente de Markov de orden , con smbolos, { , , , }. Cada
corresponde a una secuencia de de los smbolos y las probabilidades condicionales
de son ( , , , ). Estas probabilidades, as como , se definen a
continuacin.
Si representa un smbolo de la extensin de orden , o sea una secuencia de
smbolos de la fuente original, entonces la secuencia , , , es equivalente a
alguna secuencia de , digamos , , , en donde
=
Luego es el menor nmero entero igual o superior a . Las probabilidades
condicionales de los smbolos de , por lo tanto, pueden escribirse en la forma
( , , , )
Por ejemplo, la tercera extensin de una fuente de Markov de quinto orden con smbolos
sera una fuente de Markov de segundo orden con smbolos. De aqu se puede concluir
que si se toman al menos extensiones de una fuente de Markov de orden puede
siempre obtenerse una fuente de Markov de primer orden.
Para obtener la probabilidad condicional de la extensin en funcin de las
probabilidades condicionales de los smbolos de la fuente original , sea
= { , , , }
Por lo tanto la probabilidad condicional

31
( , , , ) = ( , , , , , , )
= ( , , , ) ( , , , )
( () , (+) , () )
En el ltimo termino del producto se ha supuesto que > . Si este ltimo
trmino sera ( , () , () ).
Se demuestra en las pginas 45 y 46 que
( ) = ()
Se demuestra adems que la entropa de una fuente afn de la extensin de orden de una
fuente de Markov de primer orden, cumple con
) = ( , , , ) [

+
+ +
]
( )
( / )
( / )

) + ( )()
(. )
= (

= () + [() ()] (. )

_
H S n
lim H S
n
n
Lo cual significa que para valores grandes de , las limitaciones de Markov sobre los
smbolos de son cada vez menos importantes.
De este resultado puede concluirse que la fuente afn de la extensin de orden de no
coincide con la extensin de orden de la fuente afn de , o sea
) (
)
(
Ejemplo: Resumiremos algunos de los resultados obtenidos en los ejemplos anteriores en
el caso de la fuente de la ilustracin 4:
() = 0.81

() = 1.0

( 2 ) = 1.62

Puede calcularse
2 ) = ( , )1/ ( , )
(
2

= 1.86
Un clculo ms largo y complicado permite deducir los valores siguientes:
3 ) = 2.66
(
Hay que destacar como la secuencia

4 ) = 3.47
(

32

() = 1

2 )
(
= 0.93
2

3 )
(
= 0.89
3

4 )
(
= 0.87
4

Se aproxima al valor de ().

Ver ejemplo 2-6 pp. 47 y 48
2.4. Estructura del lenguaje
En esta seccin se estudia la analoga que hay entre el modelo de probabilidades
previamente visto y el proceso fsico de generacin de informacin. En particular se
estudia el modelo de generacin de mensajes compuestos de palabras de la lengua inglesa.
Se asume un alfabeto de 26 letras ms el espacio.
Si se asume una fuente con memoria nula con smbolos equiprobables se tiene una
entropa de 4.75 /.
En la ilustracin 6 se muestra una secuencia tpica de 76 para este caso.
ZEWRTZYNSADXESYJRQY_WGECIJJ_OBVKRBQPOZBYMBUAWVLBTQ
CNIKFMP_KMVUUGBSAXHLHSIE_M
Ilustracin 6: Aproximacin cero al ingls
Si se usan las probabilidades reales de los smbolos que se muestran en la tabla 4 se
puede obtener una aproximacin ms exacta al idioma ingls. En este caso la entropa es
de 4.03 /.
Smbolo Probabilidad Smbolo Probabilidad
Espacio
N
0.1859
0.0574
A
O
0.0642
0.0632
B
P
0.0127
0.0152
C
Q
0.0218
0.0008
D
R
0.0317
0.0484
E
S
0.1031
0.0514
F
T
0.0208
0.0796
G
U
0.0152
0.0228
H
V
0.0467
0.0083
I
W
0.0575
0.0175
J
X
0.0008
0.0013
K
Y
0.0049
0.0164
L
Z
0.0321|
0.0005
M
0.0198
Tabla 4: Probabilidades de los

smbolos en ingls (Reza, 1961)

La ilustracin 7 muestra una secuencia tpica para esta fuente.

33
AL_NGAE__ITF_NNR_ASAEV_OIE_BAINTHA_HYROO_POER_SETRYGAI
ETRWCO__EHDUARU_EU_C_FT_NSREM_DIY_EESE__F_O_SRIS_R_UNNA
SHOR
Ilustracin 7: primera aproximacin al ingls
En este caso se tiene una mejor aproximacin dado que las palabras son en su mayora de
longitud apropiada, y la proporcin entre consonantes y vocales es ms real.
Si se utiliza una fuente de Markov de primer orden con probabilidades condicionales bien
escogidas (Pratt 1942) se tiene que

( )

= .

() = (, )

Utilizando un mtodo sugerido por Shannon en donde se toman las probabilidades de un

texto que se desprenden directamente de l.
El proceso es el siguiente:

Se abre el texto y se selecciona una letra al azar

Se saltan varias lneas buscando la prxima ocurrencia de la letra y se mira cual
letra le sigue.
Se repite de nuevo la operacin y se mira la ocurrencia de la letra que sigui en el
caso anterior y cual le sigue y as sucesivamente.

Con este procedimiento se construye la aproximacin al ingls de la ilustracin 8.

URTESHETHING_AD_E_AT_FOULE_ITHALIORT_WACT_D_STE_MINTSA
N_OLINS_TWID_OULY_TE_THIGHE_CO_YS_TH_HR_UPAVIDE_PAD_CTA
VED
Ilustracin 8: segunda aproximacin al ingls
En este caso se observa que el texto generado tiene un sabor a ingls.
Con este procedimiento y construyendo una fuente de Markov de segundo orden se logra
un texto como el de la ilustracin 9 en donde Shannon estim que la entropa era del
orden de 3.1 /.
IANKS_CAN_OU_ANG_RLER_THATTED_OF_TO_SHOR_OF_TO_HAVEME
M_A_I_MAND_AND_BUT_WHISSITABLY_THERVEREER_EIGHTS_TAKIL
LIS_TA
Ilustracin 9: tercera aproximacin al ingls
Utilizando una fuente con memoria nula que emite palabras del ingls con probabilidades
similares a las del ingls Shannon obtuvo la aproximacin de la ilustracin 10

34
REPRESENTING AND SPEEDILY IS AN GOOD APT OR COME CAN
DIFFERENT NATURAL HERE HE THE A IN CAME THE TO OF TO EXPERT
GRAY COME TO FURNISHES THE LINE MESSAGE HAD BE THESE
Ilustracin 10: cuarta aproximacin al ingls
Utilizando una fuente de Markov de primer orden que genere palabras inglesas Shannon
gener la secuencia de la ilustracin 11:
THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT
THE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHOD
FOR THE LETTERS THAT THE TIME OF WHO EVER TOLD THE PROBLEM
FOR AN UNEXPECTED
Ilustracin 11: quinta aproximacin al ingls