Entropa diferencial para distribuciones continuas.

Por Eduardo Sotelo Bazn.

Este documento es parte de un trabajo mayor; con fines de divulgacin se presenta esta seccin sobre el tratamiento de la entropa diferencial, de la teora de la informacin.
1.- Para una distribucin discreta de probabilidad, tenemos: ( )

| |

Donde la entropa de la distribucin es el valor esperado de la cantidad de informacin en la reduccin:

( )

| |

( )

[1]

2.- Para las distribuciones continuas, el espacio es la coleccin de infinitos elementos, con ello la probabilidad de reduccin es infitesimal y la cantidad de informacin correspondiente es infinita; la entropa, como el valor esperado, tambin es infinita: | | ( ) [2]

Una manera de superar los inconvenientes de trabajar con cantidades infinitas o infinitamente pequeas, infitesimales es emplear densidades de probabilidad y estudiar cmo cambia la entropa con el cambio de estas densidades: ( ) ( ) ( ) ( )

As por ejemplo, la comparacin entre probabilidades infitesimales en dos puntos es igual a comparar sus densidades en esos mismos puntos: ( ) ( ) ( ) ( )

Con estas ideas vamos a obtener la entropa para distribuciones continuas, introduciendo una nueva herramienta, la entropa diferencial, que es una modificacin de la entropa convencional aplicndose sobre la densidad de probabilidad en vez de la probabilidad misma, como tal la sumatoria que le correspondera pasa a ser una integral evaluada sobre el espacio: ( ) ( ) ( ) ( )

( ) En el apndice ( ) se va a desarrollar cmo se llega a [ 3.1 ].

( )

[ 3.1 ]

La constante C es infinita, de manera que cumple con [ 2 ] ; la importancia de [ 3.1 ] es que nos permite calcular cambios de entropa frente a cambios de la densidad o al ser evaluados en regiones dentro del espacio, ya que en este caso, la constante no participa (acta como una constante de integracin, donde al evaluar una integral definida, el valor de la constante es irrelevante), de esta manera, el cambio en la entropa es igual al cambio en la entropa diferencial: ( ) ( ) [ 3.2 ]

Debe quedar claro, de [ 2 ] y [ 3 ] que, la entropa de una distribucin continua de probabilidad es infinita, en estas condiciones lo que nos interesa medir no es el valor en s mismo de la entropa total, sino del cambio de esta medida, el cual viene a ser numricamente igual al cambio de la entropa diferencial; la entropa diferencial por s sola no nos dice nada sobre la distribucin, lo que sirve de ella es al calcular sus variaciones frente a cambios en la probabilidad (o las regiones a tomar); por esto va a presentar algunas propiedades discordantes con la entropa en la variables discretas: la entropa diferencial puede ser negativa, esto se debe a que el valor nulo de esta entropa es meramente referencial, de veras no importa esta medida sino calcular su cambio. A continuacin, tres grficos sobre el valor de las entropas:

()

()

La nica distribucin en espacios continuos que anula el valor de la entropa es aquella que est acumulada en un solo punto, que viene a ser la distribucin de Dirac:

 ( ( ) ( )

( ) ( )

Desde ya se sabe que, como la distribucin de Dirac est centrada en el punto , su incertidumbre es nula y en consecuencia su entropa debe ser nula tambin, hay un solo valor que puede tomar la variable; es decir, slo hay un punto que tiene probabilidad igual a uno, el resto representa eventos imposibles, la entropa evaluada es:

( )

( ) ( )

( ( )

Se observa que la entropa diferencial evaluada, tiende al menos infinito; esto es completamente vlido ya que corresponde al valor de nula incertidumbre en , se entiende el rol de la entropa diferencial en este sentido: cuando la entropa (total) es mnima (nula) la entropa diferencial tambin alcanza su mnimo valor (infinito negativo). El resultado de [ 3 ] nos dice que cualquier constante aditiva no es necesaria para los clculos de la variacin de la entropa, que es lo nico que realmente conseguimos medir; el cambio de entropa que deseamos medir va a ser expresada en funcin del cambio de la distribucin de probabilidad como sigue: |

Donde , es la distribucin de la densidad de probabilidad; si esta depende de un conjunto de parmetros, entonces la entropa se convierte en una funcin de esos parmetros como variables: ( ( ) )

De manera que, en lo sucesivo y por razones de simplificacin, debamos expresar la entropa diferencial como la suma de miembros que son funciones de estas variables,

ya que de todos modos lo que importa es su cambio frente al cambio de estos parmetros; as en vez de: ( Simplemente consideramos: ( ) ) ( ) ( )

Ya que las otras funciones (incluso si su clculo conlleva a una indeterminacin o singularidad) permanecen fijas; esto es de mucha ayuda al momento de realizar clculos de la entropa, porque nos evita calcular ciertos trminos que por no ser funciones de dichas variables, las anulamos inmediatamente, como tendremos oportunidad de desarrollar; as por ejemplo, podemos hacer, slo para la entropa diferencial: ( ) ( | ) ( )

OBSERVACIN: La distribucin de Dirac va a ser considerada una distribucin lmite, de mnima entropa; es la distribucin a la que cualquier otra (normalizada) converge, cuando se desea centrar o acumular en un solo punto infinitamente - disminuyendo la densidad de probabilidad en el resto de puntos, trae consigo la reduccin de la incertidumbre (disminuyendo su entropa). Por ejemplo, las siguientes distribuciones convergen a la de Dirac cuando se las acumula infinitamente en un solo punto:

( ) { ( )
( )

( )

Sucede que, si las acumulamos en el punto Dirac; es decir:

, las distribuciones convergen a la de

( )

( )

( )

APNDICE ( A )
Sea la distribucin continua de densidad de probabilidad ( ) ( )

Si queremos discretizar la variable, podemos eleguir un conjunto de puntos del espacio continuo y formar un nuevo espacio (discreto) , le podemos asignar las probabilidades: ( ) ( ) ( )
( )

[ A.1 ]

Para esta nueva distribucin, que se aproxima a la continua conforme aumentamos N, tenemos la siguiente entropa: ( ) ( ( )) ( ( )) ( ) ( )

( De [ A.1 ], como ( )

) ( )

( )

( )

( )

, entonces tenemos: [ A.2 ] ( )

( )

Si llevamos nuevamente al caso continuo, nuestros N puntos discretos vuelven a ser infinitos puntos continuos y la entropa que acabamos de calcular converge a la entropa total para una distribucin continua: ( ) ( ) ( ) ( )

( )

( )

( )

La sumatoria del primer trmino de la derecha se convierte en una integral, debido al lmite; el segundo trmino de la derecha se vuelve una constante infinita, de este modo nos queda el resultado dado en [ 3.1 ] .

( )

( )

( ) [ A.3 ]

Donde hemos considerado:

La constante infinita es numricamente inestimable, debemos tener en mente siempre que la entropa de una distribucin continua es infinita, pero que respecto a ella se producen cambios finitos que son cuantificables, por lo tanto lo nico que se puede medir en ellas son los cambios finitos de entropa al cambiar la distribucin de probabilidad; el caso lmite est representado por la distribucin de Dirac que es carente de entropa, aqu el primer trmino de la derecha de [ A.3 ] debe de volverse tan menor (tender al infinito negativo) que anule el valor infinito del segundo trmino de la derecha misma.