Académique Documents
Professionnel Documents
Culture Documents
Estadstica
http://www.sc.ehu.es/isg/
Estadstica p. 1/16
Tema 7: Teora de la Informacion
ndice
Cantidad de informacin
Entropa de una variable
Divergencia de KullbackLeibler
Cantidad de informacin mtua
Estadstica p. 2/16
Tema 7: Teora de la Informacion
Cantidad de informacin
Cantidad de informacin asociada a un suceso
Urna con 9 bolas negras y 1 bola blanca. Se efectan
Cantidad de informacin
Cantidad de informacin como medida de reduccin de la
incertidumbre
Al lanzar un dado si nos dicen que ha salido:
un nmero menor que 2, ms informacin (reduce
ms la incertidumbre) que
un nmero mltiplo de 2
Estadstica p. 4/16
Tema 7: Teora de la Informacion
Cantidad de informacin
X variable aleatoria con posibles valores x1 , . . . xn y
informacin aporta
Estadstica p. 5/16
Tema 7: Teora de la Informacion
n
X
i=1
x = 0, 1
Estadstica p. 8/16
Tema 7: Teora de la Informacion
n X
m
X
i=1 j=1
n
X
i=1
m
X
j=1
p(yj )H(X|Y = yj ) =
n X
m
X
i=1 j=1
Estadstica p. 9/16
Tema 7: Teora de la Informacion
Estadstica p. 10/16
Tema 7: Teora de la Informacion
Estadstica p. 11/16
Tema 7: Teora de la Informacion
Divergencia de KullbackLeibler
n
X
i=1
p(xi )
q(xi )
Se verifica que:
p(xi ) log
DKL (p, q) 0
DKL (p, q) = 0 p(xi ) = q(xi ); i = 1, . . . , n
Estadstica p. 12/16
Tema 7: Teora de la Informacion
Estadstica p. 13/16
Tema 7: Teora de la Informacion
H(X) = 12 log2
1
2
log2
1
2
=1
H(X|Y )
1
2
P (Y = 2|X = A) = 14 ;
P (Y = 2|X = B) = 1;
P (X = A, Y = 0) = 18 ;
P (X = B, Y = 1) = 0;
P (Y = 0) =
1
;
8
P (Y = 1|X = A) = 12 ; P (Y = 0|X = A) = 14 ;
P (Y = 1|X = B) = 0; P (Y = 0|X = B) = 0
P (X = B, Y = 0) = 0; P (X = A, Y = 1) = 14 ;
P (X = A, Y = 2) = 18 ; P (X = B, Y = 2) = 12
P (Y = 1) =
1
;
4
P (Y = 2) =
5
8
Estadstica p. 14/16
Tema 7: Teora de la Informacion
Pn
i=1
Pn
i=1
Pm
j=1
Pn
Pn Pm
= i=1 p(xi ) log2 p(xi ) + i=1 j=1 p(xi , yj ) log2 p(xi , yj )
Pn Pm
i=1 j=1 p(xi , yj ) log2 p(yj )
Pn Pm
= i=1 j=1 p(xi , yj ) log2 p(xi , yj )
Pn Pm
i=1 j=1 p(xi , yj )[log2 p(xi ) + log2 p(yj )]
=
Pn
Pm
Pn
Pm
i=1
i=1
j=1
p(xi ,yj )
p(xi )p(yj )
Estadstica p. 15/16
Tema 7: Teora de la Informacion
Estadstica p. 16/16
Tema 7: Teora de la Informacion