Vous êtes sur la page 1sur 207

Una Introduccin a las Redes Bayesianas

Serafn Moral Departamento de Ciencias de la Computacin Universidad de Granada

Una Introduccin a las Redes Bayesianas p.1/??

Redes Bayesianas

Sistemas Expertos Probabilsticos


Representar conocimiento con incertidumbre. Despus se puede manipular para razonamiento y toma de decisiones. Se pueden tratar muchas variables. Las reglas (probabilidades) se pueden estimar a partir de datos. Los modelos tienen una interpretacin clara y bien denida. Actualmente estn teniendo un gran desarrollo.

Una Introduccin a las Redes Bayesianas p.2/??

Indicios de importancia
En 1999 J. Pearl uno de los pioneros en Inteligencia Articial recibi el IJCAI Award for Research Excellence (El sptimo de estos premios bianuales). Esta es la distincin ms importante en Inteligencia Articial. Evolucin de publicaciones en JCR (base de datos de publicaciones) bajo la bsqueda Bayesian Networks: 1990-1999: 118 publicaciones 2000-2006: 587 publicacione Algunos artculos altamente citados en scholar.google.com: Aprendizaje de Hecherman y col. (1995): 1249 citas Clasicacin supervisada de Friedman y col. (1997): 880 cirtas Anlisis de datos de expresin gentica de Friedman y col. (2000): 906 citas Filtrado de clientes de Breese y col. (1998) 1129 citas Libro de Judea Pearl: 8027 citas
Una Introduccin a las Redes Bayesianas p.3/??

Referencias
E. Castillo, J.M. Gutirrez, A.S. Hadi (1996) Sistemas Expertos y Modelos de Redes Probabilsticas. Monografas de la Academia de Ingeniera. Academia de Ingeniera, Madrid. R.G. Cowell, A.P. Dawid, S.L. Lauritzen, D.J. Spiegelhalter (1999) Probabilistic Networks and Expert Systems. Springer-Verlag, Nueva York. F.V. Jensen (1996) An Introduction to Bayesian Networks. UCL Press, Londres. F.V. Jensen (2001) Bayesian Networks and Decision Graphs. Springer-Verlag, Nueva York. F.V. Jensen, T.D. Nielsen (2007) Bayesian Networks and Decision Graphs (2nd Edition). Springer-Verlag, Nueva York. U. Kjaerulff, A.L. Madsen (2007) Bayesian Networks and Inuence Diagrams: A Guide to Construction and Analysis. Springer-Verlag. J. Pearl (1988) Probabilistic Reasoning in Intelligent Systems: Networks of Introduccin a las Redes Bayesianas p.4/?? CA. Plausible Inference. Morgan Kaufmann, San Mateo, Una

Contenido
Problemas para manejar conocimiento incierto Teora de la Probabilidad Independencia Redes Bayesianas, D-separacin Construccin de redes Bayesianas Algoritmo de borrado o de eliminacin de variables El programa Elvira Otros temas: conguracin de mxima probabilidad, diagramas de inuencia, aprendizaje

Una Introduccin a las Redes Bayesianas p.5/??

Sistemas Basados en Reglas


SI es un animal con pelo ENTONCES es un mamfero Incertidumbre: SI tiene ebre y dolor de cabeza, entonces tiene gripe (certeza 0.7) MYCIN fue diseado para determinar tratamientos en infecciones de la sangre con 300 reglas. Si una conclusin se obtiene por varias vas, los valores de certeza se combinan. Las certezas no eran probabilidades: stas imponen unas reglas de clculo muy estrictas. Su correcto funcionamiento se basa en un cuidadoso diseo de las reglas en funcin del uso que se hace de ellas.

Una Introduccin a las Redes Bayesianas p.6/??

Problemas
La validez de una regla depende del contexto. Si conozco el nivel de estudios de una persona, obtengo informacin sobre su nivel de ingresos. Esta informacin puede ser equivocada y ponerse de maniesto si conozco el puesto de trabajo concreto que esta persona desarrolla Si al salir de casa vemos el csped mojado podemos sospechar que ha llovido. Si descubrimos que nos hemos dejado la manguera abierta, dejamos de sospechar que ha llovido.

Una Introduccin a las Redes Bayesianas p.7/??

Problemas
La validez de una regla depende del contexto. Si conozco el nivel de estudios de una persona, obtengo informacin sobre su nivel de ingresos. Esta informacin puede ser equivocada y ponerse de maniesto si conozco el puesto de trabajo concreto que esta persona desarrolla Si al salir de casa vemos el csped mojado podemos sospechar que ha llovido. Si descubrimos que nos hemos dejado la manguera abierta, dejamos de sospechar que ha llovido. Las reglas con incertidumbre deberan de poder usarse en ambas direcciones. Si hay fuego debe de haber humo Si vemos humo sospechamos la existencia de fuego

Una Introduccin a las Redes Bayesianas p.7/??

Problemas
La validez de una regla depende del contexto. Si conozco el nivel de estudios de una persona, obtengo informacin sobre su nivel de ingresos. Esta informacin puede ser equivocada y ponerse de maniesto si conozco el puesto de trabajo concreto que esta persona desarrolla Si al salir de casa vemos el csped mojado podemos sospechar que ha llovido. Si descubrimos que nos hemos dejado la manguera abierta, dejamos de sospechar que ha llovido. Las reglas con incertidumbre deberan de poder usarse en ambas direcciones. Si hay fuego debe de haber humo Si vemos humo sospechamos la existencia de fuego Correlacin entre las informaciones. Si una misma informacin se repite Una Introduccin a las Redes Bayesianas p.7/?? muchas veces no debe de aumentar nuestra certidumbre.

Probabilidad
La probabilidad como medida de certeza, no presenta ninguno de estos problemas. Puedo tener P(Gripe|Fiebre) =0.9, P(Gripe|Fiebre, Otitis) =0.1. Presenta otro: necesito una distribucin de probabilidad conjunta. Si tengo 30 variables, X1 , . . . , Xn y cada una de ellas, Xi , toma dos posibles valores {ai , ai }, entonces necesitamos partir de las probabilidades de todas las combinaciones (x1 , x2 , . . . , xn ), xi {ai , ai }

Si n = 30, necesitamos 230 valores, pero inicialmente solemos disponer de unas cuantas probabilidades condicionadas.
Una Introduccin a las Redes Bayesianas p.8/??

Probabilidad
Slo vamos a considerar la probabilidad sobre conjuntos nitos. Vamos a suponer un conjunto U nito de sucesos elementales y una familia de conjuntos o sucesos B (si U es nito esta familia suele ser el conjunto de las partes de U ). Una medida de probabilidad sobre (U , B) es una aplicacin P : B [0, 1], que verica: P(U ) = 1 Si A y C son disjuntos P(A C) = P(A) + P(C)

Una Introduccin a las Redes Bayesianas p.9/??

Probabilidad Condicional
P(A B) , P(A|B) = P(B) P(B) = 0

Aunque tiene sentido hablar de probabilidad condicionada a sucesos de probabilidad 0, y en ese caso se debe de vericar: P(A B) = P(A|B).P(B) La probabilidad P(A|B) es la probabilidad de A cuando conocemos que B y slo B es cierto.

Una Introduccin a las Redes Bayesianas p.10/??

El Teorema de la Probabilidad Total


Si un paciente tiene la enfermedad E , entonces un test T resulta positivo con probabilidad 0.95. Si la enfermedad no est presente el test es positivo con probabilidad 0.03. Si la probabilidad de sufrir la enfermedad es 0.01, Cual es la probabilidad de que un paciente cualquiera presente un test positivo? Queremos la probabilidad de T +, pero slo conocemos la probabilidad de T + condicionado a la enferemedad y a que no se tenga la enfermedad, y adems conocemos las probabilidades de tener y no tener las enfermedad. Si {Hi }iI es una coleccin nita de sucesos disjuntos dos a dos y cuya unin es el suceso seguro (U ). P(B) = iI P(B|Hi )P(Hi )
Una Introduccin a las Redes Bayesianas p.11/??

El Teorema de la Probabilidad Total


Si {Hi }iI es una coleccin nita de sucesos disjuntos dos a dos y cuya unin es el suceso seguro (U ). P(B) = iI P(B|Hi )P(Hi ) Demostracin: P(B) = P(B U ) = P(B ( iI Hi )) = P( iI (B Hi )) = iI P(B Hi ) = iI P(B|Hi )P(Hi ) P(T +) = P(T + |E ).P(E ) + P(T + |E ).P(E ) = 0.95 0.01 + 0.03 0.99 = 0.0392

Una Introduccin a las Redes Bayesianas p.12/??

El Teorema de Bayes
Si un paciente tiene la enfermedad E , entonces un test T resulta positivo con probabilidad 0.95. Si la enfermedad no est presente el test es positivo con probabilidad 0.03. Si la probabilidad de sufrir la enfermedad es 0.01, Cual es la probabilidad de que un paciente con un test positivo sufra la enfermedad? Conocemos P(T + |E ) y las probabilidades P(T + |E ), P(E ) y queremos la probabilidad P(E |T +). Es como invertir la probabilidad condicionada. Si {Hi }iI es una coleccin de sucesos disjuntos dos a dos y cuya unin es el suceso seguro (U ). P(H j |B) =
P(H j B) P(B)

P(B|H j ).P(H j ) P(B)

P(B|H j ).P(H j ) iI P(B|Hi )P(Hi )


Una Introduccin a las Redes Bayesianas p.13/??

El Teorema de Bayes
Si un paciente tiene la enfermedad E , entonces un test T resulta positivo con probabilidad 0.95. Si la enfermedad no est presente el test es positivo con probabilidad 0.03. Si la probabilidad de sufrir la enfermedad es 0.01, Cual es la probabilidad de que un paciente con un test positivo sufra la enfermedad? Si {Hi }iI es una coleccin de sucesos disjuntos dos a dos y cuya unin es el suceso seguro (U ). P(H j |B) =
P(B|H j ).P(H j ) iI P(B|Hi )P(Hi )

En el caso del ejemplo, P(T +|E ).P(E ) P(E |T +) = P(T +|E ).P(E )+P(T +|E ).P(E ) = 0.0095/0.0392 = 0.2423

0.950.01 0.950.01+0.030.99

Una Introduccin a las Redes Bayesianas p.14/??

Variables Inciertas
Una variable es una magnitud medible en un determinado problema. Es incierta cuando su resultado no puede ser determinado con exactitud. Vamos a hablar en trminos de variables inciertas. Las variables aleatorias las representaremos por X , Y , Z , . . . Temperatura con valores en { 36, 36.5, 37, 37.5, 38, 38.5, 39, 39.5, 40} Hepatitis con valores en {Presente, Ausente} N. de Hijos con valores en {0, 1, 2, 3, > 3} Un valor genrico de la variable X se representar por x Un conjunto de variables se representar por X Un valor genrico de X se representar por x
Una Introduccin a las Redes Bayesianas p.15/??

Variables Discretas y Continuas


Una variable es discreta si el conjunto de valores posibles es nito (Presencia de una enfermedad, Nmero de asignaturas matriculadas, Sexo, Estudios realizados ) Una variable es continua si toma valores en un intervalo de los nmeros reales (Altura, Peso, Luminosidad ). Nosotros vamos a considerar variables discretas Si hay continuas las discretizamos dividindolas en un conjunto nito de intervalos

Una Introduccin a las Redes Bayesianas p.16/??

Distribuciones de probabilidad
Una distribucin de probabilidad p sobre X es la funcin que asigna a cada valor x, la probabilidad con que X toma dicho valor. Se notar como p(x). Ejemplo: Variable N. de hijos con valores {0, 1, 2, 3, > 3} y la distribucin de probabilidad: p 0 1 2 3 >3 0.1 0.3 0.4 0.15 0.05 Sus valores deben de sumar 1.
0.4 0.3 0.2 0.1

>3

Una Introduccin a las Redes Bayesianas p.17/??

Distribuciones Conjuntas
Si tenemos un conjunto de variables X una distribucin de probabilidad conjunta asocia a cada posible valor de estas x, su probabilidad p(x). Ejemplo: Tenemos las variables X (Color de los ojos) e Y (Color del pelo), una distribucin conjunta sobre estas variables puede ser Y Moreno Rubio X Marrones Azules 0.5 0.05 0.15 0.3

Tambin podemos tener distribuciones que dependan de ms de dos variables, p.e. p(x, y, z).
Una Introduccin a las Redes Bayesianas p.18/??

Distribuciones Condicionadas
Si tenemos dos variables, X , Y , la distribucin de probabilidad de Y dado X , es una funcin de los conjuntos dnde Y y X toman sus valores en [0,1], dada por p(y|x) = P(Y = y|X = x) Es evidente que x, y p(y|x) = 1 Caso de los test y de las enfermedades p(t |e) t+ e t 0.95 0.05

e 0.03 0.97
Una Introduccin a las Redes Bayesianas p.19/??

Distribuciones Condicionadas
Si condicionamos a varias variables, tenemos que dar el valor de probabilidad de la variable para cada combinacin de valores de las variables condicionadas. Ejemplo: Sean X Cncer de Pulmn, Y Fumador y Z Sexo. Supongamos que tenemos que una probabilidad condicionada de X dadas las variables Y y Z , tenemos que dar una tabla de valores como la siguiente: Y= Si Y = Si Y = No Y = No Z= Hombre Z= Mujer Z = Hombre Z = Mujer X=Si 0.5 0.4 0.6 0.2 0.8 0.1 0.9
Una Introduccin a las Redes Bayesianas p.20/??

X=No 0.5

Muchas Variables
Qu pasa si el nmero de variables es elevado? Supongamos que en el problema de la enfermedad que se detecta con un test, en vez de un slo test tenemos 10 (T1 , . . . , T10 ). Ahora para especicar el problema y despus poder aplicar el teorema de Bayes, deberemos indicar todos los valores p(t1 , . . . , t10 |e), ti {+, }, e {pres,aus} Esto constituye un nmero importante de valores y crece exponencialmente en funcin del nmero de tests.

Una Introduccin a las Redes Bayesianas p.21/??

Independencia Condicional
Una hiptesis que permite simplicar el problema: Los tests son condicionalmente independientes dada la enfermedad. Entonces, podemos expresar p(t1 , . . . , t10 |e) = p(ti |e)
i=1 10

La independencia ser denida formalmente ms adelante, pero se puede interpretar como que los tests tienen distintos mecanismos de medicin, se jan en distintos factores, no se equivocan siempre en los mismos casos.

Una Introduccin a las Redes Bayesianas p.22/??

Bayes Nave
En problemas de clasicacin de una variable Y en funcin de otras variables X1 , . . . , Xn la hiptesis de independencia condicional da lugar al mtodo Nave Bayes. Fue usado por primera vez en 1.961 y es extremadamente competitivo an en casos en los que la hiptesis no sea aplicable. La razn: Los modelos son ms sencillos y se pueden estimar mejor.

Una Introduccin a las Redes Bayesianas p.23/??

Potenciales
Si X es un conjunto de variables y X es el conjunto de todos los valores posibles de X, un potencial sobre X es una aplicacin f : f : X R donde R representa el conjunto de los nmeros reales. Un potencial asigna un valor numrico a cada combinacin posible de valores de las variables en X. Una distribucin de probabilidad conjunta o una distribucin condicionada son ejemplos de potenciales. Un potencial se puede representar en un programa como una tabla con tantos ndices como variables y donde cada ndice puede tomar tantos valores como casos posibles tiene la variable correspondiente.
Una Introduccin a las Redes Bayesianas p.24/??

Operaciones Bsicas con Potenciales


Marginalizacin.- Si tenemos un potencial f denido sobre las variables (X, Y) la marginalizacin de f sobre

Una Introduccin a las Redes Bayesianas p.25/??

Marginalizacin
Si tenemos un conjunto de variables Y = (X, Z), entonces la marginalizacin permite obtener la distribucin de probabilidad sobre X (distribucin marginal) a partir de la de Y. Si p(x, z) es una distribucin sobre (X, Z) entonces su marginalizacin sobre X es la distribucin que se obtiene de la forma: p(x) = p(x, z)
z

La marginalizacin sobre X se llama tambin borrado de las variables en Z. Por ejemplo, si tengo una distribucin p(x, y, z) sobre (X , Y , Z ) , la marginalizacin sobre (X , Y ) se obtiene como p(x, y) = z p(x, y, z)
Una Introduccin a las Redes Bayesianas p.26/??

Marginalizacin
Si tenemos un conjunto de variables Y = (X, Z), entonces la marginalizacin permite obtener la distribucin de probabilidad sobre X (distribucin marginal) a partir de la de Y. Si p(x, z) es una distribucin sobre (X, Z) entonces su marginalizacin sobre X es la distribucin que se obtiene de la forma: p(x) = p(x, z)
z

La marginalizacin sobre X se llama tambin borrado de las variables en Z. Por ejemplo, si tengo una distribucin p(x, y, z) sobre (X , Y , Z ) , la marginalizacin sobre (X , Y ) se obtiene como p(x, y) = z p(x, y, z)
Una Introduccin a las Redes Bayesianas p.27/??

Ejemplo
Sean X Cncer de Pulmn, Y Fumador y Z Sexo. Supongamos que tenemos la siguiente distribucin de probabilidad conjunta Y= Si Y = Si Y = No Y = No Z= Hombre Z= Mujer Z = Hombre Z = Mujer X=Si 0.14 0.168 0.252 0.024 0.096 0.018 0.162 X=No 0.14

Una Introduccin a las Redes Bayesianas p.28/??

Ejemplo
Sean X Cncer de Pulmn, Y Fumador y Z Sexo. Supongamos que tenemos la siguiente distribucin de probabilidad conjunta Y= Si Y = Si Y = No Y = No Z= Hombre Z= Mujer Z = Hombre Z = Mujer X=Si 0.14 0.168 0.024 0.018 X=No 0.14 0.252 0.096 0.162 La marginalizacin sobre (Y , Z ) viene dada por la distribucin de probabilidad: Y= Si Y = Si Y = No Y = No Z= Hombre Z= Mujer Z = Hombre Z = Mujer 0.28 0.42 0.12 0.18
Una Introduccin a las Redes Bayesianas p.28/??

Ejemplo
La distribucin sobre (Y , Z ) la podemos marginalizar sobre cualquiera de sus variables. Y= Si Y = Si Y = No Y = No Z= Hombre Z= Mujer Z = Hombre Z = Mujer 0.28 0.42 Sobre Y obtenemos Y = Si Y = No 0.7 0.3 Sobre Z obtenemos Z = Hombre Z = Mujer 0.4 0.6 El resultado de borrar dos variables consecutivas es el mismo que si dichas variables se borran en un solo paso. 0.12 0.18

Una Introduccin a las Redes Bayesianas p.29/??

Independencia
Las variables X e Y son independientes si y solo si la distribucin de probabilidad verica pX ,Y (x, y) = pX (x). pY (y), x, y

donde pX , pY son las distribuciones de probabilidad marginales sobre las variables X e Y respectivamente. Una denicin alternativa: p(y|x) = p(y), x, y o, equivalentemente, p(x|y) = p(x), x, y

Una Introduccin a las Redes Bayesianas p.30/??

Ejemplo
Sean dos urnas con 10 bolas: una con 3 rojas y 7 blancas y otra con 8 rojas y 2 blancas. Se eligen dos bolas aleatoriamente, una de cada urna, sin ninguna relacin entre las extracciones. Tabla de Probabilidades: R1 B1 R2 0.24 0.56 0.80 B2 0.06 0.14 0.20 0.30 0.70 1.00

Una Introduccin a las Redes Bayesianas p.31/??

Independencia Condicional
Dadas las variables X , Y y Z decimos que X e Y son condicionalmente independientes Z si y solo si PX ,Y,Z (x, y, z) = (PX ,Z (x, z).PY,Z (y, z))/PZ (z), x, y, z con PZ (z) > 0

donde pX ,Z , pY,Z , pZ son las distribuciones de probabilidad marginales sobre las variables (X , Z ), (Y , Z ) y Z , respectivamente. Anlogamente se dene para conjuntos de variables

Una Introduccin a las Redes Bayesianas p.32/??

Deniciones alternativas
PY |X ,Z (y|x, z) = PY |Z (y|z), PX |Y,Z (x|y, z) = PX |Z (x|z), x, y, z x, y, z x, y, z x, y, z

PX ,Y |Z (x, y|z) = PX |Z (x|z).PY |Z (y|z), PX ,Y,Z (x, y, z) = f 1 (x, z). f 2 (y, z),

Una Introduccin a las Redes Bayesianas p.33/??

Ejemplo
Supongamos dos urnas con bolas blancas (b) y rojas ( r). La primera tiene 99 rojas y 1 blanca; la segunda tiene 1 roja y 99 blancas. Supongamos el siguiente experimento: elegimos aleatoriamente una urna, las dos con la misma probabilidad (0.5). Sea Z el resultado de la seleccin: con valores u1 (primera urna), u2 (segunda). Entonces elegimos dos bolas con reemplazamiento de la urna elegida. Sean los colores de las bolas X e Y . X e Y no son independientes: el color de una bola nos informa sobre el color de la otra.

Una Introduccin a las Redes Bayesianas p.34/??

Ejemplo
Z : u1 (99 rojas y 1 blanca), u2 (1 roja y 99 blancas) X , Y colores de las bolas. La probabilidad de que X = b es p(u1). pX (b|u1) + p(u2). pX (b|u2) = 0.5 0.01 + 0,5 0.99 = 0.5 Anlogamente, la probabilidad de que Y = b es 0.5. Sin embargo, la probabilidad de que X = b, Y = b es p(u1). pX (b|u1) pY (b|u1) + p(u2). pX (b|u2). pY (b|u2) = 0.5 0.01 0.01 + 0.5 0.99 0.99 = 0.4901 Por tanto, PX ,Y (b, b) = PX (b).PY (b)

Una Introduccin a las Redes Bayesianas p.35/??

Ejemplo
Z : u1 (99 rojas y 1 blanca), u2 (1 roja y 99 blancas) X , Y colores de las bolas. La probabilidad de que X = b es p(u1). pX (b|u1) + p(u2). pX (b|u2) = 0.5 0.01 + 0,5 0.99 = 0.5 Anlogamente, la probabilidad de que Y = b es 0.5. Sin embargo, la probabilidad de que X = b, Y = b es p(u1). pX (b|u1) pY (b|u1) + p(u2). pX (b|u2). pY (b|u2) = 0.5 0.01 0.01 + 0.5 0.99 0.99 = 0.4901 Por tanto, PX ,Y (b, b) = PX (b).PY (b) Sin embargo, X e Y son independientes dada Z , ya que las extracciones se hacen con reemplazamiento de la misma urna. Por ejemplo, pX ,Y (b, r|u1 ) = pX (b|u1 ). pY (r|u1 ) = 0.01 0.99 = 0.0099
Una Introduccin a las Redes Bayesianas p.35/??

Dicultades de la independencia
Si tenemos una conjunto de variable, tendramos que considerar todas las relaciones de independencia

I ( X , Y | Z)
Variables Independ. Variables Observadas

Esta relacin se lee X es independiente de Y dadas (o conocidas) Z Dado un conjunto de n variables, estas son n (n 1)2n2 .
Una Introduccin a las Redes Bayesianas p.36/??

Cambios en las Observaciones


Consideremos las variables: A Alarma R Robo S Seismo La Alarma puede sonar por un Robo o un Seismo. Tenemos que R y S son independientes sin saber nada / )). (I (R, S|0 Sin embargo, si conocemos que son la alarma, estas variables se vuelven dependientes (I (R, S|A)) Al conocer ms pasamos de independencia a dependencia.

Una Introduccin a las Redes Bayesianas p.37/??

Cambios en las Observaciones


M1

Transm. 1

M2

Transm. 2

M3

Se manda un mensaje (M1 ) por un transmisor. El mensaje que se recibe (M2 ) se enva por un segundo transmisor. M3 es el mensaje que se recible al nal. Los transmisores tienen ruido y pueden modicar los mensajes Tenemos que M1 y M3 son dependientes sin conocer nada / )). Sin embargo, conocido (M2 ) los mensajes M1 y (I (M1 , M3 |0 M3 son independientes (I (M1 , M3 |M2 )) En este ejemplo, conocer ms pasamos de dependencia a independencia.
Una Introduccin a las Redes Bayesianas p.38/??

Redes Bayesianas
Una red bayesiana consta de dos partes: Una cualitativa: un grafo dirigido acclico Un nodo por cada variable del problema Un conjunto de enlaces dirigidos sin crear ciclos dirigidos

SI

NO

Una cuantitativa: una serie de probabilidades condicionadas que determinan una nica distribucin de probabilidad conjunta.
Una Introduccin a las Redes Bayesianas p.39/??

Redes Bayesianas. Nodo X


Nodo referencia Padres Ascendientes Hijos Descendientes Otros

Una Introduccin a las Redes Bayesianas p.40/??

Representacin de Independencias
Una red bayesiana representa un conjunto de independencias. De ellas podemos distinguir: Independencias Bsicas.- Son aquellas que hay que tener cuidado que se veriquen cuando se construye la red. Independencias Totales.- Son todas las que se deducen de las bsicas aplicando las propiedades de las relaciones de independencia. Se puede comprobar mediante el llamado criterio de D-separacin.

Una Introduccin a las Redes Bayesianas p.41/??

Independencias Bsicas
Nodo referencia Padres No descendientes Descendientes

Cada nodo es independiente de sus no-descendientes dados sus padres.


Una Introduccin a las Redes Bayesianas p.42/??

Ejemplos
R S M1

A /) I (R, S|0

M2

M3 I (M1 , M3 |M2 )

Una Introduccin a las Redes Bayesianas p.43/??

Otras independencias: D-separacin


X es independiente de Y dado Z1 , . . . , Zk si todo camino (usando los arcos en ambas direcciones) entre X e Y est bloqueado en algn nodo por las observaciones Z1 , . . . , Zk . Un camino entre X e Y est bloqueado en un nodo Z por un conjunto de observaciones Z1 , . . . , Zk cuando se da una de las siguientes condiciones: El camino pasa por el nodo Z con echas no cabeza-cabeza y el nodo est observado. El camino pasa por el nodo Z con echas cabeza-cabeza y ni el nodo ni ninguno de sus descendientes est observado.

Una Introduccin a las Redes Bayesianas p.44/??

Dos formas de bloqueo


Dos formas bsicas de bloqueo en un nodo: X Y X Y

Nodos estudiados Nodos observados

No Cabeza-Cabeza

Cabeza-Cabeza

Nodos no observados Nodo que bloquea (observado o no)

Nodo y descendientes no observados

Una Introduccin a las Redes Bayesianas p.45/??

Cabeza-Cabeza
Cabeza-Cabeza No Cabeza-Cabeza

X X X X

Una Introduccin a las Redes Bayesianas p.46/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado


Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado

Primer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Segundo Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado

Tercer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Cuarto Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Variables Independientes (sin obs.)
Una Introduccin a las Redes Bayesianas p.47/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado


Una Introduccin a las Redes Bayesianas p.48/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Primer Camino NO Bloqueado


Una Introduccin a las Redes Bayesianas p.48/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Variables Dependientes (rojas obs.)
Una Introduccin a las Redes Bayesianas p.48/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado


Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Primer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Segundo Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Tercer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Cuarto Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Variables Independientes (rojas obs.)
Una Introduccin a las Redes Bayesianas p.49/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado


Una Introduccin a las Redes Bayesianas p.50/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Primer Camino NO Bloqueado


Una Introduccin a las Redes Bayesianas p.50/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Variables Dependientes (rojas obs.)
Una Introduccin a las Redes Bayesianas p.50/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado


Una Introduccin a las Redes Bayesianas p.51/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Primer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.51/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Segundo Camino NO Bloqueado


Una Introduccin a las Redes Bayesianas p.51/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Variables Dependientes (rojas obs.)
Una Introduccin a las Redes Bayesianas p.51/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado


Una Introduccin a las Redes Bayesianas p.52/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Primer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.52/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Segundo Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.52/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Tercer Camino Bloqueado


Una Introduccin a las Redes Bayesianas p.52/??

Ejemplos de Independencia

Resto Variables Variables examinadas Nodo Observado Variables Independientes (rojas obs.)
Una Introduccin a las Redes Bayesianas p.52/??

La Red Asia
Asia Fumador

Tuberculosis

Cncer Pulmn Bronquitis

Tuberc. Cnc. Pulmn Rayos X

Tos

Asma
Una Introduccin a las Redes Bayesianas p.53/??

Ejemplos 3 Variables
Edad Edad

Edad

Sexo

Ingresos

Ingresos

Ingresos

Restaurante

Coche

Una Introduccin a las Redes Bayesianas p.54/??

Ejemplo con tres variables


Edad Edad Ingresos

Conocimientos

Sexo

Edad

Sexo

Color ojos

Conocimiento

Una Introduccin a las Redes Bayesianas p.55/??

Independencias y Causalidad
Edad Ingresos

Ingresos

Edad

Coche

Conocimiento

En ambos casos las variables superior e inferior son condicionalmente independientes dada la variable central, pero la estructura causal es distinta. Una Introduccin a las Redes Bayesianas p.56/??

Representacin de Independencias
Hay problemas con independencias que no pueden representarse de forma exacta mediante redes Bayesinas. Ejemplo: Tenemos dos interruptores con dos posiciones cada uno (0 y 1). Sean X e Y las posiciones de estos interruptores. Tenemos una luz que est encendida si los dos interruptores estn en la misma posicin y apagada si estn en posicin distinta. Sea Z el estado de la luz. Supongamos que los interruptores son independientes y que tienen la misma probabilidad (0.5) de estar en cualquiera de los dos estados. Tenemos que: / ), I (X , Z |0 / ), I (Y , Z |0 / ). Se verica I (X , Y |0 Pero las independencias condicionadas no se verican: I (X , Y |Z ), I (X , Z |Y ), I (Y , Z |X ).

Una Introduccin a las Redes Bayesianas p.57/??

Representacin
Esto se puede representar mediante la red X Z / ) , pero no El problema es que representamos I (X , Y |0 / ), I (Y , Z |0 / ). I (X , Z |0 Si quitamos cualquiera de los enlaces, ya estamos representando alguna de las independencias condicionadas que no se vericaban. Y

Una Introduccin a las Redes Bayesianas p.58/??

Mapas de Independencias Minimales


Un mapa de independencias minimal para un problema es un grafo dirigido acclico tal que todas las independencias del grafo estn en el problema, pero que si al grafo le quitamos alguna arista, entonces aparecen independencias que no estn en el problema. En general, nuestro objetivo ante un problema es construir un mapa de independencias minimal. Si es posible, debera de representar todas las independencias del problema.

Una Introduccin a las Redes Bayesianas p.59/??

Construccin de mapas de independencias


Supongamos que X es el conjunto de variables de partida. Sea Y1 , Y2 , . . . , Yn un orden cualquiera de estas variables (no deben de invertirse relaciones causales conocidas: Si A es causa de B, entonces A debe de preceder a B) El mapa de indepencias minimal, se construye comenzando por el grafo vaco e introduciendo las variables en el orden dado.

Una Introduccin a las Redes Bayesianas p.60/??

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . , Y j1 }, entonces se determina un conjunto minimal de variables Bj (las variables de las que Y j tiene una dependencia directa) que es un conjunto minimal tal que I (Y j , Aj Bj |Bj ) El grafo se construye haciendo que los padres de Y j sean los nodos de Bj .

Una Introduccin a las Redes Bayesianas p.61/??

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . , Y j1 }, entonces se determina un conjunto minimal de variables Bj (las variables de las que Y j tiene una dependencia directa) que es un conjunto minimal tal que I (Y j , Aj Bj |Bj ) El grafo se construye haciendo que los padres de Y j sean los nodos de Bj . A D B E C

Una Introduccin a las Redes Bayesianas p.61/??

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . , Y j1 }, entonces se determina un conjunto minimal de variables Bj (las variables de las que Y j tiene una dependencia directa) que es un conjunto minimal tal que I (Y j , Aj Bj |Bj ) El grafo se construye haciendo que los padres de Y j sean los nodos de Bj . A D F
Una Introduccin a las Redes Bayesianas p.61/??

B E

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . , Y j1 }, entonces se determina un conjunto minimal de variables Bj (las variables de las que Y j tiene una dependencia directa) que es un conjunto minimal tal que I (Y j , Aj Bj |Bj ) El grafo se construye haciendo que los padres de Y j sean los nodos de Bj . A D F
Una Introduccin a las Redes Bayesianas p.61/??

B E

C I(F,{A,C}|B,D,E) {B,D,E} minimal

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . , Y j1 }, entonces se determina un conjunto minimal de variables Bj (las variables de las que Y j tiene una dependencia directa) que es un conjunto minimal tal que I (Y j , Aj Bj |Bj ) El grafo se construye haciendo que los padres de Y j sean los nodos de Bj . A D F
Una Introduccin a las Redes Bayesianas p.61/??

B E

C I(F,{A,C}|B,D,E) {B,D,E} minimal

Construccin de mapas de independencias


Si vamos a introducir Y j y Aj = {Y1 , . . . , Y j1 }, entonces se determina un conjunto minimal de variables Bj (las variables de las que Y j tiene una dependencia directa) que es un conjunto minimal tal que I (Y j , Aj Bj |Bj ) El grafo se construye haciendo que los padres de Y j sean los nodos de Bj . A D F El Problema: Determinar un orden entre las variables.
Una Introduccin a las Redes Bayesianas p.61/??

B E

C I(F,{A,C}|B,D,E) {B,D,E} minimal

Septiembre 2002
Tenemos un canal de informacin con dos transmisores. La entrada a los dos es la misma: variable E con valores 0 1. Las salidas de los transmisores (S1 y S2 ) sern el mismo valor de entrada si funcionan correctamente o, en el caso de que no funcionen la salida ser aleatoria ( 0 1 con probabilidad 1/2 cada uno). Las variables C1 y C2 representan el comportamiento de estos dos transmisores, respectivamente (con valor 0 si es aleatorio y 1 si es correcto). El comportamiento de los dos transmisores depende del estado de la fuente de alimentacin (F ). Esta puede estar en dos situaciones: calidad alta (1) y calidad baja (0). En el caso de calidad baja, hay una mayor probabilidad de comportamiento incorrecto en ambos casos. No hay ninguna otra inuencia comn sobre las variables C1 y C2 . Existe un dispositivo que mira las salidas de ambos transmisores y produce un valor S f . Cuando S1 = S2 , entonces S f coincide con ambos valores. Cuando S1 = S2 , entonces S f toma el valor e. Finalmente, existe una variable (T ) que comprueba el funcionamiento del sistema. Si S f = E , entonces T = 1 (funcion correctamente). Si S f = e, entoces T = 2 (error detectado). Si S f = e y S j = E , entonces T = 0 (error no detectado).
Una Introduccin a las Redes Bayesianas p.62/??

Septiembre 2002: Preguntas


1. 2. 3. Determinar una red bayesiana que sea compatible con las relaciones entre las variables del sistemaEscribir una tabla de probabilidad para S1 dados sus padres que sea compatible con los datos anteriores. Para los siguientes pares de variables determinar un conjunto lo ms pequeo posible, tal que si observamos dicho conjunto de variables, entonces el par es independiente: a) b) c) EyF T y S1 E y Sf
Una Introduccin a las Redes Bayesianas p.63/??

Red
Orden: F, E , C1 , C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F Orden: F, E , C1 , C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2 S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2 S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2 S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 Sf E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2 S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 Sf E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2 S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 Sf E Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2 S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E T Sf Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2 S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E T Sf Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2 S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E T Sf Orden: F, E , C1 , C2 , S1 , S2 , S f , T

C2 S2

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E T Sf
S1 = 0 S1 = 1

Orden: F, E , C1 , C2 , S1 , S2 , S f , T E y F: T y S1 : E y Sf:

C2 S2
E =0 0.5 0.5

E =0 1.0 0.0

E =1 0.5 0.5

E =1 0.0 1.0

C1 = 0 C1 = 1 C1 = 0 C1 = 1

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E T Sf
S1 = 0 S1 = 1

Orden: F, E , C1 , C2 , S1 , S2 , S f , T / E y F: 0 T y S1 : E y Sf:

C2 S2
E =0 0.5 0.5

E =0 1.0 0.0

E =1 0.5 0.5

E =1 0.0 1.0

C1 = 0 C1 = 1 C1 = 0 C1 = 1

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E T Sf
S1 = 0 S1 = 1

Orden: F, E , C1 , C2 , S1 , S2 , S f , T / E y F: 0 T y S1 : {E , S f } E y Sf:

C2 S2

E =0 0.5 0.5

E =0 1.0 0.0

E =1 0.5 0.5

E =1 0.0 1.0

C1 = 0 C1 = 1 C1 = 0 C1 = 1

Una Introduccin a las Redes Bayesianas p.64/??

Red
F C1 S1 E T Sf
S1 = 0 S1 = 1

Orden: F, E , C1 , C2 , S1 , S2 , S f , T / E y F: 0 T y S1 : {E , S f } E y S f : {S1 , S2 }

C2 S2

E =0 0.5 0.5

E =0 1.0 0.0

E =1 0.5 0.5

E =1 0.0 1.0

C1 = 0 C1 = 1 C1 = 0 C1 = 1

Una Introduccin a las Redes Bayesianas p.64/??

La Importancia de la Causalidad
Fumar

Cncer Pulmn

Dedos Amarillos

Una Introduccin a las Redes Bayesianas p.65/??

La Importancia de la Causalidad
Fumar Dedos Amarillos

Cncer Pulmn

Dedos Amarillos

Cncer Pulmn

Una Introduccin a las Redes Bayesianas p.65/??

La Importancia de la Causalidad
Fumar Dedos Amarillos

Cncer Pulmn

Dedos Amarillos

Cncer Pulmn

P(Cancer Pulmon | Dedos Amarillos ) P(Cancer Pulmon) P(Cancer Pulmon | a(Dedos Amarillos))? donde a(Dedos Amarillos) es la accin de poner los dedos amarillos, Una Introduccin a las Redes Bayesianas p.65/?? en lugar de observar los dedos amarillos.

El Teorema de Descomposicin
Dada una red bayesiana con variables X entonces la distribucin de probabilidad conjunta de estas variables se puede descomponer de la forma: p(x) = p(y|pa(y))
yx

donde pa(Y ) es el conjunto de padres de la variable Y . Consecuencia: Para especicar una red bayesiana solo hay que dar, para cada variable, una distribucin de probabilidad condicionada dada sus padres. Si la variable es raz, la distribucin ser la distribucin marginal (sin condicionar ya que no tiene padres).
Una Introduccin a las Redes Bayesianas p.66/??

Ejemplo
A B C D

p(a, b, c, d , e, f , g, h, i) = p(a). p(b). p(c). p(d ). p(e|a). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f )
Una Introduccin a las Redes Bayesianas p.67/??

Redes Bayesianas: Nmeros


La parte cuantitativa de una red bayesiana es: Para cada variable de la red, una distribucin de probabilidad condicionada a sus padres Si la red tiene n variables hay que especicar o calcular n distribuciones condicionadas. Estas distribuciones, por el teorema de descomposicn, determinan una nica distribucin de probabilidad conjunta.

Una Introduccin a las Redes Bayesianas p.68/??

Clculo de Probabilidades
Tenemos una red bayesiana asociada a un conjunto de probabilidades el problema fundamental de las redes es: dado un conjunto O de variables observadas: O = o y una variable objetivo Z , queremos calcular p(z|o), para todos los valores de la variable Z . Podramos calcular la distribucin conjunta, marginalizarla en las variables O {Z } y entonces calcular la distribucin de probabilidad condicionada deseada, pero esto tiene complejidad exponencial en el nmero de variables. Gran reto: Calcular la probabilidad condicionada sin tener que calcular la conjunta (usando las distribuciones de cada variable condicionadas a sus padres).
Una Introduccin a las Redes Bayesianas p.69/??

La Operacin de Combinacin
Si p(x, y) y q(y, z) son dos potenciales, entonces su combinacin es el potencial p.q(x, y, z) dado por p.q(x, y, z) = p(x, y).q(y, z) La distribucin conjunta es la combinacin de todas las distribuciones condicionadas a sus padres de las variables de la red.

Una Introduccin a las Redes Bayesianas p.70/??

Ejemplo
p X=Si Y= Si 0.5 Y = Si 0.4 0.6 Y = Si 0.4 Y= Si 0.15 Y = Si 0.16 0.24 Y = No 0.2 0.8 Y = No 0.2 Y = No 0.04 0.16 Y = No 0.1 0.9 Y = No 0.1 Y = No 0.01 0.09
Una Introduccin a las Redes Bayesianas p.71/??

Z= Hombre Z= Mujer Z = Hombre Z = Mujer X=No 0.5 q Y= Si 0.3 p.q X=Si

Z= Hombre Z= Mujer Z = Hombre Z = Mujer

Z= Hombre Z= Mujer Z = Hombre Z = Mujer X=No 0.15

Ejemplo
p X= 0 X=0 Y= 0 Y=1 0.96 q Y= 0 Y=0 Z= 0 Z=1 0.97 p.q Resultado: X=1 X=1 Y=0 Y=1 0.9 Y=1 Y=1 Z=0 Z=1 0.8 X=0 Y=1 X=1 Y=0 X=1 Y=1 X= 0 Y= 0

0.04 0.1

0.03 0.2

Z=0 0.9312 0.008 0.097 0.18 Z=1 0.0288 0.032 0.003 0.72
Una Introduccin a las Redes Bayesianas p.72/??

Clculo sin Observaciones


Tenemos un conjunto de variables X y queremos calcular las probabilidades sobre Z sin observaciones: p(z). Supongamos que X = Y {Z } Tenemos que: p(z) = p(y, z)
y

Donde p(y, z) es la distribucin conjunta. Es decir, es la marginalizacin sobre Z de la distribucin conjunta. La forma ms evidente de hacerlo es: Combinar todas las distribuciones condicionadas para calcular la conjunta Marginalizar sobre Y
Una Introduccin a las Redes Bayesianas p.73/??

Ejemplo
A B C D

Objetivo: Calcular las probabilidades sobre H . p(h) = p(a, b, c, d , e, f , g, h, i) =

b,c,d ,e, f ,g,i


Una Introduccin a las Redes Bayesianas p.74/??

a,b,c,d ,e, f ,g,i

p(a). p(b). p(c). p(d ). p(e|a). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f )

Algoritmo de Borrado. Bases

p(a). p(b). p(c). p(d ). p(e|a). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f )

a,b,c,d ,e, f ,g,i

Una Introduccin a las Redes Bayesianas p.75/??

Algoritmo de Borrado. Bases

p(a). p(b). p(c). p(d ). p(e|a). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f )

a,b,c,d ,e, f ,g,i

b,c,d ,e, f ,g,i a

p(a). p(b). p(c). p(d ). p(e|a). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f )

Una Introduccin a las Redes Bayesianas p.75/??

Algoritmo de Borrado. Bases

p(a). p(b). p(c). p(d ). p(e|a). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f )

a,b,c,d ,e, f ,g,i

b,c,d ,e, f ,g,i a

p(a). p(b). p(c). p(d ). p(e|a). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f )
p(b). p(c). p(d ). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f ) a p(a). p(e|a)

b,c,d ,e, f ,g,i

Una Introduccin a las Redes Bayesianas p.75/??

Algoritmo de Borrado. Bases

p(a). p(b). p(c). p(d ). p(e|a). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f )

a,b,c,d ,e, f ,g,i

b,c,d ,e, f ,g,i a

p(a). p(b). p(c). p(d ). p(e|a). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f )
p(b). p(c). p(d ). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f ) a p(a). p(e|a) r(e) = a p(a). p(e|a) p(b). p(c). p(d ). p( f |b, c). p(g|c, d ). p(h|b, e). p(i|c, d , f )r(e)

b,c,d ,e, f ,g,i

b,c,d ,e, f ,g,i

Tenemos un problema similar, pero con una variable menos

Una Introduccin a las Redes Bayesianas p.75/??

Algoritmo de Borrado
T : Conjunto de potenciales (inicialmente probabilidades condicionadas) X: variables iniciales H : variable objetivo Y: variables iniciales, excepto H Algoritmo: 1. Para cada variable Z Y 2. Sea TZ el conjunto de los potenciales en T que contienen la variable Z 3. Sea q el potencial combinacin de todos los potenciales en TZ 4. Sea r el resultado de borrar Z en q 5. Hacer T igual a (T TZ ) {r} 6. p(h) es la combinacin de todos los potenciales en T
Una Introduccin a las Redes Bayesianas p.76/??

Algoritmo de Borrado: Ejemplo


T= { p(a), p(b), p(c), p(d ), p(e|a), p( f |b, c), p(g|c, d ), p(h|b, e), p(i|c, d , f )} Elegimos variable: A. Calculamos: r(e) = p(a). p(e|a)
a

Calculamos el nuevo conjunto: T = { p(b), p(c), p(d ), p( f |b, c), p(g|c, d ), p(h|b, e), p(i|c, d , f ), r(e)}

Una Introduccin a las Redes Bayesianas p.77/??

Algoritmo de Borrado: Ejemplo


T = { p(b), p(c), p(d ), p( f |b, c), p(g|c, d ), p(h|b, e), p(i|c, d , f ), r(e)} Elegimos variable: I . Calculamos: s(c, d , f ) = p(i|c, d , f )
i

Calculamos el nuevo conjunto: T = { p(b), p(c), p(d ), p( f |b, c), p(g|c, d ), p(h|b, e), s(c, d , f ), r(e)}

Una Introduccin a las Redes Bayesianas p.78/??

Algoritmo de Borrado: Ejemplo


T = { p(b), p(c), p(d ), p( f |b, c), p(g|c, d ), p(h|b, e), s(c, d , f ), r(e)} Elegimos variable: B. Calculamos: q(c, e, f , h) = p(b). p( f |b, c). p(h|b, e)
b

Calculamos el nuevo conjunto: T = { p(c), p(d ), p(g|c, d ), s(c, d , f ), r(e), q(c, e, f , h)}

Una Introduccin a las Redes Bayesianas p.79/??

Algoritmo de Borrado: Ejemplo


T = { p(c), p(d ), p(g|c, d ), s(c, d , f ), r(e), q(c, e, f , h)} Elegimos variable: D. Calculamos: t (c, f , g) = p(d ).s(c, d , f ). p(g|c, d )
d

Calculamos el nuevo conjunto: T = { p(c), r(e), q(c, e, f , h), t (c, f , g)}

Una Introduccin a las Redes Bayesianas p.80/??

Algoritmo de Borrado: Ejemplo


T = { p(c), r(e), q(c, e, f , h), t (c, f , g)} Elegimos variable: F . Calculamos: w(c, e, g, h) = q(c, e, f , h).t (c, f , g)
f

Calculamos el nuevo conjunto: T = { p(c), r(e), w(c, e, g, h)}

Una Introduccin a las Redes Bayesianas p.81/??

Algoritmo de Borrado: Ejemplo


T = { p(c), r(e), w(c, e, g, h)} Elegimos variable: E . Calculamos: m(c, g, h) = r(e).w(c, e, g, h)
e

Calculamos el nuevo conjunto: T = { p(c), m(c, g, h)}

Una Introduccin a las Redes Bayesianas p.82/??

Algoritmo de Borrado: Ejemplo


T = { p(c), m(c, g, h)} Elegimos variable: G. Calculamos: n(c, h) = m(c, g, h)
g

Calculamos el nuevo conjunto: T = { p(c), n(c, h)}

Una Introduccin a las Redes Bayesianas p.83/??

Algoritmo de Borrado: Ejemplo


T = { p(c), n(c, h)} Elegimos variable: C. Calculamos: v(h) = p(c).n(c, h)
c

Calculamos el nuevo conjunto: T = {v(h)}

La probabilidad buscada es: p(h) = v(h)

Una Introduccin a las Redes Bayesianas p.84/??

Notas
Calculamos la probabilidad deseada sin calcular la probabilidad conjunta En nuestro caso el nmero mximo de variables en un potencial es 5 Las variables se pueden elegir en cualquier orden. El resultado es siempre correcto Distintos rdenes pueden producir distinto nmero de operaciones Una buena heurstica: elegir la variables ms fcil de borrar en cada momento El problema es NP-duro, pero dependiendo de los grafos se pueden resolver problemas con miles de variables
Una Introduccin a las Redes Bayesianas p.85/??

Variables Obervadas
Hemos obervado O = o y queremos calcular p(z|o) para una variable Z . El algoritmo de borrado calcula: p(z, o) para todos los valores de Z Despus, del valor deseado p(z|o) se obtiene dividiendo cada valor p(z, o) por z p(z , o) (normalizando). Para calcular p(z, o) se aplica el mismo algoritmo de antes, pero transformando los potenciales iniciales. El proceso consiste en hacer iguales a cero los valores correspondientes a los valores no obervados de las variables O.

Una Introduccin a las Redes Bayesianas p.86/??

Ejemplo. Variables Observadas


Supongamos el potencial p: p Y= Si Y = Si X=Si 0.14 0.168 Y = No 0.024 Y = No 0.018

Z= Hombre Z= Mujer Z = Hombre Z = Mujer X=No 0.14 0.252 0.096 0.162 Y que hemos observado, Y = Si. Antes del algoritmo tendramos que transformar p en el potencial: Y= Si Y = Si Y = No Y = No Z= Hombre Z= Mujer Z = Hombre Z = Mujer X=Si 0.14 0.168 0.252 0.0 0.0 0.0 0.0
Una Introduccin a las Redes Bayesianas p.87/??

X=No 0.14

Ejemplo 2. Variables Observadas


Supongamos el potencial p: p Y= Si Y = Si X=Si 0.14 0.168 Y = No 0.024 Y = No 0.018

Z= Hombre Z= Mujer Z = Hombre Z = Mujer X=No 0.14 0.252 0.096 0.162 Y que hemos observado, Y = Si, Z=Hombre. Antes del algoritmo tendramos que transformar p en el potencial: Y= Si Y = Si Y = No Y = No Z= Hombre Z= Mujer Z = Hombre Z = Mujer X=Si 0.14 0.0 0.0 0.0 0.0 0.0 0.0
Una Introduccin a las Redes Bayesianas p.88/??

X=No 0.14

Ejemplo: normalizacin
Si Z tiene tres valores {z1 , z2 , z3 }, y al nal del algoritmo hemos obtenido el potencial: q Z = z1 Z = z2 Z = z3 0.2 0.2 0.1 Entonces, las probabilidades condicionadas se obtienen dividiendo estos valores por su suma: p(z1 |o) p(z2 |o) p(z3 |o) 0.4 0.4 0.2

Una Introduccin a las Redes Bayesianas p.89/??

La Conguracin de Mxima Probabilidad


Tenemos un conjunto de variables X, y un conjunto de observaciones O = o. Objetivo: Calcular una conguracin (un valor para cada variable) no observada Y = a, donde Y = X O tal que P(a|o) = m ax P(y|o)
y

E1

E2

S1

S2

S3
Una Introduccin a las Redes Bayesianas p.90/??

Problemas de Decisin - Diagramas de Inuenc


Existen dos nuevos tipos de nodos: nodos de decisin y nodos de utilidad. Un arco desde un nodo de azar a uno de decisin supone que dicho nodo se conoce antes de tomar la decisin Debe de existir un camino dirigido en el que aparezcan las variables de decisin Las observaciones no se olvidan Howard y Matheson(1981), Olmsted (1983) Shachter (1986), Cooper (1988), Shenoy (1992)

Una Introduccin a las Redes Bayesianas p.91/??

Diagrama de Inuencia
Enfermedad Sntomas N. Hormonal Resultado

Utilidad

Tratamiento

Test?

Costo

Una Introduccin a las Redes Bayesianas p.92/??

Diagrama de Inuencia
Plantacin Cosecha

Costo

Tratamiento
Mildeu 2 Mildeu

Utilidad

Una Introduccin a las Redes Bayesianas p.93/??

Construccin de Redes Bayesianas


A partir de expertos Aprendizaje automtico a partir de bases de datos Estimacin de los parmetros Aprendizaje de la estructura Modelos mixtos Parmetros: A partir de una base de datos, determinando un estimador de P(X = a|Y = b) contando el nmero de casos en que X toma el valor a entre los que Y = b. Mucho ms comn el uso de modelos Bayesianos, principalmente basados en la distribucind e Dirichlet.
Una Introduccin a las Redes Bayesianas p.94/??

Aprendizaje Estructural
Dos Enfoques Bsicos: Comprobacin de Independencias Independencia de X e Y dado Z. Mtodos de Ajuste Mtrica que mide el ajuste (tratan de ajustar los datos, pero penalizan la complejidad del modelo) Algoritmo de bsqueda

Una Introduccin a las Redes Bayesianas p.95/??

Febrero 2002
Un determinado defecto gentico (variable G) puede producir dos enfermedades (variables E1 , E2 ). En presencia de dicho defecto, las enfermedades se maniestan con una determinada probabilidad, pero no existe ninguna relacin entre los mecanismos que dan lugar a las enfermedades: el hecho de que una se manieste no hace a la otra ms o menos probable. Existen tres posibles sntomas asociados a las enfermedades (S1 , S2 , S3 ). Los sntomas S1 y S2 se asocian a la enfermedad E1 y los sntomas S2 , S3 a la enfermedad E2 . En la enfermedad E1 la presencia del sntoma S1 hace al sntoma S2 ms probable. En la enfermedad E2 la presencia de uno de los sntomas no cambia la probabilidad de aparicin del otro sntoma. Existe una prueba de laboratorio (P), cuyo resultado depende de forma conjunta de la presencia o ausencia de ambas enfermedades, pero tiene comportamiento distinto en hombres y mujeres (variable T ). Se supone que T no tiene relacin directa con ninguna otra variable del problema.

Una Introduccin a las Redes Bayesianas p.96/??

Febrero 2002 (Cont.)


Determinar un grafo dirigido con las variables anteriores que represente unas relaciones de independencia entre las variables que sean compatibles con las especicaciones anteriores. En el caso de incluir hiptesis adicionales, indicarlas de forma precisa. Indicar las independencias bsicas representadas en el grafo. Indicar las distribuciones de probabilidad condicionadas que habra que especicar para determinar la distribucin de probabilidad conjunta asociada al grafo construido.

Una Introduccin a las Redes Bayesianas p.97/??

Respuesta
G E1 S1 S2 T E2 S3

P
Una Introduccin a las Redes Bayesianas p.98/??

Pregunta, Septiembre 2001


Dar ejemplos reales en las que para tres variables aleatorias X , Y , Z , tenga sentido suponer las relaciones de independencia de cada una de las siguientes situaciones: 1. 2. 3. 4. X e Y son dependientes, pero condicionalmente independientes conocida Z . X e Y son independientes, pero son dependientes conocida la variable Z . X e Y son independientes y X y Z son independientes dada la variable Y . No se verica ninguna relacin de independencia (condicional o no) entre estas variables.

Expresar, en cada caso, las relaciones de independencia existentes mediante un grafo dirigido acclico.
Una Introduccin a las Redes Bayesianas p.99/??

Respuestas
X e Y son independientes, pero son dependientes conocida la variable Z X : Nmero de lotera que compro Y : Nmero de lotera que es premiado Z : Soy rico N. Compro N. Toca

Rico
Una Introduccin a las Redes Bayesianas p.100/??

Febrero 2001
Dado el siguiente grafo dirigido acclico, determinar qu independencias condicionadas de la siguiente lista se representan en el grafo, usando el criterio de D-separacin. 1 2 3 4

10

11

12

Una Introduccin a las Redes Bayesianas p.101/??

Febrero 2001 (Continuacin)


Lista de independencias que hay que comprobar: /) e) I (1, 3|5, 10) h) I (2, 4|9, 12) a)I (2, 4|0 b) I (1, 3|2, 9, 10) f) I (2, 7|6) i) I (4, 12|10, 11) c) I (3, 4|10) g) I (2, 10|7, 9) j) I (3, 4|11, 12) d) I (1, 12|9)

Una Introduccin a las Redes Bayesianas p.102/??

Febrero 2003
He instalado una alarma en mi casa que puede activarse (variable A) porque un intruso entre para robar (variable R) o haya un seismo (variable S), que son bastante frecuentes en la zona en la que vivo. Si suena la alarma un vecino que suele avisar a mi telfono mvil (variable L), pero hay veces que mi vecino no est (variable P) y no me llama aunque suene la alarma. Tambin es un vecino un poco bromista y puede llamar sin que haya sonado la alarma (sea B la variable que determina si el vecino es serio o est bromeando). En caso de que haya un seismo existe una probabilidad alta de que sea anunciado en la emisora de radio local (variable N ). No siempre escucho dicha emisora (la variable E representa si la estoy escuchando), pero si me llama mi vecino, trato de escucharla para descartar que haya habido un seismo. Sea C la variable que representa que conozco que hay un seismo por escucharlo en la radio.
Una Introduccin a las Redes Bayesianas p.103/??

Febrero 2003 (Cont.)


1. 2. 3. Determinar un grafo dirigido acclico compatible con las relaciones entre las variables del problema. Determinar las probabilidades condicionadas que hay que especicar como datos. Aplicar el algoritmo de borrado para determinar las operaciones necesarias para calcular la probabilidad marginal sobre la variable C.

Una Introduccin a las Redes Bayesianas p.104/??

Solucin
R S

C
Una Introduccin a las Redes Bayesianas p.105/??

Septiembre 2003
Determinar la estructura de una red bayesiana para el siguiente problema: un granjero quiere determinar si una vaca est preada (variable P) despus de una inseminacin articial. Para ello dispone de tres tests. El primero de ellos es una ecografa (variable E ) y los otros dos son un test de sangre (variable S) y uno de orina (variable O). Se supone que los dos ltimos tests se basan en el nivel hormonal de la vaca (variable H ) que puede ser alto o bajo y que, a su vez, depende de si la vaca est realmente preada. Existe un tipo raro de sangre (variable T ) que hace que el resultado del test de sangre sea siempre positivo con independencia de si la vaca est preada o no. Para descartar esta situacin, el granjero tambin realiza un test para comprobar el tipo de sangre (variable T T ).
Una Introduccin a las Redes Bayesianas p.106/??

Septiembre 2003 (Cont.)


En caso de duda sobre la red, especicar las relaciones de independencia que se han supuesto. Especicar distribuciones de probabilidad condicionadas dados sus padres para las variables S, E , T que sean compatibles con la informacin del problema. Podemos considerar que si se conoce el resultado del test del nivel hormonal en la sangre, entonces el resultado del test de tipo de sangre es independiente de que la vaca est preada?

Una Introduccin a las Redes Bayesianas p.107/??

Diciembre 2003
Considerar el problema de transmitir palabras de longitud cinco del alfabeto A = {a, b} sobre un canal de transmisin. Las palabras se transmiten smbolo a smbolo. La transmisin tiene ruido y algunas veces no se recibe el smbolo emitido. Si se emite una a se recibe una a con probabilidad 0.8 y una b con probabilidad 0.2. Si se emite una b se recibe una b con probabilidad 0.9 y una a con probabilidad 0.1. La probabilidad de error solo depende del smbolo emitido y no de la presencia de error en cualquier otro smbolo. Las palabras emitidas no son completamente aleatorias y el valor de un smbolo determinado depende de los smbolos que lo preceden, pero slo del ltimo de ellos. 1. 2. 3. Establecer una red bayesiana que relacione los smbolos emitidos y recibidos. Indicar las probabilidades condicionadas que hay que especicar. Indicar qu clculos habra que realizar en el algoritmo de borrado para calcular la probabilidad del primer smbolo emitido, dado que se conocen los cinco smbolos recibidos.

Una Introduccin a las Redes Bayesianas p.108/??

Febrero 2004
Consideremos un estudio sobre las familias en el que vamos a considerar las siguientes variables: A (nivel de estudios de la madre), B (nivel de estudios del padre), C (ingresos del padre), D (ingresos de la madre), T (ingresos totales en la familia), E (presencia internet en casa), F (coche), G (gastos de la familia en ocio), H (nmero de hijos), I (presencia de televisin de pago). 1. Disear una red que exprese unas independencias compatibles con el signigicado de estas variables. Especicar las suposiciones que se hacen. Realizar una red obtenida a partir de la anterior, pero eliminando las variables A y B (slo debe de representar las independencias entre las restantes variables que se veriquen en la red del punto anterior), En cada una de las redes, determinar un conjunto con un nmero de variables tan pequeo como sea posible, para que conocidas las variables de este conjunto, las variables E y F sean independientes.

2.

3.

Una Introduccin a las Redes Bayesianas p.109/??

Septiembre 2004
La probabilidad de que una vaca sufra mastitis un da (variable M ) depende de varios factores: si sufra mastitis el da anterior ( D), nmero de das de la enfermedad (I ) y das en que ha recibido tratamiento (T ). El ganadero diagnostica la enfermedad en funcin del aspecto general ( A) y de un test que se realiza en la leche (L). Sin embargo, el test puede no ser able si la vaca ha estado sometida a tratamiento durante ms de tres das. 1. 2. 3. Describir un grafo de dependencias compatible con la situacin descrita. Determinar una tabla de probabilidad condicionada para la variable L en el grafo anterior. Si la vaca no tuvo enfermedad el da anterior, y no ha sido tratada, y sabiendo que en estas condiciones la probabilidad de sufrir la enfermedad es de 0.01, determinar la probabilidad de que tenga la enfermedad si el test L ha resultado positivo.
Una Introduccin a las Redes Bayesianas p.110/??

Septiembre 2004 (bis)


Supongamos tres variables con dos valores cada una: X : He hecho un viaje a Asia recientemente Y : Tengo tuberculosis Z : Radiografa positiva Realizar una red bayesiana basada en el siguiente orden de las variables; X , Y , Z . Especicar probabilidades condicionadas para las 3 variables, de acuerdo con la red construida. Calcular la probabilidad marginal con la que Z toma sus valores, aplicando el algoritmo de borrado y eliminando primero la variable X y despus la variable Y . Nota: es necesario calcular los valores numricos de las probabilidades, no siendo suciente con indicar las operaciones con los potenciales.
Una Introduccin a las Redes Bayesianas p.111/??

Febrero 2005
En una granja hay dos yeguas y un caballo sin ningn parentesco entre ellos y van a nacer dos potros, uno de cada una de las yeguas. El caballo es el padre de ambos potros. Existe una grave enfermedad que est ligada a la presencia de un gen recesivo a. El gen normal se nota por A. Esto quiere decir que la carga gentica de cada individuo puede ser aa, aA, AA y la enfermedad slo se maniesta cuando un individuo tiene carga gentica aa. Si un individuo tiene aA no maniesta la enfermedad, pero es portador de ella. 1. Determinar una red Bayesiana que exprese las dependencias entre la carga gentica de cada uno de los caballos de la granja, incluyendo los dos potros que van a nacer. Si en la poblacin general la probabilidad de ser portador es de 0.01 para los caballos, de 0.02 para las yeguas, y los potros heredan un gen de cada uno de los padres (se elige aletoriamente entre los dos posibles de cada padre), detallar las distribuciones de probabilidad condicionadas asociadas a la red. Si se observa que el primer potro que nace maniesta la enfermedad (tiene aa), calcular mediante el algoritmo de borrado la probabilidad de que el otro potro tambin tenga la enfermedad y la probabilidad de que sea portador.
Una Introduccin a las Redes Bayesianas p.112/??

2.

3.

Solucin
Las variables que se van a considerar son: C: Carga gentica del caballo Y1 : Carga gentica de la primera yegua Y2 : Carga gentica de la segunda yegua P1 : Carga gentica del primer potro P2 : Carga gentica del segundo potro

Una Introduccin a las Redes Bayesianas p.113/??

Solucin
Una red bayesiana que exprese las relaciones de dependencia entre estas variables es: Y1 C Y2

P1

P2

Una Introduccin a las Redes Bayesianas p.114/??

Solucin
En el problema se supone que las yeguas y el caballo no pueden tener aa ya que esto supone que se desarrola la enfermedad y entonces no se consideraran para la procreacin (esto se indic en el examen). Entonces las tablas de probabilidad son las siguientes (a cada potencial le vamos a dar un nombre qi para poder hacer referencia a l): Para el caballo, un potencial q1 que depende de C: q1 C = AA C = Aa 0.99 0.01 Para la primera yegua, un potencial q2 que depende de Y1 : q2 Y1 = AA Y1 = Aa 0.98 0.02
Una Introduccin a las Redes Bayesianas p.115/??

Solucin
Para la segunda yegua, un potencial q3 que depende de Y2 : q3 Y2 = AA Y2 = Aa 0.98 0.02 Para el primer potro, un potencial q4 que depende de P1 , Y1 , C, que expresa la probabilidad condicionada de P1 dados sus padres Y1 , C q4 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa C = AA C = Aa C = AA C = Aa P1 = AA 1 0.5 0.5 0.25 P1 = Aa 0 0.5 0.5 0.5 P1 = aa 0 0 0 0.25

Una Introduccin a las Redes Bayesianas p.116/??

Solucin
Para el segundo potro, un potencial q5 que depende de P2 , Y2 , C, que expresa la probabilidad condicionada de P2 dados sus padres Y2 , C, y que es idntica a la anterior en estructura y valores: q5 Y2 = AA Y2 = AA Y2 = Aa Y2 = Aa C = AA C = Aa C = AA C = Aa P2 = AA 1 0.5 0.5 0.25 P2 = Aa 0 0.5 0.5 0.5 P2 = aa 0 0 0 0.25

Una Introduccin a las Redes Bayesianas p.117/??

Solucin
Observamos que P1 = aa y queremos calcular la probabilidades condicionadas de los distintos valores de la variable P2 . Para ello primero se restringen los potenciales a las observaciones y despus aplicamos el algoritmo de borrado. Restringir un potencial que contiene P1 a P1 = aa, es hacer 0.0 todas las casillas que correspondan a valores de P1 distintos del observado. Slo hay un potencial que depende de P1 y es q4 .

Una Introduccin a las Redes Bayesianas p.118/??

Solucin
Al resultado de restringir q4 a P1 = aa le llamamos q4 y es como sigue: q4 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa C = AA P1 = AA 0 P1 = Aa P1 = aa 0 0 C = Aa 0 0 0 C = AA C = Aa 0 0 0 0 0 0.25

Ahora aplicamos el algoritmo de borrado a la lista de potenciales q1 , q2 , q3 , q4 , q5 .

Una Introduccin a las Redes Bayesianas p.119/??

Solucin
Borramos P1 . Slo hay un pontencial que contiene esta variable, q4 : q4 P1 = AA P1 = Aa Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa C = AA 0 0 C = Aa 0 0 C = AA 0 0 C = Aa 0 0

P1 = aa 0 0 0 0.25 No hay que hacer multiplicaciones, slo marginalizar sobre Y1 , C obteniendo el potencial q6 : q6 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa C = AA 0 C = Aa 0 C = AA 0 C = Aa 0.25
Una Introduccin a las Redes Bayesianas p.120/??

Solucin
Se elimina q4 de la lista y se aade q6 , quedando q1 , q2 , q3 , q5 , q6 . Ahora se borra Y1 . Para ello se multiplican los dos potenciales que contienen esta variable: q2 y q6 . q2 Y1 = AA Y1 = Aa 0.98 0.02 q6 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa y C = AA 0 C = Aa 0 C = AA 0 C = Aa 0.25

obtenindose q7 : q7 Y1 = AA Y1 = AA Y1 = Aa Y1 = Aa C = AA 0 C = Aa 0 C = AA 0 C = Aa 0.005

Una Introduccin a las Redes Bayesianas p.121/??

Solucin
En q7 se marginaliza sobre C, borrndose Y1 y obtenindose el potencial q8 : q8 C = AA C = Aa 0 0.005 Se eliminan q2 y q6 y se aade q8 a la lista, quedando q1 , q 3 , q 5 , q 8 .

Una Introduccin a las Redes Bayesianas p.122/??

Solucin
En la lista q1 , q3 , q5 , q8 se elimina la variable C. Se multiplican los potenciales que contienen esta variable q1 , q5 y q8 : q1 C = AA C = Aa 0.99 q5 P2 = AA P2 = Aa P2 = aa 0 0.01 C = AA 1 0 0 0.005
Una Introduccin a las Redes Bayesianas p.123/??

Y2 = AA Y2 = AA Y2 = Aa Y2 = Aa C = Aa 0.5 0.5 0 C = AA 0.5 0.5 0 C = Aa 0.25 0.5 0.25 y

q8 C = AA C = Aa

Solucin
El resultado de la multiplicacin es el potencial q9 : q5 P2 = AA P2 = Aa Y2 = AA Y2 = AA C = AA 0 0 C = Aa 0.000025 0.000025 Y2 = Aa Y2 = Aa C = AA 0 0 C = Aa 0.0000125 0.000025

P2 = aa 0 0 0 0.0000125 Se marginaliza sobre P2 , Y2 borrando C, obtenindose q10 : q10 P2 = AA P2 = Aa P2 = aa Y2 = AA 0.000025 0.000025 0 Y2 = Aa 0.0000125 0.000025 0.0000125
Una Introduccin a las Redes Bayesianas p.124/??

Solucin
Se eliminan de la lista los potenciales combinados q1 , q5 y q8 , y se aade el resultado q10 . La lista queda con los potenciales q3 , q10 . Se elimina ahora la variable Y2 . Para ello se multiplican los potenciales que contienen esta variable, q3 y q10 : q10 q3 Y2 = AA 0.98 Y2 = Aa 0.02 y P2 = AA P2 = Aa P2 = aa obtenindose q11 : q11 P2 = AA P2 = Aa P2 = aa Y2 = AA 0.0000245 0.0000245 0 Y2 = Aa 0.00000025 0.0000005 0.00000025
Una Introduccin a las Redes Bayesianas p.125/??

Y2 = AA 0.000025 0.000025 0

Y2 = Aa 0.0000125 0.000025 0.0000125

Solucin
Se marginaliza q11 sobre P2 , obtenindose q12 : q12 P2 = AA P2 = Aa P2 = aa 0.00002475 0.000025 0.00000025

Se eliminan q3 y q10 de la lista y se aade q12 . La lista queda: q12 . Ya se han borrado todas las variables, excepto la variable en la que estamos interesados. Ahora hay que multiplicar todos los potenciales que quedan. Como slo queda q12 , el resultado es l mismo: q12 .

Una Introduccin a las Redes Bayesianas p.126/??

Solucin
Finalmente las probabilidades deseadas, se obtienen normalizando este potencial, es decir dividiendo cada nmero por la suma de todos los valores 0.00002475 + 0.000025 + 0.00000025 q12 q12 De P2 = AA 0.00002475 P2 = Aa 0.000025 se pasa a P2 = AA 0.495 P2 = Aa 0.5

P2 = aa 0.00000025 P2 = aa 0.005 En esta tabla tenemos la probabilidad de que el segundo potro sea portador (P2 = Aa) y que es de 0.5 y la probabilidad de que est enfermo (P2 = aa) que es igual a 0.005. La de estar completamente sano sin ser portador es de 0.495.
Una Introduccin a las Redes Bayesianas p.127/??

Septiembre 2005
Dar un ejemplo de red bayesiana con 4 variables (X1 , X2 , X3 , X4 ) para cada uno de los siguientes conjuntos de condiciones: 1. 2. I (X1 , X4 |X2 , X3 ), I (X2 , X3 |X1 ) / ), I (X4 , X3 |X2 ), I (X4 , X1 |X2 ) I (X1 , X2 |0

Las relaciones de independencia entre variables que no estn incluidas en las condiciones anteriores no deben de vericarse (por ejemplo, en el caso primero, X1 y X2 deben de ser dependientes). Dar nombres a las variables que correspondan con un ejemplo real y en el que estas relaciones se veriquen. Para la red del primer conjunto de restricciones, dar ejemplos de tablas de probabilidad condicionadas (todas las necesarias para una distribucin de probabilidad conjunta).
Una Introduccin a las Redes Bayesianas p.128/??

Febrero 2006
Un estudiante realiza un examen con 5 preguntas que se calican cada una con los valores 0,1,2. Si el alumno obtiene ms de cinco puntos, aprueba la asignatura. Realizar una red bayesiana que incluya los resultados de cada una de las preguntas (una variable para cada pregunta) y el hecho de que el estudiante supere o no el examen (variable A). Construir una nueva red en la que aparezcan cuatro variables adems de las anteriores: formacin bsica del estudiante ( F ), esfuerzo dedicado a la asignatura (E ), asistencia a clase (C) y estado anmico (N ). Cada una de estas variables puede tener 3 valores: bueno, malo, regular.

Una Introduccin a las Redes Bayesianas p.129/??

Febrero 2006 (Cont.)


Construir una tercera red en la que slo aparezcan la variable F y las dos primeras preguntas, suponiendo que los resultados de estas preguntas son condicionalmente independientes dada F . Introducir valores numricos que permitan determinar una distribucn conjunta. Calcular la probabilidad de que la formacin bsica de un estudiante sea buena si ha obtenido 2 en ambas preguntas.

Una Introduccin a las Redes Bayesianas p.130/??

Septiembre 2006
Tenemos una enfermedad que queremos diagnosticar y tres tests que se pueden aplicar que pueden ser positivos o negativos. Se sabe que las probabilidades de que los tests den positivos segn se tenga o no la enfermedad son las de la siguiente tabla: Test 1 positivo Test 2 positivo Test 3 positivo Enfermo 0.9 0.8 0.75 No enfermo 0.2 0.05 0.06 Si se supone que los resultados de los tests son condicionalmente independientes conocido si se tiene o no se tiene la enfermedad, determinar una red bayesiana con sus tablas de probabilidad que represente el problema. Si hay algn dato que falta, aadir un valor arbitrario. Calcular la probabilidad de que se tenga la enfermedad una vez que los dos primeros tests han dado positivos y el tercero negativo.
Una Introduccin a las Redes Bayesianas p.131/??

Septiembre 2006 - Solucin


Enf. SI NO

Enfermedad

0.01 0.99

Test 1
Enf. SI 0.9 0.1 NO 0.2 0.8 Enf.

Test 2
SI 0.8 0.2 NO 0.05 0.95

Test 3
Enf. SI 0.75 0.25 NO 0.06 0.94

Test1 + Test1 -

Test2 + Test2 -

Test3 + Test3 -

Una Introduccin a las Redes Bayesianas p.132/??

Solucin (cont.)
Para calcular la probabilidad condicionada de tener la enfermedad dado que los tests 1 y 2 son potivos y el 3 negativo podemos aplicar el algoritmo de borrado a la lista de potenciales despus de transformarlos de acuerdo con las observaciones. Aqu vamos a aplicar directamente el teorema de Bayes. Llamemos T1 , T2 , T3 a los tests con valores +, y E con valores SI , NO. Sea O nuestro conjunto de observaciones T1 = +, T2 = +, T3 = .

Una Introduccin a las Redes Bayesianas p.133/??

Solucin (cont.)
Aplicamos el teorema de Bayes: P(O|E = SI ).P(E = SI ) P(E = SI |O) = P(O|E = SI ).P(E = SI ) + P(O|E = NO).P(E = NO) Como los resultados de los tests son condicionalemente independientes conocido si se tiene la enfermedad:
P(O|E = SI ) = P(T1 = +, T2 = +, T3 = |E = SI ) = P(T1 = +|E = SI ).P(T2 = +|E = SI ).P(T3 = |E = SI ) = 0.9 0.8 0.25 = 0.18 P(O|E = NO) = P(T1 = +, T2 = +, T3 = |E = NO) = P(T1 = +|E = NO).P(T2 = +|E = NO).P(T3 = |E = NO) = 0.2 0.05 0.94 = 0.0094
Una Introduccin a las Redes Bayesianas p.134/??

Solucin (Cont.)
Sustituimos, junto con P(E = SI ) = 0,01, P(E = NO) = 0,99, obteniendo 0.18 0.01 = 0.162 P(E = SI |O) = 0.18 0.01 + 0.0094 0.99 Nuestro resultado nal es 0.162. Este depender de la probabilidad a priori de la enfermedad que hayamos puesto.

Una Introduccin a las Redes Bayesianas p.135/??

Febrero 2007
Consideremos un modelo de la intereraccin entre tres factores (hierba, herbvoros, carnvoros) en un sistema ecolgico. Para ello se considerarn tres instantes de tiempo y, en cada uno de ellos, los valores de estas tres variables (hay que hacer tres versiones de cada una de las variables, una en cada instante de tiempo). Cada variable tiene tres valores posibles (escaso,normal,abundante). 1. Determinar una red bayesiana que represente el modelo, describiendo la parte cualitativa y cuantitativa. En la primera etapa se puede suponer que las variables son independientes. Para las probabilidades se deben de determinar valores numricos que sean compatibles con la intuicin (por ejemplo, si hay pocos carnvoros y muchos herbvoros en un momento dado, en el instante siguiente lo ms probable es que el nmero de carnvoros sea normal). Describir slo la red que incluya las variables hierba y herbvoros en el instante 1 e hierba en el instante 2. Calcular la probabilidad marginal de la variable hierba en el instante 2, aplicando el algoritmo de borrado.

2.

Una Introduccin a las Redes Bayesianas p.136/??

Febrero 2007 (solucin)


Consideremos las variables: Hierba en el instante i: Hii Herbvoros en el instante i: Hei Carnvoros en el instante i: Ci La red puede ser: Hi1 He1 C1 Hi2 He2 C2 Hi3 He3 C3

Una Introduccin a las Redes Bayesianas p.137/??

Febrero 2007 (solucin)


Si notamos: Escaso (E ), Normal (N ), Abundante (A). Para las variables Hi1 , He1 , C1 , podemos considerar la mista tabla de probabilidad. Por ejemplo: E N A 0.3 0.4 0.3 Para la Hii+1 condicionado a Hii y Hei :
Hii = E Hei = E Hii+1 = E Hii+1 = N Hii+1 = A 0.4 0.5 0.1 Hei = N 0.5 0.45 0.05 Hei = A 0.9 0.09 0.01 Hei = E 0.15 0.6 0.25 Hii = N Hei = N 0.2 0.6 0.2 Hei = A 0.3 0.6 0.1 Hei = E 0.0 0.2 0.8 Hii = A Hei = N 0.05 0.25 0.7 Hei = A 0.2 0.3 0.5

Una Introduccin a las Redes Bayesianas p.138/??

Febrero 2007 (solucin)


Para la Hei+1 condicionado a Hii , Hei y Ca, la tabla es ms complicada. En tres partes puede ser:
Hii = E Hei = E Ci = E Hei+1 = E Hei+1 = N Hei+1 = A 0.5 0.5 0.0 Ci = N 0.7 0.3 0.00 Ci = A 0.95 0.05 0.00 Ci = E 0.35 0.5 0.15 Hei = N Ci = N 0.3 0.6 0.1 Hii = N Hei = E Ci = E Hei+1 = E Hei+1 = N Hei+1 = A 0.4 0.5 0.1 Ci = N 0.5 0.45 0.05 Ci = A 0.9 0.09 0.01 Ci = E 0.15 0.6 0.25 Hei = N Ci = N 0.2 0.6 0.2 Ci = A 0.3 0.6 0.1 Ci = E 0.0 0.2 0.8 Hei = A Ci = N 0.05 0.25 0.7 Ci = A 0.2 0.3 0.5 Ci = A 0.4 0.55 0.05 Ci = E 0.1 0.2 0.7 Hei = A Ci = N 0.15 0.25 0.6 Ci = A 0.3 0.3 0.4

Una Introduccin a las Redes Bayesianas p.139/??

Febrero 2007 (solucin)


Para la Hei+1 condicionado a Hii , Hei y Ca, la tabla es ms complicada. La tercera parte de la tabla:
Hii = A Hei = E Ci = E Hei+1 = E Hei+1 = N Hei+1 = A 0.3 0.5 0.2 Ci = N 0.4 0.45 0.15 Ci = A 0.8 0.09 0.11 Ci = E 0.05 0.6 0.35 Hei = N Ci = N 0.1 0.6 0.3 Ci = A 0.2 0.6 0.2 Ci = E 0.0 0.1 0.9 Hei = A Ci = N 0.01 0.14 0.85 Ci = A 0.1 0.3 0.6

Una Introduccin a las Redes Bayesianas p.140/??

Febrero 2007 (solucin)


Para la Ci+1 condicionado a Hei y Ci :
Hei = E Ci = E Ci+1 = E Ci+1 = N Ci+1 = A 0.9 0.1 0.0 Ci = N 0.7 0.2 0.1 Ci = A 0.3 0.6 0.1 Ci = E 0.35 0.6 0.05 Hei = N Ci = N 0.2 0.6 0.2 Ci = A 0.1 0.5 0.4 Ci = E 0.1 0.4 0.5 Hei = A Ci = N 0.05 0.25 0.7 Ci = A 0.0 0.2 0.8

Una Introduccin a las Redes Bayesianas p.141/??

Febrero 2007 (solucin)


Describir slo la red que incluya las variables hierba y herbvoros en el instante 1 e hierba en el instante 2. Calcular la probabilidad marginal de la variable hierba en el instante 2, aplicando el algoritmo de borrado. Hi1 Hi2 Para Hi1 tabla: Para He1 tabla: Hi2 condicionado a Hi1 y He1 :
Hi2 |Hi1 , He1 Hei = E Hii+1 = E Hii+1 = N Hii+1 = A 0.4 0.5 0.1 Hii = E Hei = N 0.5 0.45 0.05 Hei = A 0.9 0.09 0.01 Hei = E 0.15 0.6 0.25 Hii = N Hei = N 0.2 0.6 0.2 Hei = A 0.3 0.6 0.1 Hei = E 0.0 0.2 0.8 Hii = A Hei = N 0.05 0.25 0.7 Hei = A 0.2 0.3 0.5

Hi1 He1

E 0.3 E 0.3

N 0.4 N 0.4

A 0.3 A 0.3

He1

Una Introduccin a las Redes Bayesianas p.142/??

Solucin
Aplicamos el algoritmo de borrado, eliminando las variables Hi1 , He1 para obtener la marginal sobre He2 . Primero borramos Hi1 . Para ello multiplicamos la tabla de Hi1 por la de Hi2 condicionado a Hi1 , He1 , obteniendo la tabla:
Hi1 = E He1 = E Hi2 = E Hi2 = N Hi2 = A 0.12 0.15 0.03 He1 = N 0.15 0.135 0.015 He1 = A 0.27 0.027 0.003 He1 = E 0.06 0.24 0.1 Hi1 = N He1 = N 0.08 0.24 0.08 He1 = A 0.12 0.24 0.04 He1 = E 0.0 0.06 0.24 Hi1 = A He1 = N 0.015 0.075 0.21 He1 = A 0.06 0.09 0.15

Una Introduccin a las Redes Bayesianas p.143/??

Solucin (Febr. 2007)


Ahora marginalizamos la tabla anterior, sumando en Hi1 y obteniendo:
Hi2 , He1 Hi2 = E Hi2 = N Hi2 = A He1 = E 0.18 0.45 0.37 He1 = N 0.245 0.45 0.305 He1 = A 0.45 0.357 0.193

Una Introduccin a las Redes Bayesianas p.144/??

Solucin (Febr. 2007)


Ahora borramos la variable He1 , multiplicando la tabla anterior:
Hi2 , He1 Hi2 = E Hi2 = N Hi2 = A He1 = E 0.18 0.45 0.37 He1 = N 0.245 0.45 0.305 He1 E 0.3 He1 = N 0.0980 0.18 0.1220 He1 = A 0.45 0.357 0.193 N 0.4 A 0.3 ,

por la de He1
Hi2 , He1 Hi2 = E Hi2 = N Hi2 = A He1 = E 0.054 0.135 0.111

obteniendo:

He1 = A 0.135 0.1071 0.0579

Una Introduccin a las Redes Bayesianas p.145/??

Solucin (Febr. 2007)


En la tabla anterior marginalizamos sumando en He1 , obteniendo: Hi2 E N A 0.287 0.4221 0.2909 La normalizacin no cambia esta tabla (la suma de los valores es 1.0) y representa la probabilidad marginal sobre Hi2 que se peda.

Una Introduccin a las Redes Bayesianas p.146/??

Septiembre (2007)
Dibujar una red bayesiana con 5 variables (X1 , X2 , X3 , X4 , X5 ) en la se veriquen las siguientes independencias: /) I (X1 , X2 |0 I (X4 , X1 |X3 ), I (X4 , X2 |X3 ) I (X5 , X1 |X3 ), I (X5 , X2 |X3 ), I (X5 , X4 |X3 ) y no se verique ninguna otra independencia aparte de las que se deduzcan de las anteriores por las propiedades de las independencias representadas en grafos dirigidos accilicos. Si todas las variables pueden tomar dos valores ( 0, 1), dar ejemplos de tablas de probabilidad condicionadas para la red anterior. Si consideramos la red con slo las 4 primeras variables, calcular con el algoritmo de borrado la probabilidad P(X3 = 0|X1 = 1, X4 = 0).
Una Introduccin a las Redes Bayesianas p.147/??

Vous aimerez peut-être aussi