Laboratorul 10: Ret, ele Bayesiene

12 decembrie 2016
Creierul uman are o capacitate remarcabila de a lua decizii n prezent, a informat, iilor incerte sau incomplete. Facem predict, ii, uneori incons, tient, despre
evenimente din viitor sau pe care nu le putem observa direct s, i asta ne ajuta sa
interact, ion
am at
at de eficient cu lumea din jur.
Este necesar, deci, atunci cand discutam despre inteligent, a artificiala sa ne
punem problema reprezent
arii incertitudinii unor evenimente, fie ca aceasta provine din absent, a unor observat, ii, fie ca este consecint, a unor procese aleatoare,
nedeterministe (e.g. aruncarea unui zar). Cadrul matematic care ofera conceptele utile acestei discut, ii l reprezinta teoria probabilitat, ilor. In cele ce urmeaza
sunt reluate c
ateva not, iuni elementare necesare.

1
1.1

Teoria probabilit
at, ilor
Probabilitatea unui eveniment

Fie X o variabil
a aleatoare care poate lua valoarea 0 sau 1 (X este o variabila
aleatoare discret
a binar
a). Definim probabilitatea producerii evenimentului X =
1 ca fiind raportul dintre numarul de dat, i n care variabila X ia valoarea 1 s, i
num
arul total de experimente. Vom nota aceasta probabilitate astfel: p (X = 1).
Prin definit, ie orice probabilitate este un numar ntre 0 s, i 1.
Pentru simplificare vom nota n continuare cu p (X) probabilitatea unui eveniment oarecare X.
Dac
a p (X) = 1 atunci X este un eveniment sigur (e.g. X = 0 X = 1).
Dac
a p (X) = 0 atunci X este un eveniment imposibil.
Vom nota cu X evenimentul contrar (sau complementar) evenimentului X.
p (X) = 1 p (X)

1.2

(1)

Evenimente independente. Probabilit

at, i condit, ionate

Evenimente independente
Dou
a evenimente X s, i Y se numesc independente daca probabilitatea evenimentului combinat X Y este produsul probabilitat, ilor individuale de producere a
celor dou
a evenimente (vezi Formula 2). Vom nota fapul ca doua evenimente
1

sunt independente astfel: X Y . O observat, ie importanta este aceea ca daca

N evenimente sunt independente doua cate doua, acestea nu sunt necesar independente n ansamblu.
p (X Y ) = p (X) p (Y )

(2)

Dou
a evenimente X s, i Y se numesc incompatibile daca acestea nu se pot
produce simultan: p (X Y ) = 0.
Probabilit
at, i condit, ionate
Fie X s, i Y dou
a evenimente s, i p (Y ) 6= 0. Probabilitatea lui X condit, ionat de
Y este dat
a de raportul dintre probabilitatea evenimentului combinat s, i probabilitatea evenimentului Y (vezi Formula 3). Intuitiv, aceasta descrie s, ansele de
a se produce evenimentul X atunci cand evenimentul Y s-a realizat.
p (X|Y ) =

p (X Y )
p (Y )

(3)

Formula 3 poate fi aplicata succesiv pentru a desf

as, ura probabilitatea unui
eveniment combinat din N evenimente (vezi Formula 4).
p (X1 X2 . . . XN ) = p (X1 ) p (X2 . . . XN |X1 )
= p (X1 ) p (X2 |X1 ) p (X3 . . . XN |X1 X2 )

= p (X1 ) p (X2 |X1 ) . . . p (XN |X1 X2 . . . XN 1 )

(4)
Dac
a un eveniment sigur Y se poate descompune n N evenimente incompatibile Y1 , Y2 , . . . , YN , atunci pentru orice eveniment X este adevarata identitatea 5
(forumla probabilit
at, ii totale).
p (X) =

N
X

p (X|Yn ) p (Yn ) =

n=1

N
X

p (X Yn )

(5)

n=1

O aplicat, ie uzual
a a acestei reguli este descompunerea evenimentului sigur
n Y s, i Y (Formula 6).
p (X) = p (X|Y ) p (Y ) + p (X|Y ) p (Y )

(6)

Exemplu S
a presupunem ca un agent vrea sa s, i evalueze s, ansele de a cas, tiga
un joc cu zar. Fie C evenimentul n care agentul cas, tiga jocul. Presupunand
c
a agentul cunoas, te probabilitatea ca zarul sa pice pe fiecare dintre cele s, ase
fet, e ale sale p (Z = i) , i {1, . . . , 6}, acesta trebuie sa evalueze apoi care sunt
s, ansele de a c
as, tiga n fiecare dintre acele cazuri p (C|Z = i). Atunci, s, ansele ca
agentul s
a c
as, tige jocul sunt date de cantitea urmatoare (Formula 7):
2

p (C) =

6
X

p (C|Z = i) p (Z = i)

(7)

i=1

1.3

Teorema lui Bayes

Pentru dou
a evenimente X s, i Y , aplicand Formula 5 s, i t, inand cont de simetria
p (X Y ) = p (Y X) se obt, ine Teorema lui Bayes:
p (X|Y ) =

p (Y |X) p (X)
p (Y )

(8)

Teorema lui Bayes paote fi interpretata ca o condit, ionare cauzala. Frumuset, ea acestei formule vine din faptul ca exprima probabilitatea unei cauze pe baza
unei observat, ii f
acute, ntorcand direct, ia de condit, ionare. Probabilitatea posterioar
a p (X|Y ) este exprimata ca produsul dintre verosimilitatea observat, iei
f
acute dat
a fiind cauza X, p (Y |X), s, i probabilitatea apriorica a cauzei p (X)
mp
art, it la probabilitatea totala a evenimentului Y .
O aplicat, ie uzual
a a Teoremei lui Bayes este aplicarea n cazul evenimentelor
complementare precum n Formula 9.
p (X|Y ) =

p (Y |X) p (X)
p (Y |X) p (X) + p (Y |X) p (X)

(9)

Exemplu
Se consider
a o anume forma de gripa ce afecteaza un procent cunoscut din
populat, ie (1%) s, i un test ce semnaleaza cu o anumita certitudine prezent, a acestei
boli. Mai precis, se cunosc urmatoarele probabilitat, i:
p (Gripa) = 0.01 - incident, a acestei forme de gripa ete 1%;
p (+|Gripa) = 0.9 - probabilitatea ca testul sa indice corect prezent, a gripei
n cazul unui pacient bolnav;
p (+|Gripa) = 0.2 - probabilitatea ca testul sa indice gres, it prezent, a
gripei n cazul unui pacient sanatos.
S
a not
am s, i probabilit
at, ile evenimentelor complementare:
p (Gripa) = 0.99 - probabilitatea evenimentului complementar (indivizii
s
an
atos, i din r
andul populat, iei);
p (|Gripa) = 0.1 - probabilitatea ca testul sa NU indice prezent, a gripei
n cazul unui pacient bolnav (negativ fals);
p (|Gripa) = 0.8 - probabilitatea ca testul sa iasa negativ n cazul unui
individ s
an
atos.

Aplic
and teorema lui Bayes putem afla care este probabilitatea ca un individ
s
a fie bolnav dac
a testul a ies, it pozitiv:
p (+|Gripa) p (Gripa)
p (+)
p (+|Gripa) p (Gripa)
=
p (+|Gripa) p (Gripa) + p (+|Gripa) p (Gripa)
0.9 0.01
=
0.04348
0.9 + 0.01 + 0.2 0.99

p (Gripa|+) =

(10)

Artificiu de calcul Uneori, n teorema lui Bayes numitorul este greu de calculat. Se poate evita acest calcul direct folosindu-se evenimentul complementar.
p (Y |X) p (X) not. P 1
=
p (Y )

p (Y |X) p (X) not. P 2

p (X|Y ) =
=
p (Y )

p (X|Y ) =

(11)
(12)

Calcul
andu-se doar num
aratorii din Ecuat, iile 11 s, i 12, se rezolva apoi urmatorul
sistem de ecuat, ii:
P 1 + P 2 = 1
p (X|Y ) = P 1

(13)
(14)

Ret, ele Bayesiene

Ret, elele Bayesiene sunt modele grafice utilizate pentru reprezentarea eficienta a
unor distribut, ii comune peste un spat, iu mai mare de variabile aleatoare. Ret, elele
Bayesiene sunt grafuri orientate aciclice n care nodurile reprezinta variabile
aleatoare, iar arcele reprezinta relat, ii cauzale directe ntre acestea.
Ret, ele Bayesiene pot lucra s, i cu variabile continue, dar n cadrul acestei
expuneri ne vom referi doar la ret, ele ce descriu probabilitat, i pentru variabile
discrete.
Figura 1 reprezint
a o ret, ea bayesiana cu doua variabile binare: A s, i B. Pentru
a simplifica notat, iile vom considera evenimentele A A = 1 s, i A A = 0
not
and, deci, p (A) = p (A = 1) s, i probabilitatea evenimentului complementar
p (A) = p (A = 0). Convent, ia este folosita pentru toate variabilele binare B, C,
D, etc. ce vor ap
area mai jos.

p (A)

p (B|A)
p (B|A)

Figura 1: Ret, ea Bayesiana simpla

Fiecare nod dintr-o ret, ea bayesiana este nsot, it de o tabela de probabilitat, i
condit, ionate care descriu s, ansele ca variabila respectiva sa ia o valoare atunci
c
and variabilele p
arinte (cauzele) au fost observate. Pentru o variabila care nu
are p
arint, i (cauze), probabilitat, ile de realizare ale acesteia nu vor fi condit, ionate.
Mai precis, pentru ret, eaua bayesiana din Figura 1 trebuie precizate p (A),
p (B|A) s, i p (B|A).
In cazul general, n care fiecare variabila X poate lua valori dintr-o mult, ime
de valori D(X), num
Q arul de valori ce trebuie specificate pentru un nod oarecare
este (|D (X)| 1) YP ar(X) |D (Y)|, unde |M | este cardinalul mult, imii M , iar
P ar(X) reprezint
a mult, imea parint, ilor (cauzelor) variabilei X.

Intrebarea 1 Fie mult, imea de variabile aleatoare binare {A, B, C, D, E, F, G}.

C
ate valori ar trebui specificate (sau nvat, ate ntr-un proces de antrenare) pentru a descrie probabilitatea comuna p (A, B, C, D, E, F, G)? Cate valori trebuie specificate pentru a descrie ret, eaua bayesiana din Figura 2? Raspundet, i la aceleas, i
dou
a ntreb
ari consider
and ca variabilele sunt ternare (pot lua trei valori).

Figura 2: Ret, ea Bayesiana pentru ntrebarea 1

2.1

Independent,
a condit, ional
a

Unul dintre conceptele cheie din teoria probabilitat, ilor care face ca lucrul cu
ret, elele bayesiane s
a fie eficient este independent, a condit, ional
a. Daca observarea
unei variabile Y face ca variabila X sa nu depinda de o a treia variabila Z atunci
spunem c
a X este condit, ional independenta de Z data fiind Y. Intuitiv, aceasta
relat, ie indic
a faptul c
a atunci cand rezultatul lui Y este cunoscut, observarea
lui Z nu ar aduce nicio informat, ie suplimentara despre X (sau, echivalent, nu
ar modifica (in)certitudinea asupra variabilei X). Una dintre notat, iile uzuale
pentru independent, a condit, ionala este cea din Formula 15.
X Z|Y p (X|Y, Z) = p (X|Y)

(15)

Relat, ia de independent,
a condit, ionala se generalizeaza s, i la mult, imi de variabile. In Formula 16, X, Y s, i Z reprezinta mult, imi de variabile aleatoare.
X Z|Y p (X|Y, Z) = p (X|Y)

(16)

Pentru a putea investiga aplicat, iile independent, ei condit, ionale n ret, ele bayesiene, mai jos sunt descrise trei posibile relat, ii n care se pot gasi trei variabile
aleatoare.
Lant, de cauzalitate Fie ret, eaua bayesiana din Figura 3 cu trei variabile A,
B s, i C. S
a presupunem c
a aceasta modeleaza urmatoarea situat, ie: variabila A
reprezint
a faptul c
a este iarna, variabila B starea de a ninge afara, iar variabila
C faptul c
a Ionut, se d
a cu sania. In primul caz sa presupunem ca nu s, tim
dac
a afar
a ninge sau nu. Informat, ia despre anotimpul curent (daca este iarna
sau nu, adic
a observarea variabilei A) modifica ceea ce credem despre faptul ca
Ionut, se d
a cu sania. Mai precis, ntr-un alt anotimp decat iarna, acest lucru ar
p
area improbabil, deoarce este foarte put, in probabil sa ninga. Iarna, n schimb,
putem crede c
a sunt s, anse mari sa ninga, drept urmare sunt s, anse mai mari ca

Ionut, s
a se dea cu sania. Dar, odata ce aflam daca ninge sau nu, informat, ia
despre anotimpul curent nu mai poate influent, a s, ansele pe care le acordam
evenimentului Ionut, se d
a cu sania. In acest caz, deci, A C|B s, i A 6 C.
A

(a) A 6 C

(b) A C|B

Figura 3: Variabilele A s, i B devin condit, ional independente atunci cand variabila

C este observat
a (imaginea b).
Cauz
a comun
a Fie ret, eaua bayesiana din Figura 4. In acest caz variabila B
condit, ioneaz
a at
at variabila A, cat s, i variabila C. Sa asociem trei evenimente
concrete celor trei variabile: evenimentul plou
a este descris de variabila binara
B, variabila A reprezint
a faptul ca oras, ul Bucures, ti este aglomerat, iar variabila
C faptul c
a Ionut, poart
a o umbrela. Exact ca n cazul precedent, sa presupunem
nt
ai c
a nu s, tim dac
a afar
a ploua. Faptul ca l vedem pe Ionut, cu o umbrela
ne poate face mai ncrez
atori n faptul ca traficul este aglomerat deoarece este
foarte probabil s
a plou
a. Totus, i, observand daca afara ploua sau nu, umbrela
lui Ionut, nu ne mai aduce nicio informat, ie despre traficul din Bucures, ti. Deci,
n acest caz A C|B s, i A 6 C.
B

(a) A 6 C

C
(b) A C|B

Figura 4: Variabilele A s, i B devin condit, ional independente atunci cand variabila

C este observat
a (imaginea b).

A
A

(a) A C

(b) A 6 C|B

B
(c) A 6 C|B

Figura 5: Variabilele A s, i B sunt condit, ional independente atunci cand variabila

C nu este observat
a (imaginea a), dar depind una de cealalta dupa observarea
unui copil comun (imaginea b) sau a unui descendent al acestuia (imaginea c).
Explaining away Fie ret, eaua bayesiana din Figura 5. In acest caz: A 6 C|B
s, i A C. S
a ncerc
am s
a suprapunem un exemplu. Ionut, este microbist s, i echipa
lui preferat
a este Barcelona care are un meci important cu rivala din Madrid.
De asemenea, Ionut, este programator s, i as, teapta verdictul unui interviu pe care
l-a avut de cur
and. S
a zicem ca variabila A corespunde evenimentului Barcelona
a c
as, tigat meciul cu Real Madrid, iar variabila C reprezinta evenimentul Ionut,
a luat interviul. F
ar
a nicio informat, ie suplimentara cele doua evenimente nu au
nicio leg
atur
a s, i informat, ii despre unul dintre ele nu ne pot schimba probabilitatea pe care o asociem celuilalt. Daca, n schimb, observam variabila B s, i aflam
c
a Ionut, este fericit, atunci apare nevoia unei explicat, ii. De ce este Ionut, fericit?
In cazul acesta, dac
a afl
am ca rezultatul meciului a fost negativ, din nevoia de
oferi o explicat, ie pentru bucuria lui Ionut, , vom avea o certitudine ridicata ca
acesta a luat interviul. Variabilele de care depinde B devin dependente deoarece
se activeaz
a un rat, ionament intercauzal n cautarea unei explicat, ii.

2.2

D-Separabilitate

Not, iunea de D-separabilitate foloses, te o analiza a grafului care descrie ret, eaua
bayesian
a pentru a determina daca doua mult, imi de variabile sunt independente
condit, ional sau nu.
O cale neorientat
a ntre o mult, ime de noduri X s, i o mult, ime de noduri Z
este orice secvent,
a de arce (indiferent de orientarea lor) care pleaca de la un
membru al mult, imii X s, i ajunge la un membru al mult, imii Z.

D
andu-se o mult, ime de noduri O observate, o cale p este blocat
a daca una
dintre urm
atoarele trei condit, ii este adevarata:
1. exist
a un nod Y O care reprezinta destinat, ia unui arc din p s, i sursa unui
alt arc din p (nl
ant, uire cauzala);
2. exist
a un nod Y O care reprezinta sursa a doua arce diferite din p (cauza
comun
a);
3. niciun nod Y care reprezinta destinat, ia a doua arce din p nu se afla n O
s, i nici vreun descendent de-ai lui nu se afla n O.
O mult, ime de noduri O d-separ
a doua mult, imi X s, i Z daca orice cala neorientat
a ntre X s, i Z este blocata prin observarea variabilelor din O.

Exemplu s, i probleme
A

Figura 6: Ret, ea bayesiana ntrebarea 2.

Fie ret, eaua bayesian
a din Figura 6.

Intrebarea 2. De c
at, i parametri este nevoie pentru a descrie complet ret, eaua
bayesian
a din Figura 6? De cat, i ar fi fost nevoie ntr-o reprezentare tabulara
complet
a a p (A, B, C, D, E, F, G)?

Intrebarea 3. Precizat, i care dintre urmatoarele relat, ii de independent, a condit, ionala

sunt adev
arate n ret, eaua din Figura 6. Analizat, i folosind definit, ia pentru dseparabilitate.
a) A G|D
b) A B|F
c) A C

d) A C|E
e) F G|A
f) B C|G
g) F C|G

(a) Intrebarea 3.a.

G
(b) Intrebarea 3.b.

Figura 7: In imaginea a variabilele A s, i G sunt condit, ional independente prin

observarea variabilei D deoarece singura cale dintre acestea este blocata. In imaginea b variabilele A s, i B sunt dependente deoarece observarea unui descendent
al variabilei D activeaz
a calea A D B.

Intrebarea 4. Consider
and doar variabilele D, F, G, precum n Figura 8,
calculat, i urm
atoarele probabilitat, i:
a) p (D|F G)
b) p (F |G)

p (D)

p (F |D)
p (F |D)

0.8
0.5

0.7

p (G|D)
p (G|D)

Figura 8: Ret, ea bayesiana pentru ntrebarea 4.

10

0.25
0.65


Intrebarea 5. Consider
and doar variabilele D, E, G, precum n Figura 9,
calculat, i urm
atoarele probabilitat, i :
a) p (D|E)
b) p (D|G E)

p (D)

0.7

p (E)

p (G|D E)
p (G|D E)
p (G|D E)
p (G|D E)

0.25

0.9
0.8
0.6
0.2

Figura 9: Ret, ea bayesiana pentru ntrebarea 5.

Indiciu pentru ntrebarea 5.b Putem descompune p (X, Y, Z) folosind Formula 4 n dou
a moduri:
p (X, Y, Z) = p (X) p (Y|X) p (Z|Y X)

(17)

p (X, Y, Z) = p (X) p (Z|X) p (Y|Z X)

(18)

Din Formulele 17 s, i 18 se obt, ine urmatoarea egalitate (o expresie similara

Formulei lui Bayes n care toate probabilitat, ile sunt condit, ionate de o alta variabil
a):
p (Y|X) p (Z|Y X) = p (Z|X) p (Y|Z X)

(19)

Intrebarea 6. Urm
arind ret, eaua bayesiana din Figura 10, calculat, i urmatoarele
probabilit
at, i:
a) p (B|F )
b) p (A|F G)
c) p (B|C)

11

p (B)
p (A)

0.6

p (D|A B)
p (D|A B)
p (D|A B)
p (D|A B)

p (F |D)
p (F |D)

0.8
0.5

0.9
0.6
0.6
0.05

0.8

p (C)

p (E|C)
p (E|C)

p (G|D E)
p (G|D E)
p (G|D E)
p (G|D E)

0.7
0.2

0.9
0.8
0.6
0.2

Figura 10: Ret, ea bayesiana cu 7 noduri pentru ntrebarea 6.

12

0.1