Beamer Example

Classicador Bayesiano
Rafael Alisson da Silva Dias Diego Xavier de Araujo Hudson Ricardo Sobrinho Custdio o
Tpicos Avanados em Inteligncia Computacional o c e
21 de novembro, 2011
Dias, Arajo e Cutdio (2011) u o
1 / 27
Introduo ca
Este trabalho tem o objetivo de explicar o funcionamento do Classicador Bayesiano. Este classicador utiliza o clculo da a probabilidade a partir dos atributos de uma amostra para classicar uma amostra desconhecida, fazendo a combinao do conhecimento a ca priori.
2 / 27
Denio do Classicador Bayesiano ca
E um classicador estat stico que classica um objeto numa determinada classe baseando-se na probabilidade deste objeto pertencer a esta classe. Baseado na teoria de Thomas Bayes. Tambm conhecido por classicador de Na Bayes ou somente e e ve algoritmo de Bayes. Os mtodos prticos e bem sucedidos para aprendizagem so: e a a
Aprendizagem Bayesiano Ingnua. e Aprendizagem de Redes Bayesianas.
3 / 27
Teoria de Thomas Bayes
Calcula a probabilidade de diferentes hipteses a medida que novas o evidncias so observadas. e a

Seja h: hiptese e D: evidncia. o e Objetivo: Calcular P(h/D). P(h/D) =
P(D/h)P(h) P(D)
P(h): probabilidade a priori de h. P(D): probabilidade a priori de D. P(D/h): probabilidade de observar D dado q h aconteceu.
4 / 27
Exemplo: classicar risco - Seguradora de Ve culos Evidncia sexo = M: e

P(rico = alto) = 0.2 P(sexo = M) = 0.6 P(sexo = M / risco = alto) = 0.7
P(risco = alto l sexo = M) = = 0.7 * 0.2 / 0.6 = 0.23
P(sexo=M/risco=alto)P(risco=alto) P(sexo=M)
P(risco = baixo l sexo = M) = 1 - 0.23 = 0.77
5 / 27
Exemplo: classicar risco - Seguradora de Ve culos Evidncia sexo = F: e

P(rico = alto) = 0.2 P(sexo = F) = 0.4 P(sexo = F / risco = alto) = 0.3
P(risco = alto l sexo = F) = = 0.3 * 0.2 / 0.4 = 0.1
P(sexo=F /risco=alto)P(risco=alto) P(sexo=F )
P(risco = baixo l sexo = F) = 1 - 0.1 = 0.9
6 / 27
Classicador Bayesiano Ingnuo ou Simples e

Esta classicao considera que o efeito do valor de um atributo sobre ca uma determinada classe independente dos valores dos outros e atributos.
Isto simplica os clculos envolvidos. a
A classicao Bayesiana obtm melhores resultados quando os ca e valores dos atribtos so discretos ao invs de continuos. u a e Este tipo de classicao requer um conjunto de dados prvio que j ca e a esteja classicado, ou seja, que j conhea cada uma das poss a c veis classes desse cojunto. Baseado neste conjunto de dados, o algoritmo recebe como entrada uma nova amostra desconhecida (que no possui classicao) e a ca retorna como sa a classe mais provvel para esta amostra de da a acordo com os clculos probabil a ticos.
Dias, Arajo e Cutdio (2011) u o Classicador Bayesiano 21 de novembro, 2011 7 / 27
O funcionamento do algoritmo da classicao bayesiana baseado ca e em 3 passos:

Passo 1: Clculos das probabilidades das classes. a Passo 2: Clculos das probabilidades da amostra desconhecida. a Passo 3: Calcular a probabilidade da amostra desconhecida.
8 / 27
Passo 1: Clculos das probabilidades das classes a

Cada classe do conjunto de treinamento possui probabilidade calculada. O clculo feito dividindo o nmero de intncias de determinada classe a e u a pelo nmero total de instncias do cojunto de treinamento. u a
9 / 27
Passo 2: Clculos das probabilidades da amostra desconhecida a

Cada atributo da amostra desconhecida possui sua probabilidade calculada para cada classe poss vel. Este passo onde ocorre o processamento mais pesadodo algoritmo. e Dependendo do nmero de atributos classes e instncias o conjunto de u a treinamento necessrio realizar muitos clculos para obter as e a a probabilidades. Este clculo depende inteiramente dos atributos da amostra a desconhecida. Supondo que existem K classes e M atributos, ser necessrio calcular a a K x M probabilidades.
10 / 27
Passo 3: Calcular a probabilidade da amostra desconhecida

As probabilidades calculadas para os valores da amostra desconhecida de uma mesma classe so multiplicadas. a Em seguida o valor obtido multiplicado pela probabilidade da classe e calculada no Passo 1.
11 / 27
Exemplo do Uso do Algoritmo
O exemplo considera que uma empresa nanceira deseja prever se um cliente ser inadimplente ou no. a a Para isto, a empresa dever levar em considerao a sua base a ca histrica de clientes e alguns atributos. o
12 / 27

Dados Histricos de uma Empresa Financeira. o
Cd.C o 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Sexo F F M F F M F M M M F F F M F Est.C vil S S S S S C C C C C S C C C S Escolarid. E.M.I E.M.I E.M.C E.M.C S.I E.M.C E.M.C E.M.I E.M.I S.C E.M.C E.M.I S.I S.I S.C Rend. > 3 Sal. 1 Sal. > 3 Sal. 1 Sal. 2 Sal. 1 Sal. > 3 Sal. > 3 Sal. 1 Sal. 2 Sal. > 3 Sal. 2 Sal. 1 Sal. 2 Sal. 2 Sal. Inadimp. N N S N N N N N N N N S S S N
21 de novembro, 2011 13 / 27
Amostra a ser classicada:

Sexo M Est.C vil S Escolarid. E.M.I Rend. 1 Sal. Inadimp. ?
Passo 1: Clculos das probabilidades das classes. a

Existem apenas 2 classes. (Sim e No) a Probabilidade da classicao Inadimplente = Sim: 4 / 15 = 0,2667 ca Probabilidade da classicao Inadimplente = No: 11 / 15 = 0,7334 ca a
14 / 27
Amostra a ser classicada:

Sexo M Est.C vil S Escolarid. E.M.I Rend. 1 Sal. Inadimp. ?
Passo 2: Clculos das probabilidades da amostra desconhecida. a

Para o atributo da amostra desconhecida Sexo = Masculino, calcular a probabilidade de Inadimplente = Sim. Probabilidade Sexo = Masculino e Inadimplente = Sim: 2 / 4 = 0.5 E para Sexo = Masculino calcular a probabilidade de Inadimplente = No. a Probabilidade Sexo = Masculino e Inadimplente = No: 4 / 11 = a 0.3636 Para os demais valores da amostra desconhecida temos:
15 / 27
Para os demais valores da amostra desconhecida temos:

Estado C = Solteiro e Inadimplente = Sim: 1 / 4 = 0.25 vil Estado C = Solteiro e Inadimplente = No: 6 / 11 = 0.5455 vil a Escolaridade = Ensino Mdio Incompleto e Inadimplente = Sim: 1 / 4 e = 0.25 Escolaridade = Ensino Mdio Incompleto e Inadimplente = No: 4 / e a 11 = 0.3636 Rendimentos = 1 Salrio M a nimo e Inadimplente = Sim: 1 / 4 = 0.25 Rendimentos = 1 Salrio M a nimo e Inadimplente = No: 4 / 11 = a 0.3636
16 / 27
Passo 3: Calcular a probabilidade da amostra desconhecida.

Multiplica-se as probabiulidades da amostra desconhecida para o caso de Inadimplente = Sim pela probabilidade de Inadimplncia calculada e no Passo 1 0,5 x 0,25 x 0,25 x 0,25 x 0,2667 = 0,0021 Multiplicando as probabiulidades da amostra desconhecida para o caso de Inadimplente = No pela probabilidade de Inadimplncia calculada a e no Passo 1 0,3636 x 0,5455 x 0,3636 x 0,3636 x 0,7334 = 0,0192 Como 0,0192 > 0,0021 , o algoritmo classica a amostra desconhecida como Inadimplente = No. a
17 / 27
Aprendizagem de Redes Bayesianas
Uma Rede Bayesiana um grafo ac e clico dirigido onde:

Cada n da rede representa uma varivel aleatria. o a o Um conjunto de ligaes ou arcos dirigidos coletam pares de ns. co o Cada n recebe arcos dos ns que tem inuncia direta sobre ele (ns o o e o pais). Cada n possui uma tabela de probabilidade condicional associada que o quantica os efeitos que os pais tm sobre o n. e o
18 / 27

Exemplo:
19 / 27

Variantes da tarefa de aprendizagem:
A estrutura da rede pode ser conhecida ou desconhecida. Um conjunto de treinamento pode fornecer valores para todas as variveis da rede ou para somente algumas. a
Se a estrutura conhecida e todas as variveis observadas: e a

Ento fcil como treinar um Classicador Bayesiano Ingnuo. a e a e
Suponha que a estrutura conhecida e as variveis parcialmente e a observadas:

Exemplo, observa-se Fogo na Floresta, Tempestade, Onibus de turismo, mas no se obeserva Raio e Fogo no Acampamento. a Aprende-se a tabela de probabilidades condicionais de cada n usando o o algoritmo de Gradiente Ascendente.
20 / 27
So Fornecidos mtodos baseados em Busca e Pontuao: a e ca

Busca no espao de escrituras. c Clculo das tabelas de probabilidade para cada estrutura. a Denio da medida de avaliao (Pontuao). ca ca ca Operadores de busca (adio, remoo ou reverso de arcos da rede) ca ca a Processo de busca procegue enquanto a pontuao de uma rede for ca signicativamente melhor que a anterior.
Mtodos baseados em anlise de dependncia: e a e

Arcos so adicionados ou removidos dependendo de um teste de a Independncia Condicional entre os ns. e o Teste de independncia pode ser feita entre pares de ns ou com um e o conjunto maior que variveis condicionais. a
21 / 27
So Fornecidos mtodos baseados em Busca e Pontuao: a e ca

Vantagem: Menor Complexidade no tempo. Desvantagem: No garante encontrar melhor soluo. a ca
Mtodos baseados em anlise de dependncia: e a e

Vantagem: Sobe certas condies encontra amlhor soluo. co ca Desvantagem: Teste de independncia com uma quantidade muito e grande de variveis pode se tornar invivel. a a
22 / 27
Concluso a
Aprendizado Bayesiano pode ser utilizado para determinar as hipteses mais provveis dado um conjunto de exemplos. o a Fornece algoritmos que podem ser utilizados na prtica: a
Classicador Bayesiano Ingnuo. e Redes Bayesianas.
23 / 27
Anexo
Para ajudar a classicar amostras utilizando o Classicador Bayesiano, pode ser utilizada uma implementao do algoritmo de Classicao ca ca Bayesiana que trabalha com varios atributos que possui valores textuais. Esta implementao baseada em instrues SQL do dialto T-SQL, ca e co e linguagem padro do SQL Server. a O nome Stored Procedure. e Esta implementao pode ser utilizada em outros bancos de dados. ca Para o exemplo de Classicador Bayesiano Ingnuo, que foi citado e neste trabalho, foi utilizada esta implementao. ca
24 / 27
Anexo
Imagem 1:
25 / 27
Anexo
Imagem 2:
26 / 27
Refercias Bibliogrcas e a
AMO, S. Curso de Data Mining. Dispon em vel http://www.deamo.prof.ufu.br/arquivos/Aula11N.pdf. Acesso em novembro de 2011. ZEMBRZUSKI, M. C. Classicadores Bayesianos. Dispon em vel http://www.inf.ufrgs.br/ alvares/CMP259DCBD/ classicadores-bayseanos.pdf. Acesso em novembro de 2011.
27 / 27

Beamer Example

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Beamer Example

Transféré par

Droits d'auteur :

Formats disponibles

Classicador Bayesiano

Dias, Arajo e Cutdio (2011) u o

Dias, Arajo e Cutdio (2011) u o

Denio do Classicador Bayesiano ca

Dias, Arajo e Cutdio (2011) u o

Teoria de Thomas Bayes

Calcula a probabilidade de diferentes hipteses a medida que novas o evidncias so observadas. e a

Dias, Arajo e Cutdio (2011) u o

Teoria de Thomas Bayes

Exemplo: classicar risco - Seguradora de Ve culos Evidncia sexo = M: e

P(risco = alto l sexo = M) = = 0.7 * 0.2 / 0.6 = 0.23

P(risco = baixo l sexo = M) = 1 - 0.23 = 0.77

Dias, Arajo e Cutdio (2011) u o

Teoria de Thomas Bayes

Exemplo: classicar risco - Seguradora de Ve culos Evidncia sexo = F: e

P(risco = alto l sexo = F) = = 0.3 * 0.2 / 0.4 = 0.1

P(sexo=F /risco=alto)P(risco=alto) P(sexo=F )

P(risco = baixo l sexo = F) = 1 - 0.1 = 0.9

Dias, Arajo e Cutdio (2011) u o

Classicador Bayesiano Ingnuo ou Simples e

Classicador Bayesiano Ingnuo ou Simples e

O funcionamento do algoritmo da classicao bayesiana baseado ca e em 3 passos:

Dias, Arajo e Cutdio (2011) u o

Classicador Bayesiano Ingnuo ou Simples e

Passo 1: Clculos das probabilidades das classes a

Dias, Arajo e Cutdio (2011) u o

Classicador Bayesiano Ingnuo ou Simples e

Passo 2: Clculos das probabilidades da amostra desconhecida a

Dias, Arajo e Cutdio (2011) u o

Classicador Bayesiano Ingnuo ou Simples e

Passo 3: Calcular a probabilidade da amostra desconhecida

Dias, Arajo e Cutdio (2011) u o

Exemplo do Uso do Algoritmo

Dias, Arajo e Cutdio (2011) u o

Exemplo do Uso do Algoritmo

Dias, Arajo e Cutdio (2011) u o

Exemplo do Uso do Algoritmo

Amostra a ser classicada:

Passo 1: Clculos das probabilidades das classes. a

Dias, Arajo e Cutdio (2011) u o

Exemplo do Uso do Algoritmo

Amostra a ser classicada:

Passo 2: Clculos das probabilidades da amostra desconhecida. a

Dias, Arajo e Cutdio (2011) u o

Exemplo do Uso do Algoritmo

Para os demais valores da amostra desconhecida temos:

Dias, Arajo e Cutdio (2011) u o

Exemplo do Uso do Algoritmo

Passo 3: Calcular a probabilidade da amostra desconhecida.

Dias, Arajo e Cutdio (2011) u o

Aprendizagem de Redes Bayesianas

Uma Rede Bayesiana um grafo ac e clico dirigido onde:

Dias, Arajo e Cutdio (2011) u o

Aprendizagem de Redes Bayesianas

Dias, Arajo e Cutdio (2011) u o

Aprendizagem de Redes Bayesianas

Se a estrutura conhecida e todas as variveis observadas: e a

Suponha que a estrutura conhecida e as variveis parcialmente e a observadas:

Dias, Arajo e Cutdio (2011) u o

Aprendizagem de Redes Bayesianas

So Fornecidos mtodos baseados em Busca e Pontuao: a e ca

Mtodos baseados em anlise de dependncia: e a e

Dias, Arajo e Cutdio (2011) u o

Aprendizagem de Redes Bayesianas