Redes Neurais Artificiais-

RNA
Alessandro Bueno
Romulo Benedetti
Sumrio
1. Introduo
2. Definio RNA
3. Uso
4. Redes Neurais Supervisionadas
5. Redes Neurais No Supervisionadas
6. Perceptron
7. Backpropagation
8. SOM
9. Concluso
10. Referncias Bibliogrficas
2
Introduo
Redes Neurais Artificiais so uma rede de ns, os quais
so interligados assim como os neurnios do crebro
humano, para:
gerar prprio conhecimento (aprendizagem);
reconhecer e classificaar padres (percepo);
generalizao do conhecimento adquirido
(conhecimento).
3
Definio de RNA
Podemos defini-las como processadores
paralelamente distribudos, constitudos de
unidades de processamento simples
(neurnios), que possuem a habilidade natural
de armazenar e disponibilizar conhecimento
obtido pela experimentao;
Uma RNA uma construo matemtica simplificada
inspirada no modelo biolgico do sistema nervoso
dos animais. 4
Dentritos: recebem estmulos
Corpo celular: coletam e combinam
informaes
Axnio: transmitem estmulos
5
Elementos Bsicos
Arquitetura
Define quantas e qual tipo de unidades de
processamento existem e como elas se encontram
conectadas.
Aprendizado
Define as regras que iro ajustar os pesos e que
tipo de informao a rede ira utilizar.
6
7
Funo Ativao
Funes de ativao (de patamar ou funes de transferncia)
transformam nmeros reais em nmeros entre 0 e 1 ou entre +1 e -1;
Mapeiam o domnio da ativao do neurnio no domnio de sada.
Funes usuais:
- Linear
- Limiar
- Sigmides (Logistica,
Tangente Hiperblica).
8
Organizao em camadas
Camadas de entrada
Padres so apresentados a rede
Camadas intermedirias ou escondidas
concentram maior parte do processamento atravs
das conexes ponderadas
Camadas de sada
Resultado final concludo e apresentado
9
Grau conectividade:
Completamente conectada
Localmente conectada
Parcialmente conectada
Podendo ser
retroalimentadas (feedback)
10
Uso:
Classificao
Regresso
Anlise de Agrupamentos
11
Classificao e Regresso
Classificao a atribuio de casos ou
instncias de dados a uma ou mais possveis
classes. Em Redes Neurais freqentemente existe
um elemento de processamento por classe;
Regresso a estimativa do valor de uma
varivel baseada em exemplos.
12
Anlise de Agrupamentos
O objetivo da Anlise de
Agrupamentos agrupar objetos
fsicos ou abstratos em classes de
objetos similares, chamados de
agrupamentos (clusters).
13 14
Aprendizagem
Classificada em:

Aprendizagem No supervisionada

Aprendizagem Supervisionada

Aprendizagem por Reforo

15
Aprendizagem
1. Obter dados para o aprendizado.(entradas com ou sem
resultados esperados).
2. processar os dados e calcular erros.
3. realizar reajustes dos atributos com base nos erros
observados.
Este processo se da pelo uso de um algoritmo de
aprendizagem baseado no tipo de funo e estrutura da
RNA.
16
Aprendizagem
Modelos de aprendizado:
Funo ideal g: X Y procurada, X representam as
entradas e Y valores de sada esperados;
Existem duas abordagens para encontrar g, minimizaao
estrutural de riscos e minimizao emprica de riscos.
17
Aprendizagem
Minimizao emprica de riscos procura encontrar a melhor
funo possvel enquanto minimizaao estrutural de riscos
procura evitar que a procura resulte em variaes muito
amplas;
Assim sendo a abordagem de minimizaao estrutural de
riscos acaba sendo a melhor escolha quando existem
poucos dados para treinamento ou o universo a ser avaliado
muito complexo.
18
Redes Neurais Supervisionadas
Redes Supervisionadas so aquelas nas quais os padres de
treinamento devem ser fornecidos em pares do tipo:
<Entrada, Sada correspondente>.
So supervisionados a maioria dos paradigmas de Redes
Neurais usuais:
Retro propagao , Base Radial, Modular, PNN, GRNN, MVS, Etc.
19
Aprendizagem Supervisionada
O grupo mais comum de algoritmos de aprendizado
utilizados em aprendizagem supervisionada so os de
correo de erros;
Um dos algoritmos de aprendizado no supervisionado mais
comum o Backpropagation, dentre outros podemos citar,
algoritmos genticos e simulated annealing.
20
Aprendizagem Supervisionada
Na anlise dos erros, calculado um valor para cada dado
do vetor de treinamento, com base na diferena entre o
resultado e o valor ideal (dado de resultado esperado);
Por fim calculado um valor eficaz, uma mdia estatstica da
magnitude de um valor, que em uma rede neural pode ser
aplicada da seguinte forma:
21
Aprendizagem Supervisionada
22
Aprendizagem Supervisionada
Problemas esperados:
Grande complexidade dos dados analisados (espao
avaliado possui grandes dimenses ou por exemplo a funo
de avaliao muito complexa);
Poucos dados de treinamento;
Rudo (Ex. erro humano) nos dados de treinamento.
23
Redes Neurais No Supervisionadas
Redes No Supervisionadas so aquelas nas
quais os padres de treinamento contm apenas a
Entrada;
So No Supervisionados os paradigmas de:
ART, Kohonen, Contra propagao, Etc.
24
Aprendizagem no Supervisionada
As RNAs desta categoria so destinadas a classificao
onde se desconhece as categorias ou no h muito
conhecimento sobre os dados;
Existem diversas abordagens possveis para a anlise dos
dados, dentre elas clustering, modelo escondido de markov,
separao cega de sinais.
25
Aprendizagem no Supervisionada
Na anlise dos erros, verificada a frequncia de disparos
dos neurnios de sada;
esperado que o conjunto de dados dispare apenas um
neurnio, ou pelo menos um, com grande intensidade;
Com base nesta analise possvel realizar ajustes no peso
do neurnio que mais foi disparado;
O neurnio vencedor consolida sua vitria e assim mais
neurnios disparam para elementos diferentes do resto do
conjunto.
26
Aprendizagem no Supervisionada
27
Aprendizagem no Supervisionada
Problemas esperados:
Ainda temos o problema da dimenso vs dados de entrada;
O tempo de treinamento para respostas efetivas pode ser
demasiadamente grande.
28
Aprendizagem por Reforo
As vezes no praticvel com uso de aprendizagem
supervisionada;
Agente autuando em um ambiente desconhecido
Avaliao: Recompensas, punies;
Maneira que o agente deve agir para maximixar suas
recompensas futuras.
29
Aprendizagem por reforo
Cada instante de tempo t:
o Agente est em um estado s;
o executa uma ao a;
o vai para o estado s;
o recebe uma recompensa r;
Problema a escolha de uma poltica que
maximize o total de recompensas recebidas
pelo agente.
30
Exemplo Aprendizagem por Reforo
Locomoo robos;
Agente Jogo de Luta (+ tirar energia
oponente, - Perder energia);
Modelagem de Gamo (Vitoria = +100,
Derrota = -100). Depois de 1 milho de
partidas contra ele mesmo, joga to bem
quanto o melhor jogador humano.
31
Perceptron
Consiste de uma rede simples que pode ser de uma camada
ou multiplas camadas;
O modelo de uma camada utiliza funo de ativao linear
ou limiar enquanto o modelo multicamadas utiliza em suas
camadas intermedirias funo no lineares, como a
sigmoidal;
O perceptron simples capaz de realizar apenas
classificaes lineares enquanto o multicamadas pode
solucionar problemas no linearmente separveis.
32
Perceptron Simples
O perceptron um classificador binrio que mapeia sua
entrada x (um vetor de valor real) para um valor de sada
f(x) (uma valor binrio simples) atravs da matriz:
Onde w um vetor de peso real e w.x um produto
escalar (que computa a soma com pesos), b a
inclinao, um termo constante que no depende de
qualquer valor de entrada.
33
Perceptron Simples
Com os parmetros w
0
, w
1
e w
2
, a funo f(u) separa o espao de entradas em duas regies, usando uma linha reta dada por:

w
1
x
1
+ w
2
x
2
+ w
0
= 0 34
Perceptron Simples
Sabe-se que se formarmos uma combinao linear de duas variveis, e igual-la a um
nmero, ento os pontos no espao bidimensional podem ser divididos em trs
categorias:
a) pontos pertencentes linha com coordenadas tais que
w
1
. x
1
+ w
2
. x
2
= q
b) pontos em um lado da linha tem coordenadas tais que
w
1
. x
1
+ w
2
. x
2
< q
c) pontos no outro lado da linha tem coordenadas tais que
w
1
. x
1
+ w
2
. x
2
> q . Nota: bias b = - q
y = f(w
1
x
1
+ w
2
x
2
+ w
0
)

= 0 onde w0 = b
35
Pontos 2x
1
+3x
2
posio
(x
1
, x
2
)
(0.0, 2.0) 6 linha
(1.0, 1.0) 5 abaixo
(1.0, 2.0) 8 acima
(2.0, 0.0) 4 abaixo
(2.0, 0.66) 6 linha
(2.0, 1.0) 7 acima
Posio dos pontos em funo da linha 2 x
1
+ 3 x
2
= 6 de delimitao.
Linha: 2 x
1
+ 3 x
2
= 6
Acima: 2 x
1
+ 3 x
2
>6
Abaixo: 2 x
1
+ 3 x
2
< 6 q = 6
Exemplo Perceptron Simples
36
Perceptron Simples
O aprendizado na rede perceptron do tipo supervisionado de
correo de erros, os pesos so com a seguinte equao:
wj(t) - peso da j-sima conexo no tempo t
n - taxao de aprendizado
x.ji - valor do j-simo atributo do vetor xi
yi - saida desejada
f(x) - saida produzida no instante t
37
Perceptron Simples
38
Perceptron Multicamadas
So capazes de implementar qualquer funo continua
Cada neurnio da camada intermediaria combina as funes
da camada anterior;
Os neurnios da primeira camada realizam uma
categorizao linear, enquanto as camadas seguintes
combinam estes hiperplanos para gerar uma regio convexa;
Exemplo: implementaao do XOR (ou exclusivo).
39
Perceptron Multicamadas
40
Backpropagation
O algoritmo de backpropagation um exemplo de algoritmo
capaz de treinar redes de mltiplas camadas como a MLP
des de que esta utilize funo de ativao sigmoidal;
O algoritmo dividido em duas etapas:
Forward
Backward
41
Backpropagation
Forward
Nesta etapa cada objeto de entrada apresentado para a
rede passando por todas as camadas sendo ponderado pelos
pesos das conexes de entrada de cada neurnio at atingir
a camada de saida e gerar um resultado que comparado
com o resultado ideal;
A diferena entre esses valores ento utilizada para indicar
o erro cometido.
42
Backpropagation
Backward
Nesta etapa ocorre os reajustes de peso, da camada de saida
at a primeira camada intermediria de trs para frente;
Como os valores de erro so apenas conhecidos para os
neurnios da camada de saida, nas camadas intermedirias
precisam ter seu erro estimado, o que pode ser feito somando
os erros dos neurnios posteriores ao qual esse se conecta.
43
Backpropagation
Ajuste de peso
w.jl - peso entre neurnio e o j-simo termo de entrada (ou
saida do j-simo neurnio da camada anterior)
n - taxa de aprendizado
x.j - entrada recebida por esse neurnio (l-simo)
delta.l - erro associado ao l-simo neurnio
44
Backpropagation
erro associado
n.l - l-ssimo neurnio
Csai - camada de saida
Cint - camada intermediria
fa - derivada parcial da funo de ativao do neurnio
e.l - erro quadrtico produzido pelo l-simo neurnio de sada que define por quanto o
neunio errou a estimativa comparada a sada ideal.
45 46
SOM (Self Organized Map)
Esta RNA no possui funo de ativao e treinada
por um algoritmo de treinamento no supervisionado,
tambm no possui um valor limiar;
A saida desta RNA tambm diferente no sentido em
que no se utiliza a sada de todos os neurnios; se
escolhe um neurnio vencedor, sendo que geralmente
esse neurnio representa um grupo nos dados que
foram inseridos na RNA.
47
SOM (Self Organized Map)
No existem camadas intermedirias;
So recebidos valores de ponto flutuante que so
normalizados para serem contidos entre -1 e 1;
Pode haver n entradas, porem apenas um neurnio de
saida produzira valor, sendo este valor apenas
verdadeiro ou falso, sendo que a saida da rede sera o
ndice desse neurnio.
48
SOM - Exemplo
normalizao multiplicativa normalizao eixo-z
49
SOM - Exemplo
normalizao multiplicativa
1.0 / sqrt( (0.5 * 0.5) + (0.75 * 0.75) ) = 1.1094
l1 o1 e l2 o1 e normalizao
(10.5 * 0.75) + (0.1 * 0.2) = 0.395 * 1.1094 = 0.438213
mapeando para uma srie bipolar temos a saida de o1
0.438213 * 2 - 1 = -0.123574

saida de o2
-09068104
-0.123574 < -09068104
50
SOM - Aprendizado
realizar vrias rodadas at que o erro seja tolervel.
trata-se de um processo competitivo (um neurnio vai
ganhar)
Este neurinio tera seu peso ajustado para reagir de
forma ainda mais forte a mesma entrada da prxima
vez que a ver, aumentando a habilidade deste de
detectar este padro em particular
caso a quantidade de erro mude pouco, o treinamento
abortado e reiniciado com pesos randmicos.
51
SOM - Ajuste de peso
Aditivo subtrativo
x - vetor de treinamento
w.t - peso do neurnio ganhador
alpha - taxa de aprendizagem
length - tamanho do vetor
52
Concluso
Redes neurais uma boa escolha para simulao de comportamento inteligente ou
racional, que se assemelha ao biolgico, com isso, pode-se processar grandes
informaoes .
Sem dvida um dos motivos fundamentais para o trabalho e desenvolvimento desta
rea se deveu ao fato de compreendermos que o crebro humano processa
informaoes de uma forma completamente diferente dos computadores digitais,
sendo complexo, no linear e paralelo.
Essa rea foi desenvolvida pensando em sistemas capazes de realizar alguns
comportamentos complexos comuns aos de seres humanos (reconhecimento de
padres, controle motor, percepo), apesar de no ser to amigvel como outras
tcnicas que utilizam rvore de deciso, tem-se um conjunto de parmetros que faz
com que o projeto de redes seja definido como magia negra. 53
Referncias Bibliogrficas
1. Carvalho, A. Inteligncia Artificial - Uma Abordagem de
Aprendizado de Mquina
2. Heaton, J. Introduction to Neural Networks for Java
3. http://www.heatonresearch.com/
4. http://pt.wikipedia.org/
5. https://www.youtube.com/watch?v=pkAKtL9FvFI
6. http://www.inf.ufrgs.br/~rcpinto/ti/somtemporal6.pdf
7. http://sund.de/netze/applets/gng/full/GNG-U_0.html
54
Perguntas?
55