Académique Documents
Professionnel Documents
Culture Documents
c) Funo de ativao:
UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA Profa. Andrea Sell Dyminski
d) Valores-alvo:
As respostas desejadas devem estar dentro do intervalo da funo de
ativao escolhida (sigmide).
e) Normalizar as entradas:
Normalizar cada varivel de entrada (pr-processamento) de modo que
o seu valor mdio, de todo o conjunto, esteja prximo de zero ou
pequeno se comparado ao desvio padro.
Tambm se deve ter:
- variveis de entrada no correlacionadas (anlise de componentes
principais);
- estas variveis devem ser escaladas para que suas covarincias
sejam aproximadamente iguais (aprendizado com mesma velocidade).
f) Inicializao:
Boa escolha dos valores iniciais dos pesos e dos limiares da rede.
Pesos sinpticos iniciais --------- Valores pequenos!
UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA Profa. Andrea Sell Dyminski
h) Taxas de aprendizagem:
Deve-se atribuir ao parmetro da taxa de aprendizagem () valores
menores nas ltimas camadas do que nas camadas anteriores.
Sugerido (LeCun, 1993) ---- inversamente proporcional raiz
quadrada do nmero de conexes sinpticas.
4.4 Generalizao
Uma rede neural dever ser capaz de generalizar, ou seja, dar uma
soluo (ou resposta) coerente para uma situao no vista
anteriormente, ou seja, no utilzada durante o seu processo de
treinamento.
Cuidado! - Se o treinamento for excessivo, a rede pode memorizar os
exemplos aprendidos, perdendo sua capacidade de generalizao!!!
(Problema de overfitting)
Este problema tambm pode acontecer se utilizarmos nmero
excessivo de neurnios na camada escondida de RN.
(ver figura 4.19 do Haykin)
UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA Profa. Andrea Sell Dyminski
e bias)
= Erro (de classificao) permitido sobre os dados de
teste
O = Ordem da quantidade entre parnteses
P. Ex.: Admitindo-se um erro de 10%, o nmero de exemplos de
treinamento necessrios deve ser de cerca de 10 vezes maior que o
nmero de parmetros livres da rede.
UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA Profa. Andrea Sell Dyminski