CPE 721 2011 - RNs Feedforward 1a Srie de Exerccios - Treinamento BP Obs: O objetivo da srie de exerccios a fixao do aprendizado.

o. A srie pode ser feita em grupo, mas importante que cada um tente achar as solues individualmente antes do trabalho em grupo.

1 Escreva a relao entre as funes de ativao logstica L(u) e tangente hiperblica tgh(u), e tambm entre suas derivadas dL(u) /du e d tgh(u) /du. L(u ) = 1 1 + e u tgh(u ) = e u e u 1 e 2u = e u + e u 1 + e 2 u

1.1 - Mostre que o custo computacional de treinar ou operar as duas redes similar. 1.2 - Considerando que a excitao interna do neurnio uma soma ponderada das entradas adicionada a uma polarizao,
u i = wij x j + wi 0 ,
j =1 n

mostre que redes feedforward (mesmo multicamadas) com neurnios com os dois tipos funo de ativao, L(u) ou tgh(.), so equivalentes em capacidade de mapeamento entradasada (a menos de uma constante e um fator de escala). 2 - Um neurnio tipo log(.) tem funo de excitao u e de ativao v dadas por
u = wixi
0 n

x0 =1

ln(1 + u) u 0 v= ln(1 u ) u < 0

2.1 - Desenvolva um processo de aprendizado BP para uma rede com duas camadas, usando neuronios tipo log na camada intermediria e neuronios lineares e/ou tipo tgh na camada de sada, como na rede abaixo. A funo objetivo a ser minimizada o e.m.q. na sada. Apresente um algortmo que determine de forma explcita os acrscimos a serem aplicados nas sinapses da primeira e da segunda camada, wij e tli. 2.2 - Na rede abaixo os neurnios 1, 2, 3 so tipo log, o neurnio 4 linear ( v = u ) e o 5 tipo tgh. O treinamento tipo regra delta sem momento com = 0,1. apresentado o par entrada-sada {x ; y}, onde x = [0,1 ; 0,7]t e y = [0,2 ; 1,0]t. Quais os novos valores das sinapses aps o passo de treinamento ?

3 - Considere uma rede neural que utiliza um nico neurnio linear, como na figura abaixo,
w0 1

u = wi xi = w x
t i =0

~=u, y

X1 w1

~ y
wn

xn

treinada usando backpropagation regra delta com = 0,2 e sem momento. No incio do isimo passo de treinamento o vetor sinapse w(i-1). ento apresentado o par entrada-sada {x(i),y(i)} e o novo w calculado, w(i) = w(i -1) + w(i) 3a - Deseja-se retroceder este passo. possvel calcular w(i-1) conhecendo-se apenas w(i) e {x(i),y(i)} ? Se sim, apresente uma frmula explcita w(i-1) = f{w(i), x(i), y(i)}. 3b - Repita agora para o caso em que o neurnio do tipo ~ = tgh(u ) , apresentando a equao y a ser resolvida para determinar w(i-1). Considere usar a aproximao

tgh(u 0 + u ) tgh(u 0 ) + [1 tgh 2 (u 0 )]u

Obs: use formulao matricial. 4 - Considere uma rede feedforward multicamadas com neurnios do tipo Estabelea um algoritmo de treinamento que minimize o erro de sada F0 abaixo: v = tgh u.

F0 = E{

[
i =1

y ~i y 3( i ) + 5 ( yi ~i ) 2 y yi
2

]}

Apresente um algortmo explcito para os acrscimos nas sinapses do tipo:

wij = f [ , l , g li ]

onde l = y l ~l y

g li =

~l y u i

Observe que na deduo do mtodo backpropagation usamos a regra de cadeia y F F F ~k = ~ onde os primeiros termos, ~ , dependem apenas da funo objetivo a wij yk k y k wij ~ yk ser minimizada, e os segundos termos, , dependem apenas da rede a ser utilizada. wij