Algoritmo de Aprendizaje BackPropagation

Un ejemplo de aplicacin

Problema
4 Se desea entrenar una red para que

reconozca nmeros pares, impares y primos

Salidas Deseadas Entradas 0000 0001 0010 0011 .... D1 1 0 1 0 D2 0 1 0 1 D3 0 1 0 1 D1: Par D2: Impar D3: Primo

O H

x1 x2 h1 o1

x3

h2

o2

x4

o3

Estructura de la Red: Red de Perceptrons, Topologa Feedforward de 3 Capas

Error X O H 1 D

x1 x2 h1 o1

d1

x3

h2

o2 2 d2

x4

o3 3 d3

Estructura de la Red: Red de Perceptrons, Topologa Feedforward de 3 Capas

Error X x1

W1
W11 H W12 W21 W22

W2
h1 W11
W21 W31

Y 1

y1

d1

x2

h2
x3

y2

2 d2 3

y3 x4

d3

Aplicacin de la regla delta

Matriz W2

W11 = W11 + 1h1 W21 = W21 + 2 h1 W31 = W31 + 3 h1

donde

j = y (d j y j )
' j

: tasa de aprendizaje

Aplicacin de la regla delta

se tiene que:

si y j es la funcin logstica y = y j 1 y j
' j ' j

si y j es la funcin tangente hiperblica y = 1+ y j 1 y j

][

Aplicacin de la regla delta

Matriz W1

W11 = W11 + 1 x1 W21 = W21 + 2 x1

donde

j = h kWkj
' j

: tasa de aprendizaje

k =1

Aplicacin de la regla delta

Matriz W1

j = h kWkj
' j k =1

1 = h1 '[1W11 + 2W21 + 3W31 ] ...

2 = h2 '[1W12 + 2W22 + 3W32 ]

Conjunto de datos
4 Conjunto de Entrenamiento: patrones de

ajuste (train) 4 Conjunto de Validacin: patrones de evaluacin de la capacidad de generalizacin (simulate) 4 Conjunto de Test: patrones de verificacin final (simulate)

Etapas Generales del Algoritmo

Inicializacin de los pesos Presentacin de un patrn Clculo del error Si FIN Error min? No Ajuste de Pesos

Condiciones de Parada
El algoritmo BP se puede detener cuando se alcanza: 4 Nmero mximo de pocas (se denomina poca al hecho de pasar el Conjunto de Entrenamiento una vez). 4 Error Mnimo. El error puede ser calculado patrn a patrn o como promedio de los errores de una poca, por lo que se pueden actualizar los pesos de dos formas (batch y secuencial)

Matlab
Red=newff(PR,[S1 S2 .. SN1],{TF1 TF2 TFN1}, BTF,BLF,PF); PR: matriz Rx2 que tiene los valores mn y max de las R entradas Si: tamao de la capa i para N1 capas TFi: funcines de transferencia de cada capa (default=tansig) BTF: funcin de entrenamiento (default=trainlm) BLF: funcin de aprendizaje (default=learngdm) PF: funcin del error (default=mse) newff: crea y devuelve en Red una red MLP con algoritmo de aprendizaje BP

Matlab
En el rea de trabajo dar el comando demo 4 ToolBoxes\NeuralNetworks\Perceptrons
Demo1: Limites de decisin de un Perceptron Demo2: Perceptron Learning Rule

4 ToolBoxes\NeuralNetworks\Backpropag. Demo1: Generalization Demo2: Network Function Demo3: BackProp. Calculation

(Ver el problema de cuando se quiere aprender un conjunto de patrones...)

Matlab
En el rea de trabajo dar el comando nntool

Matlab Tutoriales

4 http://www.eecs.umich.edu/~someshs/nn/m

atlab_nn_starter.htm