Octubre 2016

Perceptron
& ADALINE

Perceptron
El psiclogo Frank Ronsenblant desarroll en el ao 1958, un modelo
simple de neurona sustentado en el modelo de McCulloch y Pitts, que
utilizaba una regla de aprendizaje en base a la correccin del error.

x1
x2
x3

w1

1
y f ( x1 , x2 ,..., xn )

w2

si

w1 x1 w2 x2 ... wn xn

si

w1 x1 w2 x2 ... wn xn

w3

w1 x1 w2 x2

w1 x1 w2 x2
Funcin signo

w1 x1 w2 x2

Funcionamiento
Se dispone de
la siguiente
informacin:

Conjunto de patrones {xk}, k = 1,2,,p1 , de la clase C1 (zk = 1)

Conjunto de patrones {xr}, k = p1+1,...,p , de la clase C2

(zr = -1)

Se pretende que el perceptrn asigne a cada entrada (patrn xk) la

salida deseada zk siguiendo un proceso de correccin de error
(aprendizaje) para determinar los pesos sinpticos apropiados

Regla de aprendizaje del Perceptrn:

w j k (k )z k yk x j k
w j (k ) 2x j (k )

w j (k 1) w j (k )

w j (k ) 2x j (k )

si y (k ) 1 y z (k ) 1,

error

si y (k ) z (k )
si y (k ) 1 y z (k ) 1

Tasa de
aprendizaje

Modificacin del sesgo

w1 x1 w2 x2 ... wn xn
x1

w1 x1 w2 x2 ... wn xn wn1 xn1 0

w1

w2
y

x2
x3
1

w1 x1 w2 x2 ... wn xn (1) 0

w3

k (k )z k yk

Algoritmo del Perceptrn

Paso 0: Inicializacin: Inicializar los pesos sinpticos con nmeros
aleatorios del intervalo [-1,1]. Ir al paso 1 con k=1

n 1

Paso 1: (k-sima iteracin) Calcular y ( k ) sgn w j x j ( k )

Paso 2: Correccin de los pesos sinpticos: Si z(k) y(k)

modificar los pesos sinpticos segn la expresin:

w j k 1 w j k zi k yi k x j k ,

j 1,2,..., n 1

Paso 3: Criterio de Parada: Si no se han modificado los pesos en las

ltimas p iteraciones parar. En otro caso, ir al Paso 1 con k=k+1.

Implementacin de la funcin lgica

AND mediante un perceptrn
Entradas
(1,1)

Salida
1

(1,-1)

-1

(-1,1)

-1

(-1,-1)

-1

x1
x2
1

w1
w2

Paso 0: Inicializacin aleatoria

w1 = 0.4,

w2 = 0.2,

= 0.6,

Implementacin de la funcin lgica AND

mediante un perceptrn
1
1
1

0.3
0.2

0.6

Paso 1: Patrn de entrada (1,1): h 0.3(1) 0.2(1) 0.6(1) 1.1

Paso 2: Correccin de los pesos sinpticos

w1 (1) w1 (0) 21 0.3 1 0.7
w2 (1) w2 (0) 2 (1) 0.2 1 0.8

(1) (0) 2 (1) 0.6 1 0.4

Elegimos =0.5

y=1

Implementacin de la funcin lgica AND

mediante un perceptrn
1
1
1

0.7
0.8

0.4

Paso 1:
Patrn de entrada (1,1):

h 0.7(1) 0.8(1) 0.4(1) 0.5

Como y = 1 y z = 1 la clasificacin es correcta

y=1

Implementacin de la funcin lgica AND

mediante un perceptrn
1
1
1

0.7
0.8

0.4

Paso 1: Patrn de entrada (1,1): h 0.7(1) 0.8(1) 0.4(1) 0.3

Paso 2: Correccin de los pesos sinpticos
w1 (2) w1 (1) 2 (1) 0.7 1 0.3
w2 (2) w2 (1) 2 (1) 0.8 1 1.8

(2) (1) 2 (1) 0.4 1 0.6

Elegimos = 0.5

y=1

Implementacin de la funcin lgica AND

mediante un perceptrn
1
1
1

0.3
1.8

0.6

Paso 1: Patrn de entrada (1,1): h 0.3(1) 1.8(1) 0.6(1) 2.1

Paso 2: Correccin de los pesos sinpticos

w1 (3) w1 (2) 2 (1) 0.3 1 1.3
w2 (3) w2 (2) 2 (1) 1.8 1 0.8

(3) (2) 2 (1) 0.6 1 0.4

Elegimos = 0.5

y=1

Implementacin de la funcin lgica AND

mediante un perceptrn
-1

1.3
0.8

1
1

y
0.4

1.3x1 0.8 x2 0.4 0

Patrn (1,1):

h 1.3(1) 0.8(1) 0.4(1) 2.7

Patrn (1,1):

h 1.3(1) 0.8(1) 0.4(1) 0.1

Patrn (1,1): h 1.3(1) 0.8(1) 0.4(1) 2.5

Patrn (1,1):

h 1.3(1) 0.8(1) 0.4(1) 0.9

Implementacin de la funcin lgica AND

mediante un perceptrn
1

1.3

0.8

0.4

Paso 1: Patrn de entrada (1,1): h 1.3(1) 0.8(1) 0.4(1) 0.1

Paso 2: Correccin de los pesos sinpticos
y=1
w1 (3) w1 (2) 2 (1) 1.3 1 0.7
w2 (3) w2 (2) 2 (1) 0.8 1 1.8

(3) (2) 2 (1) 0.4 1 1.4

Elegimos = 0.5

Implementacin de la funcin lgica AND

mediante un perceptrn
1
1

0.7
1.8

y
1.4

Paso 1: Patrn de entrada (1,1): h 1.3(1) 0.8(1) 0.4(1) 0.1

Paso 2: Correccin de los pesos sinpticos

w1 (3) w1 (2) 2 (1) 1.3 1 0.7
w2 (3) w2 (2) 2 (1) 0.8 1 1.8

(3) (2) 2 (1) 0.4 1 1.4

Elegimos = 0.5

y=1

El Perceptrn: Problema XOR

Dado un conjunto cualquiera de patrones de entrenamiento, puede el
Perceptrn aprender a clasificarlos correctamente?

Problema XOR
Entradas
(1, 1)

Salidas
1

(1, 1)

(1, 1)

1
(a)

(1,1)

(b)

Conjuntos
linealmente
separables

Teorema de convergencia del Perceptrn

Si el conjunto de patrones de entrenamiento con sus salidas deseadas,
{x1 ,z1}, {x2 ,z2},,{ xp ,zp},
es linealmente separable entonces el Perceptrn simple encuentra una
solucin en un nmero finito de iteraciones
Demostracin

w1* , w2* ,..., wn*1

n

w x
j 1

*
j

wn1

si son de la clase C1

wn1

si son de la clase C2

w x
j 1

*
j

Demostracin
w k 1 w w (k ) z(k ) y(k )x (k ) w
n 1

j 1

n 1

* 2
j

w j k w

* 2
j

j 1

n 1

j 1

* 2
j

z k yk

n 1

x k
j 1

n 1

2 z k yk w j k w*j x j k
j 1

n 1

n 1

j 1

j 1

2z k yk ( w j (k ) x j k ) 2z k yk w*j x j k

n 1

2 w j k x j k
j 1

n 1

w j k w
j 1

* 2
j

n 1

x k
j 1

n 1

0 4 w*j x j k
j 1

n 1

2 w*j x j k
j 1

Demostracin
w k 1 w w k w

w k 1 w w k w

4 2 L 4T

n 1

* 2
j

j 1

n 1

* 2
j

j 1

n 1
j 1

* 2
j

n 1
j 1

* 2
j

n 1

x k
j 1

n 1

4 w*j x j k
j 1

n 1 *

T min w j x j k
1 k p
j 1

n 1
2
L max x j k
1 k p
j 1

w k 1 w w k w
n 1
j 1

* 2
j

Si L T 0

T
L

n 1
j 1

* 2
j

4 (L T )

w k 1 w w k w
n 1
j 1

* 2
j

n 1
j 1

* 2
j

Tasa de aprendizaje ptima

Se trata de elegir de la tasa de aprendizaje de manera que se produzca un mayor
decrecimiento del error en cada iteracin

Error cuadrtico en la iteracin k+1

E ( ) D(k 1) D(k ) 4

n 1

j 1

n 1

Dk 1 w j k 1 w*j

n 1

n 1

j 1

j 1

x
k

w
k
x
k

w
j
j j
j x j k
2

j 1

n 1
n 1
n 1
E
2
8 x j k 4 w j k x j k 4 w*j x j k 0

j 1
j 1
j 1

n 1

opt

n 1

w k x k w x k
j 1

n 1

j 1

2 x j k
j 1

*
j

Tasa de aprendizaje ptima

n 1

opt

n 1

n 1

w k x k w x k
j 1

n 1

j 1

*
j

~opt

2 x j k

w k x k
j

j 1

n 1

x j k

j 1

j 1

n 1

n 1

j 1

j 1

2 w j (k ) x j k z k y k w j (k ) x j k

n 1

~opt

z (k ) y (k ) w j k x j k
j 1

n 1

2 x j k
j 1

Regla de aprendizaje normalizada

n 1

w j (k 1) w j k

z k yk w j k x j k
j 1

n 1

2 x j k

j 1

n 1

w j (k 1) w j k 2

w k x k
j 1
n 1

x k
j 1

x j k

z k yk x j k

Regla de aprendizaje normalizada

w (k 1)

n 1

w j (k 1) 2
j 1

n 1
n 1

w j (k ) x j (k ) n 1
w j (k ) x j (k )

n 1
n 1
j 1
4 j 1
w j (k ) 2 x j (k ) 2 2 n 1
w j (k ) x j (k )

n 1

j 1
j 1
x j (k ) 2
x j (k ) 2 i 1

j 1
j 1

n 1

w j (k ) 2 1
j 1

Interpretacin de la regla de aprendizaje del

perceptrn
n 1

w x wj x j 0
T

j 1

x C1

y sgn(w T x) z, x C1 C2

n 1

w x w j x j 0 x C2
T

j 1

w (k ) a(k ) si (a(k )) T w (k ) 0
w (k 1)
en otro caso
w ( k )

x(k ) si z (k ) 1
a(k)
x(k ) si z (k ) 1

Se realizan las correcciones siempre y cuando se producen

clasificaciones incorrectas, es decir, (a(k ))T w(k ) 0

Deduccin de la regla de aprendizaje

La regla de aprendizaje del Perceptrn intenta encontrar una solucin w*
para el siguiente sistema de desigualdades:

a( k ) T w 0

Funcin criterio:

J (w )

k =1,2,,p

T
a
(
k
)
w

kI ( w )

I(w) es el conjunto de patrones clasificados incorrectamente utilizando el

vector de pesos sinpticos w (es decir, (a(k))T w 0). As, J nunca es negativo
y si dicho conjunto es vaco entonces J alcanza su valor mnimo, J = 0.

Mtodo del descenso del gradiente

J

(a(k ))

kI ( w )

w(k 1) w(k ) (k )J
w(k ) (k ) a(k )
kI ( w )

Algoritmo de aprendizaje por lotes del

perceptrn
Paso 0: Inicializacin
Inicializar los pesos sinpticos con nmeros aleatorios del
intervalo [-1,1]. Fijar un valor de parada s. Ir al paso 1 con k=1
Paso 1: (k-sima iteracin) Correccin de los pesos sinpticos

w(k 1) w(k ) (k )

a(k )

kI ( w )

Paso 2: Parada
Si

(k )

a( k ) s

parar.

kI ( w )

En otro caso, ir al Paso 1 con k=k+1.

Paso 1 w (k 1) w (k ) (k )a(k )

ADALINE
ADALINE, acrnimo de ADAptive Linear NEuron o neurona con adaptacin
lineal que fue introducida por Widrow en 1959. Esta neurona es similar al
Perceptrn simple pero utiliza como funcin de transferencia la funcin
identidad en lugar de la funcin signo. La salida del ADALINE es simplemente
una funcin lineal de las entradas (ponderadas con los pesos sinpticos):
Aprendizaje individualizado:

N 1

y wj x j

y wj x j

j 1

x , x
z , z

,..., z

,..., x p

j 1

2
1 p k
1 p k N 1
E z y k z w j (k ) x kj
2 k 1
2 k 1
j 1

wr (k 1) wr (k ) wr (k )

z k y(k ) xrk

E
wr (k )
wr (k )

Estructura del ADALINE

x1

x2

w1
w2

.
.
.

xn

wn

w x

y wT x

funcion de activacion lineal

un peso mas, b=0

27

Salida del ADALINE

La salida de la neurona es la suma pesada de sus entradas

Vector de
pesos

y wi xi w T x
i
Estimado de la neurona
de la salida deseada

vector de entrada

El proposito del aprendizaje es minimizar la discrepancia entre la

salida deseada y la salida de la neurona

28

Neuronas de salida continua: Regla

de aprendizaje de Widrow-Hoff
x1
x2
x3

w1
w2
w3

y g w j x j
j 1

g x

1
1 exp 2 x

e x e x
g x tanhx x
e e x

Neuronas de salida continua: Regla

de aprendizaje de Widrow-Hoff
E

2
1
1 k
k
k

y
k

g
(
w
(
k
)
x
)

j
j

2 k 1
2 k 1
j 1

w j (k )

E
w j (k )

z k y(k ) g ' hx kj

2
1
k

y
k

2 p k 1

E
w j
w j

N 1

N 1
k

1
k
z g ( w j x j )

2 p k 1
j 1

1 p k
z y (k ) g ' (h) x kj
p k 1

Aprendizaje de Widrow-Hoff
El algoritmo del descenso por el gradiente es

w n x
Conocido tambin como
Ley de aprendizaje de Widrow-Hoff
Regla Delta

Aplicaciones ADALINE:
Cancelacin adaptativa del ruido
Una seal til, u(n), es perturbada por un ruido, x(n).
Voz del piloto en un avin perturbada por el
ruido originado desde el motor

El ruido es coloreado por un filtro FIR desconocido (Filtro digital

lineal de orden p FIR (Finite-Impulse-esponse))

El problema consiste en filtrar el ruido con el fin de obtener

un estimado de la seal original

Aplicaciones ADALINE:
Cancelacin adaptativa del ruido

Aplicaciones ADALINE:
Cancelacin adaptativa del ruido
Input signal u(t) and estimated signal uh(t)
2
1
0
-1
-2

4
5
time -- msec
estimation error

4
5
time --[msec]

0.4
0.2
0
-0.2
-0.4

Aplicaciones ADALINE:
Cancelacin adaptativa del ruido

Aplicaciones ADALINE:
Cancelacin adaptativa del ruido

ECG Materno - ECG Fetal