Académique Documents
Professionnel Documents
Culture Documents
x1
x2
x3
w1
w2
si
w1 x1 w2 x2 ... wn xn
si
w1 x1 w2 x2 ... wn xn
y f ( x1 , x2 ,..., xn )
w3
w1 x1 w2 x2
w1 x1 w2 x2
Funcin signo
w1 x1 w2 x2
(zr = -1)
w j (k ) 2x j (k )
w j (k 1) w j (k )
w j (k ) 2x j (k )
w j k (k ) z k y k x j k
si y (k ) 1 y z (k ) 1,
si y (k ) z (k )
si y (k ) 1 y z (k ) 1
error
tasa de
aprendizaje
w1
w2
w1 x1 w2 x2 ... wn xn (1) 0
w3
k (k ) z k y k
Calcular
y (k ) sgn
w x
j 1
(k )
w j k 1 w j k z i k y i k x j k ,
j 1,2,..., n 1
Paso 3: Parada
Si no se han modificado los pesos en las ltimas p iteraciones, es decir,
w j (r ) w j (k ), j 1,2,..., n 1, r k 1,..., k p
parar. La red se ha estabilizado.
En otro caso, ir al Paso 1 con k=k+1.
Ejemplo
Disea un perceptrn que implemente la funcin
lgica AND
AND
Entradas
(1, 1)
Salidas
1
x1
(1, 1)
1
x2
(1, 1)
1
(1,1)
1
Paso 0: Inicializacin aleatoria
w1 = 0.4,
w2 = 0.2,
= 0.6,
w1
w2
1
1
1
0.3
0.2
0.6
Paso 1:
Patrn de entrada (1,1):
y=1
Elegimos =0.5
1
1
1
0.7
0.8
0.4
Paso 1:
1
1
1
0.7
0.8
0.4
Paso 1:
Patrn de entrada (1,1):
Elegimos = 0.5
y=1
1
1
1
0.3
1.8
0.6
Paso 1:
Patrn de entrada (1,1):
y=1
Elegimos = 0.5
-1
1
1
1.3
0.8
0.4
Patrn (1,1):
Patrn (1,1):
1
1
1
1.3
0.8
0.4
Paso 1:
Patrn de entrada (1,1):
y=1
Elegimos = 0.5
1
1
1
0.7
1.8
1.4
Paso 1:
Patrn de entrada (1,1):
y=1
Elegimos = 0.5
El Perceptrn
Dado un conjunto cualquiera de patrones de entrenamiento,
puede el Perceptrn aprender a clasificarlos correctamente?
Problema XOR
Entradas
(1, 1)
Salidas
1
(1, 1)
1
(1, 1)
1
(1,1)
1
(a)
(b)
*
w
j x j wn1
j 1
n
w x
j 1
*
j
wn1
si son de la clase C1
si son de la clase C2
Demostracin
w k 1 w w (k ) z (k ) y(k ) x (k ) w
n 1
j 1
n 1
* 2
j
wj k w
j 1
* 2
j
n 1
j 1
* 2
j
z k y k
2
n 1
x k
j 1
n 1
2 z k y k w j k w*j x j k
j 1
n 1
n 1
j 1
j 1
2 z k y k ( w j (k ) x j k ) 2 z k y k w*j x j k
n 1
2 wj k x j k
j 1
wj k w
n 1
j 1
* 2
j
n 1
x k
j 1
n 1
0 4 w*j x j k
j 1
n 1
2 w*j x j k
j 1
Demostracin
w k 1 w w k w
w k 1 w w k w
4 2 L 4T
n 1
* 2
j
j 1
n 1
* 2
j
j 1
n 1
j 1
* 2
j
n 1
j 1
* 2
j
n 1
x k
j 1
n 1
4 w*j x j k
j 1
T min
1 k p
n 1
L max
1 k p
w k 1 w w k w
n 1
j 1
Si
* 2
j
L T 0
T
L
n 1
j 1
* 2
j
x k
j
j 1
n 1
j 1
*
w
j x j k
4 (L T )
w k 1 w w k w
n 1
j 1
* 2
j
n 1
j 1
* 2
j
n 1
x k
j 1
n 1
D k 1 w j k 1 w*j
j 1
n 1
n 1
j 1
j 1
4 w j k x j k 4 w*j x j k
n 1
n 1
n 1
E
2
8 x j k 4 w j k x j k 4 w*j x j k 0
j 1
j 1
j 1
n 1
opt
n 1
w kx k w x k
j 1
n 1
j 1
2 x j k
j 1
*
j
opt
n 1
n 1
w kx k w x k
j 1
n 1
j 1
2 x j k
*
j
~opt
w kx k
j
j 1
n 1
xj k
j 1
j 1
n 1
n 1
j 1
j 1
2 w j (k ) x j k z k y k w j (k ) x j k
n 1
~opt
z (k ) y (k ) w j k x j k
j 1
n 1
2 x j k
j 1
w j (k 1) w j k
z k y k w j k x j k
j 1
n 1
2 x j k
j 1
n 1
w j (k 1) w j k 2
w kx k
j 1
n 1
x k
j 1
xj k
z k y k x j k
w (k 1) w j (k 1) 2
2
j 1
n 1
n 1
w j (k ) x j (k ) 2
j 1
j 1
n 1
w j (k ) 2 1
j 1
w
j 1
n 1
(k ) x j (k )
n 1
x
j 1
n 1
(k ) 2
w
j 1
(k ) x j (k )
n 1
x
j 1
(k ) 2
n 1
w
i 1
(k ) x j (k )
w x wj x j 0
T
j 1
x C1
y sgn(w T x) z , x C1 C 2
n 1
w x w j x j 0 x C2
T
j 1
x(k ) si z (k ) 1
a(k)
x(k ) si z (k ) 1
(a(k ))T w (k ) 0
a(k)
a(k)
(a(k )) w (k ) 0
T
w(k)
+
(a(k ))T w (k ) 0
a( k ) T w 0
Funcin criterio:
J (w )
k =1,2,,p
T
a
(
k
)
w
kI ( w )
(a(k ))
kI ( w )
w (k 1) w ( k ) (k )J
w ( k ) ( k ) a( k )
kI ( w )
w (k 1) w (k ) (k )
a( k )
kI ( w )
Paso 2: Parada
Si
(k )
a( k ) s
parar.
kI ( w )
Paso 1
w (k 1) w (k ) (k )a(k )
La ADALINA
La ADALINA (tambin llamada ADALINE), pues corresponde al acrnimo
de ADAptive Linear NEuron) o neurona con adaptacin lineal que fue
introducida por Widrow en 1959. Esta neurona es similar al Perceptrn
simple pero utiliza como funcin de transferencia la funcin identidad en
lugar de la funcin signo. La salida de la ADALINA es simplemente una
funcin lineal de las entradas (ponderadas con los pesos sinpticos):
N 1
y wj x j
y wj xj
j 1
x , x
z , z
1
,..., z
,..., x p
1 p k
E z y k
2 k 1
j 1
1 p k N 1
z w j ( k ) x kj
2 k 1
j 1
La ADALINA
Aprendizaje individualizado:
1
z k y k
2 k 1
N 1
1
z k w j (k ) x j
2 k 1
j 1
wr (k 1) wr (k ) wr (k )
z k y (k ) x rk
wr (k )
E
wr (k )
La ADALINA
Aprendizaje por lotes:
1
E
z k y k
2 p k 1
1
k
z w j x j
2 p k 1
j 1
N 1
wr (k 1) wr (k ) wr (k )
1 p k
z y (k ) x kj
p k 1
wr (k )
E
wr (k )
w1
w2
w3
y g
w x
j 1
g x
1
1 exp 2 x
e x e x
g x tanh x x
e e x
w j (k )
E
w j (k )
1
z k y k
2 k 1
N 1
1
z k g ( w j (k ) x kj )
2 k 1
j 1
z k y (k ) g ' h x kj
1
k
z
y k
2 p k 1
E
w j
w j
1
k
g
(
w
x
)
j j
2 p k 1
j 1
N 1
1 p k
z y (k ) g ' (h) x kj
p k 1