Académique Documents
Professionnel Documents
Culture Documents
discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/26428307
CITATION READS
1 327
2 authors, including:
Joaqun A. Pacheco
Universidad de Burgos
88 PUBLICATIONS 590 CITATIONS
SEE PROFILE
Some of the authors of this publication are also working on these related projects:
All content following this page was uploaded by Joaqun A. Pacheco on 03 October 2017.
Resumen:
1.- EL PROBLEMA
( yk ) .
1
E ( w) =
2
siendo k
S ( x, y )S k =1
2
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
La redes neuronales con las que se va a trabajar va a estar compuesto por una capa
oculta. Se denota a n el nmero de neuronas de la capa de entrada (que lgicamente
coincide con el nmero de variables de entrada), y m el nmero de neuronas de la capa
oculta. Vamos a considerar una neurona en la capa de salida (i.e. una sola variable de
salida a predecir, K = 1). Cada neurona de la capa oculta, as como la de salida tiene un
elemento bias (que funciona como constante). Una representacin esquemtica viene
dada por la siguiente figura
3
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
wn +1
w1 1
1 w2 wm( n+1)+1
wj
wn
2 wm( n+2)+1
wk (n+1) wm (n+1)+ k o
w(k-1)(n+1)+ j
j k
w(k-1)(n +1)+n
wm (n +1)+m
n w(m-1)(n +1)+n wm (n+1)
m
Figura 1.- Arquitectura de red neuronal usada (tomada de Laguna y Mart, (2.000))
En este trabajo se van a utilizar 6 neuronas en la capa oculta. Los pesos estn
numerados secuencialmente, de forma que los pesos que enlazan la capa de entrada con
la primera neurona de la oculta son del w1 al wn y su trmino bias wn+1 .
De esta forma la informacin de entrada de cada neurona k, k = 1, ...,m, de la capa
n
oculta, viene dada por wk ( n +1) + w( k 1 )( n +1) + j x j y la neurona de salida recibe la
j =1
m
siguiente informacin wm ( n + 2 )+1 + wm ( n +1) +k a k donde ak son las salidas de las neuronas
k =1
ocultas.
En nuestro caso se usa la sigmoide como funcin de transferencia para la capa oculta
y la identidad para la neurona de salida. Un aspecto importante: en este trabajo, los
mtodos de aprendizaje propuestos solo se aplican a los pesos asociados con la capa
oculta, i.e. de w1 a wm(n+1); los pesos de la neurona de salida se obtienen por mnimos
cuadrados ordinarios cada vez que se generan los de la capa oculta. Cuando se genera
un nuevo vector de pesos en la capa oculta, automticamente se deben calcular los de la
capa de salida y evaluar el valor E (solucin al problema de mnimos cuadrados). Esta
idea ha sido sugerida en Sexton y otros, (1.998), y (1.999), y Laguna y Mart, (2.000).
4
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
Finalmente se ha de indicar que para el entrenamiento los valores de cada una de las
variables de los vectores de entrada son escalados entre 1,0 (el menor valor en el
conjunto de entrenamiento) y +1,0 (el mayor); y los valores de la salida son escalados
entre 0,8 y +0,8.
5
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
En otras palabras: en la versin esttica se generan las nuevas soluciones y, una vez
obtenidas, con las ya existentes en RefSet se actualiza este; en la dinmica, en el
momento que se genera una nueva solucin se comprueba si mejora el valor de la
6
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
nw3
W2
nw1
W1
nw2
nw1
W1
nw0
W2
W3
nw2
nw3
7
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
Procedimiento Memtico
Generar una poblacin inicial de soluciones
Mejorarlas mediante un mtodo preestablecido
Repetir
- Seleccionar aleatoriamente un subconjunto de elementos (par) de la
poblacin con una probabilidad proporcional a su bondad
8
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
Los pesos de cada nueva solucin hija pueden cambiar o mutar con una pequea
probabilidad, p_mut. Para decidir si un determinado peso cambia se genera un valor
aleatorio uniformemente en (0,1); si este valor es menor que p_mut se realiza el cambio.
Este consiste en asignarle un nuevo punto aleatoriamente en el intervalo (-5, +5),
(Mutacin). Este proceso de mutacin tiene por objeto dar diversidad al proceso y evitar
que este se encajone en una regin entorno a un mnimo local.
9
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
x1 0.2 y t 5
2 y = x1 x 2 3 y = 4 y = x12 + x 23 5 y = x13 + x 22 6 y t = y t 1 + 10.5 0 . 1 y .
1+ x2 + ( )10 t 1
1 y t 5
Para cada una de las 5 primeras funciones se considera un conjunto de entrenamiento
con 50 vectores: Los valores de entrada son enteros generados en [-100, +100] para x 1 y
en [-10, +10] para x 2 ; el valor de la salida y viene dado por la funcin correspondiente.
En los 5 casos se utilizan los mismos vectores de entrada. Para la sexta funcin se usan
5 nodos o variables de entrada, aunque claramente solo hacen falta 3. Los vectores de
entrenamiento en este caso han sido generados recursivamente a partir de los valores
(1,6, 0, 0, 0, 0). Estas funciones han sido propuestas en Sexton y otros, (1.998) y
(1.999), y utilizadas tambin en Laguna y Mart, (2.000). En este trabajo se usa, as
mismo, el mismo conjunto de vectores de entrada que en estas referencias 1 . Los
mtodos que se van a utilizar en las pruebas son los siguientes: Scatter Search Esttico
(ES), Scatter Search Dinmico (DI), Variante de Scatter Search Dinmico (VD) y
Algoritmo Memtico (ME).
Se comparan con los siguientes: Propagacin hacia atrs usado en Neural Works
Profession II/Plus de NeuralWare (BP); Algoritmo Bsqueda Tab (TS) de Sexton y
otros (1.998); Algoritmo Temple Simulado (SA), Algoritmo Gentico (GA) estos 2 de
Sexton y otros (1.999), Adaptacin de Scatter Search de Laguna y Mart, (2.000)
1
Nuestro agradecimiento a los profesores R.Mart y M.Laguna por facilitarnos esta informacin
10
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
Funcin BP SA GA TS SS
1 5.23E-01 1.05E-05 4.16E-07 1.42E-06 8.93E-08
2 1.10E+01 3.17E-02 1.27E-02 8.38E-02 5.97E-03
3 8.43E+00 1.76E+00 1.82E-01 2.45E-01 2.96E-03
4 1.88E+02 4.84E-01 4.09E-02 4.32E-01 2.31E+00
5 8.57E+03 4.39E-01 3.06E-03 2.56E-02 2.76E+02
6 1.55E-01 1.02E-02 2.53E-02 5.35E-02 3.34E-03
Tabla 2.- Mejores resultados obtenidos por BP, SA, GA, TS y SS
Segn, Laguna y Mart, 2.000, Sexton, (1.998) y (1.999), SS limita el nmero de
evaluaciones a 50000; BP realiza 4,18 millones, SA entre 112501 y 12,6 millones, GA
100000, y TS entre 190021 y 928061. Por tanto estos, los mtodos ms rpidos son SS y
GS. Adems SS obtiene los mejores resultados para las funciones 1, 2, 3 y 6 y GA para
las funciones 4 y 5. A continuacin se muestra una tabla, en la que se muestran los
mejores resultados obtenidos por nuestros algoritmos con 100000 evaluaciones
DI VD ES ME
Funcin
1 1,65E-09 8,84E-09 5,60E-12 6,32E-13
2 1,95E-03 1,45E-04 1,01E-04 6,56E-05
3 1,58E-03 1,01E-03 3,00E-03 4,62E-04
4 5,28E-02 2,48E-02 5,27E-03 1,93E-03
5 8,39E-01 2,71E-01 7,33E-01 4,58E-03
6 2,04E-04 5,69E-05 2,47E-04 1,51E-03
Tabla 3.- Mejores resultados finales obtenidos por DI, VD, ES y ME
11
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
Finalmente se muestra una tabla con los mejores errores cuadrticos medios para el
conjunto test, de los pesos finales obtenidos por los algoritmos propuestos en este
trabajo
Funcin DI VD ES ME
1 2,34E-09 9,26E-09 2,93E-11 1,13E-11
2 5,72E-03 6,26E-04 2,20E-04 1,45E-04
3 1,38E-01 7,59E-02 1,75E-01 9,89E-02
4 2,24E-01 4,11E-02 1,38E-02 6,52E-03
5 1,72E+00 7,08E-01 1,25E+00 2,43E-02
6 1,16E-01 1,02E-01 1,08E-01 8,64E-02
Tabla 5.- Mejor valor de E obtenido por BP, SA, GA, TS y SS para el conjunto test
9.- BIBLIOGRAFA
12
Joaqun A. Pacheco y Alberto Aragn Anlisis de algoritmos evolutivos
13
View publication stats