REDES NEURONALES ARTIFICIALES

Prof. Francisco J. Arias S. Noviembre 27 de 2009

Clasificacin de los Modelos Neuronales

Modelos Neuronales No Supervisados o Autoorganizados

Se caracterizan por que en su entrenamiento no se presentan las salidas objetivo que se desean asociar a cada patron de entrada. La principal aplicacin de estos modelos es el agupamiento de patrones o (clustering), analisis exploratorio y mineria de datos (data minig).

Modelos Neuronales No Supervisados o Autoorganizados

Redes no supervisadas competitivas Solamente una neurona (o grupo de vecinas) puede quedar finalmente activadas. La base de la operacin de estos modelos es la competicin entre las neuronas, materializada en inhibiciones laterales. Redes WTA (winner-take-all). Durante la fase de aprendizaje las neuronas ganadoras obtienen como premio el refuerzo de sus conexiones sinpticas. Comportamiento bsico en muchos de los modelos autoorganizados mas conocidos (ART, Necognitron y Mapas Autoorganizados de Kohonen).

Modelo de Mapas Autoorganizados (KOHONEN)

Es uno de los modelos de RNA Autoorganizadas Unidireccionales mas conocidos y empleados. Ilustran muy bien la operacin de otras arquitecturas no supervisadas. Los mapas autoorganizados de Kohonen o SOFM (SelfOrganizing Feature Maps) intentan modelizar, de forma sencilla, las redes neuronales naturales.

Modelo de Mapas Autoorganizados (KOHONEN)

Redes neuronales naturales La representacin de la informacin en la corteza cerebral aparece con frecuencia organizada especialmente, circunstancia que el modelo SOFM trata de reproducir.

Modelo de Mapas Autoorganizados (KOHONEN)

Los SOFM poseen una practicas, por ejemplo: Clasificacin de patrones. Cuantificacin vectorial. Reduccin de dimensiones. Extraccin de rasgos. Monitorizacin de procesos. Anlisis exploratorio. Visualizacin. Minera de datos. gran cantidad de aplicaciones

Modelo de Mapas Autoorganizados (KOHONEN)

En este modelo las neuronas se organizan arquitectura unidireccional de dos capas. en una

La primera es la capa de entrada o sensorial, que consiste en m neuronas, una por cada variable de entrada. Las entradas son muestras del espacio sensorial. La segunda es la capa de procesamiento, consiste habitualmente en una estructura rectangular nxXny neuronas que operan en paralelo.

Modelo de Mapas Autoorganizados (KOHONEN)

Modelo de Mapas Autoorganizados (KOHONEN)

Modelo de Mapas Autoorganizados (KOHONEN)

Fase de ejecucin (operacin normal de la red) Los pesos permanecen fijos. Cada neurona (i, j) calcula la similitud entre el vector de entrada X y su propio vector de pesos sinpticos, segn una cierta medida de distancia o criterio de similitud. Se declara vencedora la neurona, cuyo vector de pesos sinpticos es similar al vector de entrada.

Modelo de Mapas Autoorganizados (KOHONEN)

Fase de aprendizaje Se presenta un vector de entradas X(t). La neurona vencedora modifica sus pesos de tal manera que se parezca mas a X(t). El proceso se repite para numerosos patrones de entrada, de forma que al final se tiende a representar la funcin de probabilidad p(X) (o funcin de distribucin) del espacio sensorial. Si el espacio sensorial esta dividido en grupos, cada neurona se especializa en uno de ellos, y la operacin esencial de la red se pude interpretar entonces como un anlisis clster.

Modelo de Mapas Autoorganizados (KOHONEN)

Este modelo tambin incorpora al esquema relaciones entre neuronas prximas en el mapa. Para ello introduce una funcin de vecindad. El efecto de la funcin de vecindad es que durante el proceso de aprendizaje se actualizan tanto los pesos de la neurona vencedora como los de las neuronas pertenecientes a su entorno. De esta manera se refleja sobre el mapa una cierta imagen del orden topolgico presente en el espacio de entrada (ordenacin de los detectores de rasgos).

Modelo de Mapas Autoorganizados (KOHONEN)

Un algoritmo de aprendizaje autoorganizado habitual 1. Inicializacin de pesos sinapticos Wijk: en t=0 se puede partir de pesos nulos, aleatorios pequeos (lo mas habitual) o con pesos de partida predeterminados. Para cada iteracin 2. Presentacin de patrones X(t): cuando disponemos de un conjunto finito de patrones de entrenamiento (lo mas habitual), basta con tomar al azar un patrn y presentarlo a la red.

Modelo de Mapas Autoorganizados (KOHONEN)

3. Calcular similitud: cada neurona i = (i, j) calcula la similitud entre el vectores de entradas y el vector de pesos sinpticos. Un criterio de medida muy utilizado es la distancia euclidiana.

4. Determinacin de la neurona ganadora: se selecciona la neurona, cuya la distancia sea la menor de todas. 5. Actualizacin de los pesos sinpticos de la neurona ganadora y los de las neuronas vecinas: la regla de aprendizaje mas empleadas es

Modelo de Mapas Autoorganizados (KOHONEN)

Wijk(t): Pesos sinptico entre la neurona de entrada k y la neurona de salida (i, j), en la iteracin actual. Wijk(t+1): Pesos sinptico entre la neurona de entrada k y la neurona de salida (i, j), para la siguiente iteracin. : Ritmo de aprendizaje. h(.): funcion de vecindad. Es la encargada de definir que neuronas son las vecinas de la actualmente ganadora. Esta funcin depende de la distancia de la neurona i=(i, j) y la ganadora g=(g1, g2) , valiendo cero cuando la neurona i no pertenece a la vecindad de g (con lo que sus pesos no son actualizados, y un numero positivo cuando si pertenece (sus pesos si son modificados).

Modelo de Mapas Autoorganizados (KOHONEN)

6. Si se ha alcanzado el numero mximo de iteraciones establecido, entonces el proceso de aprendizaje finaliza. En caso contrario se vuelve al paso 2. El numero de iteraciones debe ser suficientemente grande, as como proporcional al numero de neuronas del mapa (a mas neuronas, es necesario mas iteraciones), e independiente del numero de componentes de X. Aunque 500 iteraciones por neurona es una cifra adecuada, de 50 a 100 suelen ser suficientes para la mayor parte de los problemas.

Modelo de Mapas Autoorganizados (KOHONEN)

Interpretacin del algoritmo de aprendizaje Operacin de la misma regla de aprendizaje para el caso de varios patrones pertenecientes al espacio de entrada, representados por vectores de trazo continuo.

Modelo de Mapas Autoorganizados (KOHONEN)

Existen diferentes formas de la funcin vecindad. En general h(.) decrece con la distancia de la vencedora.

Modelo de Mapas Autoorganizados (KOHONEN)

La funcin de vecindad mas simple es del tipo escaln, que denominaremos rectangular.

Modelo de Mapas Autoorganizados (KOHONEN)

Si utilizamos la funcin de vecindad rectangular, una neurona i pertenece a la vecindad de la ganadora solamente si su vecindad es inferior a R(t). Con este tipo de funcin la vecindad adquiere forma circular de bordes ntidos, en torno a la vencedora.

Modelo de Mapas Autoorganizados (KOHONEN)

Si utilizamos la funcin de vecindad rectangular la regla de aprendizaje se reduce a:

Por lo que en cada iteracin solo se actualizan las neuronas que distan de la vencedoras menos de R(t).

Modelo de Mapas Autoorganizados (KOHONEN)

Si utilizamos funciones de vecindad gaussianas o en forma de sombrero mexicano, establecemos niveles de pertenencia en lugar de fronteras ntidas.

Aplicaciones del Modelo de Mapas Autoorganizados (KOHONEN)

Anlisis de datos y monitorizacin de la crisis Estudio sobre la crisis bancaria espaola de 1977-1985. Haciendo uso de 9 ratios pertenecientes a 66 entidades financieras de la poca.

Aplicaciones del Modelo de Mapas Autoorganizados (KOHONEN)

Anlisis de datos y monitorizacin de la crisis 37 entidades financieras eran solventes 29 quebradas

Aplicaciones del Modelo de Mapas Autoorganizados (KOHONEN)

Anlisis de datos y monitorizacin de la crisis Se entreno un mapa autoorganizado de 14 * 14 neuronas. El resultado del aprendizaje debe ser la especializacin de cada neurona hacia algn tipo de banco. El empleo de un mapa con mayor numero de neuronas (196) que patrones de entrenamiento (66) tendr como resultado que los 66 bancos queden distribuidos (proyectados) por su superficie con cierta separacin.

Aplicaciones del Modelo de Mapas Autoorganizados (KOHONEN)

Anlisis de datos y monitorizacin de la crisis El resultado final muestra que neurona responde con mas intensidad ante cada patrn.

Con trazo ancho los bancos quebrados.

Aplicaciones del Modelo de Mapas Autoorganizados (KOHONEN)

Anlisis de datos y monitorizacin de la crisis Suele resultar muy til delimitar regiones. Por ejemplo, se han etiquetado como neurona de quiebra (oscura) o de solvencia (clara)

Aplicaciones del Modelo de Mapas Autoorganizados (KOHONEN)

Anlisis de datos y monitorizacin de la crisis Tambin es posible realizar la monitorizacin de la evolucin temporal del estado financiero de una entidad, solo con proporcionarle como entradas los ratios financieros a lo largo de un periodo de tiempo