Tipos de neuronas Artificiales

1. Aproximaciones (estimaciones, regresiones, etc.) 2. Clasificacin. Se caracterizan por: 1. Un estado interno: activada (1) o desactivada (0). 2. Seales de entrada 3. Funciones de activacin y transferencia. Una Red Neuronal puede trabajar en dos modos: 1. Aprendizaje 1.1. Supervisado 1.2. No supervisado 2. Simulacin

Funciones Bsicas

.

Funcin de activacin

()
Funcin de transferencia

Si suponemos los pesos:

, tenemos que: AND 0 0 1 0 OR 1 1 1 0

1 0 1 0

0 1 1 0

1 1 2 0

Dado que La salida estar dada por: ( ) Para el OR con un y para el AND con un { solucionamos nuestro problema.

Nota: La funcin XOR (o exclusivo) no se puede representar mediante este mtodo porque no es linealmente separable. Ver la figura a continuacin.

XOR

Aprendizaje
Capacidad de una neurona (o red neuronal) para ajustar las conexiones (pesos) de modo de obtener una respuesta deseada o que satisfaga ciertos criterios. 1. Regla de Hebb (1949) Cuando una neurona i repetida y persistentemente excita a una neurona j algn proceso de crecimiento o metablico se produce en una o ambas neuronas de modo que la eficiencia de excitacin de i sobre j aumenta.

Redes Neuronales artificiales (RNA)

Consisten en un conjunto de neuronas interconectadas entre s Se caracterizan (completamente) por: 1. 2. 3. 4. Nmero de neuronas Arquitectura de interconexin Valor de los pesos Funciones de activacin y transferencia

Red Neuronal Simple

Las RNA pueden trabajar en dos modos: 1. Aprendizaje: adapta sus pesos; su arquitectura; sus funciones de activacin y transferencia 2. Reconocimiento o simulacin: se usa la RNA para procesar informacin Aprendizaje de RNA: 1. Supervisado (va ejemplos) 2. No-Supervisado

Entrenamiento / Problema Memorias Asociativas Clasificacin Prediccin Interpolacin Cubanizacin

Supervisado Hopfield Adaline-Perceptron MLP TDNN LVQ RBF LVQ (Learning Vector Quantization)

No-Supervisado

Kohonen ART (Redes de resonancia adaptativa)

Tabla con algunas de las redes ms tpicas

Ingeniera Neuronal: buenos modales

1. Tratamiento previo de los datos y anlisis del sistema 2. Creacin de la red 3. Validacin del modelo Pasos: 1. Exhaustivo anlisis del sistema Nmero y tipo de variables de entrada y salida Cuestionar si es imprescindible usar un modelo neuronal Se cuentan con los datos (muestras) necesarias? 2. Pre Procesamiento Un modelo neuronal es de tipo caja negra Son modelos de interpolacin, nuca de extrapolacin que dependen fuertemente de la calidad (grado en que representan la realidad) y cantidad de los datos (muestras) disponibles. Las variables deben estn normalizadas cuando intervienen variables en diferentes magnitudes y unidades 3. Diseo del modelo neuronal Determinar: Numero de neuronas de entrada y de salida Numero de neuronas en la capa intermedia ( Se recomienda la siguiente proporcin. ( Dnde Nmero de pesos. Por otro lado sabemos que: ( ) ( ) Dnde: Nmero de neuronas en la capa de entradas, por ende, nmero de entradas. Nmero de neuronas en la capa de salida. Funciones de transferencia: Tpicamente sigmoidales

): )

4. Entrenamiento Problemas: a. Sesgo: se debe aumentar prudentemente el nmero de neuronas en capa oculta

b. Sobre parametrizacin c. Sobre aprendizaje

Mtodos a. Validacin cruzada b. Parada temprana c. Regularizacin: se trata de agregar trminos a la funcin objetivo de tal manera que al minimizarla se penalice la cantidad de parmetros que tenga el modelo. d. Poda: se trata de agregar trminos a la funcin objetivo de tal manera que al minimizarla se penalice la cantidad de parmetros que tenga el modelo. 5. Generalizacin Hay dos mtodos tpicos: a. OSA: un paso adelante b. MPO: mltiples pasos adelantes

Metodologas de modelacin
1. Modelacin terica o fundamental Se usa teora aceptada por las ciencias que subyacen el fenmeno Caractersticas: Se requiere ayuda de expertos Fcilmente generalizable Comprensin del fenmeno o proceso

2. Modelacin emprica o experimental Observaciones directas > ecuaciones Solo informacin entrada-salida Mtodos de desarrollo: algortmicos, numerosos y diversos -> identificacin Modelos lineales de orden reducido No-generalizables 3. Modelacin combinada (descriptivos) Frecuentemente utilizada La estructura se define por modelacin terica Parmetros <- experimentacin

Perceptron Mono-capa
Frank Rossenblat, 1957

Red de 3 capas, la ltima de ellas con funcin de transferencia de tipo umbral lgico diseada para tarea de clasificacin.

Luego,

B A A B B

Mtodos de optimizacin
1. Deterministas 1.1. Primer orden Trabajan con la primera derivada 1.2. Segundo orden Trabajan con la segunda derivada. Son ms lento en cada iteracin (respecto a los de primer orden), pero toman muchas menos iteraciones, lo cual a la larga los hace ms rpidos. Son ms difciles de implementar (programar) y requieren ms recursos. 2. Estocsticos