Redes Neuronales Artificiales

Neurona
Recursos disponibles en
computadoras y cerebro humano
Redes Neuronales Artificiales
Consisten en unidades de procesamiento densa-
mente interconectadas , llamadas neuronas por su
similaridad funcional con las neuronas biolgi-
cas. Las unidades de procesamiento reciben, pro-
cesan y transmiten seales, tal como las neuronas
biolgicas.
Composicin de las redes
neuronales artificiales
Los nueve componentes principales del funcionamiento de las Redes
Neuronales Artificiales son:

1) Un conjunto de unidades de procesamiento (neuronas);
2) Un estado de activacin (variable de estado);
3) Una funcin de salida para cada unidad;
4) Un conjunto de conexiones (patrn de conectividad);
5) Un conjunto de reglas de propagacin para propagar las seales de
salida a travs de la RNA.
6) Una regla de combinacin;
7) Una regla de activacin;
8) Una regla de modificacin;
9) Un ambiente en el cual opera la RNA.

1. Conjunto de unidades de
procesamiento
Tres tipos de unidades:

Unidades de entradas, reciben seales del ambiente
Unidades de salida, transmiten las seales fuera de la RNA
Unidades ocultas, slo reciben seales de unidades que
pertenecen a la RNA.

2. Estado de activacin
Magnitud de la variable de estado de la unidad (por ej. 1 o 0)

Los valores de activacin pueden ser discretos o contnuos, y
limitados o ilimitados.
3. Funcin de salida
La seal de salida de una unidad vara con su activi-
dad, de acuerdo con una funcin de salida, general-
mente una funcin de saturacin no lineal.
Diferentes funciones de salida
4. Conjunto de conexiones
Las unidades de procesamiento estn interconectadas.
Con cada conexin se asocia un peso conocido como
peso de conexin o peso sinptico. La magnitud de
cada peso representa la eficiencia con la cual la seal
de salida de una unidad es transmitida a la otra.
Segn el signo del peso las seales entrantes pueden
ser excitatorias (+), inhibitorias(-), o nulas (0).
5. Conjunto de reglas de
propagacin
Una entrada en una unidad puede ser una versin en
escala de la seal de salida recibida, pero tambin
puede ser ms compleja si, por ej., el peso sinptico
es modulado por alguna seal de salida.
6. Regla de combinacin
Necesaria para generar la entrada neta de las seales
de salida pesadas o moduladas provistas por la regla
de propagacin.. En el caso de una simple suma de
estas seales, la regla de combinacin es del tipo
simple; en cualquier otro caso se nombrar como del
tipo complejo.
7. Regla de activacin
Necesaria para combinar la seal de entrada con el
estado actual. La regla de activacin puede ser una
ecuacin diferencial con respecto al tiempo, en el
caso contnuo, o una ecuacin diferencia en el caso
discreto. Adems la regla de activacin puede ser
determinstica o estocstica. En este ltimo caso, se
incluye una fuente de ruido para producir cierta
incertidumbre sobre el estado presente de la unidad.
8. Regla de modificacin
La modificacin del funcionamiento de una RNA en
funcin del tiempo requiere la modificacin de
patrones de conectividad con el tiempo, usando
alguna regla de modificacin.

9. Ambiente
Provee las seales a las unidades de entrada. Las
seales de entrada pueden ser discretas o contnuas,
constantes o dependientes del tiempo, y determins-
ticas o estocsticas.
Notacin para la red neuronal(R & N)
Unidad neuronal
Unidades con funcin escaln
para la funcin activacin
Pueden actuar como puertas lgicas, dados
los adecuados umbrales (t) y pesos (W).
Red hacia adelante de dos capas
Perceptrones
Perceptrones: algoritmo de aprendizaje
Wij nuevo = Wij viejo + AWij

2q

j
c

i
si

j
= o

j

AWij =
0 en cualquier otro caso

AWij = q(1 -

j
o

j
)

j
c

i

AWij = q(

j
- o

j
) c

i


q Velocidad de aprendizaje

j
Salida esperada de j
c
i
Entrada desde i
o Salida obtenida de j
Separacin lineal en perceptrones
Separacin lineal en tres dimensiones
Representacin de la funcin minora
Red de Hopfield
Asume lo siguiente:
Las variables de estado son binarias o graduadas.
Las funciones de salida usadas son tipo hard limiter o sigmoidea.
Las unidades de procesamiento estan ordenadas en una capa: todas las
unidades realizan entrada y salida. Las conexiones dentro de la capa son
recprocas y simtricas; las conexiones recibidas de entradas externas
son unidireccionales.
La regla de propagacin es del tipo simple.
La regla de activacin es discreta (red Hopf.binaria), o contnua (red
de Hopfield graduada). Las reglas de propag. y de combinac. son del tipo
simple.
El aprendizaje se da en un shot, los pesos de conexin son conocidos
por el problema, no hay adaptacin.
Las entradas externas son invariantes con el tiempo, y binarias o
graduadas.
Perceptrn multicapa
Asume lo siguiente:

Las variables de estado son graduadas.
La funcin de salida usada es tipo sigmoidea.
Las unidades de procesamiento estan ordenadas en dos o tres
capas. No hay conexiones dentro de una misma capa; las conexiones
entre capas son unidireccionales.
La regla de propagacin es del tipo simple.
La regla de activacin es discreta. La actualizacin es sncrona
dentro de cada capa y asncrona de una capa a la otra.
El aprendizaje se da por minimizacin de una funcin error, el
algoritmo de aprendizaje por retropropagacin. La funcin error
codifica informacin global. No hay adaptacin.
Las entradas externas son graduadas y constantes.
Red hacia adelante de dos capas
para el problema del restaurante
Algoritmo de retropropagacin
Es utilizado para actualizar los pesos en una red multicapa.
Algoritmo de retropropagacin
1. Inicializar los pesos a valores pequeos al azar.

2. Elegir un patrn y aplicarlo a la capa de entrada.

3. Propagar la seal hacia delante por la red.

4. Computar los deltas de la capa de salida.

5. Computar los deltas de las capas previas propagando
el error hacia atrs.

6. Actualizar todas las conexiones.

7. Volver al paso 2 y repetir con el patrn siguiente.
Superficie del error para la bsqueda de
gradiente descendiente en el espacio de pesos
Mquina Boltzman
Asume lo siguiente:

Las variables de estado son binarias.

Las unidades de procesamiento estan ordenadas en capas.

Las conexiones entre capas son recprocas y simtricas.

Las reglas de activacin y de aprendizaje son estocsticas.


Ref. Ackley, 1985; Hinton y Sejnowski, 1986.

Operaciones bsicas
Asociacin
- Autoasociacin: los conjuntos de patrones de
entrada y de salida son idnticos
- Heteroasociacin: los patrones de salida difieren de
los de entrada.
Descubrimiento de regularidad.
Aplicable cuando la estrategia de aprendizaje es
no supervisada.

Aprendizaje supervisado
Los pesos de las conexiones se ajustan de manera
tal que se reduzcan las discrepancias entre la salida real
y la deseada, para todos los pares entrada/salida del
conjunto de entrenamiento.
Estructuras de representacin
Codificacin de velocidad

- La informacin es representada por la actividad de las
unidades de procesamiento de la red: para cada patron
de entrada corresponde un patrn de actividad en la
RNA.

Codificacin por grafo

- Las unidades de procesamiento corresponden a nodos
y las conexiones se corresponden con arcos.
- Los patrones de entrada y patrones de referencia se
representan como dos grafos separados.
Redes Neuronales de
retropropagacin
Las neuronas artificiales reciben, procesan y comunican
actividades y debido a esto, sus estados cambian con el
tiempo. La red es enfrentada a un patrn de entrada y,
gracias a enlaces que realimentan a la red, va actualizan-
do su estado.
Las redes neuronales artificiales analgicas son usadas
en la resolucin de problemas de optimizacin.