3-10-2014

Ao de la Promocin de la Industria Responsable y del

Compromiso Climtico.




Facultad: Ingeniera
Escuela Profesional de Ingeniera de Sistemas
Introduccion.

El cerebro es un procesador de informacin con unas caractersticas muy notables: es capaz de procesar a gran
velocidad grandes cantidades de informacin procedentes de los sentidos, combinarla o compararla con la
informacin almacenada y dar respuestas adecuadas incluso en situaciones nuevas. Logra discernir un susurro en
una sala ruidosa, distinguir una cara en una calle mal iluminada o leer entre lneas en una declaracin poltica; pero
lo ms impresionante de todo es su capacidad de aprender a representar la informacin necesaria para desarrollar
tales habilidades sin instrucciones explcitas para ello.
Desde la primera mitad del siglo XX se han empezado a desarrollar modelos computacionales que han intentado
emular el comportamiento del cerebro humano. Aunque se han propuesto una gran cantidad de ellos, todos usan
una estructura en red en la cual los nodos o neuronas son procesos numricos que involucran estados de otros
nodos segn sus uniones. Una clase de estos modelos computacionales son las Redes de Neuronas Artificiales.
Las Redes de Neuronas Artificiales (RNA) se han hecho muy populares debido a la facilidad en su uso (ver Figura 1)
e implementacin y la habilidad para aproximar cualquier funcin matemtica. Las Redes de Neuronas Artificiales,
con su marcada habilidad para obtener resultados de datos complicados e imprecisos, pueden utilizarse para
extraer patrones y detectar tramas que son muy difciles de apreciar por humanos u otras tcnicas
computacionales.

Tipo de Redes Neuronales

1. Perceptrn.
Es un algoritmo capaz de generar un criterio para seleccionar un sub-grupo, de un grupo de
componentes ms grande.
La limitacin de este algoritmo es que si dibujamos en un plot (trama) estos elementos, se deben
poder separar con un hiperplano los elementos "deseados" de los "no deseados".
El perceptrn puede utilizarse con otros perceptrones u otro tipo de neurona artificial, para formar
redes neuronales ms complicadas.


El modelo biolgico ms simple de un perceptrn es una neurona y viceversa. Es decir, el
modelo matemtico ms simple de una neurona es un perceptrn.
La neurona es una clula especializada y caracterizada por poseer una cantidad indefinida
de canales de entrada llamados dendritas y un canal de salida llamado axn.
Las dendritas operan como sensores que recogen informacin de la regin donde se hallan y
la derivan hacia el cuerpo de la neurona que reacciona mediante una sinapsis que enva
una respuesta hacia el cerebro, esto en el caso de los seres vivos.
El perceptrn usa una matriz para representar las redes neuronales y es un discriminador
terciario que traza su entrada (un vector binario) a un nico valor de salida (un solo valor
binario) a travs de dicha matriz.
{



Donde es un vector de pesos reales y es el producto punto (que computa una suma
ponderada

). es el 'umbral', el cual representa el grado de inhibicin

de la neurona, es un trmino constante que no depende del valor que tome la entrada..
El valor de (0 o 1) se usa para clasificar como un caso positivo o un caso negativo, en el
caso de un problema de clasificacin binario. El umbral puede pensarse de como compensar la
funcin de activacin, o dando un nivel bajo de actividad a la neurona del rendimiento. La suma
Perceptrn con 2 entradas
ponderada de las entradas debe producir un valor mayor que para cambiar la neurona de
estado 0 a 1.
Aprendizaje.
El perceptrn es un tipo de red de Aprendizaje Supervisado, es decir, necesita conocer los
valores esperados para cada una de las entradas presentadas.
El algoritmo de aprendizaje es el mismo para todas las neuronas, todo lo que sigue se aplica a
una sola neurona en el aislamiento. Se definen algunas variables primero:
el denota el elemento en la posicin j en el vector de la entrada
el el elemento en la posicin j en el vector de peso
el y denota la salida de la neurona
el denota la salida esperada
el es una constante tal que

Hay que destacar que el perceptrn aprende solo cuando se equivoca al clasificar el patrn.
Si clasifica correctamente el patrn, esto es, entonces con lo que no hay aprendizaje.
2. Red de Hopfield.
Las Redes de Hopfield pertenecen a un grupo especial de redes, llamadas redes recursivas o
recurrentes, que se empezaron a desarrollar a principios de los 80.
Las redes de Hopfield se usan como sistemas de Memoria asociativa con unidades binarias.
Estn diseadas para converger a un mnimo local, pero la convergencia a uno de los patrones
almacenados no est garantizada.







Red Hopfield con 4 nodos
Estructura.
Las unidades de las redes Hopfield son binarias, es decir, solo tienen dos valores posibles para
sus estados y el valor se determina si las unidades superan o no un determinado umbral. Los
valores posibles pueden ser 1 -1, o bien 1 0. As, las dos definiciones posibles para la unidad
de activacin,

, son las siguientes:

Donde:

es la fuerza del peso de la conexin de la unidad a la unidad (peso de conexin).

es el estado de la unidad .

es el umbral de la unidad .


Entrenamiento.
El entrenamiento de una red de Hopfield consiste en reducir la energa de los estados que la red debe
"recordar". Esto convierte a la red en un sistema de memoria direccionable, es decir, la red "recordar" un
estado si se le da solo parte de dicho estado. Esto la hace til para recuperar una entrada distorsionada
usando un estado de la red obtenido durante el entrenamiento y que es ms similar al estado obtenido con
la entrada actual. Esto se llama memoria asociativa, ya que recupera la memoria en base a la similitud.
Por ejemplo, si entrenamos una red Hopfield con cinco unidades para que el estado (1, 0, 1, 0, 1) sea un
mnimo de energa, y le damos a la red el estado (1, 0, 0, 0, 1) esta convergir a (1, 0, 1, 0, 1). As, la red
estar adecuadamente capacitada cuando la energa de los estados que la red debe recordar son mnimos
locales.
Representacin grfica de la funcin
de activacin de una red Hopfield.
3. Perceptrn Multicapa.
Es una red neuronal artificial (RNA) formada por mltiples capas, esto le permite resolver problemas que
no son linealmente separables, lo cual es la principal limitacin del perceptrn (tambin llamado perceptrn
simple). El perceptrn multicapa puede ser totalmente o localmente conectado.

Tipos.
Las capas pueden clasificarse en tres tipos:
Capa de entrada: Constituida por aquellas neuronas que introducen los patrones de entrada
en la red. En estas neuronas no se produce procesamiento.
Capas ocultas: Formada por aquellas neuronas cuyas entradas provienen de capas
anteriores y cuyas salidas pasan a neuronas de capas posteriores.
Capa de salida: Neuronas cuyos valores de salida se corresponden con las salidas de toda
la red.
4. Red neuronal Competitivo Simple.
Las redes de aprendizaje competitivo se diferencian de las otras redes neuronales en que en las
anteriores redes las neuronas colaboran en la representacin de los patrones, sin embargo, en
este tipo de redes cada neurona compite con las otras neuronas para representar los
patrones.
El aprendizaje de este tipo de redes es como su nombre indica, competitivo.
Las neuronas compiten en cual representa mejor al patrn y la ganadora se lleva todo el
aprendizaje de ese patrn. El objetivo de este tipo de redes es que se formen grupos de
patrones, categoras, que son representados por cada neurona.


Ejemplo de red competitiva ms simple ya que no introduce ninguna mejora.
Arquitectura.
Las redes competitivas son usualmente bicapas Esta red admite valores binarios o bipolares
como entrada para los sensores y su salida es en el mismo formato de la entrada.
La funcin de la primera capa es hacer de sensor, por ella entran los patrones a la red y por
tanto debe tener el mismo tamao que la longitud del patrn.
La segunda capa tiene tantas neuronas como categoras deseemos. Sin embargo, algunas redes
competitivas, como la familia de las ART, crean neuronas dinmicamente para ajustar el nmero
de categoras automticamente.
Aprendizaje.
El aprendizaje de esta red se basa en comparar los patrones con los pesos sinpticos que
llegan a las neuronas de salida. La funcin actualizar de la neurona asigna valores mayores a las
neuronas de salida que representan mejor el patrn.
Una vez que sabemos cul es la neurona ganadora, hacemos que sus pesos se acerquen an
ms a los patrones para que lo aprendan.
Inicializamos los pesos sinpticos a valores aleatorios y pequeos (cercanos a cero).
Para cada patrn de la lista .
Se establece el patrn de entrada de en los sensores, la capa de entrada.
Se hace que las neuronas de la capa de salida se actualicen sus estados a los valores de la
capa de entrada.
Se halla la neurona ganadora que es la que tiene mayor estado.
Solicitar que aprendan las sinapsis que llegan la neurona ganadora.

5. Redes Neuronales Online ART1.
Las redes basadas en la Teora de Resonancia Adaptativa (ART) sirven para clasificar
patrones de manera no supervisada, esto es, la red forma grupos y crea el nmero de
categoras que crea conveniente en funcin de la configuracin que le demos y las cualidades de
los patrones.
Se considera que el aprendizaje no supervisado es el ms posible desde un punto de vista
psicolgico, ya que los humanos aprendemos ms sobre nuestra experiencia que escuchando a
profesores. Un ejemplo de aprendizaje no supervisado es el siguiente: debemos clasificar una
serie de objetos y no tenemos a nadie que nos diga a que categora pertenece, as que tenemos
que fijarnos en las caractersticas de los objetos y cuanto se parecen
ART hace uso de dos trminos usados en el estudio del comportamiento del celebro:
Estabilidad y Plasticidad para llevar a cabo esta clasificacin.
Estabilidad refleja la capacidad del sistema para recordar patrones previamente aprendidos.
Plasticidad es la capacidad de aprender nuevos patrones.
El equilibrio entre Estabilidad y Plasticidad es resuelto en las redes ART usando un parmetro
llamado, granulidad, segn algunos autores, otros lo llaman parmetro de vigilancia.
Este parmetro nos cuantifica cuanto debe diferenciarse un patrn al clasificar, del almacenado
(estabilidad) en una categora para que sea considerado una nueva categora (plasticidad).
Propiedades.

Aprende constantemente informacin significativa.
Un conocimiento nuevo no destruye la informacin anterior.
Recuerda rpidamente un patrn de entrada si este ya se ha aprendido.
Funciona como una memoria asociativa autnoma.
Trabaja nicamente con patrones binarios.
Posee habilidad para crear nuevas categoras.

Arquitectura.

Compuesta de 2 capas.
Una capa de entrada con N neuronas.
Una capa de salida con M neuronas.
Conexiones hacia delante feedforward (

) y
Conexiones hacia atrs feedback (

) entre ambas capas.

Conexiones laterales en la capa de salida
La capa de salida con conexiones autorrecurrentes


6. Redes Neuronales Competitivas ART2.
La red ART2 es una ampliacin de la red ART1 que admite valores reales, como la anterior red,
sirve para clasificar patrones de manera no supervisada.
La arquitectura de la red ART2 es la misma que la de la ART1. Consta de dos capas: la capa de
entrada de sensores y la capa de salida, que en un principio no tiene ninguna neurona, pero que
segn vamos entrenando la red, esta va formando grupos de patrones que clasifica en una
categora cuyo patrn representativo son los pesos de entrada de la neurona de la capa de
salida.
La manera de unirse ambas capas es total, cada neurona de la capa entrada est unida con
todas las neuronas de la capa de salida.
La diferencia principal entre la red ART1 y la ART2 es que esta ltima red admite valores reales.








Arquitectura de una red ART
Ejemplo representa a una red ART2 que ya tiene dos categoras la Y1 y la Y2
7. Redes Neuronales Autoorganizadas: Mapas de Kohonen
La red de Kohonen pertenece a la categora de redes no supervisadas, la diferencia con otras
redes, es que las neuronas que representan patrones parecidos aparecen juntas en el espacio
salida, este espacio puede ser unidimensional, una lnea, bidimensional, un plano o N-
dimensional. Es el propio diseador de la red el que establece el espacio de salida que tendr
la red.
La autoorganizacin es un fenmeno observado en la naturaleza mediante el cual se
alcanza un orden global a partir de interacciones locales (Turing 1952). Dicho orden global
conduce a un comportamiento coherente que es la esencia de la autoorganizacin. La
autoorganizacin es un proceso de aprendizaje no supervisado mediante el cual se
descubren caractersticas o patrones significativos en los datos de entrada.
Las redes de kohonen son redes bicapas, esto es, de dos capas: la capa de entrada de
sensores y la capa de salida que realiza el clculo.
Cada neurona de la capa de salida debe reflejar las coordenadas que tiene en el espacio que el
diseador de la red decida. Para que las neuronas puedan ser comparadas con la posicin de
otras neuronas de la red, se le asocia una regla de vecindad.
El modo de unir las capas es todas con todas, total, cada neurona de la capa entrada est unida
con todas las neuronas de la capa de salida.