Redes Neuronales

INTELIGENCIA ARTIFICIAL

Introduccin a las Redes Neuronales
Aplicacin de las Redes Neuronales
Eleccin de las ANN
Configuracin de las ANN
Ejemplos
Ejercicios

Contenido
2
Las Redes Neuronales Artificiales, ANN
(Artificial Neural Networks) estn inspiradas en
las redes neuronales biolgicas del cerebro
humano. Estn constituidas por elementos
que se comportan de forma similar a la
neurona biolgica en sus funciones ms
comunes. Estos elementos estn organizados
de una forma parecida a la que presenta el
cerebro humano.
Caractersticas de las ANNs
3
Aprender: adquirir el conocimiento de una cosa por medio
del estudio, ejercicio o experiencia. Las ANN pueden
cambiar su comportamiento en funcin del entorno.

Generalizar: extender o ampliar una cosa. Las ANN
generalizan automticamente debido a su propia
estructura y naturaleza.

Abstraer: aislar mentalmente o considerar por separado
las cualidades de un objeto. Algunas ANN son capaces de
abstraer la esencia de un conjunto de entradas que
aparentemente no presentan aspectos comunes o
relativos.
Caractersticas de las ANNs
4
Analoga con una neurona biolgica
Estructura de una ANN
5
Estructura de una ANN
6
Estructura de una ANN simple
7
Aplicaciones de ANNs
8
reas de aplicacin:

Anlisis y Procesado de seales
Reconocimiento de Imgenes
Control de Procesos
Filtrado de ruido
Robtica
Procesado del Lenguaje
Diagnsticos mdicos
Aplicaciones de ANNs
9
Conversin Texto a Voz:

Uno de los principales promotores de la computacin
neuronal en esta rea es Terrence Sejnowski.

La conversin texto-voz consiste en cambiar los
smbolos grficos de un texto en lenguaje hablado.
Aplicaciones de ANNs
1
0
Procesado Natural del Lenguaje:

Incluye el estudio de cmo se construyen las reglas del
lenguaje. Los cientficos del conocimiento Rumelhart y
McClelland han integrado una red neuronal de proceso
natural del lenguaje. El sistema realizado ha aprendido
el tiempo verbal pass tense de los verbos en Ingls.
Aplicaciones de ANNs
1
1
Compresin de Imgenes:

La compresin de imgenes es la transformacin de los
datos de una imagen a una representacin diferente que
requiera menos memoria o que se pueda reconstruir una
imagen imperceptible. Cottrel, Munro y Zisper de la
Universidad de San Diego y Pisttburgh han diseado un
sistema de compresin de imgenes utilizando una red
neuronal con un factor de compresin de 8:1.
Aplicaciones de ANNs
1
2
Reconocimiento de Caracteres:

Es el proceso de interpretacin visual y de clasificacin
de smbolos. Los investigadores de Nestor, Inc. han
desarrollado un sistema de computacin neuronal que
tras el entrenamiento con un conjunto de tipos de
caracteres de letras, es capaz de interpretar un tipo de
carcter o letra que no haya visto con anterioridad.
Aplicaciones de ANNs
1
3
Reconocimiento de Patrones en Imgenes:

Una aplicacin tpica es la clasificacin de objetivos
detectados por un sonar. Existen varias ANN basadas
en la popular Backpropagation cuyo comportamiento
es comparable con el de los operadores humanos. Otra
aplicacin normal es la inspeccin industrial.
Aplicaciones de ANNs
1
4
Prediccin:

En el mundo real existen muchos fenmenos de los
que conocemos su comportamiento a travs de una
serie temporal de datos o valores. Lapedes y Farber del
Laboratorio de Investigacin de los lamos, han
demostrado que la red backpropagation supera en un
orden de magnitud a los mtodos de prediccin
polinmicos y lineales convencionales para las series
temporales caticas.
Aplicaciones de ANNs
1
5
Modelado de Sistemas:

Los sistemas lineales son caracterizados por la funcin
de transferencia que no es ms que una expresin
analtica entre la variable de salida y una variable
independiente y sus derivadas. Las ANN tambin son
capaces de aprender una funcin de transferencia y
comportarse correctamente como el sistema lineal que
est modelando.
Aplicaciones de ANNs
1
6
Filtro de Ruido:

Las ANN tambin pueden ser utilizadas para eliminar
el ruido de una seal. Estas redes son capaces de
mantener en un alto grado las estructuras y valores de
los filtros tradicionales.
Aplicaciones de ANNs
1
7
ServoControl:

Un problema difcil en el control de un complejo
sistema de servomecanismo es encontrar un mtodo
de clculo computacional aceptable para compensar
las variaciones fsicas que se producen en el sistema.
La neurona artificial
1
8
La neurona artificial fue diseada para "emular" las
caractersticas del funcionamiento bsico de la
neurona biolgica. En esencia, se aplica un conjunto de
entradas a la neurona, cada una de las cuales
representa una salida de otra neurona. Cada entrada
se multiplica por su "peso" o ponderacin
correspondiente anlogo al grado de conexin de la
sinapsis. Todas las entradas ponderadas se suman y se
determina el nivel de excitacin o activacin de la
neurona.
La neurona artificial
1
9
Una representacin vectorial del funcionamiento
bsico de una neurona artificial se indica segn la
siguiente expresin de la ecuacin:
NET = X*W

Siendo NET la salida, X el vector de entrada y W el
vector de pesos.
La neurona artificial
2
0
La neurona artificial
2
1
Normalmente la seal de salida NET suele ser
procesada por una funcin de activacin F para
producir la seal de salida de la neurona OUT. La
funcin F puede ser una funcin lineal, o una funcin
umbral o una funcin no lineal que simula con mayor
exactitud las caractersticas de transferencia no
lineales de las neuronas biolgicas.

La neurona artificial
2
2
Las funciones F ms utilizadas son la funcin sigmoid
y Tangente hiperblica.

Historia de la computacin
neuronal
2
3
En 1943, el neurobilogo Warren McCulloch, y el
estadstico Walter Pitss, publicaron el artculo "A
logical calculus of Ideas Imminent in Nervous
Activity". Este artculo constituy la base y el inicio
del desarrollo en diferentes campos como son los
Ordenadores Digitales (John Von Neuman), la
Inteligencia Artificial (Marvin Minsky con los
Sistemas Expertos) y el funcionamieto del ojo (Frank
Rosenblatt con la famosa red llamada Perceptron).
Historia de la computacin
neuronal
2
4
En 1956, los pioneros de la Inteligencia Artificial,
Minsky, McCarthy, Rochester, Shanon, organizaron
la primera conferencia de Inteligencia Artificial que
fue patrocinada por la Fundacin Rochester.
Nathaural Rochester del equipo de investigacin de
IBM present el modelo de una red neuronal que l
mismo realiz y puede considerarse como el primer
software de simulacin de redes neuronales
artificiales.

Historia de la computacin
neuronal
2
5
En 1957, Frank Rosenblatt public el mayor trabajo
de investigacin en computacin neuronal realizado
hasta esas fechas. Su trabajo consista en el
desarrollo de un elemento llamado "Perceptron".
A mediados de los aos 60, Minsky y Papert
pertenecientes al Laboratorio de Investigacin de
Electrnica del MIT (Massachussets Institute
Technology) comenzaron un trabajo profundo de
crtica al perceptron.
Historia de la computacin
neuronal
2
6
En 1959, Bernard Widrow en Stanford desarroll un
elemento adaptativo lineal llamado "Adaline"
(Adaptive Linear Neuron). La Adaline y una versin
de dos capas, llamada "Madaline", fueron utilizadas
en distintas aplicaciones como reconocimiento de
voz y caracteres, prediccin del tiempo, control
adaptativo y sobre todo en el desarrollo de filtros
adaptativos que eliminen los ecos de las lneas
telefnicas.
Historia de la computacin
neuronal
2
7
En 1959, Bernard Widrow en Stanford desarroll un
elemento adaptativo lineal llamado "Adaline"
(Adaptive Linear Neuron). La Adaline y una versin
de dos capas, llamada "Madaline", fueron utilizadas
en distintas aplicaciones como reconocimiento de
voz y caracteres, prediccin del tiempo, control
adaptativo y sobre todo en el desarrollo de filtros
adaptativos que eliminen los ecos de las lneas
telefnicas.
Historia de la computacin
neuronal
2
8
Teuvo Kohonen, de la Universidad de Helsinki, es
uno de los mayores impulsores de la computacin
neuronal de la dcada de los 70.
a) Descripcin y anlisis de una clase grande de reglas
adaptativas.
b) El principio de aprendizaje competitivo en el que
los elementos compiten por responder a un
estmulo de entrada, y el ganador se adapta l
mismo para responder con mayor efecto al
estmulo.
Historia de la computacin
neuronal
2
9
Stephen Grossberg estaba especialmente
interesado en la utilizacin de datos de la
neurologa para construir modelos de computacin
neuronal. La mayora de sus reglas y postulados
derivaron de estudios fisiolgicos. Su trabajo ha
constituido un gran impulso en la investigacin del
diseo y construccin de modelos neuronales. Una
de estas clases de redes es la Adaptive Resonance
Theory (ART).
Historia de la computacin
neuronal
3
0
En 1982 John Hopfield con la publicacin del
artculo Hopfield Model o Crossbar Associative
Network, junto con la invencin del algoritmo
Backpropagation se consigui devolver el inters y
la confianza en el fascinante campo de la
computacin neuronal tras dos dcadas de casi
absoluta inactividad y desinters.
Eleccin de las RNs
3
1
Eleccin de las RNs
3
2
Eleccin de las RNs
3
3
Configuracin de las ANNs
3
4
La capacidad de clculo y potencia de la
computacin neuronal proviene de las mltiples
conexiones de las neuronas artificiales que
constituyen las redes ANN.
La red ms simple es un grupo de neuronas
ordenadas en una capa. Los nodos circulares slo
son distribuidores de las entradas y no se
consideran constituyentes de una capa.
Configuracin de las ANNs
3
5
Configuracin de las ANNs
3
6
La capacidad de clculo y potencia de la
computacin neuronal proviene de las mltiples
conexiones de las neuronas artificiales que
constituyen las redes ANN.
La red ms simple es un grupo de neuronas
ordenadas en una capa. Los nodos circulares slo
son distribuidores de las entradas y no se
consideran constituyentes de una capa.
Configuracin de las ANNs
3
7
Las redes multicapa se forman con un grupo de
capas simples en cascada. La salida de una capa es
la entrada de la siguiente capa. Se ha demostrado
que las redes multicapa presentan cualidades y
aspectos por encima de las redes de una capa
simple.
Configuracin de las ANNs
3
8
Configuracin de las ANNs
3
9
Una de las principales caractersticas de las ANN es
su capacidad de aprendizaje. El entrenamiento de
las ANN muestra algunos paralelismos con el
desarrollo intelectual de los seres humanos. No
obstante aun cuando parece que se ha conseguido
entender el proceso de aprendizaje conviene ser
moderado porque el aprendizaje de las ANN est
limitado.
Configuracin de las ANNs
4
0
El objetivo del entrenamiento de una ANN es
conseguir que una aplicacin determinada, para un
conjunto de entradas produzca el conjunto de
salidas deseadas o mnimamente consistentes.
El proceso de entrenamiento consiste en la
aplicacin secuencial de diferentes conjuntos o
vectores de entrada para que se ajusten los pesos
de las interconexiones segn un procedimiento
predeterminado.
Tipos de Entrenamiento
4
1
Entrenamiento Supervisado:
Estos algoritmos requieren el emparejamiento de
cada vector de entrada con su correspondiente
vector de salida. El entrenamiento consiste en
presentar un vector de entrada a la red, calcular la
salida de la red, compararla con la salida deseada, y
el error o diferencia resultante se utiliza para
realimentar la red y cambiar los pesos de acuerdo
con un algoritmo que tiende a minimizar el error.
Tipos de Entrenamiento
4
2
Entrenamiento No Supervisado:
Los sistemas neuronales con entrenamiento
supervisado han tenido xito en muchas
aplicaciones y sin embargo tienen muchas crticas
debido a que desde el punto de vista biolgico no
son muy lgicos. Resulta difcil creer que existe un
mecanismo en el cerebro que compare las salidas
deseadas con las salidas reales. En el caso de que
exista, de dnde provienen las salidas deseadas?
Entrenamiento
4
3
Existe una gran variedad de algoritmos de
entrenamiento hoy en da. La gran mayora de ellos
han surgido de la evolucin del modelo de
aprendizaje no supervisado que propuso Hebb
(1949). El modelo propuesto por Hebb se
caracteriza por incrementar el valor del peso de la
conexin si las dos neuronas unidas son activadas o
disparadas.
Entrenamiento
4
4
La ley de Hebb:
El Perceptrn
4
5
La arquitectura del Perceptrn, llamada mapeo de
patrones (pattern-mapping), aprende a clasificar
modelos mediante un aprendizaje supervisado. Los
modelos que clasifica suelen ser generalmente
vectores con valores binarios (0,1) y las categoras de
la clasificacin se expresan mediante vectores
binarios.
El Perceptrn
4
6
Estructura bsica del Perceptrn:
El Perceptrn
4
7
La unidad procesadora del Perceptrn realiza la suma
ponderada de las entradas segn la ecuacin:

Sj = ai wji

Un aspecto comn en muchas de las ANN es la entrada
especial llamada bias, representada en la parte superior
izquierda de la figura (entrada a0). Esta entrada siempre
presenta un valor fijo, +1 y funciona como una masa en un
circuito elctrico donde no vara de valor (se puede utilizar
como un valor constante de referencia).
El Perceptrn
4
8
El Perceptrn comprueba si la suma de las entradas
ponderadas es mayor o menor que un cierto valor
umbral y genera la salida " xj" segn la ecuacin:

si Sj > 0 entonces xj = 1
si Sj <= 0 entonces xj = 0