RESUMEN

En la presente monografa se presenta una introduccin biolgica, enfocada principalmente en

la descripcin de los elementos del sistema neurolgico que las redes neuronales artificiales
emulan, para luego describir cada uno de sus componentes y los diversos algoritmos de
aprendizaje que implementan.

Se describen algunas de las reas de aplicacin, especficamente en los sistemas de soporte a

las decisiones, aprovechando las capacidades de clasificacin e identificacin de patrones.

INTRODUCCIN
Existe actualmente una tendencia a establecer un nuevo campo de las ciencias de la
computacin que integre los diferentes mtodos de resolucin de problemas que no pueden ser
descritos fcilmente mediante el enfoque algortmico tradicional. Todos estos mtodos se
originan, de una u otra forma, en la emulacin ms o menos inteligente del comportamiento de
los sistemas biolgicos.

Estos mtodos estn orientados a resolver problemas donde es necesario manejar informacin
masiva, imprecisa, incierta o distorsionada propia del mundo real (toma de decisiones,
reconocimiento de formas, habla, etc.).

Algunos de stos son la Lgica Borrosa o difusa (Fuzzy Logic), las Redes Neuronales
Artificiales, los Algoritmos genticos, la Teora del Caos y la Teora del Aprendizaje. Siendo
todos stos enfoques diferentes, existe una tendencia a buscar combinaciones entre ellos, de
manera que a cada aspecto de los problemas reales que deban ser resueltos se le aplica la
tcnica que resulta ms apropiada.

El trabajo de la presente monografa est enfocado especficamente en la metodologa de las

Redes Neuronales Artificiales. Se presenta una panormica de esta tcnica, su evolucin
histrica y una descripcin de las caractersticas ms significativas.

SURGIMIENTO Y EVOLUCIN
Las redes neuronales son una rama de la Inteligencia Artificial.

Las redes neuronales

artificiales son ampliamente utilizadas en la actualidad por ejemplo para el escaneo de

imgenes, reconocimiento de patrones, problemas de optimizacin, clasificacin de datos
financieros, apoyo al diagnstico mdico, etc.

Un computador convencional es una mquina que ejecuta una serie de instrucciones de forma
secuencial, siendo capaz de realizar complicadas operaciones lgicas y aritmticas de una
forma muy rpida, mucho ms que el cerebro humano.

Pese a ello, existen tareas sencillas como el reconocimiento de patrones, que ni los grandes
supercomputadores son capaces de resolver de un modo eficiente, mientras que el cerebro lo
viene haciendo desde hace millones de aos con suma facilidad y eficiencia.

Por esta razn, algunos cientficos han vuelto la vista hacia el cerebro tratando de estudiarlo
desde el punto de vista de la computacin. La estructura del cerebro es radicalmente diferente
a la del computador convencional. No est compuesto por un nico microprocesador altamente
complejo y eficiente, sino por miles de millones de ellos, las neuronas, que realizan de modo
impreciso y relativamente lento un tipo de clculo muy simple.

Tabla: Cerebro frente a computador convencional Von Neumann

Con las redes neuronales se intenta expresar la solucin de problemas complejos, no como
una secuencia de pasos, sino como la evolucin de unos sistemas de computacin inspirados
en el funcionamiento del cerebro humano, y dotados por tanto de cierta inteligencia, los
cuales no son sino la combinacin de una gran cantidad de elementos simples de proceso
(neuronas) interconectados que, operando de forma masivamente paralela, consiguen resolver
problemas relacionados con el reconocimiento de formas o patrones, prediccin, codificacin,
clasificacin, control y optimizacin.

Las redes neuronales operan sobre la base de reconocimiento de patrones, y pueden adquirir,
almacenar y utilizar conocimiento experimental, obtenido a partir de ejemplos.

Esta forma de adquirir el conocimiento es una de sus caractersticas ms destacables: no se

programa de forma directa, como en los sistemas expertos, sino que se adquiere a partir de
ejemplos, por ajuste de parmetros de las neuronas mediante un algoritmo de aprendizaje.

En cuanto al modo interno de trabajo las redes neuronales son modelos matemticos
multivariantes que utilizan procedimientos iterativos, en general para minimizar funciones de
error.

REDES NEURONALES E INTELIGENCIA ARTIFICIAL

a) PROCESAMIENTO NUMRICO:
Reciben la seal de entrada desde el exterior y operan sobre ella. Son sistemas constituidos
por nodos de hardware interconectados formando una red. Tambin se conocen como
sistemas conectivistas o conexionistas.
SISTEMAS DISTRIBUIDOS
SISTEMAS ASOCIATIVO
REDES SUBSIMBLICAS
REDES NEURONALES

b) PROCESAMIENTO SIMBLICO:
Estas redes estn constituidas por conceptos (nodos) y por reglas sintcticas (lazos de
interconexin). Ambas forman las llamadas bases de conocimiento. La simulacin de estas
redes es casi exclusivamente software.

Tabla: Formas bsicas de Computacin

PANORAMA HISTRICO
Las primeras explicaciones tericas sobre el cerebro y el pensamiento fueron dadas por
algunos antiguos filsofos griegos, como Platn (427-347 a.C) y Aristteles (384-422 a.C). Las
mismas ideas sobre el proceso mental las mantuvo Descartes (1596-1650) y los filsofos
empiristas del siglo X.

La clase de las llamadas mquinas cibernticas, a la cual la computacin neuronal pertenece,

tiene ms historia de la que generalmente se cree: Heron el Alejandrino construy un autmata
hidrulico sobre el ao 100 a.C
En 1957, Frank Rosenblatt comenz el desarrollo del Perceptrn. Esta es la ms antigua red
neuronal, y se usa hoy en da de varias formas para aplicaciones como de reconocimiento de
patrones. Este modelo era capaz de generalizar, es decir, despus de haber aprendido una
serie de patrones era capaz de reconocer otros similares, aunque no se hubieran presentado
anteriormente.
En 1959, Bernard Widrow y Marcial Of., de Stanford, desarrollaron el modelo ADALINE
(Adaptative LINear Elements). Esta fue la primera red neuronal aplicada a un problema real
(filtros adaptativos para eliminar ecos en las lneas telefnicas), y se ha usado comercialmente
durante dcadas desde entonces.

En 1967, Stephen Grossberg (Universidad de Boston) desarroll la red Avalancha, que

consista en elementos discretos con actividad que vara con el tiempo, que satisface
ecuaciones diferenciales continuas para resolver actividades tales como reconocimiento
continuo del habla y aprendizaje del movimiento de los brazos de un robot.

James Anderson desarroll en 1977 un modelo lineal, llamado Asociador Lineal, que consista
en unos elementos integradores lineales (neuronal) que sumaban sus entradas. Este modelo
se basa en el principio de que las conexiones entre neuronas son reforzadas cada vez que
estn activadas. Anderson dise una potente extensin del Asociador Lineal, llamada
Brain-State-in-a-box.

BREVE INTRODUCCIN BIOLGICA

a: Soma
b: Axn
c: Dendritas

Figura: Estructura de una neurona tpica

El sistema nervioso est compuesto por una red de clulas (neuronas), ampliamente
interconectadas entre s. En las neuronas, la informacin fluye desde las dendritas hacia el
axn, atravesando el soma. Se estima que el sistema nervioso contiene alrededor de cien mil
millones de neuronas.

Desde un punto de vista funcional, las neuronas constituyen procesadores de informacin

sencillos. Posee un canal de entrada de informacin (las dendritas), un rgano de cmputo (el
soma), y un canal de salida (el axn). En las interneuronas el axn enva la informacin a otras
neuronas, mientras que en las neuronas motoras lo hace directamente al msculo. Existe otro
tipo de neuronas, las receptoras o sensoras, que reciben la informacin directamente del
exterior. Se calcula que una neurona de la corteza cerebral recibe informacin, por trmino
medio, de unas 10,000 neuronas (convergencia) y enva impulsos a varios cientos de ellas
(divergencia).

ESTRUCTURA DE UN SISTEMA NEURONAL ARTIFICIAL

Los sistemas neuronales artificiales imitan la estructura del hardware del sistema
nervioso, con la intencin de construir sistemas de procesamiento de informacin paralelos,
distribuidos y adaptativos, que puedan presentar un cierto comportamiento
inteligente.

Estructura jerrquica de un sistema basado en Redes Neuronales Artificiales

Cada neurona realiza una funcin matemtica. Las neuronas se agrupan en capas,
constituyendo una red neuronal. Una determinada red neuronal est confeccionada y
entrenada para llevar a cabo una labor especfica. Finalmente, una o varias redes, ms las
interfaces con el entorno, conforman el sistema global.

En las redes neuronales biolgicas, las neuronas corresponden a los elementos de proceso.
Las interconexiones se realizan por medio de las ramas de salida (axones) que producen un
nmero variable de conexiones (sinapsis) con otras neuronas o con Elaboracin y diseo en
formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca Central otras partes
como msculos y glndulas. Las redes neuronales son sistemas de elementos simples de
proceso muy interconectados.

La compleja operacin es el resultado de abundantes lazos de realimentacin junto con no

linealidades de los elementos de proceso y cambios adaptativos de sus parmetros, que
pueden llegar a definir fenmenos dinmicos muy complicados.

Los modelos neuronales se diferencian en la funcin que incorpora la neurona, su organizacin

y forma de las conexiones. Sarle (1994) compara los modelos neuronales con los modelos
estadsticos ms convencionales, encontrando que la mayora de los modelos neuronales
tienen un equivalente tradicional.

Formalmente, un sistema neuronal o conexionista est compuesto de los siguientes elementos:

Un conjunto de procesadores elementales o neuronas artificiales.
Un patrn de conectividad o arquitectura.
Una dinmica de activaciones.
Una regla o dinmica de aprendizaje.
El entorno donde opera.

CARACTERSTICAS

Debido a su constitucin y fundamentos, las redes neuronales artificiales presentan un gran

nmero de caractersticas similares a las del cerebro. Por ejemplo, son capaces de aprender de
la experiencia, de generalizar de casos anteriores a nuevos casos, de abstraer caractersticas
esenciales a partir de entradas que presentan informacin irrelevante, etc.
Procesamiento paralelo:

Esta caracterstica resulta esencial, como se puede deducir de un sencillo ejemplo.

Un computador convencional tipo PC, que trabaja secuencialmente las Elaboracin y

diseo en formato PDF, por la Oficina General del Sistema de Bibliotecas y Biblioteca
Central UNMSM instrucciones, empleara varios minutos en realizar sobre una imagen

compuesta por 256 x 256 pxeles, una sencilla tarea de tratamiento en bajo nivel
(acentual contrastes, extraer contornos, etc.), mucho ms simple que la que lleva a
cabo el sistema visual biolgico para reconocer una imagen. Un sistema basado en 16
DSP (por ejemplo, del modelo TMS32020, clsico DSP de Texas Instruments)
operando en paralelo empleara un tiempo del orden de 20 milisegundos en la misma
tarea, puesto que cada uno puede operar en paralelo sobre diferentes reas de la
imagen.

Por otra parte, el cerebro tarda aproximadamente lo mismo para preprocesar una
imagen compuesta por millones de pxeles (los que representan los conos y bastones
de la retina), extraer sus rasgos caractersticos, analizarla e interpretarla.
La clave reside en los miles de millones de neuronas que intervienen en el
proceso de visin, operando en paralelo sobre la totalidad de la imagen.
Memoria Distribuida:

Mientras en un computador la informacin ocupa posiciones de memoria bien definidas,

en los sistemas neuronales se encuentra distribuida por las sinapsis de la red, de modo
que si una sinapsis se daa solamente perdemos una pequea parte de la informacin.
Aprendizaje adaptativo:

La capacidad de aprender a realizar tareas basada en un entrenamiento o en una

experiencia inicial elimina la necesidad de elaborar modelos a priori o de especificar
funciones de distribucin de probabilidad.

Las redes neuronales son sistemas dinmicos auto adaptativos. Son adaptables
debido a la capacidad de auto ajustarse que tienen las neuronas. Son dinmicos, pues
son capaces de estarse adaptando constantemente a las nuevas condiciones.

Auto organizacin:

Las redes neuronales utilizan su capacidad de aprendizaje adaptativo para organizar la

informacin que reciben durante el aprendizaje y/o la operacin.

Mientras el aprendizaje es la modificacin de cada elemento procesal, la auto

organizacin consiste en la modificacin de la red neuronal completa para llevar a cabo
un objetivo especfico.

Esta auto organizacin da lugar a la generalizacin: facultad de responder

apropiadamente cuando se les presentan datos o situaciones a los que no haban sido
expuestas anteriormente. El sistema puede generalizar la entrada para obtener una
respuesta. Esta caracterstica es de especial importancia cuando se tiene que
solucionar problemas para los cuales la informacin de entrada es poco clara; permite
adems que el sistema d una solucin incluso cuando la informacin de entrada est
especificada en forma incompleta.

ELEMENTOS DE UNA RED NEURONAL ARTIFICIAL

Las redes neuronales son modelos que intentan reproducir el comportamiento del cerebro.
Como modelos, son una simplificacin de lo que emulan, incorporando los elementos
relevantes del sistema. Una eleccin adecuada de sus caractersticas, ms una estructura
conveniente, es el procedimiento convencional utilizado para construir redes capaces de
realizar una determinada tarea.

Un modelo de red neuronal consta de dispositivos elementales de proceso: las neuronas. A

partir de ellas se pueden generar representaciones especficas, de modo que un estado
conjunto de ellas puede representar una letra, un nmero o cualquier objeto.

Generalmente se pueden encontrar tres tipos de neuronas:

1. Aquellas que reciben estmulos externos, relacionadas con el aparato sensorial, que toman
la informacin de entrada.

2. Esta informacin se trasmite a ciertos elementos internos que se ocupan de su

procesamiento. Es en las sinapsis y neuronas de este segundo nivel donde se genera cualquier
tipo de representacin interna de la informacin. Puesto que no tienen relacin directa con la
informacin de entrada ni con la de salida, estos elementos se denominan unidades ocultas.

3. Una vez que ha finalizado el procesamiento, la informacin llega a las unidades de salida,
cuya misin es dar la respuesta del sistema.

La neurona artificial pretende emular las caractersticas de las neuronas biolgicas.

Cada neurona i-sima est caracterizada en cualquier instante por un valor numrico
denominado valor o estado de activacin ai(t). Asociado a cada unidad, funcin de salida
fi, que transforma el estado actual de activacin en una seal de salida, yi.

La dinmica que rige la actualizacin de los estado de las neuronas (evolucin de la red
neuronal) puede ser de dos tipos: asincrnico y sincrnico. En el primer caso, las neuronas
evalan su estado continuamente, segn les va llegando informacin, y lo hacen de forma
independiente. En el caso sincrnico, aunque la informacin llega de forma continua, los
cambios se realizan simultneamente. Los sistemas neuronales biolgicos muy probablemente
actan de una forma mixta.

La Neurona Artificial

Si tenemos N unidades (neuronas), podemos ordenarlas arbitrariamente y designar la j-sima

unidad como Uj. Su trabajo consiste nicamente en recibir las entradas de las neuronas
vecinas y calcular un valor de salida, que es enviado a todas las neuronas restantes.

Es til identificar tres tipos de unidades: entradas, salidas y ocultas.

 Las unidades de entrada reciben seales desde el entorno. Estas entradas (que son
entradas a la red) pueden provenir de sensores o de otros sectores del sistema.
Las unidades de salida envan la seal fuera del sistema. Estas pueden controlar
directamente potencias u otros sistemas.
Las unidades ocultas son aquellas cuyas entradas y salidas se encuentran dentro del
sistema, es decir, no tienen contacto con el exterior.

Estado de Activacin

Adems del conjunto de neuronas, la representacin necesita considerar los estados del
sistema en un tiempo t. Esto se especifica por un vector de N nmeros reales A(t), que
representa el estado de activacin del conjunto de neuronas.

Cada elemento del vector representa la activacin de la unidad en el tiempo t. Si la activacin

de la unidad Ui en el tiempo t se designa por ai(t), tenemos:
A(t) = (a1(t), a2(t), ...., ai(t), , aN(t))

El procesamiento que realiza la red se ve como una evolucin de un patrn de activacin en el

conjunto de neuronas que lo componen, a travs del tiempo.

Todas las neuronas que conforman la red se hallan en cierto estado. Podemos decir que hay
dos posibles estados: reposo y excitado, llamados genricamente estados de activacin; a
cada uno de los cuales se le asigna un valor. Estos valores pueden ser a su vez continuos o
discretos.

Funcin de Salida o de Transferencia

Entre las neuronas que componen la red existe un conjunto de conexiones que las unen. Cada
neurona trasmite seales a aquellas que estn conectadas con su salida.

Asociada a cada unidad Ui hay una funcin de salida fi(ai(t)), que transforma el estado actual
de activacin ai(t) en una seal de salida yi(t); es decir: yi(t) = fi(ai(t))

La funcin escaln o umbral nicamente se utiliza cuando las salidas de la red son binarias. La
salida de una neurona se activa slo cuando el estado de activacin es mayor o igual que cierto
valor umbral (la funcin puede ser desplazada sobre los ejes).
La funcin lineal o identidad equivale a no aplicar funcin de salida, y se usa muy poco.
Las funciones mixta y sigmoidal son las ms apropiadas cuando queremos como salida una
informacin analgica.

En ambos casos se ha tomado que el umbral es cero; en caso de no serlo, el escaln

quedara desplazado

Conexiones entre Neuronas

Las conexiones entre las neuronas de una red tienen asociado un peso, que es el que hace
que la red adquiera conocimiento.

Funcin o Regla de Activacin

As como es necesario una regla que combine las entradas a una neurona con los pesos de
sus conexiones, tambin se requiere una regla que combine las entradas con el estado actual
de la neurona, para producir un nuevo estado de activacin. Esta funcin, F, produce un nuevo
estado a partir del estado (ai) que exista y la combinacin de las entradas con los pesos de las
conexiones ( neti).

Dado el estado de activacin ai(t) de la neurona Ui, y la entrada total que llega a ella, Neti, el
estado de activacin siguiente, ai(t+1) se obtiene aplicando la funcin de activacin F:

ai(t+1) = F(ai(t), Neti)

En la mayor parte de los casos, F es la funcin identidad, por lo que el estado de

activacin de una neurona en t+1 coincide con el Net de la misma en el tiempo t. En este caso,
la salida de la neurona i (yi) ser:

Normalmente la funcin de activacin no est centrada en el origen del eje que

representa el valor de la entrada neta, sino que existe cierto desplazamiento debido a las
caractersticas internas de la propia neurona, y que no es igual en todas ellas. Este valor se
denota como i, y representa el umbral de activacin de la neurona i.

En el caso de neuronas de respuesta todo-nada, este parmetro representa el umbral de

disparo de la neurona, es decir, el nivel mnimo que debe alcanzar el potencial post sinptico
para que la neurona se dispare o active.

Regla de Aprendizaje

El aprendizaje se entiende como la modificacin del comportamiento inducido por la

interaccin con el entorno, y como resultado de experiencias conducente al establecimiento de
nuevos modelos de respuesta a estmulos externos.

Biolgicamente, se suele aceptar que la informacin memorizada en el cerebro est ms

relacionada con los valores sinpticos de las conexiones entre las neuronas, que con ellas
mismas; es decir, el conocimiento se encuentra en las sinapsis.

En el caso de las redes neuronales artificiales, el conocimiento se encuentra representado en

los pesos de las conexiones entre neuronas. Todo proceso de aprendizaje implica cambios en
estas conexiones, es decir, se aprende modificando los valores de los pesos de la red.

Durante el proceso de aprendizaje, los pesos de las conexiones de la red sufren

modificaciones, por lo tanto se puede afirmar que la red ha aprendido cuando los valores de
los pesos permanecen estables ( dwij/dt = 0).

Formas de Conexin entre Neuronas

La conectividad entre los nodos de una red neuronal est relacionada con la forma en que las
salidas de las neuronas estn canalizadas para convertirse en entradas de otras neuronas. La
seal de salida de un nodo puede ser una entrada de otro elemento de proceso, o incluso ser
una entrada de s mismo en una conexin auto recurrente.

Cuando ninguna salida de las neuronas de una capa es entrada de neuronas del mismo nivel
o de niveles precedentes, se dice que la red tiene propagacin hacia delante. En caso
contrario se dice que la red es de propagacin hacia atrs. Las redes de propagacin hacia
atrs que tienen lazos cerrados se dice que son sistemas recurrentes.

Estructura de una red multinivel con todas las conexiones hacia adelante

TOPOLOGA DE LAS REDES NEURONALES

Se denomina topologa o arquitectura de la red a la organizacin y disposicin de las neuronas
en la red formando capas ms o menos alejadas de la entrada y salida de la red. As, los
parmetros fundamentales de la red son: el nmero de capas (monocapa o multicapa), el
nmero de neuronas por capa, el grado de conectividad y el tipo de conexiones entre neuronas
(unidireccionales o recurrentes).
Redes Neuronales Monocapa

Se utilizan tpicamente en tareas relacionadas con la autoasociacin; por ejemplo para

regenerar informaciones de entrada que se presentan a la red incompletas o distorsionadas.

Redes Neuronales Multicapa

Cuando todas las neuronas de una capa reciben seales de entrada de otra capa anterior,
ms cercana a la entrada a la red, y envan seales de salida a una capa posterior, estamos
ante una red de conexiones hacia delante o feedforward. En las conexiones hacia atrs o
feedback las salidas de las neuronas de capas posteriores se conectan a las entradas de capas
anteriores.

Estas caractersticas permiten distinguir dos tipos de redes entre las multicapa: las redes con
conexin hacia delante o redes feedforward, y redes que disponen de conexiones tanto hacia
delante como hacia atrs, o redes feedforward/feedback.

Las redes feedforward son especialmente tiles en aplicaciones de reconocimiento o

clasificacin de patrones.

Por otro lado, la mayora de las redes multicapa son bicapa. Este tipo de estructura es
particularmente adecuada para realizar una asociacin de una informacin o patrn de entrada
con otra informacin o patrn de salida en la segunda capa. Una red multicapa muy particular
es la NEOCOGNITRON, en la que las neuronas se disponen en planos superpuestos (capas
bidimendionales),

permitiendo

eliminar

las

variaciones

geomtricas

(tamaos,

giros,

desplazamientos) o distorsiones que presenten las informaciones o patrones de entrada a la

red.

ALGORITMOS NEURONALES

Los modelos neuronales utilizan varios algoritmos de estimacin, aprendizaje o entrenamiento

para encontrar los valores de los parmetros del modelo, que en la jerga de las redes
neuronales se denominan pesos sinpticos.

El entrenamiento se realiza mediante patrones-ejemplo, siendo dos los tipos de aprendizaje:

supervisado y no supervisado.

El aprendizaje supervisado

Si la red utiliza un tipo de aprendizaje supervisado debemos proporcionarle parejas de patrones

entrada-salida y la red neuronal aprende a asociarlos. En terminologa estadstica equivale a
los modelos en los que hay vectores de variables independientes y dependientes: tcnicas de
regresin, anlisis discriminante, modelos de series temporales, etc.

En este tipo de aprendizaje se suelen considerar tres formas: Aprendizaje por correccin de
error, Aprendizaje por refuerzo y aprendizaje estocstico.

a.1) Aprendizaje por correccin de error.

Consiste en ajustar los pesos de las conexiones de la red en funcin de la diferencia entre los
valores deseados y los obtenidos en la salida; es decir, en funcin del error cometido.

Una regla o algoritmo simple de aprendizaje por error podra ser como la siguiente:
wji = yi (dj yj)

Donde:
wji : Variacin en el peso de la conexin entre las neuronas i y j

yi :

Valor de salida de la neurona i.

dj :

Valor de salida deseado para la neurona j.

yj :

Valor de salida obtenido de la neurona j.

Factor de aprendizaje (0 < <= 1) que regula la velocidad del aprendizaje.

El aprendizaje no supervisado o autoorganizado

Si el entrenamiento es no supervisado, nicamente debemos suministrar a la red los datos de

entrada para que extraiga los rasgos caractersticos esenciales .En terminologa estadstica
equivale a los modelos en los que slo hay vectores de variables independientes y buscan el
agrupamiento de los patrones de entrada: anlisis de conglomerados o cluster, escalas
multidimensionales, etc.

Estas redes deben encontrar las caractersticas, regularidades, correlaciones o categoras que
se pueden establecer entre los datos de entrada. Puesto que no hay un supervisor que indique
a la red la respuesta que debe generar una entrada concreta, cabra preguntarse precisamente

por lo que la red genera en estos casos. Existen varias posibilidades en cuanto a la
interpretacin de las salidas, que dependen de su estructura y del algoritmo de aprendizaje
empleado.