MANUAL

REDES NEURONALES ARTIFICIALES.

Edgar Mahecha Jerson Quiroz

INTRODUCCION El uso de las redes neuronales artificiales en diferentes campos del conocimiento (control, procesado de la seal, sistemas expertos, prediccin en series temporales, etc) han sufrido un crecimiento exponencial en los ltimos aos. Este nmero tan elevado se debe se explica por su aplicacin en problemas de clasificacin, modelizacin y prediccin. Las redes neuronales son preferibles a otros mtodos matemticos cuando se presentan las siguientes caractersticas: Es muy difcil encontrar las reglas que definen la variable a modernizar en relacin a las variables independientes consideradas para el modelo. 2. Los datos son imprecisos o contienen perturbaciones estadsticas (ruido). 3. El problema necesita para ser definido un gran nmero de variables dependientes (presenta una alta dimensionalidad). 4. El modelo a resolver es no lineal. 5. Se dispone de un gran nmero de datos. 6. El entorno de trabajo es variable. Sin embargo, a pesar de suaplicabilidad y su potencia, existe un cierto recelo a su uso ya que se consideran "cajas negras" que dan buenos resultados por "casualidad". Esta impresin no es real por cuanto que:
1.

Existen libros de redes neuronales escritos por matemticos estadsticos de gran prestigio internacional. En libros de anlisis multivariante clsicos se da como camino a seguir las redes neuronales Programas informticos usualmente usados en anlisis de datos, por ejemplo el famoso y ampliamente extendido SPSS, incluyen mdulos de redes neuronales. Existen multitud de demostraciones de la convergencia de los valores de salida de un tipo de red neuronal, el perceptrn multicapa, hacia los valores definidos por el Teorema de Bayes; herramienta de uso comn en problemas de clasificacin.

QUE ES UNA RED NEURONAL Es un sistema compuesto por un gran nmero de elementos bsicos (Artificial Neurons), agrupados en capas (Layers) y que se encuentran altamente interconectados (Synapses); Esta estructura posee varias entradas y salidas, las cuales sern entrenadas para reaccionar (valores O), de una manera deseada, a los estmulos de entrada (valores I). Estos sistemas emulan, de una cierta manera, al cerebro humano. Requieren aprender a comportarse (Learning) y alguien debe encargarse de ensearles o entrenarles (Training), en base a un conocimiento previo del entorno del problema. APLICACIN

PARA QUE SON UTILES LAS REDES NEURONALES:

Esta tecnologa es muy til en unos pocos y muy especiales problemas. A grandes rasgos, estas aplicaciones son aquellas en las cuales se dispone de un registro de datos y nadie sabe exactamente la estructura y los parmetros que pudieran modelar el problema. En otras palabras, grandes cantidades de datos y mucha incertidumbre en cuanto a la manera de como estos son producidos. Como ejemplos de las neuronales (Neural Networks) se la bolsa de valores, los riesgos en local, el reconocimiento de Recognition) y la minera de DISEO COMO SE CONTRUYEN LAS Aspectos a considerar en la red

aplicaciones de las redes pueden citar: las variaciones en prstamos (Forecasting), el clima patrones en rostros (Face Pattern datos (data mining). REDES NEURONALES. neuronal: artificial.

Elemento bsico. Neurona

Pueden ser con salidas binarias, anlogas o con codificacin de pulsos (PCM). Es la unidad bsica de procesamiento que se conecta a otras unidades a travs de conexiones sinpticas (Synaptic Connection). La estructura de la red. La interconexin Es la manera como las unidades bsicas se interconectan. Elemento bsico. Neurona artificial (Artificial Neuron). Un neurona artificial es un elemento con entradas, salida y memoria que puede ser realizada mediante software o hardware. Posee entradas (I) que son ponderadas (w), sumadas y comparadas con un umbral (t). Un ejemplo de como se combinan los aspectos mencionados es el perceptrn multicapa (Multi-Layer Perceptrn), entrenado con el algoritmo del "backpropagation". Se trata de una red compuesta por varios estratos de neuronas con respuestas basadas en funciones exponenciales, y cuyas conexiones sinpticas se determinan de manera de minimizar un error cuadrtico medio. Otro ejemplo es el mapa autoorganizado organizing Map), en el cual slo se requiere conocer la salida del sistema. DESCRIPCION DE LAS REDES NEURONALES Arquitectura de las redes En teora de redes neuronales podemos distinguir tres niveles en su arquitectura:
1.

de

los

elementos

bsicos.

de

Kohonen

(Self-

Microestructura. Hace referencia a los elementos ms pequeos de las redes neuronales: las neuronas.

Mesoestructura. Resultado de la combinacin de las neuronas. Seran las redes neuronales propiamente dichas. 3. Macroestructura. Combinacin de redes, se podra denominar a este nivel "comit de expertos". Existen diferentes tipos de combinacin : paralelo, jerrquica, etc. dependiendo de la aplicacin que se quiera implementar.
2.

Microestructura. Es el elemento bsico de la red: la neurona, que puede tener diferentes formas dependiendo de la aplicacin:

Figura 1. Esquema de una neurona. En general una neurona tendr los siguientes elementos:

Entradas. Son las datos a utilizar por la neurona. Pueden ser las variables de entrada, si la neurona est en la capa de entrada del sistema, o las salidas de otras neuronas. Si alguna de las entradas a la neurona es una salida de dicha neurona estaramos hablando de una neurona recurrente o con memoria.

Conexiones. Denominados pesos en teora de redes neuronales. Son los factores multiplicativos de las entradas. Existe un peso adicional denominado umbral que tiene como entrada 1. El significado de este peso es englobar el umbral que aparece en la figura 1. Este umbral define el valor para el cual la neurona se activa, es decir:

si tomamos el peso w0 como umbral entonces la anterior expresin queda como:

El proceso de aprendizaje de una red radica en la modificacin de estos pesos de acuerdo con un algoritmo determinado. Funcin de activacin. Elemento bsico en la neurona. Esta funcin le da a la neurona su carcter no lineal y, por lo tanto, ampla el campo de aplicacin frente a otros mtodos clsicos de anlisis de datos. Existen muchos tipos de funcin; algunos de los ms usuales son: sigmoide, tangente hiperblica, funcin signo, etc. Una funcin de estado. Define el estado actual de la neurona en funcin de las entradas actuales, de la salida y del estado anterior. Normalmente esta funcin es la funcin identidad. Si combinamos la estructura de una neurona con una de las funciones de activacin ms usada, la sigmoide, aparece una relacin matemtica habitualmente utilizada como prueba diagnstica: la regresin logstica. En efecto, este mtodo matemtico consiste en modelizar la probabilidad de un determinado evento de acuerdo a la siguiente expresin:

donde xn son las diferentes variables independientes de las que depende nuestro problema.

Los parmetros a determinar son los parmetros wn que son equivalentes a los pesos de una neurona. As pues, cuando se utiliza el mtodo de regresin logstica se est usando una red constituida por una sola neurona, evidentemente este modelo tan sencillo se puede mejorar. Al estudiar este modelo, representado por una neurona, se pueden sacar importantes conclusiones. En efecto, el caso ms sencillo es clasificar dos grupos (A y B) usando la probabilidad definida por el modelo de regresin logstica. En este modelo se define un umbral de tal forma que si el valor de P(x) es superior a ese umbral pertenece a la clase A y si no a la B. Esta condicin se transforma en que el exponente sea mayor que cierta cantidad, es decir:

Veamos qu significa esto con un caso simple: supongamos que nuestro problema slo depende de dos variables, entonces el caso definido anteriormente queda como:

La frontera entre las dos clases vendr definida por los ejemplos que cumplen la siguiente condicin:

La ecuacin anterior es la ecuacin de una recta. Por tanto, el modelo de regresin logstica slo permite clasificar correctamente elementos que sean linealmente separables; se trata de un modelo muy limitado. Se puede aumentar su potencia mediante transformaciones no lineales de las entradas pero se requiere un conocimiento a priori del problema que no siempre se tiene. La manera de mejorar este modelo es combinar estos elementos de proceso en estructuras ms grandes: las redes neuronales, pasamos pues a otro nivel: la Mesoestructura. Mesoestructura.

La combinacin de las neuronas se puede realizar de muchas formas diferentes. En esta combinacin se habla de capas y dependiendo del nmero de stas y de la conexin entre ellas tenemos diferentes clasificaciones. stas quedan expuestas en la siguiente tabla.

A la hora de definir la arquitectura de una red neuronal, normalmente se hace referencia a las tres caractersticas. Continuando con nuestro ejemplo de clasificacin, veamos como mejora nuestro clasificador si combinamos varias neuronas. Supongamos que queremos disear un clasificador para el ejemplo definido por los siguientes valores: Ejemplo de sistema clasificador: X1 0 0 1 1 X2 Clase 0 A 1 B 0 B 1 A

Para simplificar, usaremos como funcin de activacin la funcin signo y clasificaremos como A si la salida del sistema es -1 y clase B si es 1. Si se representa grficamente el conjunto de entrada se tiene:

Esquema de los patrones a clasificar. Para este ejemplo, la mejor solucin de clasificacin que podra plantear un sistema de regresin logstica sera el representado por la lnea recta de la figura que dista mucho de ser ptimo. Veamos cmo resuelven este problema las redes neuronales. Con la funcin de activacin signo, ver tabla 1, y las clases as definidas el problema tiene como una posible solucin la red definida por la siguiente figura (los pesos umbrales tienen como entrada +1): Red para resolver el problema planteado. As, si por ejemplo x1 y x2 tienen 1. Las salidas para las neuronas A, valor 0 la salida del sistema debe ser OA, y B, OB, sern:

Por otra parte la salida de la

neurona C, OC, vendr definida por:

Que es la salida que se busca.

Por tanto la combinacin de diferentes neuronas, en forma de redes, amplia su capacidad de proceso de datos. Sin embargo, en determinadas situaciones esto no es suficiente y se necesitan combinar redes entre s, pasando al siguiente nivel denominado macroestructura. Macroestructura. Existen problemas donde una combinacin de redes da un mejor comportamiento que usar una sola red. Esta combinacin puede ser en paralelo (todas tienen el mismo peso), en serie (la salida de una red es la entrada a otra mayor), jerrquica (en problemas de clasificacin, existen redes ms expertas que otras), etc. o variaciones de ellas dependiendo de la aplicacin concreta. Un ejemplo sencillo que ayudar a entender la ventaja de combinar redes es el problema de modelizar la funcin valor absoluto que viene definida en la expresin:

De la definicin se aprecia que existen dos zonas claramente diferenciadas en el domino de x, los valores negativos y los positivos. En ese caso se pueden definir dos redes, especializadas en cada zona y combinarlas para definir la funcin total. Otro ejemplo, ahora en clasificacin, donde se deduce fcilmente la utilidad de combinar diferentes redes, es en aquellos problemas donde los datos se agrupan en determinadas zonas del espacio formado por las variables de entrada. Si se especializa cada red, para cada zona, se obtendr un resultado ptimo. En este apartado si bien se ha comprobado la posible utilizacin de las redes neuronales, existe una cuestin todava no resuelta cmo se determina el valor de los pesos?. Es decir cuales son los valores que relacionan las neuronas entre si y por tanto, los que definen la estructura y comportamiento de la red neuronal. Para el clculo de los pesos se usaran algoritmos de aprendizaje que se definen en las redes neuronales. Algoritmos de aprendizaje.

Los procedimientos para determinar las conexiones entre neuronas reciben el nombre de algoritmos de aprendizaje ya que es en los pesos donde reside el "conocimiento" de una red. Su clasificacin junto con dos de las aplicaciones ms frecuentes:

Tipos de aprendizaje y posibles aplicaciones. Una primera gran diferenciacin del aprendizaje est en si es o no. La diferencia estriba en que el supervisado dispone de informacin sobre la salida objetivo o deseada de la red, hecho que no ocurre en el no supervisado. Dentro del supervisado hay otra divisin que se establece en funcin del valor exacto de la salida deseada, aprendizaje por correccin, y si slo se dispone de informacin lgica (es o no la seal deseada) estamos en un aprendizaje por refuerzo. La forma de proceder en los algoritmos de aprendizaje supervisado es definir una funcin objetivo o error a minimizar. Esta funcin ser siempre una funcin montona creciente de la diferencia entre la seal deseada - seal que debera dar la red - y la salida proporcionada por la red. El problema es, pues, de optimizacin: bsqueda del mnimo de una funcin y aqu aparecen una serie de procedimientos de bsqueda que, generalmente, se dividen en dos grupos: Mtodos de bsqueda global. Buscan el mnimo global de la funcin objetivo. Proporcionan los pesos que dan el valor ms pequeo de dicha funcin sobre todo su dominio. Entre estos mtodos se pueden destacar los procedimientos de bsqueda basados en algoritmos genticos. Mtodos de bsqueda local. Buscan el mnimo ms cercano de la funcin objetivo en relacin al estado inicial de los pesos al comenzar dichos algoritmos. Lgicamente dan unos pesos peores que los mtodos anteriores pero son algoritmos mucho ms rpidos en la obtencin de la solucin. Entre

estos mtodos se encuentran todos los basados en descenso por gradiente, gradiente conjugados, quasi-Newton, etc. La forma habitual de entrenar estos sistemas supervisados es dividir los ejemplos disponibles en dos conjuntos: entrenamiento y generalizacin, normalmente en una relacin 2/3 a 1/3. En el mbito clnico, mdico y farmacetico, se conoce al conjunto de generalizacin como conjunto de validacin. Con el primer conjunto de datos se entrena la red, esto es, se ajustan las conexiones de la red o pesos, y con el segundo se comprueba su capacidad de generalizacin. En este marco hay que tener en cuenta que una de las principales caractersticas de las redes neuronales, que las hacen especiales frente a otros mtodos, es su capacidad de generalizacin; es decir, ante entradas desconocidas son capaces de dar salidas aproximadas a las deseadas. El perceptrn multicapa. El perceptrn multicapa es la red ms usada en la actualidad ya que se puede aplicar en problemas de clasificacin, modelizacin, prediccin en series temporales, control discreto, etc. Es una red multicapa, en la mayora de las aplicaciones no recurrente, y que tiene un aprendizaje supervisado por correccin o minimizacin del error. La primera capa recibe el nombre de capa de entrada, la ltima capa de salida y las intermedias se denominan ocultas, la figura muestra la arquitectura de un perceptrn multicapa tipo:

Esquema de un perceptrn multicapa. La funcin objetivo habitualmente usada es la suma de los errores al cuadrado:

Donde el subndice "p" hace referencia al patrn o muestra de entrenamiento y el superndice "s" la neurona de salida. Por N se entiende el nmero total de neuronas en la capa de salida y por P el de patrones (Ej. nmero de sujetos a clasificar). El algoritmo ms comnmente usado es un procedimiento de bsqueda local, del tipo de descenso por gradiente, que queda resumido en los siguientes pasos: Este algoritmo, a pesar de su sencillez ha dado muy buenos resultados en muchos tipos de aplicaciones, siendo uno de los mximos "culpables" de la expansin de las redes neuronales.

CONCLUCIONES En este trabajo se exponen brevemente las bases de una disciplina que ha sufrido una produccin cientfica en los ltimos aos. De forma sorprendente, estos mtodos, ampliamente usados en algunos campos del conocimiento, no han sido aplicados en otros por falsos mitos aplicados a estos elementos. Se podra acabar con una afirmacin que puede impulsar a la utilziacin de estos mtodos: "todos aquellos resultados obtenidos con anlisis multivariante o regresin logstica sern como mnimo igualados por una red neuronal". La anterior afirmacin se basa en el hecho que, un anlisis multivariante es una neurona con funcin de activacin lineal y una regresin logstica una neurona utilizando como funcin de activacin una sigmoidea

REFERENCIAS

Haykin, S. "Neural Networks: a Comprehensive Foundation". Prentice-Hall, 1998. Mitchell, T. "Machine Leing". Mc Graw-Hill, 1997. Murray, A.F. "Applications of Neural Networks". Kluwer Academic Publishers, 1995. Ripley, B.D. "Pattern Recognition & Neural Networks". Cambridge University Press, 1996. Bishop, C.M. "Neural Networks for Patern Recognition". Clarendon Press, 1996. Hair, J.F.H., et alt. "Multivariate Data Analysis". Prentice Hall 1998. Manual del SPSS. Hampshire, J.B., Pearlmutter, B.A. "Equivalence Proofs for Multilayer Perceptron Classifiers and the Bayesian Discriminant Function". Proceedings of the 1990 Conectionist Models summer School