REDES NEURONALES Introduccin.

Objetivo del Tutorial: Este trabajo fue diseado con el objetivo de presentar los fundamentos de las Redes Neuronales Artificiales y algunas de sus aplicaciones en el Procesamiento de Seales. Bsicamente ay dos formas de estudiar este tutorial! "e una forma ordenada# yendo de una secci$n a la consecutiva# o Presionando en la primera referencia %lin&' (ue apare)ca en el documento en el tema de inter*s. Si bien la forma ms didctica es combinar las dos# este tutorial a sido estructurado para ir progresando de una secci$n a la siguiente. Si el lector est familiari)ado con alguna de las secciones# entonces s$lo tiene (ue obviarlas. El aspecto principal de este documento es (ue el lector elige (u* lee y cundo. Organizacin del Tutorial: +ntroducci$n ,onceptos! Redes Neuronales de -ipo Biol$gico. Redes Neuronales "irigidas a una Aplicaci$n. -a.onom/a de las Redes Neuronales Artificiales. Redes Neuronales Artificiales Supervisadas y No Supervisadas. 0unciones de Base y Activaci$n. Estructuras de las Redes Neuronales Artificiales. Aplicaciones. 1odelos No Supervisados! Redes Asociativas de pesos fijos. Redes de aprendi)aje competitivo. 1odelos Supervisados! Redes Neuronales Artificiales basada en "ecisi$n. Redes Neuronales Artificiales de Apro.imaci$n23ptimi)aci$n. Ejemplo. Bibliograf/a. A !ecto "ulti#edia del Tutorial: A lo largo del tutorial# los grficos se an incluido lo ms frecuentemente posible. Algunas veces la imgenes se insertan en el te.to en todo su tamao# y otras veces aparece una versi$n reducida de la imagen con una referencia a la misma en su tamao real# esto se a reali)ado con el fin de cargar las pginas en el lector de iperte.to lo mas rpidamente posible. S$lo ay (ue presionar en la imagen pe(uea y aparecer en tamao aceptable para la visuali)aci$n. Se usar un visor %vie4er' particular# dependiendo de c$mo est* configurado su lector de iperte.to. 1s adelante se comentan los visores por defecto. El mismo principio se a aplicado para las e.presiones matemticas. En muc os casos# una ecuaci$n se inserta en el te.to# y esta ecuaci$n conduce a un desarrollo a trav*s de una referencia. El desarrollo presenta la forma de obtener la ecuaci$n (ue contiene la referencia. A modo de ejercicio# int*ntelo la primera ve) (ue encuentre una de estas referencias.

$i ore e%terno : En un sistema 5N+6# los visores (ue se usan por defecto son en 5N+6 67 para las imgenes# 6P8A9:+;13 mpeg<play y play para los v/deos mpeg y sonidos. En un sistema "3S o =indo4s# se configurarn a(uellos visores (ue el usuario prefiera. &v: Por ejemplo# >.v> se usa para ver las figuras en un sistema 5N+6. -iene muc as caracter/sticas interesantes# como por ejemplo# (ue en el momento de presionar el bot$n derec o del rat$n sobre la figura# aparece el panel control de 6v. "esde este panel de control se puede salir de 6v# con lo (ue desaparece la imagen# o bien se puede salvar localmente la misma. 'ON'E(TOS )*SI'OS INTRODU''I+N: 8as Redes Neuronales Artificiales %ANNs de Artificial Neural Net4or&s' fueron originalmente una simulaci$n abstracta de los sistemas nerviosos biol$gicos# formados por un conjunto de unidades llamadas >neuronas> o >nodos> conectadas unas con otras. Estas cone.iones tienen una gran semejan)a con las dendr/tas y los a.ones en los sistemas nerviosos biol$gicos. El Primer modelo de red neuronal fue propuesto en ?@AB por 1c,ulloc y Pitts en t*rminos de un modelo computacional de >actividad nerviosa>. El modelo de 1c,ulloc <Pitts es un modelo binario# y cada neurona tiene un escal$n o umbral prefijado. Este primer modelo sirvi$ de ejemplo para los modelos posteriores de C on 7on Neumann# 1arvin 1ins&y# 0ran& Rosenblatt# y muc os otros. 5na primera clasificaci$n de los modelos de ANNs podr/a ser# atendiendo a su similitud con la realidad biol$gica! 8os modelos de tipo biol$gico. Este comprende las redes (ue tratan de simular los sistemas neuronales biol$gicos as/ como las funciones auditivas o algunas funciones bsicas de la visi$n. El modelo dirigido a aplicaci$n. Estos modelos no tienen por(ue guardar similitud con los sistemas biol$gicos. Sus ar(uitecturas estn fuertemente ligadas a las necesidades de las aplicaciones para las (ue son diseados. REDES NEURONALES DE TI(O )IOL+,I'O: Se estima (ue el cerebro umano contiene ms de cien mil millones %' de neuronas y sinpsis en el sistema nervioso umano. Estudios sobre la anatom/a del cerebro umano concluyen (ue ay ms de ?DDD sinpsis a la entrada y a la salida de cada neurona. Es importante notar (ue aun(ue el tiempo de conmutaci$n de la neurona % unos pocos milisegundos' es casi un mill$n de veces menor (ue en las actuales elementos de las computadoras# ellas tienen una conectividad miles de veces superior (ue las actuales supercomputadoras. El objetivo principal de de las redes neuronales de tipo biol$gico es desarrollar un elemento sint*tico para verificar las ip$tesis (ue conciernen a los sistemas biol$gicos. 8as neuronas y las cone.iones entre ellas %sinpsis' constituyen la clave para el procesado de la informaci$n. 3bserve la figura!

8a mayor parte de las neuronas poseen una estructura de rbol llamadas dendritas (ue reciben las seales de entrada (ue vienen de otras neuronas a trav*s de la uniones llamadas sinpsis. Algunas neuronas se comunican solo con las cercanas# mientras (ue otras se conectan con miles. Eay tres partes en una neurona! el cuerpo de la neurona# ramas de e.tensi$n llamadas dendr/tas para recibir las entradas# y un a.$n (ue lleva la salida de la neurona a las desdir/as de otras neuronas. 8a forma (ue dos neuronas interactuan no est totalmente conocida# dependiendo adems de cada neurona. En general# una neurona env/a su salida a otras por su a.$n. El a.$n lleva la informaci$n por medio de diferencias de potencial# u ondas de corriente# (ue depende del potencial de la neurona. Este proceso es a menudo modelado como una regla de propagaci$n representada por la funci$n de red u%.'. 8a neurona recoge las seales por su sinpsis sumando todas las influencias e.citadoras e in ibidoras. Si las influencias e.citadoras positivas dominan# entonces la neurona da una seal positiva y manda este mensaje a otras neuronas por sus sinpsis de salida. En este sentido la neurona puede ser modelada como una simple funci$n escal$n f%.'. ,omo se muestra en la pr$.ima figura# la neurona se activa si la fuer)a combinada de la seal de entrada es superior a un cierto nivel# en el caso general el valor de activaci$n de la neurona viene dado por una funci$n de activaci$n f%.'.

REDES NEURONALES (ARA A(LI'A'IONES 'ON'RETAS: 8as ANNs dirigidas a aplicaci$n estn en general poco ligadas a las redes neuronales biol$gicas. 9a (ue el conocimiento (ue se posee sobre el sistema nervioso en general no es completo# se an de definir otras funcionalidades y estructuras de cone.i$n distintas a las vistas desde la perspectiva biol$gica. 8as caracter/sticas principales de este tipo de ANNs son los siguientes! Auto 3rgani)aci$n y Adaptatividad! utili)an algoritmos de aprendi)aje adaptativo y auto organi)aci$n# por lo (ue ofrecen posibilidades de procesado robusto y adaptativo %v*ase entrenamiento adaptativo y redes auto organi)ativas'. Procesado No 8ineal! aumenta la capacidad de la red de apro.imar# clasificar y su inmunidad frente al ruido. Procesado paralelo! normalmente se usa un gran nFmero de c*lulas de procesado por el alto nivel de interconectividad. Estas caracter/sticas juegan un importante papel en las ANNs aplicadas al procesado de seal e imagen. 5na red para una determinada aplicaci$n presenta una ar(uitectura muy concreta# (ue comprende elementos de procesado adaptativo masivo paralelo combinadas con estructuras de intercone.i$n de red jerr(uica. TA&ONO"-A DE LAS REDES NEURONALES: E.isten dos fases en toda aplicaci$n de las redes neuronales! la fase de aprendi)aje o entrenamiento y la fase de prueba. En la fase de entrenamiento# se usa un conjunto de datos o patrones de entrenamiento para determinar los pesos %parmetros de diseo' (ue definen el modelo neuronal. 5na ve) entrenado este modelo# se usar en la llamada fase de prueba o funcionamiento directo# en la (ue se procesan los patrones de prueba (ue constituyen la entrada abitual de la red# anali)ndose de esta manera las prestaciones definitivas de la red. 0ase de Prueba! los parmetros de diseo de la red neuronal se an obtenido a partir de unos patrones representativos de las entradas (ue se denominan patrones de entrenamiento. 8os resultados pueden ser tanto calculados de una ve) como adaptados iterativamente# segFn el tipo de red neuronal# y en funci$n de las ecuaciones dinmicas de prueba. 5na ve) calculados los pesos de la red# los valores de las neuronas de la Fltima capa# se comparan con la salida deseada para determinar la valide) del diseo. 0ase de Aprendi)aje! una caracter/stica de las redes neuronales es su capacidad de aprender. Aprenden por la actuali)aci$n o cambio de los pesos sinpticos (ue

caracteri)an a las cone.iones. 8os pesos son adaptados de acuerdo a la informaci$n e.tra/da de los patrones de entrenamiento nuevos (ue se van presentando. Normalmente# los pesos $ptimos se obtienen optimi)ando %minimi)ando o ma.imi)ando' alguna >funci$n de energ/a>. Por ejemplo# un criterio popular en el entrenamiento supervisado es minimi)ar el least<s(uare<error %error cuadrtico medio' entre el valor del maestro y el valor de salida actual. 8as aplicaciones del mundo real deben acometer dos tipos diferentes de re(uisitos en el procesado. En un caso# se re(uiere la prueba en tiempo real pero el entrenamiento a de reali)arse >fuera de linea>. En otras ocasiones# se re(uieren las dos procesos# el de prueba y el de entrenamiento en tiempo real. Estos dos re(uisitos implican velocidades de proceso muy diferentes# (ue afectan a los algoritmos y ard4are usados. Atendiendo al tipo de entrenamiento# una posible ta.onom/a de las redes neuronales es! Rede Neuronale .ijo Red de /a##ing Red de /o!1ield No u!ervi ado "a!a de caracter0 tica A!rendizaje co#!etitivo Su!ervi ado )a ada en deci in (erce!trn ADALINE 2L"S3 (erce!trn "ultica!a "odelo Te#!orale Din4#ico "odelo Oculto de "ar5ov

REDES NEURONALES SU(ER$ISADAS 6 NO SU(ER$ISADAS: 8as redes neuronales se clasifican comFnmente en t*rminos de sus correspondientes algoritmos o m*todos de entrenamiento! redes de pesos fijos# redes no supervisadas# y redes de entrenamiento supervisado. Para las redes de pesos fijos no e.iste ningFn tipo de entrenamiento. Reglas de entrenamiento Supervisado 8as redes de entrenamiento supervisado an sido los modelos de redes ms desarrolladas desde inicios de estos diseos. 8os datos para el entrenamiento estn constituidos por varios pares de patrones de entrenamiento de entrada y de salida. El ec o de conocer la salida implica (ue el entrenamiento se beneficia la supervisi$n de un maestro. "ado un nuevo patr$n de entrenamiento# por ejemplo# %mG?'<*simo# los pesos sern adaptados de la siguiente forma! Se puede ver un diagrama es(uemtico de un sistema de entrenamiento supervisado en la siguiente figura!

Reglas de entrenamiento No Supervisado Para los modelos de entrenamiento No Supervisado# el conjunto de datos de entrenamiento consiste s$lo en los patrones de entrada. Por lo tanto# la red es entrenada sin el beneficio de un maestro. 8a red aprende a adaptarse basada en las e.periencias recogidas de los patrones de entrenamiento anteriores. Este es un es(uema t/pico de un sistema >No Supervisado>! Ejemplos t/picos son 8a Regla de Aprendi)aje de Eebb# y la Regla de Aprendi)aje ,ompetitiva. 5n ejemplo del primero consiste en refor)ar el peso (ue conecta dos nodos (ue se e.citan simultneamente. ,omo ejemplo de aprendi)aje competitivo# si un patr$n nuevo se determina (ue pertenece a una clase reconocida previamente# entonces la inclusi$n de este nuevo patr$n a esta clase mati)ar la representaci$n de la misma. Si el patr$n de la entrada se determin$ (ue no pertenece a ninguna de las clases reconocidas anteriormente# entonces la estructura y los pesos de la NN sern ajustados para reconocer la nueva clase.