RED NEURONAL BACK PROPAGACION

Algoritmo Levenberg Marquardt Algoritmo es una variación del método de Newton que fue
designada para minimización de funciones que son de sumas de cuadrados de otras funciones no
lineales. Esto es muy adecuado para la formación de redes neuronales donde el índice de
rendimiento es el error cuadrático medio.
Algoritmo básico
Levenberg – Marquardt
xk+1 = xk-[JT(xk)J(xk)+ukI]-1JT(xk)v(xk)
Este algoritmo tiene la característica muy útil que, a medida que aumenta, se acerca al algoritmo
de descenso más pronunciado con una pequeña tasa de aprendizaje:
Mientras que a medida uk que se reduce a cero, el algoritmo se convierte en Gauss-Newton.
El algoritmo comienzan con uk establece un valor pequeño (e.g.,uk=0.01). Si un paso produce un
valor menor para F(x), entonces el paso se repite con uk multiplicados por algunos factores  >1
(e.g., =10). Eventualmente F(x) debería disminuir, ya que estaríamos dando un pequeño paso
en la dirección de la pendiente descendiendo. Si un paso produce un valor menor para F(x),
que uk se dividido por  para el siguiente paso, para que el algoritmo se acerque a Gauss-
Newton, que debería proporcionar una convergencia más rápida. El algoritmo proporciona un
buen compromiso entre la velocidad del método de Newton y la convergencia garantizada del
descenso más pronunciado.

Ahora veamos cómo podemos aplicar el algoritmo de Levenberg-Marquardt al problema de

entrenamiento de la red multicapa. El índice de rendimiento para el entrenamiento de red
multicapa es el error cuadrático medio (consulte la ecuación (11.11)). Si cada objetivo se
produce con igual probabilidad, el error cuadrático medio es proporcional a la suma de los
errores cuadrados sobre los Q objetivos en el conjunto de entrenamiento:
REDES NEURONALES ARTIFICIALES:
Las redes neuronales artificiales tratan de emular las características y propiedades de las redes
neuronales biológicas. En general, consiste en una serie de unidades denominadas neuronas,
conectadas entre sí.
Cada neurona recibe un valor de entrada, el cual transforma según una función específica
denominada función de activación. Dicha señal transformada pasa a ser la salida de la neurona.
Las neuronas se conectan entre si según una determinada arquitectura. Cada conexión tiene un
determinado peso que pondera cada entrada a la neurona. De esa manera la entrada de cada
neurona es la suma de las salidas de los neuronas conectadas a ella, multiplicada por el peso de
la respectiva conexión. La figura siguiente ilustra dicho concepto:
El aprendizaje de una red neuronal consiste en hallar los valores precisos de los pesos de sus
conexiones para que pueda resolver un determinado problema. El proceso general consiste en ir
introduciendo una serie de datos patrón y ajustar los pesos siguiendo un determinado criterio.
Los criterios que se van a utilizar en este proyecto se fundamentan en el error cometido por la
red, lo que nos obliga a conocer la salida que se debería obtener para cada uno de ellos. Es lo
que se conoce como entrenamiento supervisado.
Funciones de activación:
Las funciones de activación que se suele utilizar son las función identidad, la función sigmoidal
y la función tangente hiperbólica. A continuación se muestran sus respectivas expresiones.

La principal diferencia entre la función sigmoidal y la función tangente hiperbólica es el rango

de sus valores de salida. Mientras que para la primera su rango es [0,1], para la segunda es [-
1,1]. De hecho existe una relación entre las dos. Se relacionan mediante la expresión
f2(x)=2f1(x)-1, por lo que la elección entre una u otra se elige en función del recorrido que
interese.