Apuntes Redes Neurales Oscar Chang 2014

Universidad Simn Bolvar.
EC5721
Quiz 25%
Parcial 30%
Proyecto 30%
bsqueda 15%
Total 100%
Redes Neurales.
Universidad Simn Bolvar
Prof. O. Chang.
Prof. O. Chang.
Rev. 2013
Redes Neurales.
Ejemplos de Problemas aparentemente triviales pero difciles de

resolver:
1.- Reconocimiento de Patrones (pattern Recognition).

1.a) Rostros humanos.
1.b) Electrocardiograma
la data contiene informacin valioso pero solo visible para el experto.
Fig. 001: Electrocardiograma.
1.c) Huellas digitales o dactilares.

1.d) Anlisis espectral (electromagntico, de masa, audio, etc).
2.- Control Complejo

2.a) ALVINN (Carnegie-Mellon)
Fig. 002: ALVINN.
Visin Robtica.
2.b) Visin con ojos compuestos (insectos)
2
Prof. O. Chang.
Fig 003: Ojos compuestos
Ojo compuesto
El ojo compuesto de un insecto se compone de hasta miles de componentes, rganos llamados
omatidios. La superficie de cada omatidio es una lente hexagonal, bajo la que hay una lente
cnica. Estas lentes enfocan la luz que entra en el omatidio a lo largo de una estructura central
llamada rabdoma, donde se forma una imagen invertida en las clulas retinulares fotosensitivas.
Las clulas pigmentadas que rodean al rabdoma transmiten informacin desde cada uno de ellos
hasta el cerebro, donde se combina para formar una imagen nica del mundo exterior.
Microsoft Encarta Biblioteca de Consulta 2002. 1993-2001 Microsoft
Corporation. Reservados todos los derechos.
La liblula posee 30.000 omatdeos por ojo.
Fig. 004: Liblula.

3.- Optimizacin lineal:
Problema del agente viajero (TSP Traveling salesman problem).
Dado un mapa X,Y y varios puntos (ciudades) A, B, C,... N, trace

una ruta de manera que todas las ciudades sean visitadas una y solo
una vez y se regrese al punto de partida. La distancia recorrida debe ser
mnima (o mxima!).
3
Prof. O. Chang.
Fig 005: Dos posibles rutas para recorrer las ciudades retornando al punto de partida.
Cuntas rutas posibles existen?

6 * 5 * 4 * 3 * 2 * 1 = 6!
# rutas = 36.
Si tomamos en cuenta un caso de la vida real similar a este

ejemplo, como es el caso de un mapa de los Estados Unidos y 36
ciudades, tendramos:
36! 1041 = 106 * 106 * 106 *...
En un computador rpido podramos procesar 100.000 = 105

rutas/segundo.
Obteniendo un tiempo de procesamiento de:
Modelos neurales: Hopfield, Shakleford,...

Solucin del problema TSP.
4.- Reconocimiento de palabras habladas.
La nica forma de reconocer palabras en forma confiable es hallar

regularidades entre patrones extremadamente ruidosos
Sinpsis dinmicas, Berger Liaw 1996 Southern California
University.
Sistemas Conexionistas.
La mayora de los sistemas que se estudian en ingeniera son

sistemas no conexionistas.
Ej: lgica booleana, fuentes elctricas,...
Existen otros sistemas llamados conexionistas donde toda conexin

entre elementos define una nueva variable llamada peso de conexin
(Connective weight).
4
Prof. O. Chang.
Ej: Neuronas biolgicas, neuronas artificiales, sistemas expertos,

toma de decisiones, lgica difusa, etc.
Redes Neurales Biolgicas.
Neurona: clula biolgica especializada en procesar informacin.
Fig. 006: Neurona tpica.
Funcionamiento Bsico.
Las neuronas estn inmersas en el plasma sanguneo, el cual

acta como plano de tierra o de potencial cero. Las paredes celulares
estn diseadas para bombear hacia fuera los iones de Sodio (Na-) y
hacia adentro los iones de potasio (K-).
Fig. 007: Flujo de iones ( K- < Na-).
Cuando su potencial interno pi alcanza los 60mV la neurona se

estabiliza y all permanece si no es perturbada.
Conexin interneurona.
Sistema coneccionista
5
Prof. O. Chang.
Fig. 008: Sinapsis.
Cada sinapsis tiene una masa especfica que determina el peso o

grado de influencia de la conexin. Menor tamao = menor peso.
Las sinpsis pueden ser excitatorias (+) o inhibitorias (-).
Fig. 009: Diferentes pesos de conexin.
Comunicacin interneuronas.
Las neuronas se comunican mediante eventos de corta duracin

llamados pulsos inicos. Cada pulso se mueve a travs del axn y genera
fenmenos de descarga inica en las neuronas receptoras.
Las descargas dependen de la naturaleza (+, -) y tamao de las

sinpsis en las neuronas receptoras.
6
Prof. O. Chang.
Fig. 010: Comunicacin interneuronas.
La cantidad de carga producida por cada pulso entrante depende

del tamao de la sinpsis.
Modelo Esquemtico:
Fig. 011: Modelo Esquemtico de la Neurona.
Principio de la Sumatoria Producto.
n
Pi = ( Ni * Wi )
i =1
7
Prof. O. Chang.
El producto sumatoria es una cadena de operaciones especficas y

articuladas, omnipresente en los sistemas conectivos, particularmente en
las neuronas biolgicas.
Cmo se produce el efecto a nivel biolgico?
Fig 012: Modelo Esquemtico de conexin.
Debido al funcionamiento electroqumico de los axones, las

neuronas se comunican por pulsos y no por niveles.
Fig. 013: Pulsos sinpticos.
Modelo Crudo:
n
Pi = ( Ni * Wi )
i =1
Donde:
Pi = Potencial interno
n = nmero de sinpsis descargando
Ni = Entrada i-sima
Wi = Peso i.
Entonces tendremos:
Pi = (N1*W1 + N2*W2 + ... + Nn*Wn)
En resumen el pi de una neurona es una funcin conectiva (y muy

dinmica!) de la actividad de las neuronas que forman conexiones
8
Prof. O. Chang.
sinpticas con i. Su valor real en teora puede ser cualquier nmero real
positivo o negativo.
Funcin de Activacin.
Una vez definido el potencial interno, debemos definir una funcin
de activacin la cual relaciona a la salida de la neurona con su potencial.
Como las neuronas vivas son entes fsicos sus salidas siempre tendrn
valores finitos, es decir siempre estarn acotadas entre un mnimo y un
mximo. Las funciones de activacin son variadas y algunas basadas en
reglas simples. Por ejemplo si Pi>0 salida=1. Si Pi0 salida=0. Una
forma muy usada es la sigmoide dada por
Salida=1/(1+exp(-Pi)
Esta funcin de activacin tiene una derivada continua,

conveniente en ciertos tipos de aprendizaje, y se parece al tipo de
activacin de las neuronas biolgicas.
Algunas Caractersticas fsicas de las neuronas biolgicas.
Fig 014: Curva de transicin Neurona natural.
Su respuesta es similar a un VCO, al variar el voltaje, cambia la

frecuencia.
Neurona Artificial.
Existen varios modelos matemticos de neuronas. Los m[as

antiguos solo contemplan procesos DC. Los ms modernos (Berger
Liaw) contemplan procesos dinmicos (AC) de corta duracin.
9
Prof. O. Chang.
Modelo completo (DC) de neurona artificial.

- Perceptron
- Adaline
- Madaline
Fig. 015: Modelo Standard.
Fig. 016: Salida del modelo Standard con diferentes valores de Ganancia (funcin sigmf de
MATLAB).
10
Prof. O. Chang.
Ejemplo simple:
Fig 017: Modelo Equivalente.
(0.5*-2) + (0.1*5)
-1 + 0.5 = -0.5
-0.5 * 1 = -0.5
OUT = 1/(1+ e (-0.5)) = 1/(1+ e 0.5) = 0.3775...
Redes de Neuronas.
Fig 018: Comparacin en cifras del Alambrado interno.
11
Prof. O. Chang.
El alambrado interno de los cerebros biolgicos es complejo y hoy

en da todava se conoce poco. Un resultado muy comn es que las
neuronas biolgicas tienden a organizarse en capas o estratos.
(resultados de diseccin).
Entradas Salida
N
Capas Ocultas
Como veremos ms adelante la capacidad de procesar est ligada

al nmero de capas. Se ha demostrado matemticamente que 7 capas
pueden realizar cualquier funcin. Tambin lo pueden hacer 2 capas con
neuronas ilimitadas.
Entrenamiento
Una de las aplicaciones ms poderosas de las redes neurales es

aquella donde mediante ejemplos hacemos que la respuesta
entrada/salida se comporte de una manera especfica y a su vez
inteligente.
Mtodos de entrenamiento.
De gradiente mximo Regla Delta

Back-propagation
...
Mtodos Evolutivos Auto Formulacin, etc...
Mtodos de Gradiente
12
Prof. O. Chang.
Existen muchos procesos informticos donde debemos hallar una

solucin a un problema complejo pero para hacerlo tenemos acceso a
una cantidad restringida de informacin.
Ej: El alpinista en las montaas nubladas.
Fig 019: El alpinista en las montaas nubladas
El alpinista debe moverse hacia el punto de menor altura posible,

para hacerlo solo tiene informacin de su entorno cercano (ambiente
nublado).
El alpinista produce variaciones (locales) Xizq y Xder, y obtiene
variaciones hizq y hder.
* Toma de decisiones para minimizar el error.
If (hizq- and hder+) then move left

If (hizq+ and hder-) then move right
If (hizq- and hder-) then
if |hizq-|> |hder-| then move left
if |hizq-|< |hder-| then move right
if |hizq-|== |hder-| then move random!
If (hizq+ and hder+) then stop!
Ventajas Desventajas
Funciona con poca informacin Mnimos locales
Regla Delta.
Premisas:
Existe una neurona con pesos asignados aleatoriamente por un
ente externo (captando ruido, antena desde el espacio). Queremos definir
un mtodo iterativo el cual modifique los pesos paulatinamente y haga
que la neurona aprenda por lo menos un caso especfico de entrada /
salida.
13
Prof. O. Chang.
Versin 0 del proceso iterativo
W1(n+1) = W1(n) + **N1

W2(n+1) = W2(n) + **N2
Donde:
W(n+1) es el peso futuro
W(n) es el peso actual
es el coeficiente de aprendizaje (0.01<= <0.1)
n = 0, 1, 2, ... tiempo de entrenamiento.
La presencia de Nx define a un sistema Hebbiano

HEBB (Bilogo, siglo XIX): Cuando ocurren variaciones en conexiones
sinpticas los cambios mayores ocurren en aquellas conexiones donde la
neurona que la define est ms excitada.
En conclusin podemos decir que existen mtodos de gradiente

mximo los cuales permiten optimizar un proceso dado con un mnimo
de informacin. Tales procesos estn sujetos a soluciones cuasi-ptimas
llamados mnimos locales.
Ejemplo:
Condiciones iniciales
G = 1 (constante)
= 0.01
W1 y W2 inicialmente
aleatorios y pequeos (-1,1)
Existe un archivo o gavetero

de donde podemos extraer
ejemplos de cmo
comportarse. Este es
bastante grande, podra ser
data de 1 ojo o 36.000 ojos. Cada ficha (carta) de ejemplo contiene:
a) Muestra de cmo deben ser las entradas.
14
Prof. O. Chang.
b) Muestra de cmo debe ser la salida u objetivo (Target) deseado. Los

ejemplos en el fichero podran ser muchos.
Ejecutando la corrida de la primera ficha mostrada en la Figura:

W1(1) = W1(0) + 0.01*0.3*0.3
W2(1) = W2(0) + 0.01*0.3*0.7
W1(1) = W1(0) + 0.0009

W2(1) = W2(0) + 0.0021
Incrementan los pesos.
Proceso iterativo.
Objetivo: Presentar ejemplos de IN / OUT y hacer que el error disminuya,
si esto ocurre decimos que la neurona aprende.
Despus de muchas iteraciones el sistema converge, es decir el

error se hace cero, la neurona aprende a comportarse segn el ejemplo
dado.
Fig 020: Graficas de Convergencia del Error tras n iteraciones.
Critica de Minsky Papert.
La Regla Delta no es universal. Hay modelos de comportamiento

(combinacin de cartas en el fichero) para los cuales la Regla Delta no
funciona.
Ejemplo:
XOR (Or Exclusivo)
A b OUT Para evitar condiciones de saturacin, convertimos los

0 0 0 niveles:
0 1 1 - 0 0.1
1 0 1 - 1 0.9
1 1 0
15
Prof. O. Chang.
Tabla Equivalente:
A b OUT
0.1 0.1 0.1 Estas 4 cartas conformaran nuestro fichero.
0.1 0.9 0.9
0.9 0.1 0.9
0.9 0.9 0.1
Diagrama de Flechas
Pesos iniciales aleatorios pequeos

OUT = 1 = 0.5
1+1
= * Error * N Dependiendo de N ser ms

grande o ms pequea la flecha.
Fig 021: Diagrama de Flechas.
Una neurona aislada (o muchas de ellas en paralelo) no puede(n)

aprender ciertos comportamientos contradictorios.
- Critica de Minsky Papert.
Nuevos Desarrollos
(Aos 70)
Rumelhart: Back propagation.
16
Prof. O. Chang.
Existen reglas de gradiente mximo para redes de muchas

neuronas y muchas capas
- Regla Delta Generalizada.
En la naturaleza es muy comn la organizacin en capas (layers)
donde muchas neuronas precedentes alimentan a muchas otras
neuronas sucesoras.
Feed forward.
Las redes multicapa (una o ms capas H) pueden aprender
comportamientos complejos, incluyendo el XOR.
Back Propagation
Sistema de Gradiente mximo aplicable a redes multicapa.
Correccin Base.
Error
= (1 OUT ) * (OUT ) * (T OUT )
Wi
Error base = o = (1 OUT ) * (OUT ) * (T OUT )
W1(n+1) = W1(n) + **OUT2 (HEBB)

W2(n+1) = W2(n) + **OUT3
1 = o*W1
NOTA: Si W1 es negativo el
triangulo cambia de signo!
2 = o*W2
NOTA: Si W2 < 0, cambia
de signo!
W3(n+1) = W3(n) + **OUT4

W4(n+1) = W4(n) + **OUT5
17
Prof. O. Chang.
W5(n+1) = W5(n) + **OUT4

W6(n+1) = W6(n) + **OUT5
Fig 022: Back Propagation
Caso genrico:
Muchas entradas / muchas salidas.
0 = (1 OUT ) * (OUT ) * (T OUT )

1 = 0*W = (1 OUT ) * (OUT ) * (T OUT )
Donde
OUT = salida relativa a la correccin del peso.
Fig 023: Caso genrico mltiples entradas / salidas
Se demuestra que la suma de tringulos representa a un gradiente

mximo.
Backpropagation.
Ventajas Desventajas
1. Genrico y aplicable a muchas 1. Gradiente mximo mnimos
capas y neuronas por capa. locales.
2. Relativamente simple. 2. Solo funciona para las primeras
capas H (4 5 mximo). Para las
capas ms profundas el error se
18
Prof. O. Chang.
promedia y la correccin neta

puede ser nula.
Se usa usualmente en una sola

capa H (porque los efectos de los
tringulos se cancelan
estadsticamente al bajar mas capas).
Fig. 024: Cancelacin de tringulos.
Capacidad de Inferir.
Inferencia: dar una respuesta aunque no se tenga toda la informacin

requerida.
Inteligencia
Experticia
Razonamiento
Etc.
Bajo condiciones controladas y despus de haber sido entrenadas

(Back-pro u otros mtodos) las redes neurales artificiales son capaces de
inferir.
Nota: Revisar Programa XY.cpp
Entrenamiento a gran escala.
La frmula base de Back Propagation puede aplicarse a sistemas

arbitrariamente complejos (3 capas, muchas entradas, muchas salidas).
Esto permite resolver problemas de muy alta dimensionalidad,
mediante entrenamiento finito.*
Durante estos procesos, bajo condiciones controladas, pueden
aparecer elementos de inteligencia artificial, especficamente la capacidad
de inferir.
*Alta dimensionalidad:
Visin Automtica o Visin Robtica.
19
Prof. O. Chang.
= ngulo de cobertura
= ngulo del cono
Generalmente y el omatdeo slo recibe luz si cae dentro de
su ngulo de cono.
Fig 025: Ojo primario (omatdeo)
En la naturaleza cada omatdeo puede tener varios axones (salidas)

en diferentes longitudes de ondas (color de la luz e intensidades).
Omatdeo binario.

deteccin de luz
Luz = 0.9
No luz = 0.1
Fig 026: Omatdeo binario.
Ojo compuesto. Omatdeos agrupados en esferas.
Fig. 027: ojo compuesto.
Imagen: combinacin de omatdeos ON OFF.
Fig. 028: Visin con ojos compuestos.
Ejemplos de la aparicin de la capacidad de Inferir.
20
Prof. O. Chang.
ALVINN Automatic Land Vehicle in Neural Network. Carnegie

Mellon University 1987.
OBJETIVO: manejar la camioneta usando imgenes de Video y

Video Depth (carro robot).
La Universidad de Carnegie Mellon ha tenido desde los aos 40 a

un grupo fuerte de trabajo en Robtica y en control complejo.
Desde 1985 tenan el siguiente equipo:
Fig 029: Imgenes de entrada (Video & Video Depth).
21
Prof. O. Chang.
Fig. 030: Procesamiento en red neuronal.
El target lo da un humano que sabe manejar.
Dimensionalidad:
Nmero de imgenes posibles:
32 pix * 32 pix = 1024 pix.
32 pix * 8 pix = 256 pix.
1280 pix. * 8 bits = 10260 bits.
Nmero de imgenes posibles = 210260.

Esto nos da un fichero enorme, infinito para todo fin practico.
Para el entrenamiento de ALVINN se utiliz un fichero
representativo de 1200 imgenes.
ALVINN representa el primer xito a gran escala del Back-Pro.
El entrenamiento se lleva 8 horas de Back-Pro en una
computadora grande.
Despus de 8 horas los pesos se estabilizan.
En algunos casos (genios) el error promedio disminuye
significativamente.
Se ha determinado que el nmero de neuronas H en ALVINN se

relaciona a la velocidad de aprendizaje de la siguiente manera:
o Muchas neuronas H (>64) se entrena rpido. (o no infiere).
o Contadas neuronas H (19) infiere bien.
o Pocas neuronas H (<19) no se entrena.
Resultados.
22
Prof. O. Chang.
La red maneja mejor y ms rpido en el mundo real! que todos los

sistemas previos.
Infiere una Red ALVINN bien entrenada?

Si, 99.99999...% de las veces!
Por qu puede inferir una red neural? (artificial, biolgica)
Ingeniera en reverso.
Dado el objeto final, encontrar como se llego a l.
Fig 031: Retinas y red neuronal con matrices de pesos en la capa Hidden.
Para un sistema genio dibjese (plot) estos pesos en relacin 1:1

con las neuronas de entrada.
Set 1:
Fig. 032: Patrn de pesos representativo de la data en la matriz de pesos.
El patrn verde de carretera aparece debido al comportamiento de

la data. Decimos que el patrn de pesos detecta o se amolda a una
caracterstica (Feature) de la data.
En muchos casos los pesos se organizan en patrones desconocidos

o aparentemente aleatorios.
23
Prof. O. Chang.
Fig. 033: Patrn aparentemente aleatorio.
Estos patrones pueden estar detectando otras caractersticas.
En el caso ALVINN entrenamos con un set finito (1200 fotos de

carretera), pero luego operamos con un set virtualmente infinito
(conjunto de imgenes del mundo real).
Estas Ganancia en la capacidad de procesamiento es
precisamente lo que queremos lograr en nuestros sistemas entrenables.
Fig. 034: Fichero de Entrenamiento
En el fichero del mundo real el 99.99999% de las fotos nunca

fueron mostradas durante el entrenamiento.
Si la foto no fue mostrada pero el sistema da una respuesta
correcta, entonces el sistema est infiriendo.
De dnde aparece la capacidad de inferir?
Ingeniera en Reverso en ALVINN.
24
Prof. O. Chang.
Fig. 035: Estructura de pesos para ALVINN.
Los 1024 elementos de entrada definen una matriz de pesos sobre

cada una de las neuronas H.
Una vez entrenado el sistema toda su capacidad de procesamiento
se ubica en el valor de los pesos (es lo nico que cambia en back-pro).
Veamos de cerca cada una de las matrices de pesos que se
formaron en las neuronas H.
Fig 036: 1 Matriz de pesos.
El comportamiento estadstico de la data queda atrapado en los

pesos.
A estos elementos (arreglos de pesos) se les llama Detectores de
CARACTERSTICAS (FEATURE DETECTORS).
Fig 037: 2 Matriz de pesos.
En algunos casos los patrones no parecen tener sentido

(aleatorios).
Sin embargo si desconectamos esta neurona H, el sistema se
degrada, lo cual indica que este patrn de pesos aparentemente aleatorio
25
Prof. O. Chang.
si produce informacin til, aunque nosotros no podamos descifrar como

lo hace.
Fig 038: El resto de las Matriz de pesos (3 a 19).
En resumen en todo sistema neural cuando aparecen detectores de

caractersticas el proceso se hace eficiente y el sistema es capaz de inferir
(generalizar).
La aparicin de detectores de caractersticas es espontnea y est

ligada al comportamiento estadstico de la data y al nmero de neuronas
en las capas H.
Visin Robtica.
ALVINN es un caso especfico de visin robtica. (Mamferos ver

Fig. 056).
Fig 039: Ojo de mamfero.
Ojos Radiales
Estn compuestos por muchos elementos bsicos llamados

omatdeos o facetas. Cada omatdeo es un ojo primario con los siguientes
elementos:
26
Prof. O. Chang.
Fig. 040: Omatdeo
Los omatdeos se agrupan en grandes racimos esfricos llamados

ojos compuestos.
Fig 041: Ojo compuesto.
Generalmente los lentes de los omatdeos estn diseados para

recibir luz solo si esta cae dentro del ngulo (espacial) cubierto por el
omatdeo.
Ej:
Fig 042: rango de visin del omatdeo
Ventajas de los ojos radiales:
Simples de modelar.
Simples de construir.
No requieren enfoque.
Visin Robtica.
Cuando aumenta el nmero de sensores el numero de posibles

imgenes alcanza rpidamente valores
astronmicos.
Para un robot que percibe imgenes del tipo Alvinn
con diecisis tonos de gris y mil sensores:
27
Prof. O. Chang.
D = 16 1.000 aprox 10 1100

Un uno seguido de mil cien ceros
A este tipo de espacio se les llama de alta Dimensionalidad
Fig 043: Red neural para visin robtica con ojos compuestos.
Nota: Revisar Programa BP_EYE.cpp
Aterrizaje automtico.
Uno de los problemas fundamentales de control complejo es lograr

que las aeronaves sean aterrizadas automticamente, mediante
computadoras:
28
Prof. O. Chang.
Ecuacin bsica de aterrizaje de Neuman- Foster (NASA)

www.nasa.gov.
Fig 044: Imgenes espacio de vuelo 2-D.
TX = K1*d + V0.
Donde:
TX : velocidad ideal (target) en el eje X.
V0 : velocidad mnima de sustentacin.
TY = K2*.
Donde puede ser positivo o negativo.
Nota: Revisar Programa S_BP_EYE.cpp
Sinpsis Dinmica.
En los modelos que hemos desarrollado hasta ahora (perceptron,

Adaline, Madaline, Back-pro) se cumplen dos condiciones bsicas:
1. Una vez entrenada la red, el valor de las sinpsis (pesos)
obtenidas se mantienen constante e inamovible.
2. La informacin neurona - neurona se transmite mediante
niveles DC.
n
OUT = sig ( INi * Wi )
i =1
Donde Ni es un nivel DC (analgico) y Wi es
un valor constante
Fig 045: Modelo bsico de neurona.
Desde el punto de vista de las neuronas biolgicas este

comportamiento es aberrante. En primer lugar la manera natural de
mover informacin es los axones es mediante trenes de pulsos.
29
Prof. O. Chang.
Fig 046: Tren de pulsos en neuronas naturales.
Es decir, en un perodo cualquiera T, una neurona enva a otra

neurona n pulsos. Los pulsos son angostos (0,1 mseg.), separados por
una distancia mnima permisible (0,3 mseg).
En el perodo T, controlando la separacin entre pulsos, se puede
enviar una seal DC equivalente:
1 n
Pdc = K * * pulso * Wi
n i =1
Si pasan pocos pulsos el nivel es bajo.
Si pasan muchos pulsos el nivel sube.
Aunque el medio sean pulsos, las neuronas todava pueden

comunicarse en DC. Por otro lado, si codificamos la informacin en
pulso/no pulso, el nmero de combinaciones transmisibles en el perodo
T se incrementa a 2n.
Donde n es el nmero de pulsos transmisibles.
Codificar la informacin en pulso / no pulso aumenta
exponencialmente la capacidad del sistema!
Por aos se debati si las neuronas biolgicas usaban niveles o
pulsos. Los ms recientes estudios indican que se usan ambas formas de
comunicacin.
Sinpsis Dinmica.
Los mtodos Hebbianos de aprendizaje (back-pro) contemplan un

valor nico y constante para cada peso (sinpsis) una vez que este se
establece.
El valor del peso se alcanza despus de una experiencia larga y que
perdura (long term potentiation o LTP).
30
Prof. O. Chang.
Fig 047: combinaciones con codificacin por pulso.
En las neuronas biolgicas, aparte del LTP existen otros fenmenos

sinpticos que ocurren en perodos de tiempo muy cortos.
Entre ellos tenemos:
I. Paired Pulse Facilitation (PPF): Facilitacin de pulso
apareado.
II. Paired Pulse Depression (PPD): depresin de pulso apareado.
Paired Pulse Depression.
En el segundo caso (PPD) un segundo pulso puede ser cancelado

(deprimido) si coincide con cierto efecto de realimentacin neuronal.
Ejemplos:
Fig 048: Depresin realimentacin simple.
La neurona est a punto de activarse. Si llega un pulso despus de

un retardo propio de la neurona (0.5 ms), sale un pulso en OUT. Este
pulso se realimenta a travs de una derivacin del axn y la sinpsis
depresiva D.
Si no llegan ms pulsos en la entrada, el sistema se estabiliza y no
ocurren nuevos fenmenos.
Si en el momento que el pulso realimentado llega a la sinpsis D,
llega otro pulso de entrada entonces el pulso recirculante deprime al
pulso entrante y su efecto post-sinptico (dentro de la neurona) es nulo.
31
Prof. O. Chang.
Fig 049: Depresin Demostracin con pulsos.
1. Un primer pulso de entrada, en t0, inicia el ciclo

2. Este pulso recircula y en 1 ms llega a la sinpsis D.
3. Si en ese momento entra un nuevo pulso (pulso apareado) este
ltimo es cancelado.
Fig 050: Input Output con y sin Depression.
Fig 060: Depresin Realimentacin mltiple.
En este caso compuesto, existen 4 realimentaciones y 4 instantes

de tiempo en que el segundo pulso (paired pulse) ser deprimido
(anulado).
Si C es la velocidad de propagacin de los pulsos (constante) los
tiempos crticos sern:
32
Prof. O. Chang.
l1
t1 = + 0.5
c
l
t 2 = 2 + 0.5
c
l
t 3 = 3 + 0.5
c
l
t 4 = 4 + 0.5
c
Fig. 061: Paired Pulse Depression
Paired Pulse Facilitation (PPF).
Fig 062: Facilitation realimentacin simple.
Tambin conocido como Rplica.

En este tipo de modulacin sinptica, si hay coincidencia entre
pulso entrante y pulso de retorno, el pulso entrante tiene ms efecto
(ms probabilidades de descargar neurotransmisor).
En algunos casos la facilitacin puede producir una rplica del

pulso entrante.
Ejemplo:
Fig 063: Facilitation - Demostracin con pulsos.
Respuesta compleja
33
Prof. O. Chang.
Fig 064: Facilitation y Depression realimentacin compleja
La respuesta de la neurona a un tren de pulsos complejo depende

en forma exquisita de la distribucin espacio-temporal de las sinpsis
dinmicas.
Fig 065: Facilitation 1 pulso extra modulacin.
Modelos Matemticos
Existen varias representaciones matemticas de la sinpsis

dinmica. Esbozaremos algunos de ellos para futuras referencias.
Modelo Berger Liaw.
dR
R = = R + k R AP
dt
R (0.5 mseg) es la constante de tiempo de R para todos los

terminales presinpticos y kR = 10.0.
Sigue el desarrollo matemtico (ver paper) y concluye:
34
Prof. O. Chang.
dV
R = = V + EPS P j
dt
Donde V = Potencial de la membrana.

V = 1.5 mseg Constantes de tiempo en orden de 1 mseg.
Conclusiones
1. Se trabaja siempre con constantes de tiempo y decaimiento

exponencial.
Fig 066: Decaimiento exponencial.

2. El decaimiento exponencial depende del potencial interno de la
neurona (V) y de la conocida sumatoria de productos (EPS*Pj)
3. Modelar a la neurona y sus sinpsis requiere la solucin (modelaje)
de ecuaciones diferenciales.
Modelo Doerksen
El tren de pulsos es representado por:
{ t1 < t2 < t3 < ... tn }

donde ti representa la ocurrencia de un pulso en el tren.
Fig 067: Los pulsos nunca se sobreponen.
La existencia de las desigualdades (<) garantiza que nunca dos o

ms pulsos puedan sobreponerse.
Las sinpsis funcionan a manera de generar una secuencia S(t)
que contiene elementos (pulsos) ti t y que resultan en la liberacin
(release) de neurotransmisores.
35
Prof. O. Chang.
Los pulsos viajan hasta la sinpsis y all liberan neurotransmisores

No todos los pulsos lo hacen S(t) S(t).
La probabilidad de descargar neurotransmisores desde una
sinpsis est dado por:
p s (t i ) = 1 e C (ti )V ( ti )
Donde:
ps(ti) = probabilidad de que en el i-simo pulso se descarge
neurotransmisores en la sinpsis s.
C(t) 0 estado de facilitacin de la sinapse en tiempo ti.
V(t) 0 estado de depresin de la sinapse en tiempo ti.
La dinmica de facilitacin est dada por:
C (t ) = C0 + c(t t i )
ti < t
C0 = parmetro biolgico (desconcentracin de iones de Calcio)

s
c
C ( s) = e
c = respuesta dinmica de C.
s = variable de correlacin f(t-s) f(t-)
V (t ) = max ( ,Vo v(t t i ) )
etc.
Conclusiones del Modelo Doerksen.
1. La descarga de neurotransmisores, y por ende la variacin real del

potencial interno de la neurona, es un proceso estadstico.
2. Esta estadstica depende de dos estados neurales llamados C(t)
(facilitacin) y V(t) (depresin). Los estados C(t) y V(t) estn
relacionados y siguen a su vez leyes de decaimiento exponencial.
3. La solucin (modelaje) requiere de la solucin de ecuaciones
diferenciales.
Modelo Simplificado Operativo
Fig 068: Modelo simplificado operativo
36
Prof. O. Chang.
1. Cada sinpsis puede ser realimentado con elementos de

facilitacin y depresin.
2. Cada realimentacin puede ocurrir a un tiempo diferente, dado por
la caracterstica espacial (longitud) del axn de realimentacin.
3. Asumimos que la neurona est muy cerca de su umbral de
operacin, por lo que los pulsos entrantes tienen un efecto casi
inmediato en la salida.
4. La operacin depresin tiene prioridad sobre la operacin F.
5. Los decaimientos exponenciales a corta escala son tomados como
pulsos constantes.
Fig 069: Pulso exponencial se modela como Cuadrado.
Ejemplo Simple:
Fig 070: Ejemplo con modelo simplificado.
Si chocan D con In cancela In.

Si chocan F con In has una rplica de In.
Una vez conocidos estos parmetros podemos predecir (calcular)
como se comporta el tren de pulsos de salida, ante un tren de impulsos
de entrada.
Ejemplos:
37
Prof. O. Chang.
Fig 071: Paired Pulse Depression y Paired Pulse Facilitation
Objetivo: Desarrolle un proceso que permita calcular el tren de

pulsos de salida, dados un tren de pulsos de entrada y varias
realimentaciones D y F.
Fig 072: Implementacin de Sinpsis dinmica en Tiempo real y en Tiempo simulado
Para simular asumamos que nuestro tren de pulsos llega como

una secuencia de ceros (0s) y unos (1s).
38
Prof. O. Chang.
La condicin 11 (dos unos seguidos) significa dos pulsos separados

por el mnimo tiempo permisible.
Fig 073: Hardware codificador de pulsos
Pasos a seguir para avanzar una unidad de tiempo (0.5 mseg).

1 Correr FIFO (Shift STM).
2 Cargar la entrada.
3 Calcular salida de operacin D.
4 Cargamos BS en salida (OUT).
5 Resultado de Operacin en D en BS.
6 Avanzar punteros de IN & OUT.
7 GOTO 1.
Modelo para procesamiento y simulacin.

Versin 1.1
Asumimos que muestreamos a tasa constante y mnima.
39
Prof. O. Chang.
Fig. 074: Modelo para Procesamiento V. 1.1.
El modulador acta como una rejilla o grid que deja pasar o no al

pulso entrante de acuerdo con la regla:
If MOD- == 1 Depress incoming pulse
Else: Do nothing.
Fig. 075: Ejemplo con Depression.
En general:
40
Prof. O. Chang.
Fig 076: Modelo general aplicable a n realimentaciones.
Facilitation o Replica:
Fig 077: Modelo con Replica.
El tamao del internal FIFO (nmero de delays) depende de la

separacin entre rplica y la normal.
If MOD+ == 1 copy incoming pulse in internal FIFO.

Else: Do nothing (NULL)
Asimismo, la separacin del pulso de rplica depende del nmero

de registros en el FIFO interno
41
Prof. O. Chang.
En general:
Fig. 078: Modelo general aplicable a n realimentaciones.
Caso Completo:
Fig. 079: Caso completo general con Depresin y Facilitation simultneas.
42
Prof. O. Chang.
Conversin Espacio-tiempo a Espacio.
Fig 080: Conversin espacio-tiempo a espacio.
Sistemas Shakleford (Redes Hopfield)
Problemas NP (Non polinomial).
En ingeniera, y en las ciencias en general, existen problemas

aparentemente triviales pero que resultan extremadamente difciles de
resolver en forma analtica cuando el nmero de variables alcanza
valores triviales.
Ejemplo:
Problema del agente Viajero
TSP Traveling Salesman Problem
Dada n ciudades a, b, c, en un plano trace una ruta donde:

1. Todas las ciudades sean visitadas una (y solo una) vez.
2. Se regresa al punto de partida.
3. El recorrido sea mnimo (ahorro de combustible) o mximo
(sistemas difusores).
Fig. 081: Dos recorridos distintos entre 6 puntos.
Cul ruta es ms corta?
43
Prof. O. Chang.
Cul ruta es mejor?
Depende del objetivo:

Para una araa, la ruta ms ptima ser la roja.
Para un conductor l a ruta ms ptima ser la azul.
Cuntas rutas posibles existen?

1 Seleccin (ciudad de partida) 6
2 Seleccin 5
3 Seleccin 4
4 Seleccin 3
5 Seleccin 2
6 Seleccin 1
n!
Cuntas rutas existen para 36 ciudades?

36! 1041 = 106 * 106 * 106 *...
Si procesamos a 100 rutas/seg (Pentium IV)

1 ao 106 seg
102 * 106 = 108 rutas/ao
10 41
# aos = 8 = 10 33 aos = 10 6 10 6 10 6 10 6 10 6 10 3
10
Las redes neurales organizadas en forma apropiada, pueden

resolver eficazmente los problemas NP.
De hecho las redes neurales proporcionan las soluciones ms
genricas conocidas (se explora todo el espacio).
El n-flop.
Estructura neural realimentada sujeta a condiciones de variacin

de energa (calentamiento-enfriamiento).
Su comportamiento sigue las leyes de Boltzmann, propia de los
sistemas fsicos cristalinos.
Estructura bsica.
Fig. 082: Estructura bsica del n-flop
1. Existe un arreglo (capa) de n neuronas 1,2,3,...N.
44
Prof. O. Chang.
2. Cada salida de neurona OUTi se realimenta a todas las otras

neuronas (menos a s misma) con un peso nico e igual a 1.
3. Existe una entrada excitatoria K comn a todos los participantes,
que puede asumir cualquier valor positivo y se conecta con un
peso +1.
Seguimos usando el modelo general estudiado anteriormente para

la neurona (Fig. 093).
Fig. 083: Modelo General de neurona.
Estructura bsica.
Fig. 084: Estructura bsica del n-flop.
Si K = 0, las n neuronas se inhiben mutuamente y sus salidas se

aproximan lentamente al cero absoluto. (todas las neuronas con salida
0). Este punto terico solo se alcanza cuando t infinito.
t = tiempo de operacin.
Calentamiento.
Si K sube paulatinamente, todas las salidas deben subir.
9
10 neuronas ((OUTi ) (1) ) + K K>n
j =1 j i
De hecho si K > n todas las neuronas deben estar sobre 0.5 (ley
de la sigmoide).
45
Prof. O. Chang.
Para un valor de K >> n todas las neuronas entran en saturacin

OUTi 1.
Fig 085: Sistema caliente o de alta energa.
Si K desaparece bruscamente el sistema cae en una

indeterminacin matemtica. La nica manera de encontrar una
solucin es recurrir a las estadsticas (mecnica cuntica).
Si las neuronas fueron entes fsicos estaran sujetas a ruido

trmico.
Fig. 086: Efectos de ruido trmico.
46
Prof. O. Chang.
Fig 087: Variacin temporal de las seales de salida.
En simulacin podemos lograr el mismo efecto simplemente

disparando las neuronas involucradas en orden aleatorio.
1. i = random (n); //i entre n y 1

2. fire_neurona_i
3. goto 1
fire_neurona_i{
for j=1 n, j I
OUTi = sig ( OUT j 1)
}
Si repetimos el proceso de calentar-enfriar muchas veces

encontramos que siempre queda un solo ganador, pero este ganador es
aleatorio (impredecible).
El n-flop se comporta como un generador aleatorio de sintaxis fija.
Sistemas Shakleford.
Resumen:
1. Neuronas normales tipo back pro.
47
Prof. O. Chang.
2. Estructura de realimentacin cristalina esto es con reglas bsicas

e inviolables de formacin de elementos (redes) eventos lgicos o
toma de decisiones (CRISTALOGRAFA).
3. Existe un elemento comn K, que afecta simultneamente a todos
los participantes y produce variaciones importantes en los niveles
de energa.
Mundo Fsico.
En el mundo fsico hay cosas muy parecidas:

Grano de sal:
Bajo cierta temperatura crtica llamada de

CRISTALIZACIN, las molculas del cloruro de sodio
estn obligadas por leyes atmicas subyacentes a
organizarse en cubos de dimensiones y posiciones
exactas en trmino de radios atmicos.
Fig. 088: Molcula de NaCl.
i 2
TOTAL = (OUTi ) K energa del sistema.
Fig. 089: Estructura Shakleford
48
Prof. O. Chang.
Fig 090: Relacin con fsica de los gases
Si se tiene un 4-flop
Fig 091: Calentamiento y enfriamiento de un 4-flop.
Para ciertos rangos de K (nivel de excitacin) y G (Ganancia interna

de la neurona) el sistema siempre termina en una forma CRISTALINA
para donde existe un y solo un ganador (salida alta 0.41) y n-1
perdedores (salida baja 0.004 cien veces menos que el ganador).
El flop se comporta como una fuente confiable de ruido.
El n2 flop.
Estructura de flop de dos dimensiones.
49
Prof. O. Chang.
Fig 092: Estructura del flop de dos dimensiones.
Fig 093: Modelo simplicado del flop de dos dimensiones.
Ejemplo con 4-flop:
50
Prof. O. Chang.
Fig 094: Ejemplo de una corrida en un 4-flop
Existe un (y solo un) ganador por fila-columna. Cada fila-columna

se denota por un color en la Figura 104.
Cuntas salidas posibles existen para un n2 flop?

Respuesta: n!
Qu pasa dentro de un 362 flop?
Generador Primario de Soluciones.
6 ciudades. Resuelve el TSP.
Fig. 095: Correspondencia directa entre salida del flop y ruta. a) Salida del 62 Flop b) Mapa de
ciudades visitadas
Genera rutas aleatorias.
51
Prof. O. Chang.
Fig 096: Varias rutas posibles a partir del 62 Flop.
Todas las rutas que se obtienen son vlidas pero no tiene valor
desde el punto de vista estadstico/optimizacin.
Agregando pesos extra a las estructuras flop podemos modificar
sus estadsticas y obtener resultados ptimos o cuasi-ptimos para
problemas NP.
Fig 097: Ajuste de probabilidades (+W1 1).
Cuando a se perfila como ganador, ayuda a d. A la larga las

estadsticas de a desmejoran (gana menos de su esperado 25% de las
veces) y las de d mejoran (gana ms del 25%).
Efecto de campo
Fig. 098: Estadsticas de salida del Flop (antes).
Fig 099: Estadsticas de salida del Flop con efecto de campo (despus).
52
Prof. O. Chang.
Fig 100: Estadsticas de salida del Flop con efecto de campo negativo sobre una sola neurona.
En resumen: los pesos extras (inhibitorios o excitatorios) cambian

las estadsticas del flop.
Solucin para hallar rutas con recorrido mnimo.
Fig 101: Preparacin para recorrido mnimo.
A X
B 1.00 X
C 0.90 0.50 X
D 0.42 0.71 0.31 X
E 0.65 0.62 0.98 1.00 X
F 0.30 0.85 0.70 0.69 0.40 X
A B C D E F
Tabla de distancias normalizada - Peso MAX = 1.
Regla de Gradiente.
Si estas en una ciudad X, la proxima que visites debe ser la ms

cercana a X (que no haya sido visitada).
53
Prof. O. Chang.
Corolario:
La ciudad desde donde llegaste a X debe ser la ms cercana

posible.
Fig 102: En algunos recorridos los mnimos locales dan respuestas no ptimas.
Fig 103: Proceso de Annealing (recocido).
Para toda neurona i, conctese con todas sus columnas vecinas

con un peso inhibitorio igual a la distancia entre las ciudades
respectivas.
Fig 104: Conexin con columnas vecinas.
Resultado Final:
Programa CIUDAD.PAS
Bench-mark (para programas optimizadores).
Efecto Cluster:
CLUSTER Reunin o grupo de ciudades en un mapa dado.
54
Prof. O. Chang.
Cada Cluster crea un campo de atraccin, esto es, si el modelo es

bueno una vez que entramos a un cluster debemos quedarnos all hasta
que visitemos todas las ciudades del mismo.
Fig 105: Mapa con Clusters, resuelto con programa ciudades.PAS.
Rueda de Carreta:
Se da cuando tenemos una alineacin radial alrededor de un

punto.
Fig 106: Rueda de Carreta.
El n2 flop con todos los pesos extras de distancia se comporta

como un experto en trazar rutas!
Otro ejemplo:
Tenemos un rea de silicn y se debe colocar un chip en cada
celda.

1 2 3 4

5 6 7 8

9 10 11 12
rea de Silicn.
Cuntas distribuciones (Chips/reas) existen?

Hay n!.
Solucin genrica.
(un chip por celda).
55
Prof. O. Chang.
Por Potencia consumida
El criterio de seleccin se hace por potencia, de manera tal que los

Chips que consuman ms potencia se ubiquen en el borde superior del
rea. (Celdas 1,2, 3 y 4).
Fig 107: Seleccin por potencia.
Potencia Consumida.
Chip Potencia (W)

1 0.52
2 1
3 0.7
4 0.01
5 0.001
6 0.23
7 0.5
8 0.8
9 0.4
10 0.28
11 0.8
12 0.4
56
Prof. O. Chang.
Regla de Gradiente:
Chips con ms potencia es la parte superior (Celdas 1, 2, 3 y 4).
Por Nmero de lneas entre Chips
1 50 lneas.
Regla de Gradiente:
Chips con ms conexiones mutuas deben estar cerca. (esto
minimiza el nmero de cruces de lneas y baja los costos).
1X
2 1.00 X
3 0.10 0.50 X
4 0.00 0.20 0.40 X
11 0.00 0.00 0.70

12 0.30 0.20 0.00 X
1 2 3 12
*
1
*
2
*
3 4
En donde 1 en la celda 6 representa al Chip 1 y
*
5
1
6
*
7 8 los asteriscos (*) indican las celdas que estn
*
9
*
10
*
11 12 relacionadas en cuanto a nmero de lneas.
57
Prof. O. Chang.
Fig 108: conexiones del n2 flop para optimizar el nmero de lneas del Chip 1 en la Celda 6 (los pesos
no se muestran en esta figura).
Asumimos que un chip cualquiera empieza a ganar en una celda

especfica. Marcamos las columnas correspondientes a las celdas
vecinas. Establecemos pesos positivos e igual al nmero de conexiones
entre chips, con esas celdas vecinas.
Repetimos para todas las celdas.
Resultado final:
58
Prof. O. Chang.
Fig 109: Resultado Final para optimizacin de Potencia y nmero de interconexiones.
En la figura no se muestran pero se deben incluir los pesos del flop

y los pesos por conexiones mutuas.
Problemas Asimtricos.
Ejercicio:
Distribucin de fondos fiduciarios.
1. Coloque 10 fondos fiduciarios (bolsas de dinero) en 30 das. No debe

colocar ms de un fondo por da.
2. Los fondos grandes deben ir lejos de quincena.
3. ...
...
15.
As tenemos 15 condiciones posibles.
59
Prof. O. Chang.
BIBLIOGRAFA RECOMENDADA.
INDICE.
ANEXOS.
60

Apuntes Redes Neurales Oscar Chang 2014

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Apuntes Redes Neurales Oscar Chang 2014

Transféré par

Droits d'auteur :

Formats disponibles

Universidad Simn Bolvar.

Ejemplos de Problemas aparentemente triviales pero difciles de

1.- Reconocimiento de Patrones (pattern Recognition).

Fig. 001: Electrocardiograma.

1.c) Huellas digitales o dactilares.

2.- Control Complejo

Fig. 002: ALVINN.

2.b) Visin con ojos compuestos (insectos)

Fig 003: Ojos compuestos

La liblula posee 30.000 omatdeos por ojo.

Fig. 004: Liblula.

Problema del agente viajero (TSP Traveling salesman problem).

Dado un mapa X,Y y varios puntos (ciudades) A, B, C,... N, trace

Cuntas rutas posibles existen?

Si tomamos en cuenta un caso de la vida real similar a este

En un computador rpido podramos procesar 100.000 = 105

Obteniendo un tiempo de procesamiento de:

Modelos neurales: Hopfield, Shakleford,...

4.- Reconocimiento de palabras habladas.

La nica forma de reconocer palabras en forma confiable es hallar

La mayora de los sistemas que se estudian en ingeniera son

Existen otros sistemas llamados conexionistas donde toda conexin

Ej: Neuronas biolgicas, neuronas artificiales, sistemas expertos,

Redes Neurales Biolgicas.

Neurona: clula biolgica especializada en procesar informacin.

Fig. 006: Neurona tpica.

Las neuronas estn inmersas en el plasma sanguneo, el cual

Fig. 007: Flujo de iones ( K- < Na-).

Cuando su potencial interno pi alcanza los 60mV la neurona se

Fig. 008: Sinapsis.

Cada sinapsis tiene una masa especfica que determina el peso o

Las sinpsis pueden ser excitatorias (+) o inhibitorias (-).

Fig. 009: Diferentes pesos de conexin.

Las neuronas se comunican mediante eventos de corta duracin

Las descargas dependen de la naturaleza (+, -) y tamao de las

Fig. 010: Comunicacin interneuronas.

La cantidad de carga producida por cada pulso entrante depende

Fig. 011: Modelo Esquemtico de la Neurona.

Principio de la Sumatoria Producto.

El producto sumatoria es una cadena de operaciones especficas y

Cmo se produce el efecto a nivel biolgico?

Fig 012: Modelo Esquemtico de conexin.

Debido al funcionamiento electroqumico de los axones, las

Fig. 013: Pulsos sinpticos.

En resumen el pi de una neurona es una funcin conectiva (y muy

Esta funcin de activacin tiene una derivada continua,

Algunas Caractersticas fsicas de las neuronas biolgicas.

Fig 014: Curva de transicin Neurona natural.

Su respuesta es similar a un VCO, al variar el voltaje, cambia la

Existen varios modelos matemticos de neuronas. Los m[as

Modelo completo (DC) de neurona artificial.

Fig. 015: Modelo Standard.

Fig 017: Modelo Equivalente.

OUT = 1/(1+ e (-0.5)) = 1/(1+ e 0.5) = 0.3775...

Fig 018: Comparacin en cifras del Alambrado interno.

El alambrado interno de los cerebros biolgicos es complejo y hoy

Como veremos ms adelante la capacidad de procesar est ligada

Una de las aplicaciones ms poderosas de las redes neurales es

De gradiente mximo Regla Delta

Mtodos Evolutivos Auto Formulacin, etc...

Existen muchos procesos informticos donde debemos hallar una

Fig 019: El alpinista en las montaas nubladas

El alpinista debe moverse hacia el punto de menor altura posible,

* Toma de decisiones para minimizar el error.