Académique Documents
Professionnel Documents
Culture Documents
Carlos Montenegro A.
2017
AGENDA
z Teoría de McCulloch-Pitts
La actividad de una neurona es un proceso todo-nada (0-1)
z Aprendizaje de Hebb
La actividad persistente de una neurona puede influenciar en el
comportamiento de neuronas relacionadas.
Ej: condicionamiento de una conducta
2.1 Redes Neuronales Biológicas y Artificiales
z Kohonen:
Redes interconectadas masivamente en paralelo, de elementos
simples (usualmente adaptivos) y con organización jerárquica,
las cuales intentan actuar con los objetos del mundo real del
mismo modo que lo hace el sistema nervioso biológico
z Hecht-Nielsen
Sistema de computación hecho con un gran número de
elementos de proceso simples interconectados, que procesan
información como respuesta a entradas externas
z Elementos:
Conjunto de entradas, xj
Pesos sinápticos, wi a
Función de activación: y
w1·x1+ w2·x2 + ... + wn·xn = a
Función de transferencia:
y = F (w1·x1+ w2·x2 + ... + wn·xn )
Bias o polarización: entrada constate de magnitud 1, y peso b
que se introduce en el sumador
2.1 Redes Neuronales Biológicas y Artificiales
Sigmoide
Gaussiana.
2.1 Redes Neuronales Biológicas y Artificiales
a1
y1
a2
y2
an
yn
2.1 Redes Neuronales Biológicas y Artificiales
Salida
Oculta
z Tipos de entrenamiento:
Supervisado.
Si salida incorrecta
z Ejemplo: OR
Salida
Muestra x1=l1 x2=l2 x3=l3
deseada
1 0 0 1 0
2 0 1 1 1
3 1 0 1 1
4 1 1 1 1
2.2 Aprendizaje del Perceptrón.
# x1 x2 t
x2 -------------
3 4
1 0 0 0
3 0 1 1
1 2 2 1 0 1
x1 4 1 1 0
-------------
2.2 Aprendizaje del Perceptrón.
0 0 1 1 1 1 1 1 1 1
9 1 1 1 1 1 1 0 1 0
8 1 1 1 1 1 1 1 1 0
7 0 0 1 1 1 0 0 1 0
6 1 1 1 0 1 1 1 1 0
5 1 1 1 0 1 1 0 1 0
4 1 1 0 1 1 0 0 1 0
3 1 0 1 1 1 1 0 1 0
2 1 0 1 1 0 1 1 1 0
1 0 0 0 1 1 0 0 1 0
2.2 Regla Delta
Widrow-Hoff o Delta
Di =d lr xi
Wi (t+1) = Wi (t) + D i
Razón de aprendizaje lr
Si las neuronas son
lineales=> un único
mínimo
2.2 Redes Neuronales Lineales
1
-0.5
1 -0.5
1 z1 1 y
-1.5
x1 1 -1
1 z2
x2 1
z1 (x1 x2 0.5)
y (z1 z2 0.5)
z2 (x1 x2 1.5)
2.2 Problema XOR
# x1 x2 t z1 z2 y
z2 -------------------------
4
1 0 0 0 0 0 0
3 0 1 1 1 0 1
1 2 3
z1 2 1 0 1 1 0 1
4 1 1 0 1 1 0
-------------------------
z Descripción:
Tras inicializar los pesos de forma aleatoria y con valores
Adelante
z Detalles:
SSE: E=SEp=S (ypk-opk)2
z Pasos:
Inicialización:
Construcción de la red.
Inicialización aleatoria de pesos y umbrales (-0.5, 0.5)
Criterio de terminación (número máximo de iteraciones,…).
Contador de iteraciones n=0.
Fase hacia delante:
Parálisis de la red.
Mínimos locales.
2.3 Algoritmo Backpropagation IV
Subaprendizaje o Underfitting.
Memorización o Sobreaprendizaje (Sobreentrenamiento).
Caracterización de la red. ¿Cuantas capas, cuantas neuronas en
cada capa, factor de aprendizaje…?
Herramientas para RNA
Backpropagation en MATLAB
Retropropagación
Dígito X0 X1 X2 X3 X4 X5 X6 X7
0 0 1 1 1 1 1 1 1
9 1 1 1 1 1 1 0 1
8 1 1 1 1 1 1 1 1
7 0 0 1 1 1 0 0 1
6 1 1 1 0 1 1 1 1
5 1 1 1 0 1 1 0 1
4 1 1 0 1 1 0 0 1
3 1 0 1 1 1 1 0 1
2 1 0 1 1 0 1 1 1
1 0 0 0 1 1 0 0 1
2.4 Redes de Aproximación e
Interpolación
Control de sistemas.
z Redes dinámicas:
Respuesta a:
z Aprendizaje:
Inicialización de los pesos wij
Vive en el agua?
Tiene escamas?
Tiene plumas?
Pone huevos?
Tiene pelo?
Vuela?
Perro 1 0 0 0 0 0
Gato 1 0 0 0 0 0
Murciélago 1 0 0 1 0 0
Ballena 1 0 0 0 1 0
Canario 0 0 1 1 0 1
Petirojo 0 0 1 1 0 1
Avestruz 0 0 1 1 0 1
Serpiente 0 1 0 0 0 1
Lagarto 0 1 0 0 0 1
Caimán 0 1 0 0 1 1
2.5 Hopfield
z Hopfield:
Las redes de Hopfield pueden usarse como un modelo sencillo
para explicar como ocurren las asociaciones entre ideas (o
recuerdos) en las redes de neuronas del cerebro.
Así, una idea parcial sería un estado de activación que formaría
parte del área de atracción de una idea más general, la cual
actuaría como punto de equilibrio del área de atracción. De
forma que al introducir la idea parcial en la red, se puede llegar
a alcanzar la idea general (el equilibrio).
A su vez, debido a que las áreas de atracción indican sólo una
probabilidad (generalmente diferente de 1), este modelo
permite explicar también la incertidumbre que se produce en las
asociaciones: una idea parcial, a pesar de tener alta
probabilidad de desembocar en la idea general, puede
desembocar también en otras ideas diferentes (que actúen
como puntos de equilibrio).
2.5 Hopfield
z Hopfield:
Una posible aplicación informática de las redes de Hopfield es el
desarrollo de memorias direccionadas por contenido: los
elementos de la memoria no estarían ordenados según índices
numéricos, sino según parte de su contenido.
Así, las en memorias actuales cada conjunto de datos presenta
asociada una dirección numérica (dirección de memoria), de
manera que es necesario usar esta dirección para poder
recuperar los datos asociados a ella. Mientras que las memorias
basadas en redes de Hopfield permitirían que introduciendo
datos parciales (que formen parte de un área de atracción) la
memoria devolviera el conjunto de datos completo (equilibrio
para el área de atracción).
2.5 Hopfield
2.5 Hopfield
2.5 Hopfield
2.5 Hopfield
2.5 Hopfield
Ejemplo: Hopfield
Ejemplo: Hopfield
Ejemplo: Hopfield
Redes No Supervisadas en MATLAB
2.6 RNA en MATLAB
2.6 RNA en MATLAB
2.6 RNA en MATLAB
2.6 RNA en MATLAB
2.6 RNA para Deep Learning (DNN)
Perceptrón multicapa
z Número de Capas
z Número de Neuronas
z Interpolación y Extrapolación
z Convergencia
2.6 Trabajo con RNA
La arquitectura.
El algoritmo de entrenamiento.
2.6 Trabajo con RNA
z Selección de la salida
Estará determinada por la naturaleza del problema.
Pueden ser:
Salidas binarias o
Escala de grises (valores continuos)
z Número de capas
La red de retropropagación usa generalmente tres capas.
Es mejor usar dos capas ocultas pequeñas que una sola muy
grande
z Función de la Capa Oculta
Actúa como Sintetizador.
z Número de neuronas
El número adecuado de neuronas ocultas se determina a
través de la experimentación.
Muy pocas neuronas ocultas impide el correcto mapeo de la
entrada a la salida
Muchas neuronas ocultas conduce a la memorización de los
datos sin extraer las características para la generalización.
Para una sola capa oculta se recomienda el número de
neuronas ocultas como 2/3 de número de entradas.
Cuando se usan dos capas ocultas el numero de neuronas
es significativamente menor en cada capa
Las redes neuronales con mayor número de entradas
respecto al numero de salidas trabajan mejor.
Un número mayor de salidas hacen mas duro el
entrenamiento.
2.6 Recomendaciones
z Normalización de Datos:
Los datos numéricos deben ser normalizados o escalados
z Algoritmos Genéticos
2.8 APLICACIONES
z Detección de patrones
z Conversión de texto a voz
z Procesado de lenguaje natural
z Filtrado de señales
z Segmentación de datos
z Predicción
z Identificación de sistemas
2.8 TRABAJO: S&P500
z Variables
Month
MonthDay
WeekDay
OpenPerc: Para slots S1 and S2. Sea el valor Open de S1 como X1, y S2
para X2, OpenPerc para S2 is (X2 - X1)/X1*100
LowDiff: Para S1 and S2. Si L1 y L2 son los valores minimos para S1 y
S2, el valor para S2 es (L2 - L1).
HighDiff: similar a LowDiff.
CloseDiff: si S1 and S2 tienen valores de cierre C1 y C2, es (C2 - C1).
VolDiff: si S1 and S2 tienen valores de cierre V1 y V2, es (V2 - V1).
RangeDiff: Para S1 y S2, los valores altos y bajos son H1, H2, L1 y L2.
Range para S1 es R1 = (H1 - L1) y para S2 es R2 = (H2 - L2).
RangeDiff para S2 is (R2 - R1).
2.8 Aplicación: S&P500
RANGEDIFF
OPENPERC
CLOSEDIFF
WEEKDAY
HIGHDIFF
LOWDIFF
VOLDIFF
MONTH
6 7 6 0 0 0 0 0 0
6 10 2 13.98999 4.289917 -0.569946 -393260000 -9.700073 1.193649287
6 11 3 -16.339966 -8.559936 -16.680054 456980000 7.78003 -0.366640654
6 12 4 -12 -2.420044 -13.609985 -233160000 9.579956 -0.530932598
6 13 5 -2.850098 1.540039 23.839965 176070000 4.390137 -1.091446166
6 14 6 15.890015 1.550049 -9.630005 -439220000 -14.339966 1.449616701
…. …. …. …. …. …. …. …. ….
2.8 Aplicación: S&P500
z Arquitectura
2.8 Aplicación: S&P500
z Resultados (Extracto)