Modelos de redes neuronales

Modelos de Cerebro
Inteligencia Artificial Neurobiolgico
Modelos
Neurobiolgicos
Modelos
Tericos
Modelos de funcin
Neurobiolgicos
Globales
Tericos
Globales
Modelos Detallados
de subsistemas
Teora de Autmatas
Principios de
Organizacin Organizacin
Modelos de
subsistemas
particulares
Modelos de
conjuntos
Neuronales
Modelos de Fenmeno
Elctrico
Ejemplo: Cerebelo
Sistema Continuo? Sistema Contiguo?
Modelos de rbol
lgebra de Boole
Modelo de
Modelo de
Concepto de Membrana
Modelos de Redes
Neuronales
Concepto de Neurona
Modelos de rbol
Dendrtico
Modelo de
Membrana
Modelo de
Cable
Modelos de
Modelos Membrana
Neuronas Formales
Redes Formales
Redes de
Estructura
Realstica
electrognesis de la
membrana
Modelos Membrana
Cable de clulas
nerviosas enteras
distribuidas
espacialmente
Neuromimas
Realstica
Propuesta de Modelos Jerrquicos de sistemas cerebelares
espacialmente
Redes neuronales: una disciplina eclctica
Modelos Neuronales
Representacin conceptual de datos concernientes a Representacin conceptual de datos concernientes a
neuronas o sistemas de ellas.
C t ti Caractersticas.
Formadas por elementos simples.
Potentes en organizacin (paralelismo masivo)
Potencia heurstica para relacionar y subrayar conceptos.
Predictivas.
Aplicaciones de los Modelos Neuronales
Modelos bioinspirados
Modelos bioinspirados
Neurogrid Standford University
cole Polytechnique Fdrale Laussane
IFAT 4G - Johns Hopkins University FACETS Heidelberg University
Memristor (HP Labs): The future of AI
La existencia del memristor fue propuesta por
primera vez en 1971 por el ingeniero elctrico
Leon Chua (Universidad de Berkeley) Leon Chua (Universidad de Berkeley)
Hay cuatro variables fundamentales de circuito:
corriente, voltaje, carga y flujo (cambios de voltaje),
pero hasta ahora, las relaciones se haban definido
para slo tres de las variables:
Una resistencia se opone a la corriente elctrica,
por lo que relaciona voltaje con corriente.
U d d l Un condensador almacena energa en un campo
elctrico entre dos conductores, por lo que relaciona
carga con voltaje.
Un inductor almacena energa en un campo
magntico creado por la corriente elctrica que lo
atraviesa, por lo que relaciona flujo con corriente.
Memristor (HP Labs): The future of AI
Chua crea que deba haber un elemento que
relacionaba carga elctrica con el flujo, y calific este
elemento por descubrir como memristor ya que podra
El i t i t d d tit i t d
elemento por descubrir como memristor, ya que podra
"recordar" los cambios en la corriente que pasa a travs
de ella, cambiando su resistencia.
El memristor consiste en dos capas de titanio conectado
a un cable de 150 tomos de espesor: hay 17 de ellos en
la imagen.
La resistencia de una capa puede ser modificado por una
cierta cantidad de corriente que haya fluido a travs de la
otra capa.
Si una carga fluye a travs de un memristor en una
direccin, aumenta la resistencia del memristor, y si la
carga fluye en direccin opuesta, su resistencia carga fluye en direccin opuesta, su resistencia
disminuye.
Si la carga se elimina, el memristor mantiene el nivel de
i t i t d l i t t b resistencia que tena cuando la corriente estaba
presente.
Memristor (HP Labs): The future of AI
La resistencia al flujo
de electricidad
depende de la
cantidad de carga que
ha pasado
i t t recientemente a
travs de l.
Funciona porque p q
reorganiza su
estructura interna
como los flujos de
carga: resistencia con
memoria - por lo tanto,
la contraccin,
Los actuales equipos tienen que ser reiniciados cada vez que se enciende.
"memristor".
Sin embargo, debido a que un memristor puede recordar los voltajes, un equipo hecho
por memristor podra decirse que nunca necesita reiniciarse.
Memristor (HP Labs): The future of AI
Actualmente, HP Labs han creado simples Actualmente, HP Labs han creado simples
dispositivos de almacenamiento de datos
utilizando memristores capaces de almacenar 100
Gb en un nico chip de un centmetro cuadrado p
(ms que los 16 Gb por chip flash).
En el futuro, HP piensa que puede conseguir que
hasta 1 Tb por centmetro o ms con la hasta 1 Tb por centmetro o ms ... con la
velocidad de acceso de la DRAM.
Memristors tambin sern tiles en la creacin
de procesadores analgicos: cuando hay un
cambio pequeo en la carga, el cambio en la
resistencia tambin es menor (como las
i t ) conexiones entre neuronas).
Memristor (HP Labs): The future of AI
The future of AI and the singularity
El objetivo de desarrollar estos "sistemas biolgicos neuronales" es que se puede procesar
informacin de forma autnoma en entornos complejos en la obtencin automtica de las
t ti l t t bl b bil ti t i i caractersticas relevantes y estables probabilsticamente y asociaciones.
Esto nos llevar, alrededor del 2030,
a la Singularidad (Ray Kurzweil) un a la Singularidad (Ray Kurzweil), un
hipottico evento que suceder
cuando la inteligencia humana sea
rebasada por la propia tecnologa. rebasada por la propia tecnologa.
Marca el hito tcnico cuando los
cerebros artificiales superen a los
humanos en capacidad de humanos en capacidad de
inteligencia.
Cuando la Singularidad suceda, lo
que viene, la Historia de la
Humanidad, escapar de nuestra
comprensin.
The future of AI and the singularity
La causa es el principio de
construccin de esa nueva
realidad.
Llegado el punto en el que
podamos concebir y fabricar podamos concebir y fabricar
mquinas ms inteligentes
que nosotros mismos, stas
tambin lo harn con tambin lo harn con
respecto a s mismas.
Sern mquinas ms listas
d que sus creadoras capaces
de repetir el proceso ad
infinitum y a una velocidad
insospechada insospechada.
El mundo se ir ms
all de nuestro
entendimiento
Modelos de ingeniera
Artificial Intelligence
Expert systems,
mathematical logic,
production systems,
Symbolic approach
production systems,
bayesian networks
Connectionist approach
Neural Networks
Adaptive approach
Stochastic methodes Stochastic methodes
Regression,
interpolation, frequency
analysis ..
Analytic approach
y
Modelos de ingeniera
Modelos de ingeniera
- Son modelos bioinspirados.
Funcionalmente.
- Aprendizaje.
- Generalizacin.
- Clasificacin.
- Reconocimiento.
- Optimizacin.
Estructuralmente.
- Elementos de proceso simples. Elementos de proceso simples.
- Mltiples entradas / 1 salida en cada elemento.
- Paralelismo masivo - Paralelismo masivo.
- Sistemas Mono / Multinivel.
Ventajas e inconvenientes
+ Fcil de usar + Fcil de usar
+ Muy buenos resultados
+ Resultados rpidos
+ R b t f t t d i l t d d + Robusto frente a entradas incompleto o daadas
+ generalizacin
+ / - Base matemtica
- No es transparente ni trazable p
- Es difcil ajustar los parmetros
- A veces, tiempo de aprendizaje excesivo
- Algunas tareas son difciles de formular por NNs Algunas tareas son difciles de formular por NNs
Redes Neuronales o Redes Neurales?
- Diferencias:
No qumicas (Las sinapsis son qumicas).
Codifican en amplitud (No en frecuencia). p ( )
Sncronas (Generalmente).
No Jerrquicas (Si ART-3) No Jerrquicas (Si ART 3).
Historia de las redes neurales
1920s von Neumann computer model
1943 McCulloch and Pitts: Threshold Logic Gate models
1949 Hebb, proposed Learning principle
1957 Rosenblatt: perceptron + aprendizaje
1960 Widrow & Hoff's Adaline
1969 Minsky & Papert (MIT): Perceptrons
Limitations of perceptrons: XOR problem cant be solved by 1 perceptron ! a o s o pe cep o s O p ob e ca be so ed by pe cep o
1970-1982 El eclipse de las NN neural-net winter"
1974 Werbos (PhD thesis, Harvard):
Descubrimiento que pas desapercibido del algoritmo de backpropagation (cmo entrenar
redes multinivel)
1982 Hopfield (Princeton, then Caltech) Hopfield networks
1982 Kohonen SOM
1986 Rumelhart and McClelland, redescubrimiento y difusin del BPN
1987 IEEE I t ti l C f N l N t k 1987 IEEE International Conference on Neural Networks
1990s boom of NNs: ART, BAM, RBF, spiking neurons
Aplicaciones de las redes neurales
Cuando los datos no son concretos:
Opiniones humanas - Opiniones humanas.
- Categoras mal definidas.
C d - Con grandes errores.
Cuando los datos estn ocultos:
- Prstamos (histrico).
Datos no lineales:
- Series temporales Filtro de Kalman.
Datos Caticos:
- Ruido de la lnea telefnica.
- Mercado de valores.
- Quinielas.
Aplicaciones de las redes neurales
The 2005 Astopn Martin DB9 contains the first onboard neural network in an engine p g
control module.
Unlike traditional computer systems that need to be programmed for each step, neural
networks are programs modeled on the way human brains learn and adapt networks are programs modeled on the way human brains learn and adapt.
The DB9's module keeps tabs on engine combustion performance with a sophisticated
software program that compares actual engine performance to the design specifications.
http://media.ford.com/newsroom/feature_display.cfm?release=18677
Aplicaciones de las redes neurales
Aplicaciones de las redes neurales
Aplicaciones de las redes neurales
Modelos de Redes Neurales ms utilizadas
- Mc Culloch - Pitts. -Adaptative Resonance Theory (ART).
- Perceptron.
- Radial Basis Functions.
- BackPropagation (MLP).
- Aprendizaje por refuerzo.
- Kohonen.
- Modelos estadsticos.
- Modelos Dinmicos (TDNN)
- Counter Propagation.
- Hopfield
- Modelos Dinmicos (TDNN).
- Neocognitron.
- Hopfield.
- Bidirectional Associative Memory (BAM).
Caracterizacin de una red neuronal
Arquitectura
Patrn de conexionado de las neuronas
Aprendizaje
Mtodo de determinacin de los pesos
Funcin de activacin
P it l l l lid f i d l t d l Permite calcular la salida en funcin de las entradas a la neurona
Caracterizacin de una red neuronal
- Arquitectura:
F ll t d Full conected.
No full conected (patrn de conexionado).
Feedforward. 1 nivel, , n niveles. Competitvas. Realimentadas (backward, dinmicas).
2 niveles
x
1
x
2
x
1
x
2
x
1
x
m
2
x
2
Arquitecturas de redes neuronales
Arquitectura FeedForward 3-2-3-2 Network
Arquitectura BackPropagation Network
0 1 m-1 m
p
x
1
m
y
1 1
d
l
j
u
1 m
k
u
1
21
w
1 1
1
1
y
i
j k
h
p
x
2
m
h
y
h
d
1
i
u
j
l
ij
w
m
h
u
1 m
jk
w
1
1i
w
1
i
y
1
j
y
1 m
k
y
n
1
n
m-1
n
m
m
n
m
y
m
n
d
p
n

p
n
x
n
0
Vector Capa
p
x

Vector
de
entrada
Capa
de
puntos
de
entrada
Capas Ocultas
Capa de
Salida
Vector
de salida
Salida
Deseada
entrada
Hierarchical Organitzation
Radial Basis Function (RBF) Neural Network
Successive Refinement
Acyclic Network
Full Layered Network
Recurrent Networks
Symmetric Fully Connected Network
Caracterizacin de una Red Neuronal
- Aprendizaje: mtodo de adaptacin de los pesos.
- Supervisado.
- No supervisado.
- Pesos prefijados.
- Aprendizaje por refuerzo.
Caracterizacin de una Red Neuronal
Caracterizacin de una Red Neuronal
- Funcin de activacin: para calcular el valor de salida:
) (net f y
a
=
f

net
x
1
x
j
w
1
w
j
) ( f y
a
f
a

x
j
x
n
w
n
.
.
.
) ,..., , , ,..., , (
1 1 n i n i
x x x g net e e e =
Redes de McCulloch
W. S. McCulloch
Mc Culloch - Pitts (1943)
A Logical Calculus of the Ideas Immanent in Nervous Activity.
5 supuestos:
1. La neurona es un proceso Todo-Nada.
Sinapsis
Excitadoras
2. Nmero fijo de sinapsis (>1) excitadas en el
perodo de sumacin latente.
3 El nico retraso es el retardo sinptico 3. El nico retraso es el retardo sinptico.
4. La actividad de cualquier sinapsis inhibidora
impide la excitacin.
Sinapsis
5. La estructura de la red no cambia con el
tiempo.
Inhibidoras
Redes de Mc Culloch - Pitts
1
3
2
2
3
1
2
2
) 1 ( ) 1 ( ) (
2 1 3
v = t N t N t N
) 1 ( ) (
1 2
= t N t N
1
1
3
3
2
) 1 ( ) 1 ( ) (
2 1 3
. = t N t N t N
2
) 1 ( ) 1 ( ) ( . = t N t N t N
) 1 ( ) 1 ( ) (
2 1 3
. t N t N t N
) 1 ( ) 1 ( ) (
1 2 3
. = t N t N t N
Redes de Mc Culloch - Pitts
1
3
a
2
b
4
2
4
( ) ) 2 ( ) 3 ( ) 1 ( ) 1 ( ) 1 ( ) (
2 2 1 1 3
. v = v = t N t N t N t N t N t N ( ) ) 2 ( ) 3 ( ) 1 ( ) 1 ( ) 1 ( ) (
2 2 1 1 3
. v v t N t N t N t N t N t N
a
) 2 ( ) 1 ( ) 1 ( ) 1 ( ) (
2 2 2 4
. = . = t N t N t N t N t N
b

Aprendizaje de Hebb (1949)
Aprendizaje de Hebb
Regla de aprendizaje de Hebb
Modelo no supervisado w
ij
| si las neuronas origen y destino se activaron
| Frecuencia repeticin (hbito y aprendizaje).
j i ij ij
y y t w t w q + = + ) ( ) 1 (
w
ij
donde:
i j
w
ij
w
ij
(t + 1) = Peso de la sinapsis i, j despus de la activacin.
(t) P d l i i i j t d l ti i w
ij
(t) = Peso de la sinapsis i, j antes de la activacin.
y
i
= Salida de la neurona i (entrada en j).
y
j
= Salida de la neurona j. y
j
Salida de la neurona j.
= Coeficiente de aprendizaje.
Modelos de redes neuronales Modelos de redes neuronales
f

net
x
1
w
1
w
j
f
a

x
j
x
n
w
n
.
.
.
n