Ing.

Ivan Mejia Cabrera

Ing. Ivan Mejia Cabrera
Ing. Ivan Mejia Cabrera
Redes Neuronales
Razonamiento Aproximado
Algoritmos Genticos
Teora del Caos
Colonias de hormigas
En la emulacin,
ms o menos
inteligente, del
comportamiento de
los sistemas
biolgicos
M
E
T
O
D
O
L
O
G
I
A
S
Manejar las
imprecisiones
e
incertidumbres
Al resolver
problemas
relacionados
con el mundo
real
Problemas
que no
pueden
describirse
fcilmente
con un
enfoque
algortmico
tradicional
son
tienen
su origen
que
aparecen
permiten
Ing. Ivan Mejia Cabrera
REDES NEURONALES ARTIFICIALES
Basados en el comportamiento del
sistema nerviosa
las neuronas poseen caractersticas que
las diferencian de las otras clulas, tal
como su capacidad de comunicarse
En todo el sistema nervioso central
del ser humano hay alrededor de 10
11
neuronas y existen alrededor de 10
15
conexiones.
Ing. Ivan Mejia Cabrera
Neurona biolgica
La teora y modelado de redes
neuronales artificiales est inspirada en
la estructura y funcionamiento del
sistema nervioso, donde la neurona es
el elemento fundamental.
Las neuronas poseen caractersticas
que las diferencian de las otras clulas,
tal como su capacidad de comunicarse.
Por lo general una neurona recibe
informacin de miles de otras neuronas y, a
su vez, enva informacin a miles de
neuronas ms.
Ing. Ivan Mejia Cabrera
Ramn y Cajal, Santiago
(1852-1934)
Cajal argumentaba
convincentemente que las
neuritas de las diferentes
neuronas no tienen
continuidad unas con otras y
que es preciso que se
comuniquen por contacto y
no por continuidad. Esta idea
de que la neurona cumpla la
teora celular empez a
conocerse con el nombre de
doctrina neuronal. Cajal en
1906 recibe el Premio Nbel.
http://cajal.unizar.es
Dendritas
Cuerpo
celular
Axn
Sinapsis
Recibir
seales
de
entrada
Combina,
integra y
emite
seales de
salida
Transporta las
seales a los
terminales
axnicos
Punto de
conexin
con otra
neurona
Comunicacin neuronal
Seales
Neuronales
Elctricas
Qumicas
Impulsos elctricos
generados por la neurona
y transportados a lo largo
del axn
Sustancias qumicas
neurotransmisores que
fluyen a travs de un
contacto especial llamado
sinapsis y contribuyen a
transmitir los impulsos
nerviosos de una neurona
a otra
Naturaleza de las seales neuronales
Ing. Ivan Mejia Cabrera
DEFINICIN DE RED
NEURONAL ARTIFICIAL
Una nueva forma de computacin, inspirada en modelos
biolgicos.
Un modelo matemtico compuesto por un gran nmero
de elementos procesales organizados en niveles.
Redes neuronales artificiales son redes interconectadas
masivamente en paralelo de elementos simples (
usualmente adaptativos) y con organizacin jerrquica, las
cuales intentan interactuar con los objetos del mundo real
del mismo modo que lo hace el sistema nervioso biolgico.
En general son modelos que intentan reproducir el
COMPORTAMIENTO del cerebro
Ing. Ivan Mejia Cabrera
McCulloch Warren Pitts Walter (1943)
Los primeros tericos que concibieron los
fundamentos de la computacin neuronal fueron
Warren McCulloch, un neurofisilogo, y Walter Pitts,
un matemtico, quienes, en 1943, lanzaron una teora
acerca de la forma de trabajar de las neuronas. Ellos
modelaron una red neuronal simple mediante
circuitos elctricos
Ing. Ivan Mejia Cabrera
Rosenblatt, Frank (1957)
En 1957, comenz el desarrollo del Perceptron.El
Perceptron es la ms antigua red neuronal, y se usa hoy
en da de varias formas para la aplicacin como
reconocedor de patrones.
Ing. Ivan Mejia Cabrera
Hopfield, John (1982)
En 1982, coincidieron numerosos eventos que
hicieron resurgir el inters por las redes neuronales.
John Hopfield, fsico, present su trabajo sobre
redes neuronales en la Academia Nacional de las
Ciencias . En el trabajo describe con claridad y rigor
matemtico una red a la que ha dado su nombre
NEURONA ARTIFICIAL
CAPAS DE UNA RED
NEURONAL ARTIFICIAL
Unidad U
i
W
j i
Y
i
Net
j
F(a
j
(t),Net
j
)
=
a
j
(t+1)
f
j
(a
j
(t+1)
=
Y
j
Entrada
total
Funcin de
salida o
transferencia
Funcin o
regla de
activacin
Salida
y
j
Unidad U
j
Estructura de una red neuronal
Net j =
a
j
(t+1) = F ( a
i
(t), Net
i
) generalmente F es la identidad
Y
j
(t +1) = f ( Net
j
)

n
i
i i j
y w
Ing. Ivan Mejia Cabrera
MECANISMOS
DE
APRENDIZAJE
Mecanismos de
aprendizaje de la red
Reglas o
algoritmos
Aprendizaje
supervisado
Aprendizaje no
supervisado
A. por correccin
de error
A. por refuerzo
A. estocstico
Proceso por el cual
una red modifica sus
pesos en respuesta
a una informacin
de entrada
Regla del
Perceptron
Regla delta o de
Widrow - Hoff
Regla delta
generalizada o
Backpropagation
Ing. Ivan Mejia Cabrera
EL PERCEPTRON
Primer modelo de red neuronal desarrollado
por Rosenblatt 1958.
Est formada por varias neuronas lineales para
recibir las entradas a la red y una neurona de
salida entrada.
Despert gran inters en los aos 60 por su
capacidad de reconocer patrones sencillos.
Es capaz de decidir cundo una entrada
presentada a la red pertenece a una de las dos
clases que es capaz de reconocer.
Ing. Ivan Mejia Cabrera
EL PERCEPTRON n ENTRADAS

n
i
i i
x w
1
) (
.
.
.
w1
w2
wn
x1
x2
xn
x
f (x)
y = f [ ]
-1
1
Ing. Ivan Mejia Cabrera
EL PERCEPTRON 2 ENTRADAS
x1
x2
B
A
A
A
A
B
B
B
B
x1
x2
w1
w2
x1
x2
y = f ( w
1
x
1
+ w
2
x
2
- ) x
f (x)
-1
1
La neurona de salida del Perceptron realiza la
suma ponderada de las entradas, resta el umbral
y pasa el resultado a la funcin de transferencia
de tipo escaln.
Si la repuesta es +1, el patrn presentado
pertenece a la clase A y si la respuesta es -1, el
patrn pertenece a la clase B.
X0=1
W0= -
Ing. Ivan Mejia Cabrera
REGLA DE APRENDIZAJE DEL
PERCEPTRON
El algoritmo de aprendizaje es de tipo
supervisado.
En el proceso de entrenamiento, el Perceptron
se expone a un conjunto de patrones de
entrada, y los pesos de la red son ajustados de
forma que al final del entrenamiento se obtenga
las salidas esperadas para cada uno de esos
patrones de entrada.
A continuacin el algoritmo de ajuste de pesos
para realizar el aprendizaje de un Perceptron (
aprendizaje por correccin de error ).
Ing. Ivan Mejia Cabrera
Inicializacin de los pesos y del umbral
Inicialmente se asignan valores aleatorios a cada uno de los pesos wi de
las conexiones y al umbral ( -w0 = ).
Presentacin de un nuevo par (Entrada, salida esperada)
Patrn de entrada Xp = ( x1, x2, x3, , xn), salida esperada d (t).
Clculo de salida actual
siendo f la funcin de transferencia escaln.
Adaptacin de los pesos
w
i
(t+1) = w
i
(t) + [ d(t) y (t) ] x
i
(t)
es un factor de ganancia en el rango 0 a 1.
Volver al paso 2
y (t) = f [ ]

n
i
i i
x w
1
) (
Ing. Ivan Mejia Cabrera
EJEMPLO
X
1
X
2
X
1
X
2
0 0 0
0 1 1
1 0 1
1 1 1
1. Pesos elegidos aleatoriamente: w1=0.5,
w2=1.5, w0 = 1.5,
2. Tomar uno a uno los cuatro patrones
de entrada y se aplica el mtodo
explicado.
Patrn de entrada: 00
Entradas: x1=0, x2=0, x0=1
Pesos: w0 = 1.5, w1=0.5, w2=1.5
Neti: 0(0.5) + 0(1.5) + 1(1.5) = 1.5
Salida producida por f: 1 ( Neti >=0)
Salida deseada: 0
Error: 0 1 = -1
Pesos modificados:
w0(t + 1) = 1.5 + (-1)1 = 0.5
w1(t + 1) = 0.5 + (-1)0 = 0.5
w2(t + 1) = 1.5 + (-1)0 = 1.5
Valores deseados
de la funcin OR
Conjunto de patrones
{ 00, 01, 10, 11 }
= 1
PRIMERA CORRIDA
Ing. Ivan Mejia Cabrera
PRIMERA CORRIDA
Patrn de entrada: 01
Entradas: x1=0, x2=1, x0=1
Pesos: w1 = 0.5, w2=1.5,
w0=0.5
Neti: 0(0.5) + 1(1.5) + 1(0.5) =
2
Salida producida por f: 1 ( Neti
>=0)
Salida deseada: 1
Error: 1 1 = 0
Los pesos no se modifican:
wi (t + 1) = wi ( t )
Patrn de entrada: 10
La salida es igual a la deseada,
por lo que no varan los pesos.
Patrn de entrada: 11
La salida es igual a la deseada,
por lo que no varan los pesos.
Existe un patrn de
entrada, 00, para el cual el
error cometido no es cero,
por lo tanto se repite el
proceso a partir de 2 !!
Ing. Ivan Mejia Cabrera
SEGUNDA CORRIDA
3. Se toman de nuevo los cuatro patrones de
entrada.
Patrn de entrada: 00
Entradas: x1=0, x2=0, x0=1
Pesos: w1 = 0.5, w2=1.5, w0=0.5
Neti: 0(0.5) + 0(1.5) + 1(0.5) = 0.5
Salida producida por f: 1
Salida deseada: 0
Error: 0 1 = -1
Pesos modificados:
w0(t + 1) = 0.5 + (-1)1 = -0.5
w1(t + 1) = 0.5 + (-1)0 = 0.5
w2(t + 1) = 0.5 + (-1)0 = 1.5
Patrn de entrada: 01
Entradas: x1=0, x2=1, x0=1
Pesos: w1 = 0.5, w1=1.5, w0= -
0.5
Neti: 0(0.5) + 1(1.5) + 1(-0.5) =
1
Salida producida por f: 1
Salida deseada: 1
Error: 1 1 = 0
Los pesos no se modifican:
wi (t + 1) = wi ( t )
Patrn de entrada: 10
La salida es igual a la deseada, por lo
que no varan los pesos.
Patrn de entrada: 11
La salida es igual a la deseada, por lo
que no varan los pesos.
Ing. Ivan Mejia Cabrera
TERCERA CORRIDA
Se toman de nuevo los cuatro
patrones.
Patrn de entrada: 00
Entradas: x1=0, x2=0, x0=1
Pesos: w1 = 0.5, w2=1.5, w0= -
0.5
Neti: 0(0.5) + 0(1.5) + 1(-0.5)
= - 0.5
Salida producida por f: 0
Salida deseada: 0
Error: 0 0 = 0
No varan los pesos
wi (t + 1) = wi ( t )
Patrn de entrada: 10
La salida es igual a la deseada,
por lo que no varan los pesos.
Patrn de entrada: 11
La salida es igual a la deseada,
por lo que no varan los pesos.
Con estos nuevos pesos
los patrones de entrada
coinciden con las salidas, ya
no se comete ningn error
y por lo tanto la etapa de
aprendizaje concluye !!.
FIN
i x1 x2 d (t) w1(t) w2(t) w0(t) y error w1(t+1) w2(t+1) w0(t+1)
1 0 0 0 0.5 1.5 1.5 1 -1 0.5 1.5 0.5
0 1 1 0.5 1.5 0.5 1 0 0.5 1.5 0.5
1 0 1 0.5 1.5 0.5 1 0 0.5 1.5 0.5
1 1 1 0.5 1.5 0.5 1 0 0.5 1.5 0.5
2 0 0 0 0.5 1.5 0.5 1 -1 0.5 1.5 -0.5
0 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
1 0 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
1 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
3 0 0 0 0.5 1.5 -0.5 0 0 0.5 1.5 -0.5
0 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
1 0 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
1 1 1 0.5 1.5 -0.5 1 0 0.5 1.5 -0.5
INTRODUCCION A LA PROGRAMACIN LOGICA CON PROLOG
e = nmero de Euler o constante de Napier
e\, 2,71828 18284 59045 23536 02874 71352 66249 77572 47093 69995...
Muchos procesos naturales y
curvas de aprendizaje de
sistemas complejos muestran
una progresin temporal desde
unos niveles bajos al inicio,
La funcin sigmoide permite
describir esta evolucin.
ARIMETICA EN PROLOG
X = Y X e Y ocupan el lugar del mismo nmero
X \= Y X e Y ocupan el lugar de distintos nmeros
X < Y X es menor que Y
X > Y X es mayor que Y
X <= Y X es menor o igual que Y
X >= Y X es mayor o igual que Y
X + Y La suma de X e Y
X Y La resta de X e Y
X * Y El producto de X e Y
X / Y El cociente de X dividido por Y
X mod Y El resto de X dividido por Y