REDES NEURONALES

Dr. Jorge Vivas

CIMEPB - Centro de Procesos Bsicos,

Metodologa y Educacin
Facultad de Psicologa U.N.M.D.P.
En base a A Practical Guide to Neural Nets
M. Nelson y W. Illingworth

A) LOS COMPONENTES
BSICOS
El elemento de Proceso Simple (PE)
O Neurona Artificial
Entradas 1
2
PE

Salida
3
4

1) FUNCIONES
(3 de las 150 funciones reales)
Evaluar seales de entrada determinando en
peso de cada una.

Calcula el total para cualquier combinacin de

entradas y lo compara para cualquier nivel.

Determina que salida debe realizar

2) ENTRADAS Y SALIDAS
Las E ingresan simultneamente al PE. De
acuerdo a un umbral la neurona dispara o
no una salida. Varias Entradas una sola
Salida.

Algunas Redes aceptan la inclusin de

mecanismos para otras influencias distintas
de las Entradas.

Estos extra-inputs se llaman trminos de

predisposicin o forzamiento. Incluye los de
olvido para desaprender.

3) FACTOR PESO
Cada Entrada puede tener un Peso relativo
que afecta el impacto como entrada.

Los Pesos son Coeficientes Adaptativos

dentro de la red. Determinan la intensidad de
la Entrada (Fuerza de la conexin).

El Peso inicial para un PE puede ser

modificado en funcin de las E y las propias
reglas de modificacin de la red.

3) FACTOR PESO
La Entrada Total en un PE es el producto de
dos vectores:
(e1 , e 2, e 3 . . . e n) y (P1 , P2,

P3 .

..

Pn)

E1 = e

1*

P1 ;

E2 = e

1*

P1

etc

La Entrada Total es el escalar E1 + E2 . . .En.

Donde: Si los vectores van en el mismo

sentido el producto es el mximo. Si apuntan
en sentidos opuestos el producto es mnimo.

4) FUNCIONES NEURONALES
a) Funcin Sumatoria
Si
e X * PX
es mayor que el umbral
entonces genera una seal de salida.
e1
P1
e2
P2
S=

eX

PX

e3

p3
p4

e4

4) FUNCIONES NEURONALES
b) Funcin de Activacin
El resultado de la debera ingresar a una
Funcin de Activacin antes que a una funcin de
Transferencia. Esto permite variar la salida en
funcin del tiempo y la experiencia
e1
P1

e2
P2
S=

eX

PX

e3

p3
p4

4) FUNCIONES NEURONALES
c) Funcin de Transferencia
El Umbral o Funcin de Transferencia es
generalmente no lineal.
Las funciones
lineales son limitadas y no muy tiles
(x or)
para decidir si se prende una clula
fotoelctrica.

Las Funciones de Transferencia ms

utilizadas son las escalonadas, en rampa o las
sigmoideas.
O las decisiones en base a lgica difusa.

4) FUNCIONES NEURONALES
c) Funcin de Transferencia
1

1
1

-1
X < 0 ^ Y = -1
+ex)
X>0^Y= 1

X < 0 ^ Y = 0
0 X 1 ^Y = X
X > 1 ^ Y = 1

Y = 1 / (1

5) COMBINANDO ELEMENTOS
PEs
Si se combinan varios PEs da lugar a una

capa.
Las entradas se conectan a varios nodos (Pes)
con distinto peso. La salida sigue por un nodo.

Una Capa

6) COMBINANDO CAPAS
Se pueden interconectar varias capas. La
capa que recibe las entradas se llama capa de
entrada y su funcin es un buffer de inputs.
La capa de salida genera los outputs.
Entre una y otra puede haber n capas
ocultas.
Las interconexiones se ponderan por un peso
asociado a cada conexin particular.
Una red es full connected si para cada
salida de una capa existe una conexin para

6) COMBINANDO CAPAS

7) OPCIONES DE
CONECTIVIDAD
La conectividad alude a como las salidas
pueden ser usadas como canales para ser
entradas de otras neuronas:
1. Si la salida de un PE no puede ser entrada de

un PE de la misma capa o de capas precedentes

de llama feedforward.
2. Si una salida puede ser entrada de su misma

8) FILTROS
Las capas pueden actuar como filtros generando
representaciones intermedias. Ej. La Matriz de
puntos de la letra A (5 por 7).
La salida activa una representacin ASCII 0100 0001
.

. .

. .
. .
.
. .
.
. .

. . .

. .
.

B) LOS MECANISMOS BSICOS

DE APRENDIZAJE
La Funcin de Transferencia se establece en el
diseo y no puede ser modificada durante la
ejecucin (para cada PE).
Cada PE puede ajustar su peso dinmicamente
Cuando muchos PEs ajustan su peso
colectivamente se dice que la red se ensambla
inteligentemente.
Esto se logra por medio de distintos
mecanismos de Aprendizaje

MODOS Y RANGOS DE
APRENDIZAJE
Los Modos aprendizajes pueden ser:
1.Supervisado: Con un tutor que REFUERZA
hasta congelar los pesos.
2.No supervisado: Aprende de detectar
regularidades.
Los Rangos de aprendizaje pueden ser:
1.Rpido: Poco training Discriminacin baja.
2.Lento: Mucho training (off line)
Discriminacin fina.

TCNICAS DE ENTRENAMIENTO
Las Redes Aprenden la relacin entre Entradas
y Salidas mirando ejemplos de varias Entradas
y Salidas.

La habilidad para determinar como procesar

los datos de entrada se llama
autoorganizacin.

El proceso por el cual lo logran se denomina

adaptacin o aprendizaje

LEYES DE APRENDIZAJE
Ley de Hebb y Regla Delta
Ley de Hebb:
Si un PE recibe un input de otro PE y si ambos
son altamente activos (= signo), el peso entre
los PEs debera potenciarse

Regla DELTA:
Para un PE la regla continuamente modifica el
nivel de discrepancia (DELTA) entre el output
deseado y el output real corriente (Ej. Windrow
& Hoff Adaline)

LEYES DE APRENDIZAJE
Regla del descenso y Kohonen
Regla del descenso del gradiente:
Los pesos son modificados por un monto proporcional
a la primera derivada del error respecto del peso.

Ley de Aprendizaje de Kohonen:

Los PEs compiten entre s para tener oportunidad de
aprendizaje. El PE con mayor salida se declara
ganador y obtiene la posibilidad de: 1) inhibir a los
competidores 2) ajustar sus pesos con los de sus
vecinos (aliados).
El ganador se define como quien tienen la mas
estrecha coincidencia con los patrones de entrada.

LEYES DE APRENDIZAJE
Propagacn hacia atrs
Aprendizaje Back Propagation (dos fases con 3
o ms capas):

1)Fase Forward: El input es propagado hacia la

salida. Calcula el valor del output para cada PE.

Se compara con el valor deseado y se calcula el
error.
2)Fase Backward: el error es ejecutado en

direccin hacia atrs.

LEYES DE APRENDIZAJE
Red de Grossberg

Teora del Refuerzo (Simula Pavlov):

El PE es condicionado para que ciertos inputs

trabajen como REFUERZOS y otros como
INHIBIDORES.
La salida se mide por frecuencia ms que por
intensidad

c) Qu podemos hacer con

Redes Neuronales?
Aplicaciones

Reconocimiento de Caracteres: El reconocimiento de caracteres es cada vez ms

importante en nuestra sociedad. Los dispositivos manuales como la Palm Pilot son
cada vez ms populares. Las redes neuronales se pueden utilizar para reconocer
caracteres manuscritos.

Medicina: Una de las reas que ha ganado la atencin es el diagnstico

cardiopulmonar. Un paciente puede tener chequeos regulares en un rea particular,
aumentando la posibilidad de detectar una enfermedad o una disfuncin. Los datos
pueden incluir ritmo cardaco, la presin arterial, el ritmo respiratorio, etc. Los modelos
pueden incluir variaciones de edad, sexo y actividad fsica. Los datos de cada individuo
se comparan con los datos anteriores y/o a los datos de los varios modelos genricos.
Las desviaciones de la norma se comparan a las causas sabidas de las desviaciones
para cada dolencia. La red neuronal puede aprender estudiando las diversas
condiciones y modelos, combinndolos para formar un cuadro conceptual completo y
despus diagnostica la condicin de un paciente basada sobre los modelos.

Compresin de imagen: La redes neuronales pueden recibir y procesar extensas

cantidades de informacin inmediatamente, hacindolas tiles en la compresin de
imagen. Con la explosin del Internet y ms sitios usando ms imgenes en sus sitios,

c) Qu podemos hacer con

Redes Neuronales?
Aplicaciones

El problema del viajante: Es bastante interesante. Las redes pueden ayudar a

resolver estos problemas de optimizacin, pero solo hasta cierto grado de
aproximacin.

La nariz electrnica: La idea de una nariz qumica puede parecer un poco absurda,
pero tiene varios usos en el mundo real. La nariz electrnica se compone de un
sistema de deteccin qumico y de una red que reconoce ciertos patrones de
productos qumicos. Un olor se pasa sobre el arsenal qumico del sensor, se traducen
de formato y la red identifica el producto qumico.

Seguridad: Ya de usa el CATCH. U n acrnimo para el seguimiento y caracterizacin

de homicidios. Aprende sobre un crimen existente, su localizacin y las caractersticas
particulares. Se subdivide en diversas herramientas, que ponen nfasis en una
caracterstica o grupo de ellas. Permite que el usuario quite ciertas caractersticas que
determine que no tienen relacin.

Prediccin de la bolsa: El negocio cotidiano de la bolsa es extremadamente

complicado. Muchos factores pesan para que una accin suba o baje en cualquier
momento. Dado que las redes neuronales pueden examinar mucha informacin