INSTITUTO TECNOLGICO AUTNOMO DE MXICO

REDES NEURONALES
ADALINE Y MADALINE
Isadora Antoniano Villalobos
Sal Murillo Alemn
Julio lvarez Monroy
Arturo armendia !orona
Eduardo Mart"nez Moreno
#lises Jurez Miranda
Dr. ngel Fernando Kur Morale!
"#$%&$"%%"
ADALINE ' MADALINE
In(rodu))*n e +!(ora
Desde hace miles de aos se ha estudiado el cerebro humano con en fin de modelar su
funcionamiento, pero fue con el avance de la electrnica que esta idea tom fuerza.
El primer paso se dio en 1943 con el neurofisiloo !arren "c#ulloch $ el matem%tico
!alter &itts quienes escribieron un documento en el cual e'plicaban el posible
funcionamiento de las neuronas e hicieron un modelo simple de una red neuronal con
circuitos el(ctricos.
En 1949, Donald )ebb apo$a el concepto de neurona $ su funcionamiento escribiendo un
libro titulado *+he ,ranization of -ehavior. en el cual comenta la actividad e'istente en
las neuronas cada vez que son usadas.
En la d(cada de 19/0, con el avance de las computadoras, se hizo posible simular una red
neuronal. 1athanial 2ochester, de los laboratorios de investiacin de la 3-", dio el primer
paso en la simulacin de la red neuronal, pero desafortunadamente fracaso. &osteriormente
se hicieron otras simulaciones $a con ('ito.

En 19/9, -ernard !idro4 $ "arcian )off de la universidad de 5tanford desarrollaron un
modelo llamado *6D6731E. $ *"6D6731E.. 6D6731E proviene de 6D6ptive 731ear
Element $ "6D6731E de "ultiple 6D6ptive 731ear Element 8"an$ 6dalines9.
6D6731E fue desarrollado para el reconocimiento de patrones binarios, por e:emplo
predecir el siuiente bit en una l;nea telefnica. En la fiura 1 podemos observar la
representacin de una 6D6731E $ su analo;a con una 1eurona.
6D6731E funciona tomando la suma de los pesos de las entradas $ produce una salida con
0 o 1 dependiendo si pasa o no un umbral, esto haciendo analo;a al funcionamiento de una
neurona que se dispara si la actividad total procedente de las cone'iones con las otras
neuronas sobrepasa un nivel.
<arias 6D6731E pueden ser oranizadas en capas de tal manera que se obtenan randes
arquitecturas formando una red "6D6731E la cual produce funciones m%s complicadas.
"6D6731E fue la primera red neuronal aplicada a un problema real, se uso como un filtro
para eliminar el eco en las l;neas telefnicas.
En los aos siuientes el neuro=biloo >ran? 2osenblatt comenz a traba:ar con el
perceptrn. 5e encontr que una simple capa de perceptrones era suficiente para clasificar
un con:unto de valores continuos en una de dos clases.
Desafortunadamente el perceptrn estaba limitado $ fue probado por "arvin "ins?$ $
5e$mour &apert durante los aos de desilusin en el libro *&erceptrons..
Durante los pr'imos @0 aos se de:o atr%s el estudio de las redes neuronales $ fue hasta
19A@ con Bohn )opfield que se retom el inter(s en la materia. )opfield present un
documento a la 6cademia 1acional de #iencias en el cual a trav(s de an%lisis matem%tico
mostraba como las redes neuronales funcionan $ para que podr;an servir.

ADALINE
6D6731E que por sus silas en inl(s sinifica 6D6ptive 731ear Element es un
dispositivo que consta de un solo elemento de procesamiento, por lo que
t(cnicamente no es una red. 5in embaro es un elemento mu$ importante, $a que de
(l se derivan redes m%s comple:as. En la siuiente fiura se muestran los elementos
de una 6D6731E.
6D6ptive 731ear Element
Cna 6D6731E consiste de un 67# 86daptive 7inear #ombiner9 $ un cuantizador 8funcin
bipolar de salida9. 5e alimenta con un vector de entrada 8valores observados9 $ con una

,
_

n
i
i i h
t x t w F t y
0
9 8 D 9 8 9 8
entrada constante iual a 1 denominada seso 8bias9. &osteriormente se efectEa una suma
ponderada de los valores de entrada con sus pesos asociadosF si el resultado es positivo, la
salida del 6D6731E es 1, en caso contrario es 0 8o =19. En consecuencia 6D6731E slo
resuelve adecuadamente problemas binarios linealmente separables.
Algor(,o de En(rena,en(o
El entrenamiento del 6D6731E est% basado en la rela 7"5 87east "ean 5quare9 que
busca minimizar el error cuadr%tico medio por medio de la rela delta.
Dado un vector de entrada 8'
0
, ..., '
n
9 donde '
0
G1, el correspondiente valor de pesos 84
0
, ...,
4
n
9 $ el valor deseado de salida d, el error cuadr%tico es el siuienteH
El ob:etivo del m(todo es minimizar dicho error mediante la modificacin del vector de
pesos 84
0
, ..., 4
n
9 sum%ndole un - de tal forma que nos acerquemos al error m;nimo en la
direccin del radiente neativo, es decir, lo m%s r%pidamente posible.
El procedimiento de derivacin se presenta a continuacinH
&or lo que el error local ser% reducido m%s r%pidamente si se a:ustan los pesos de acuerdo a
la rela deltaH
El aloritmo de entrenamiento se presenta a continuacinH
1.3nicializar pesos 84
1
, ..., 4
n
9 $ threshold 84
0
9
@.&resentar vector de entrada 8'
1
,...,'
n
9 $ la salida deseada d8t9
3.#alcular la salida
donde >
h
8a9 G 1 s; aI0 $
G =1 s; aJG0
@
1
9 8 9 8 9 8
1
]
1

n
i
i i
t X t W t d E
9 8 9 8 9 8 9 8 @
9 8 9 8 9 8 9 8 9 8 @ 9 8
1
@
1 1
@
t X t X t W t d
W
E
t X t W t X t W t d t d E
i k
n
k
k
i
k
n
k
k i
n
i
i
1
]
1

1
]
1

9 8 9 8 9 8 9 8 9 1 8
1
1
t X t X t W t d t W
i
n
k
k k 1
]
1

4. 6daptar los pesos

donde 0 J i J n $ es la tasa de aprendiza:e
/. 2epetir los pasos @ a 4 hasta que las salidas reales $ las deseadas sean iuales para todos
los vectores del con:unto de entrenamiento
5iuiendo este m(todo se arantiza que, para un con:unto de entrenamiento adecuado,
despu(s de un nEmero finito de iteraciones el error se reduce a niveles aceptables. El
nEmero de iteraciones necesarias $ el nivel de error deseado depende de cada problema
particular.
9 8 D 9 8 D 9 8 9 8 D 9 8 9 1 8
0
t x t x t w t d t w t w
i
n
k
k k i i 1
]
1

+ +

,
_

n
i
i ki h k
t x t w F t y
0
9 8 D 9 8 9 8
MADALINE .Mul(/le ADA/(0e LINear Ele,en(1
>ue una de las primeras redes neuronales multicapa entrenable con mEltiples elementos
adaptivos.
Esta estructura fue diseada despu(s de 6D6731E, para ir mas all% de la solucin de
problemas linealmente separables.
#onsta de una capa de 6D6731E5 $ una funcin de ma$or;a cu$a respuesta binaria
depende de las respuestas de las 6D6731E5.
El aloritmo de entrenamiento es el siuiente.
1.3nicializar pesos 84
1
, ..., 4
n
9 $ threshold 84
0
9
@.&resentar vector de entrada 8'
1
,...,'
n
9 $ la salida deseada d
?
8t9
3.#alcular la salida
donde >
h
8a9 G 1 si aI0 $
G =1 si aJG0
$
?
8t9 es la salida del 6daline ?
4.Determinar la salida del "adaline
M.(12F
,a3or4a
.3
5
.(11
/. Determinar el error $ actualizar los pesos
5i "8t9 G salida deseada no se actualizan
de otro modo, los elementos 6daline compiten $ se actualiza el anador, es decir al
6D6731E con salida err*nea mas cercana a cero en su salida oriinal 8$9.
donde 0 J i J n $ es la tasa de aprendiza:e. c representa al 6daline anador
K. 2epetir los pasos @ a / hasta que las salidas reales $ las deseadas sean iuales para todos
los vectores del con:unto de entrenamiento
1tese que se utiliza la misma rela delta que en el entrenamiento de 6DE731E5 , $a que
los pesos modificados corresponden a estas Eltimas.
El inconveniente de la "6D6731E es que el proceso de entrenamiento es mu$ lento pues
se modifican una sola 6D6731E en cada iteracin
9 8 D 9 8 D 9 8 9 8 D 9 8 9 1 8
0
t x t x t w t d t w t w
i
n
l
l cl ci ci 1
]
1

+ +

-iblioraf;aH
1.L1eural 1et4or?s. 6lorithms, 6pplications and &rorammin +echniques.
Bames 6. >reeman M David ". 5?apura
6ddison=!esle$, 1991
@. http://www.csee.wvu.edu/classes/cpe320/presentations/adaline-madaline-
rule.pdf
3.http://www.comp.utas.edu.au/units/kxa252/tutorials/NNetworks.pdf
4.http://www.bioss.sari.ac.uk/tele/newtech/newann.htm
/.http://www.hh.se/staff/denni/!"stuff/!ecture"#.ppt
K.http://nn.uidaho.edu/ee5$%/class2.pdf
N.http://wwww.dacs.dtic.mil/techs/neural/neural#.html
A. http://www.c&3.nus.edu.s'/(chenk/c&3205/notes#"#.htm