1

CUN BAJIO


PEDRO FABIN GONZLEZ SARABIA


MATRICULA: I11030


INFORMATICA ADMINISTRATIVA


8VO. CUATRIMESTRE


TURNO: SABATINO


MATERIA: INTELIGENCIA ARTIFICIAL


PROFESOR: CLAUDIO ISAAC BURGOS



2
|
.
|

\
|
=

=
n
i
i ki h k
t x t w F t y
0
) ( * ) ( ) (
CENTRO UNIVERSITARIO DE NEGOCIOS DEL BAJO
LIC. EN INFORMATICA
INTELIGENCIA ARTIFICIAL
ING: CLAUDIO ISAAC BURGOS

FECHA 06/03/2014
TEMA MADALINE, FUNCION MAYORIA, REDES
AUTOORGANIZADAS
ACTIVIDAD Tarea de Investigacin

ELABORADO POR: Pedro Fabin Gonzlez Sarabia
MATRICULA: I11030

MADALINE

En 1959, Bernard Widrow y Marcian Hoff ambos de la universidad de Stanford, desarrollaron los modelos ADALINE y
MADALINE. Primero se desarrollo Adaline, que funciona tomando la suma de los pesos de las entradas y produce una salida
con 0 o 1 dependiendo si pasa o no un umbral, pero despus con la idea de solucionar problemas mas complejos se desarrollo
Madaline. Madaline (Multiple ADAptative LINear Element) es una red neuronal formada principalmente por dos capas, la
primera est formada por un conjunto de Adalines en paralelo(que reciben cada una de las entradas al sistema) y la segunda
,que es el Madaline, est formada por un nico elemento de proceso. En caso de existir problemas semejantes con distintas
salidas, se utilizaran varios Madalines. Estructura Estructura.jpg Madaline esta formada inicialmente por una capa de
entradas, las conexiones entre esta capa y la siguiente, que es la capa de Adalines dispuestos en paralelo, tienen asociadas un
peso ajustable por cada una de ellas. Despues de esta primera capa de Adalines puede que existan otras capas intermedias
(formadas tambien por Adalines en paralelo) si sta no fuese suficiente para que la red funcionase correctamente. Finalmente
la ltima capa de Adalines est conectada con el Madaline, que es la ltima capa de la red pero estas conexiones no tienen
asociado ningn peso. Simplemente cada unidad Adaline transmite su salida(-1 +1) a la unidad Madaline, y sta emplea una
regla de mayoras para obtener su salida: +1 si la mitad o ms de las unidades Adaline presentan un valor de salida +1 o -1 en
caso contrario. Entrenamiento El entrenamiento de los sistemas Madaline es similar al entrenamiento de las Adaline.El
algoritmo de entrenamiento es un proceso de prueba y error. El entrenamiento consiste en aplicar un vector a las entradas de
Madaline y hacer que cada entrada se propague hasta su unidad de salida. Se calcula el error contando el nmero de valores
incorrectos que hay en la capa de salida. Se realizan las siguientes operaciones para cada unidad de la capa de salida: Se
selecciona la neurona que debe tener prioridad en el aprendizaje segn el principio de mnima perturbacin,y sta es la que no
haya sido seleccionada antes y cuya salida lineal est ms prxima a 0.
Se aplica un vector a las entradas de Madaline y se hace propagar hasta las unidades de salida. Se cuenta el numero de valores
incorrectos que hay en la capa de salida, denominandose error a dicho numero de valores incorrectos. Para las unidades de la
capa de salida: Se selecciona la primera neurona que no haya sido seleccionada antes y cuya salida lineal est ms prxima a
0. Esta es la neurona que puede cambiar su salida binaria con el menor cambio de sus pesos y, segn el principio de mnima
perturbacin, debe tener prioridad en el aprendizaje Cambiar los pesos de la neurona seleccionada de modo que cambie su
salida binaria. Propagar vector de entrada hacia delante una vez ms. Propagar hacia delante el vector de entradas, desde las
entradas hasta las salidas. Admitir el cambio de pesos si ha dado lugar a una reduccin del error; en caso contrario, restaurar
pesos originales. Repetir el paso anterior para todas las capas, salvo la de entrada. Los dos ltimos pasos se pueden repetir con
grupos de 3,4 o mayor nmero de neuronas hasta obtener resultados satisfactorios. Se considera que las parejas son
apropiadas para redes con un mximo de 25 neuronas por capa, aprox. El algoritmo de entrenamiento seria el siguiente: 1.
Inicializar pesos (W1, ..., Wn) y threshold (W0) 2. Presentar un vector de entrada (x1, ..., xn) y la salida deseada d
k
(t)
.Calcula la
salida mediante

donde F
h
(a) = 1 si a>0 y
= -1 si a<=0


3
y
k
(t) es la salida del Adaline k

4. Determinar la salida del Madaline
M(t)=F
mayora
(y
k
(t))

5. Determinar el error y actualizar los pesos
Si M(t) = salida deseada no se actualizan de otro modo, los elementos Adaline compiten y se actualiza el ganador, es decir al
ADALINE con salida errnea mas cercana a cero en su salida original (y).



6. Repetir los pasos 2 a 5 hasta que las salidas reales y deseadas sean iguales para todos los vectores del conjunto de
entrenamiento.

Aplicaciones del Madaline

Madaline fue la primera red neuronal aplicada a un problema real, se us sobre todo en el desarrollo de filtros adaptativos
que eliminasen los ecos en las lneas telefnicas La red Madaline es til para los problemas que implican la prediccin sobre la
base de mltiples entradas, como el pronstico del tiempo: Por ejemplo: -Variables de Entrada: presin baromtrica,
diferencia de presin. -Variables de Salida: Tiempo esperado (lluvia, nublado, soleado...)
Tambin fueron utilizadas en distintas aplicaciones como reconocimiento de voz y caracteres y en control adaptativo. A estas
aplicaciones, tambien se suma que el Madaline es capaz de calcular la funcion XOR de dos entradas.

Ntese que se utiliza la misma regla delta que en el entrenamiento de ADELINES , ya que los pesos modificados corresponden
a estas ltimas.
El inconveniente de la MADALINE es que el proceso de entrenamiento es muy lento pues se modifican una sola ADALINE en
cada iteracin

FUNCION MAYORIA

La red neuronal Madaline consta de una capa de ADALINES y una funcin de mayora cuya respuesta binaria depende de las
respuestas de las ADALINES.
) ( * ) ( * ) ( ) ( * ) ( ) 1 (
0
t x t x t w t d t w t w
i
n
l
l cl ci ci (

+ = +

=
q


4


REDES AUTOORGANIZADAS

En las redes autoorganizadas, el entrenamiento se realiza presentando slo entradas. Como resultado de este aprendizaje no
supervisado (tambin a veces se les llama redes no supervisadas), la red debe descubrir patrones o caractersticas
significativas en los datos de entrada, e incorporarlas a sus pesos (autoorganizacin).
Este tipo de procesamiento es muy til para distintos tipos de aplicaciones: anlisis de similitud de patrones de entrada
(reconocimiento de imagen, sonido, etc.); anlisis de componentes principales, agrupamiento y clasificacin, memoria
asociativo, codificacin, etc.
La regla de aprendizaje ms utilizada por las redes autoorganizadas es el aprendizaje competitivo. Es la base de las redes de
este tipo ms utilizadas: ART (Grossberg 88), Neo-cognitrn (Fukushima 80) y los mapas autoorganizados (Kohonen 82,89). De
estas redes, veremos los Mapas Autoorganizados, por ser las ms usadas y porque el ART apenas se utiliza y el Neo-cognitrn
es demasiado complicado para un primer acercamiento al tema.
La idea bsica del aprendizaje competitivo es que una capa de elementos de proceso modifique sus pesos en Rn de forma que
su distribucin de frecuencias sea proporcional a la densidad de probabilidad de los vectores de entrada.

La arquitectura es la siguiente:



5


Tal y como se plantea la arquitectura, todas las neuronas de la capa de salida reciben las mismas entradas, que son el vector
de entrada modificado por los pesos. Las neuronas de la capa de entrada son una mera excusa para crear el entramado de
pesos.
La capa de salida tendr m elementos de proceso, cada uno de los cuales recibe las mismas n seales xi.
Cada EP calcula su intensidad de entrada Ii=D(wi,x); donde D es una funcin de la medida de distancia entre los vectores de
entrada x y de pesos wi (suele usarse la distancia eucldea en el espacio Rn, aunque existen otras como la distancia de
Manhattan, el producto escalar normalizado, la distancia de Minkowsky, etc.).
Una vez se han calculado las intensidades, arranca una competicin para ver qu neurona tiene la mnima intensidad, es decir,
su vector de pesos est ms prximo a la entrada; bien mediante inhibicin lateral (cada neurona compara con sus neuronas
vecinas) o de forma centralizada (una neurona o elemento externo mide todas las distancias).
La salida de la neurona ganadora se hace 1, mientras el resto se iguala a 0.
A continuacin se aplica la ley de Kohonen:

wi(k+1) = wi(k) + a (x-wi(k))zi

, con a constante en [0,1], llamada factor de aprendizaje
Debido a zi, est claro que slo el vector de pesos de la neurona ganadora se modificar, movindose hacia el vector de
entrada. A medida que se introducen entradas, los vectores de pesos van formando nubes que siguen la distribucin de las
entradas.
Existe el problema de que la ley de Kohonen no produce, en general, un conjunto de vectores de peso equiprobables (es decir,
ante un vector de entrada x, no todas las neuronas tienen la misma posibilidad de ganar).
El mapa autoorganizado usa una variante del aprendizaje competitivo en el que, adems de actualizar los pesos de la neurona
ganadora, se actualizan tambin los de las neuronas vecinas, de forma proporcional a la cercana a la que se encuentren, segn
una cierta funcin de vecindad h.
h(i,g) -siendo g la neurona ganadora y sus vecinas i- decrece con la distancia (i-g) y depende de una parmetro llamado radio
de vecindad R(t), un nmero entero a partir del cual las neuronas situadas a una distancia mayor no modifican sus pesos.
Tanto el factor de aprendizaje a como R(t) van decreciendo a medida que progresa el entrenamiento.
Para determinar el grado de vecindad, aunque todas las neuronas de salida se dispongan en una sola capa, se distribuyen con
una estructura de una dimensin (lineal), dos (planar) o tres (espacial).
Como resultado del proceso de entrenamiento, las neuronas se van sintonizando de forma selectiva a los patrones de entrada,
Un SOM forma un mapa topogrfico de los patrones de entrada, en el que las coordenadas de las neuronas corresponden a
caractersticas intrnsecas en dichos patrones.

Bibliografa:

1."Neural Networks. Algorithms, Applications and Programming Techniques
James A. Freeman & David M. Skapura
Addison-Wesley, 1991


6

2. http://www.csee.wvu.edu/classes/cpe320/presentations/adaline-madaline-rule.pdf

3 .http://www.comp.utas.edu.au/units/kxa252/tutorials/NNetworks.pdf

4. http://www.bioss.sari.ac.uk/tele/newtech/newann.htm

5. http://www.hh.se/staff/denni/SLS_stuff/Lecture_4.ppt

6. http://nn.uidaho.edu/ee578/class2.pdf

7. http://wwww.dacs.dtic.mil/techs/neural/neural4.html

8. http://www.cz3.nus.edu.sg/~chenk/cz3205/notes4_4.htm