Kohonen PDF

IA353 Profs. Fernando J. Von Zuben & Romis R. F.
Attux
DCA/FEEC/Unicamp & DECOM/FEEC/Unicamp
Rede Neural de Kohonen e

Aprendizado No-Supervisionado
1 Organizao e Ordem ............................................................................................................................................................................... 2
2 Auto-Organizao...................................................................................................................................................................................... 3
3 Motivao para treinamento no-supervisionado: clusterizao .............................................................................................................. 8
3.1 Modelo simples de classificao para dados rotulados ............................................................................................................... 8
3.2 Modelo composto de classificao para dados rotulados............................................................................................................ 9
3.3 Modelo composto de classificao para dados no-rotulados .................................................................................................. 11
3.4 Comparao com o k-means ..................................................................................................................................................... 12
4 Uma viso mais abrangente para Aprendizado de Mquina .................................................................................................................. 13
5 Treinamento no-supervisionado............................................................................................................................................................ 16
6 Mapas Auto-Organizveis de Kohonen................................................................................................................................................... 18
6.1 Arranjo unidimensional............................................................................................................................................................... 19
6.2 Arranjo bidimensional................................................................................................................................................................. 23
6.3 Fase de competio ................................................................................................................................................................... 27
6.4 Fase de aprendizado no-supervisionado ................................................................................................................................. 28
6.5 Algoritmo de ajuste dos pesos ................................................................................................................................................... 30
6.6 Ajuste de pesos com restrio de vizinhana ............................................................................................................................ 31
6.7 Discriminao dos agrupamentos .............................................................................................................................................. 32
6.8 Aplicao .................................................................................................................................................................................... 33
6.9 Agrupamento de dados (Clusterizao)..................................................................................................................................... 36
6.10 Ferramentas de visualizao e discriminao ....................................................................................................................... 43
6.11 Comparao com PCA e Anlise por Componentes Curvos (CCA) ..................................................................................... 46
6.12 Ordenamento de pontos em espaos multidimensionais ...................................................................................................... 52
6.13 Roteamento de veculos (mltiplos mapas auto-organizveis) ............................................................................................. 54
6.14 Mapas auto-organizveis construtivos................................................................................................................................... 55
6.15 Questes a serem melhor investigadas................................................................................................................................. 56
6.16 Extenses .............................................................................................................................................................................. 57
7 Referncias ............................................................................................................................................................................................. 57
Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 1
IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux

1 Organizao e Ordem
um cristal tende a apresentar mais ordem que uma clula. No entanto, a clula
tende a apresentar mais organizao.
um papel de parede que apresenta um padro de repetio tende a apresentar mais
ordem espacial que uma pintura. No entanto, a pintura tende a apresentar mais
organizao espacial.
um som de alarme tende a apresentar mais ordem temporal que uma msica. No
entanto, a msica tende a apresentar mais organizao temporal.
objetos esto dispostos no tempo e/ou no espao de forma ordenada se eles seguem
um regra especfica de disposio temporal e/ou espacial.
objetos esto dispostos no tempo e/ou no espao de forma organizada se eles
contribuem em conjunto para produzir alguma funcionalidade.
Idias podem estar logicamente ordenadas (para efeito de apresentao) ou
logicamente organizadas (para efeito de argumentao).

2 Auto-Organizao
o estudo de sistemas auto-organizados recente, embora a humanidade tenha

sempre se ocupado com questes vinculadas origem de sistemas organizados.
as formas que podem ser observadas no mundo nossa volta representam apenas
uma pequena parcela de todas as formas possveis. Logo, por que no existe mais
variedade?
para procurar respostas a questes como esta que se estuda sistemas auto-
organizados e teoria da complexidade.
exemplos de sistemas naturais que apresentam organizao: galxias, planetas,
componentes qumicos, clulas, organismos, sociedades.
existem campos de atuao cientfica que procuram explicar a auto-organizao
recorrendo a propriedades e leis aplicveis s partes constituintes (componentes)
de um sistema organizado especfico.

no entanto, a auto-organizao pode ser abordada de modo completamente

distinto, recorrendo-se s propriedades e leis comuns a todos os sistemas
organizados, independente de suas particularidades.
neste caso, a atual disponibilidade de recursos computacionais fundamental para
viabilizar a investigao dos processos envolvidos, atravs de simulaes que
envolvem um grande nmero de etapas e uma grande variedade de parmetros e
condies iniciais.
mesmo assim, o estudo est restrito a fenmenos (concretos ou abstratos) que so
facilmente reprodutveis, os quais certamente representam um subconjunto de
todos os fenmenos possveis.
a reproduo em computador de fenmenos auto-organizados tem levado
gerao de teorias que procuram descrever sistemas complexos e sua organizao
espontnea (sistemas parcialmente decomponveis).

um sistema complexo pode ser caracterizado como o resultado da auto-

organizao de componentes sob forte interao, produzindo estruturas sistmicas
cujas propriedades geralmente no esto presentes em nenhum de seus
componentes, j que estas dependem de nveis mais elevados de organizao.
um sistema, por sua vez, pode ser definido como um agrupamento coerente de
componentes que operam como um todo e que apresentam uma individualidade,
ou seja, se distinguem de outras entidades por fronteiras reconhecveis. H muitas
variedades de sistemas, as quais podem ser classificadas em 3 grandes grupos:
1. quando as interaes de seus componentes so fixas. Ex: mquina.

2. quando as interaes de seus componentes so irrestritas. Ex: gs.
3. quando existem interaes fixas e variveis de seus componentes. Ex: clula.
os sistemas de maior interesse so aqueles pertencentes classe 3, j que

dependem da natureza e forma das interaes de seus componentes ao longo de
sua existncia. Assim, o sistema vai apresentar um novo comportamento sempre

que componentes forem adicionados, removidos ou rearranjados, ou ento sempre

que houver modificao nas interaes.
a essncia da auto-organizao est no surgimento de estrutura (formas restritas) e
organizao sem que estas sejam impostas de fora do sistema. Isto implica que
este fenmeno interno ao sistema, resulta da interao de seus componentes e,
em essncia, no depende da natureza fsica destes componentes.
a organizao pode se dar no espao, no tempo, ou em ambos.
o que se busca so regras gerais para o crescimento e evoluo de estruturas
sistmicas. Com isso, espera-se poder prever a organizao futura que ir resultar
de alteraes promovidas junto aos componentes de um dado sistema, alm de
poder estender estes resultados a outros sistemas semelhantes.
em geral, os mecanismos estabelecidos pelos componentes de um dado sistema
capaz de expressar auto-organizao so: realimentao positiva, realimentao
negativa e interao local.

importante buscar respostas (direta ou indiretamente) para as seguintes questes:
uma vez caracterizadas as regras de interao que iro definir o comportamento

individual de cada componente de um sistema, ao longo do tempo, e que
supostamente permitem desenvolver e manter um processo auto-organizado,
ocorrer efetivamente algum tipo de auto-organizao do comportamento
espao-temporal?
se a resposta questo acima for afirmativa, qual ser o padro emergente, ou
seja, o resultado final da auto-organizao?
dado que existe, na natureza, a formao de padres espao-temporais no
devidos a processos auto-organizados, como diferenciar de um processo auto-
organizado?
qual o nvel de complexidade local que cada componente deve apresentar para
permitir a emergncia da complexidade global observada no sistema?
o quanto do comportamento observado no agregado devido ao efeito da ao
individual de cada componente e o quanto devido dinmica do meio?

3 Motivao para treinamento no-supervisionado: clusterizao
dados rotulados so aqueles que assumem valores em um mesmo espao vetorial

multidimensional e que vm acompanhados da classe a que cada um pertence
(rtulo), podendo haver mltiplas classes, com varincias e nmero de dados
distintos ou no para cada classe.
dados no-rotulados so aqueles que assumem valores em um mesmo espao
vetorial multidimensional, e que no se conhece a priori a classe a que cada um
pertence, embora cada um pertena a uma classe especfica. O nmero de classes
pode ser conhecido a priori ou no. A varincia e o nmero de dados de cada
classe pode diferir ou no.
3.1 Modelo simples de classificao para dados rotulados
hiptese: as classes apresentam propriedades distintas (seus elementos

pertencem a regies distintas do espao vetorial multidimensional);
modelagem: um representante para cada classe;

objetivo: minimizar o somatrio das distncias entre os dados e o respectivo

representante da classe a que pertencem;
aplicao: aps finalizar o posicionamento de todos os representantes, definir
o rtulo de cada novo dado no-rotulado como aquele associado ao
representante que possuir a menor distncia ao dado.
trata-se, portanto, de um problema de otimizao, que pode ser resolvido por
intermdio de tcnicas de treinamento supervisionado.
no caso, basta dividir o presente problema em C problemas distintos, sendo C o
nmero de classes.
exemplos grficos e anlise topolgica.
limitaes.
3.2 Modelo composto de classificao para dados rotulados
hiptese: as classes apresentam propriedades distintas (seus elementos

pertencem a regies distintas do espao vetorial multidimensional);

modelagem: mltiplos representantes para cada classe;

objetivo: minimizar o somatrio da distncia entre cada dado e o
representante mais prximo da classe a que pertence;
aplicao: aps finalizar o posicionamento de todos os representantes, definir
o rtulo de cada novo dado no-rotulado como aquele associado ao
representante que possuir a menor distncia ao dado.
trata-se tambm de um problema de otimizao, mas neste caso tcnicas de
treinamento no-supervisionado devem ser empregadas, pois os representantes de
cada classe devem se auto-organizar no espao de acordo com a distribuio
apresentada pelos dados da respectiva classe.
como no caso anterior, pode-se dividir o presente problema em C problemas
distintos.

3.3 Modelo composto de classificao para dados no-rotulados
hiptese: no se conhece o nmero de classes, mas sabe-se que elas

apresentam propriedades distintas (seus elementos pertencem a regies
distintas do espao vetorial multidimensional);
modelagem: mltiplos representantes no-rotulados;
objetivo: minimizar o somatrio da distncia entre cada dado e o
representante no-rotulado mais prximo.
rotulagem: aps finalizar o posicionamento de todos os representantes
(tambm por auto-organizao), aplicar alguma tcnica de discriminao que
agrupe representantes de acordo com as posies relativas entre eles. A
seguir, atribuir um rtulo diferente a cada grupo de representantes.
aplicao: definir o rtulo de cada novo dado no-rotulado como aquele
associado ao representante que possuir a menor distncia ao dado.

3.4 Comparao com o k-means
8
8
7
7
6 F G
6 F G
5
5
4 4
3 C D E 3 C D E
2 B 2 B
1 A 1 A
0 0
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9
Erro total = 12,250 Erro total = 5,167
figuras extradas de ZUCHINI (2003) e baseadas em JAIN et al. (1999)

sensibilidade condio inicial
ausncia de vizinhana topolgica

4 Uma viso mais abrangente para Aprendizado de Mquina
aprendizado de mquina envolve as tcnicas computacionais que visam ampliar a

automatizao e eficincia de processos de aquisio de conhecimento por um
computador, a partir da exposio a eventos, manipulao de bases de dados ou
qualquer outra forma de transmisso de informao ou processamento de dados.
aquisio de conhecimento: gerao de modelos do mundo, descoberta de
regularidades e outras propriedades estatsticas presentes nos dados (associaes
espaciais e temporais), gerao de leis de discriminao para efeito de
classificao, realizao de agrupamento de dados (previamente no-rotulados)
em classes.
mtodos de agrupamento (JAIN & DUBES, 1988; EVERITT, 1993; JAIN et al., 1999):
hierrquicos: aglomerativos, divisivos;
particionais: k-means, Minimum Spanning Tree (MST);

5
4
3
1
2
Objetos
0 1 2 3 4 5
Distncia
Agrupamento hierrquico (figuras extradas de ZUCHINI, 2003)

6 F G
2
5
3
4
3 C D 1
E
1
4.1231
2 B
1.4142
1 A
0
0 1 2 3 4 5 6 7 8 9
Minimum Spanning Tree (MST) (figura extrada de ZUCHINI, 2003)
arcos com comportamento inconsistente so eliminados, formando os grupos.

5 Treinamento no-supervisionado
como aprender a representar padres de entrada de modo a refletir a estrutura

estatstica de toda a coleo de dados de entrada? Que aspectos da entrada devem
ser reproduzidos na sada?
em contraposio ao treinamento supervisionado e ao treinamento por reforo, no
h aqui nenhuma sada desejada explcita ou avaliao externa da sada produzida
para cada dado de entrada.
o treinamento no-supervisionado predominante no crebro humano. sabido
que as propriedades estruturais e fisiolgicas das sinapses no crtex cerebral so
influenciadas pelos padres de atividade que ocorrem nos neurnios sensoriais.
No entanto, em essncia, nenhuma informao prvia acerca do contedo ou
significado do fenmeno sensorial est disponvel.
sendo assim, a implementao de modelos computacionais para ajuste de pesos
sinpticos via treinamento no-supervisionado deve recorrer apenas aos dados de

entrada, tomados como amostras independentes de uma distribuio de

probabilidade desconhecida.
duas abordagens tm sido propostas para aprendizado no-supervisionado:
1. tcnicas para estimao de densidades de probabilidade, que produzem modelos
estatsticos explcitos para descrever os fenmenos responsveis pela produo
dos dados de entrada. Ex: redes bayesianas.
2. tcnicas de extrao de regularidades estatsticas diretamente dos dados de
entrada. Ex: redes de Kohonen.
a histria do aprendizado no-supervisionado longa e diversificada:
(BARLOW, 1989), HEBB (1949), HINTON & SEJNOWSKI (1986), MACKAY
(1956), MARR (1970);
BECKER & PLUMBLEY (1996), HINTON (1989), LINSKER (1988), KOHONEN
(1989), KOHONEN (1997);

6 Mapas Auto-Organizveis de Kohonen
um mapa de Kohonen um arranjo de neurnios, geralmente restrito a espaos de

dimenso 1 ou 2, que procura estabelecer e preservar noes de vizinhana
(preservao topolgica).
se estes mapas apresentarem propriedades de auto-organizao, ento eles podem
ser aplicados a problemas de clusterizao e ordenao espacial de dados.
neste caso, vai existir um mapeamento do espao original (em que os dados se
encontram) para o espao em que est definido o arranjo de neurnios.
como geralmente o arranjo de neurnios ocorre em espaos de dimenso reduzida
(1 ou 2), vai existir uma reduo de dimensionalidade sempre que o espao
original (em que os dados se encontram) apresentar uma dimenso mais elevada.
toda reduo de dimensionalidade (relativa dimensionalidade intrnseca dos
dados) pode implicar na perda de informao (por exemplo, violao topolgica).
Sendo assim, este mapeamento deve ser tal que minimiza a perda de informao.

a informao uma medida da reduo da incerteza, sobre um determinado estado

de coisas. Neste sentido, a informao no deve ser confundida com o dado ou seu
significado, e apresenta-se como funo direta do grau de originalidade,
imprevisibilidade ou valor-surpresa do dado (ou conjunto de dados).
espaos normados so aqueles que permitem o estabelecimento de propriedades
topolgicas entre seus elementos. Ex: medida de distncia (fundamental para a
definio do conceito de vizinhana), ordenamento.
6.1 Arranjo unidimensional
um mapa de Kohonen unidimensional dado por uma seqncia ordenada de

neurnios lineares, sendo que o nmero de pesos igual ao nmero de entradas.
h uma relao de vizinhana entre os neurnios (no espao unidimensional
vinculado ao arranjo), mas h tambm uma relao entre os pesos dos neurnios
no espao de dimenso igual ao nmero de entradas. Para entender a
funcionalidade dos mapas de Kohonen, necessrio considerar ambas as relaes.

ordem 2
ordem 1
ordem 0
...
x1 x2 xdim
Figura 1 - Rede de Kohonen em arranjo unidimensional: nfase na vizinhana

i
+ 1 se i = l t11

til = 1
se i l , < wij y1
n
j tn1
x1 y2
r r x2
y (0) = Wx

xdim

t1n
n
y i ( k + 1) = max 0, til y l ( k )
l =1
yn
Figura 2 - Rede de Kohonen em arranjo unidimensional: nfase nas conexes

Exemplo: Para dim = 2, considere n = 4, sendo que os vetores de pesos so dados na

forma:
2 1 3 3
w1 = , w 2 = , w 3 = e w 4 =
3 1 0 2
x2
1
2
3
x1
Figura 3 - Mapa de Kohonen em arranjo unidimensional (nesta caso, existe

vizinhana entre primeiro e ltimo neurnios)

6.2 Arranjo bidimensional
... ... ...
...
x1 x2 xdim
Figura 4 - Rede de Kohonen em arranjo bidimensional: nfase na vizinhana

mi
mi
Outras configuraes de mapas e de vizinhana (figuras extradas de

ZUCHINI, 2003)

Arranjo em
2
Neurnios mi
Pesos sinpticos
[mi1, ..., miD]
v1
v2 Dados de
Entrada
M
vD
Outra perspectiva para arranjo 2D (figura extrada de ZUCHINI, 2003)

P lano hexagonal
P lano retangular
7
8
6
1 6 5
1
0 4
0
4
-1 -1 3
0 0
2
2 2 2
4 4 1
6 6
8 0 8 0
Toroide
Cilindro
0.5
-1
0 8
-2
6
-0.5
4
2 1
-0.5 0 0.5
0.5 1 0
0
-0.5 -2
0 -1
1
2
Arranjos com vizinhana nos extremos (figuras extradas de ZUCHINI, 2003)

6.3 Fase de competio
trs elementos bsicos em uma lei de aprendizado competitivo:

1. um conjunto de neurnios similares, exceto pelo valor de seus pesos;
2. um limite imposto ao valor que os pesos podem atingir;
3. um mecanismo de competio.
a competio vai produzir um nico neurnio ativo para cada entrada (winner-
takes-all)
como implementar? definindo uma regra de influncia da ativao de um
neurnio junto a todos os demais.

6.4 Fase de aprendizado no-supervisionado
se os pesos se mantiverem com norma unitria, ento a definio do neurnio

vencedor pode se dar de duas formas:
1. produto escalar;
2. norma euclidiana ( a nica vlida tambm no caso de pesos no-normalizados).
seja j o neurnio vencedor:
Alternativa 1
somente o neurnio j ajustado na forma:
w j ( k + 1) = w j ( k ) + (x ( k ) w j ( k ) )
wj(k)
(x(k)wj(k))
wj(k+1)
x(k)

Alternativa 2
caso existam mltiplos representantes para cada agrupamento de dados, ento
interessante ajustar o neurnio vencedor e seus vizinhos mais prximos.
Implementao
vizinhana vizinhana
importante que a influncia de cada neurnio vencedor seja ampla no incio do

processo e sofra uma reduo continuada com o decorrer das iteraes.

6.5 Algoritmo de ajuste dos pesos
while <condio de parada> falso,

ordene aleatoriamente os N padres de entrada;
for i=1 at N,
j = arg min x i w j
j
J Viz(j) do:
w J = w J + (dist ( j, J ) )(x i w J );
end do
end for
atualize a taxa de aprendizado ;
atualize a vizinhana;
avalie a condio de parada;
end while

6.6 Ajuste de pesos com restrio de vizinhana
vk
BMU
Figuras extradas de ZUCHINI (2003)

o neurnio que venceu para uma dada amostra o que sofre o maior ajuste. No
entanto, dentro de uma vizinhana, todos os neurnios vizinhos tambm sofrero
um ajuste de pesos, embora de menor intensidade.

6.7 Discriminao dos agrupamentos
dada a conformao final de neurnios (no rotulados), como realizar a

clusterizao, ou seja, definio de agrupamentos e atribuio do mesmo rtulo a
todos os neurnios pertencentes a um dado agrupamento?
soluo: matriz(vetor)-U (ULTSCH, 1993; COSTA, 1999)
aspecto a ser explorado: aps o processo de auto-organizao, dados de entrada
com caractersticas semelhantes passam a promover reaes semelhantes da rede
neural.
assim, comparando-se as reaes da rede neural treinada, possvel agrupar os
dados pela anlise do efeito produzido pela apresentao de cada um rede.
a matriz-U uma ferramenta que permite realizar a discriminao dos
agrupamentos, a partir de uma medida do grau de similaridade entre os pesos de
neurnios adjacentes na rede. O perfil apresentado pelas distncias relativas entre
neurnios vizinhos representa uma forma de visualizao de agrupamentos.

recebeu a denominao de matriz por ter sido proposta no caso de mapas

bidimensionais, sendo que o grau de similaridade plotado na terceira dimenso
gerando uma superfcie em relevo em 3D.
para o caso de mapas unidimensionais, tem-se o vetor-U.
topologicamente, as distncias entre neurnios vizinhos refletem os agrupamentos,
pois uma depresso ou um vale da superfcie de relevo representa neurnios
pertencentes a um mesmo agrupamento. Neurnios que tm uma distncia grande
em relao ao neurnio adjacente, a qual representada por um pico da superfcie
de relevo, so neurnios discriminantes de agrupamentos.
6.8 Aplicao
como utilizar o mapa de Kohonen, aps a fase de treinamento no-supervisionado

e depois de ter as classes devidamente discriminadas, para classificao de
padres?
exemplos de aplicao

Exemplo de matriz-U para arranjo retangular (figura extrada de ZUCHINI, 2003)

Exemplo de matriz-U para arranjo hexagonal (figura extrada de ZUCHINI, 2003)

6.9 Agrupamento de dados (Clusterizao)
Caso 1: Ausncia de agrupamentos
0.8
0.6
0.4
0.2
0
0 0.2 0.4 0.6 0.8 1
Figura 5 Padres de entrada com distribuio uniforme

1
42 40 35 34
44 43 33
41 39
0.8 45 36 32
46 2 38 37 31
1 3 30
0.6 47 50
10 9
48 49 4 29
11 8
0.4 12 28
5 7 27
15 13 6
16 14 26
0.2
17 25
19 20 21 22
18 23 24
0
0 0.2 0.4 0.6 0.8 1
Figura 6 Configurao final de 50 neurnios em um arranjo unidimensional

Caso 2: Presena de agrupamentos bem distintos
-2
-4
-6 -4 -2 0 2 4
Figura 7 Padres de entrada com 4 agrupamentos

4
3
131415 16
17 5 4 2
6
12 11
109 18 7 48 50
1
2 49
8 47
19
0
46
-2 45 29
31 3028
44
43 363534 33 32
42 37 20 27
26 25
41403938 21 23
22 24
-4
-4 -2 0 2 4
Figura 8 Configurao final de 50 neurnios em um arranjo unidimensional

Caso 3: Presena de agrupamentos pouco distintos
-2
-4
-6
-8
-8 -6 -4 -2 0 2 4 6 8
Figura 9 Quatro agrupamentos de dados no-rotulados distribudos no 2

3
113 67 153
217
210
2
120
1 83
0
74
75
-1
137
-2 190
216 90 85 170
-3
-4
-4 -3 -2 -1 0 1 2 3 4
Figura 10 Configurao final de 15 neurnios em um arranjo unidimensional e estatstica dos

vencedores

1.8
1.6
1.4
1.2
0.8
0.6
0.4
0.2
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Figura 11 Vetor-U levando em conta a estatstica dos vencedores

6.10 Ferramentas de visualizao e discriminao
Interpretao do mapa aps auto-organizao (figura extrada de ZUCHINI, 2003)



6.11 Comparao com PCA e Anlise por Componentes Curvos (CCA)
3 2
1.5
2
1
1
Z
0.5
0
0
-1 -0.5
-1 0 1 2 -1 0 1 2
X X
Espao 3D
3
4
2
2
Z
1
Z
0
-2
-2
-1 0 2
2 -2 0
-1 0 1 2 Y
X
Y

0.5
-0.5
-1
-1.5
-2 -1.5 -1 -0.5 0 0.5 1 1.5
Projeo PCA (figuras extradas de ZUCHINI, 2003)

Matriz-U para grid hexagonal (figura extrada de ZUCHINI, 2003)

1.5
0.5
-0.5
2
-1
0
-1.5
3
2 1 0 -1 -2
-2
0.8
0.6
0.4
0.2
-0.2
-0.4
-0.6
-0.8
-1
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2
Projeo PCA (figuras extradas de ZUCHINI, 2003)

1.5
0.5
-0.5
2
-1
0
-1.5
3
2 1 0 -1 -2
-2
2.5
1.5
0.5
-0.5
-1
-1.5
-2 -1.5 -1 -0.5 0 0.5 1 1.5
CCA (figuras extradas de ZUCHINI, 2003)

1.5
0.5
-0.5
2
-1
0
-1.5
3
2 1 0 -1 -2
-2
Matriz-U para grid hexagonal (figuras extradas de ZUCHINI, 2003)


6.12 Ordenamento de pontos em espaos multidimensionais
1
1
102
a) 102 b)
b)
Figura 12 Situao anterior (esquerda) e situao posterior (direita) ao ordenamento de pontos

no 2 (GOMES et al., 2004).
a extenso para pontos em espaos de maior dimenso imediata (generalizao

do problema do caixeiro viajante)

Modo de operao (GOMES et al., 2004)

6.13 Roteamento de veculos (mltiplos mapas auto-organizveis)
Figura 13 Vrias etapas do processo de auto-organizao (GOMES & VON ZUBEN, 2002)

6.14 Mapas auto-organizveis construtivos
Growing Neural Gas (FRITZKE, 1995)

6.15 Questes a serem melhor investigadas
sintonia de parmetros
neurnios que no vencem nunca (devem ser podados para aumentar eficincia)
neurnios que vencem sempre
dimenso do arranjo para uma dada aplicao
nmero de neurnios, uma vez definido o arranjo
inicializao dos pesos
apresentao dos dados rede (padro-a-padro ou em batelada?)
interpretao do mapa resultante (anlise discriminante)
mtodos construtivos e de poda
outras aplicaes e mltiplos mapeamentos simultneos
comparaes com ferramentas similares

6.16 Extenses
Learning Vector Quantization (LVQ)

( x i w j ) se a classe for correta
w j =
( x i w j ) se a classe for incorreta
7 Referncias
ANGNIOL, B., VAUBOIS, C. & LE TEXIER, J.Y. Self-organizing feature maps and the travelling salesman problem, Neural
Networks, 1, 289-293, 1988.
ARAS, N., OOMMEN, B.J. & ALTINEL, I.K. The Kohonen Network Incorporating Explicit Statistics and its Application to The
Travelling Salesman Problem, Neural Networks, 12, 1273-1284, 1999.
BARLOW, H. B. Unsupervised learning, Neural Computation, 1: 295-311, 1989.
BAK, P. How Nature Works: The Science of Self-Organized Criticality, Copernicus, 1996.
BECKER, S. & PLUMBLEY, M. Unsupervised neural network learning procedures for feature extraction and classification,
International Journal of Applied Intelligence, 6: 185-203, 1996.
BUSHEV, M. Synergetics: Chaos, Order, Self-Organization, World Scientific, 1994.
COSTA, J.A.F. Classificao Automtica e Anlise de Dados por Redes Neurais Auto-Organizveis, Tese de Doutorado,
Faculdade de Engenharia Eltrica e de Computao (FEEC/Unicamp), Dezembro 1999.
COVENEY, P. & HIGHFIELD, R. Frontiers of Complexity: The Search for Order in a Chaotic World, Fawcett Columbine, 1995.

COWAN, G.A., PINES, D. & MELTZER, D. (eds.) Complexity: Metaphors, Models, and Reality, Proceedings Volume XIX,
Santa Fe Institute Studies in the Sciences of Complexity, Perseus Books, 1994.
DE CASTRO, L.N. & VON ZUBEN, F.J. An Improving Pruning Technique with Restart for the Kohonen Self-Organizing Feature
Map. Proceedings of the IEEE International Joint Conference on Neural Networks (IJCNN99), vol. 3, pp. 1916-1919,
July 1999.
DE CASTRO, L.N. & VON ZUBEN, F.J. A Pruning Self-Organizing Algorithm to Select Centers of Radial Basis Function Neural
Networks. in Kurkov, V., Steele, N.C., Neruda, R., Krn, M. (eds.) Proceedings of the International Conference of
Artificial Neural Networks and Genetic Algorithms (ICANNGA'01), pp. 114-117, Prague, Czech Republic, April 22-25,
2001.
EVERITT, B. Cluster Analysis, 3rd. edition, John Wiley, 1993.
FAQ: The self-organized systems (http://www.calresco.org/sos/sosfaq.htm)
FAVATA, F. & WALKER, R. A Study of the Application of Kohonen-Type Neural Networks to the Traveling Salesman
Problem, Biological Cybernetics 64, 463-468, 1991.
FORT, J.C. Solving a Combinatorial Problem via Self-Organizing Maps, Biological Cybernetics, 59, 33-40, 1988.
FRITZKE, B. A Growing Neural Gas Network Learns Topologies, in Tesauro, G., Touretzky, D.S., and Leen, T.K. (eds.).
Advances in Neural Information Processing Systems 7, The MIT Press, pp. 625-632, 1995.
GOMES, L.C.T. & VON ZUBEN, F.J. A Neuro-Fuzzy Approach to the Capacitated Vehicle Routing Problem. Proceedings of the
IEEE International Joint Conference on Neural Networks (IJCNN2002), vol. 2, pp. 1930-1935, Honolulu, Hawaii, May
12-17, 2002.
GOMES, L.C.T. & VON ZUBEN, F.J. Vehicle Routing Based on Self-Organization With and Without Fuzzy Inference.
Proceedings of the IEEE International Conference on Fuzzy Systems (FUZZ-IEEE2002), vol. 2, pp. 1310-1315, Honolulu,
Hawaii, May 12-17, 2002.

GOMES, L.C.T., VON ZUBEN, F.J. & MOSCATO, P.A. A Proposal for Direct-Ordering Gene Expression Data by Self-Organising
Maps, International Journal of Applied Soft Computing, vol. 5, pp. 11-21, 2004.
HEBB, D. O. The Organization of Behavior, Wiley, 1949.
HINTON, G.E. Connectionist learning procedures, Artificial Intelligence, 40: 185-234, 1989.
HINTON, G. E. & SEJNOWSKI, T.J. Learning and relearning in Boltzmann machines, in D. E. Rumelhart, J. L. McClelland &
The PDP Research Group (eds.) Parallel Distributed Processing: Explorations in the Microstructure of Cognition, MIT
Press, vol. 1, pp. 282-317, 1986.
JAIN, A.K. & DUBES, R.C. Algorithms for Clustering Data, Prentice-Hall, 1988.
JAIN, A.K., MURTY, M.N. & FLYNN, P.J. Data Clustering: A Review, ACM Computing Surveys, vol. 31, no. 3, pp. 264-323,
1999.
KASKI, S. Data Exploration Using Self-Organizing Maps, Ph.D. Thesis, Helsinki University of Technology, Neural Networks
Research Centre, 1997.
KAUFFMAN, S. At Home in the Universe: The Search for the Laws of Self-Organization and Complexity, Oxford University
Press, 1995.
KOHONEN, T. Self-organized formation of topologically correct feature maps, Biological Cybernetics, 43:59-69, 1982.
KOHONEN, T. Self-Organization and Associative Memory, 3rd. edition, Springer, 1989 (1st. edition, 1984).
KOHONEN, T. The Self-Organizing Map, Proceedings of the IEEE, 78:1464-1480, 1990.
KOHONEN, T., OJA, E., SIMULA, O., VISA, A. & KANGAS, J. Engineering applications of the self-organizing map, Proceedings
of the IEEE, 84:1358-1384, 1996.
KOHONEN, T. Self-Organizing Maps, 2nd. edition, Springer, 1997.
LINSKER, R. Self-organization in a perceptual network, Computer, 21: 105-128, 1988.

MACKAY, D. M. The epistemological problem for automata, in C. E. Shannon & J. McCarthy (eds.) Automata Studies,
Princeton University Press, pp. 235-251, 1956.
MARR, D. A theory for cerebral neocortex, Proceedings of the Royal Society of London, Series B, 176: 161-234, 1970.
MATSUYAMA, Y. Self-Organization via Competition, Cooperation and Categorization Applied to Extended Vehicle Routing
Problems, Proc. International Joint Conference on Neural Networks, 1, 385-390, 1991.
MODARES, A., SOMHOM, S. & ENKAWA, T. A Self-Organizing Neural Network Approach for Multiple Traveling Salesman and
Vehicle Routing Problems, Int. Transactions in Operational Research, 6, 591-606, 1999.
POTVIN, J.-I. & ROBILLARD, C. Clustering for Vehicle Routing wih a Competitive Neural Network, Neurocomputing, 8, 125-
139, 1995.
SMITH, K.A. Neural Networks for Combinatorial Optimization: A Review of More than a Decade of Research, INFORMS
Journal on Computing, 11, 1, 15-34, 1999.
TOOLBOX: http://www.cis.hut.fi/projects/somtoolbox/
ULTSCH, A. Knowledge Extraction from Self-Organizing Neural Networks, in O. Opitz et al. (eds.) Information and
Classification, Springer, pp. 301-306, 1993.
VAKHUTINSKY, A. I. & GOLDEN, B. L. Solving Vehicle Routing Problems Using Elastic Nets, Proc. IEEE International
Conference on Neural Networks, 7, 4535-4540, 1994.
WILSON, R.A. & KEIL, F.C. (eds.) The MIT Encyclopedia of the Cognitive Sciences, MIT Press, 1999.
ZUCHINI, M.H. Aplicaes de Mapas Auto-Organizveis em Minerao de Dados e Recuperao de Informao, Tese de
Mestrado, Faculdade de Engenharia Eltrica e de Computao (FEEC/Unicamp), Setembro 2003.

Kohonen PDF

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Kohonen PDF

Transféré par

Droits d'auteur :

Formats disponibles

IA353 Profs. Fernando J. Von Zuben & Romis R. F.

Rede Neural de Kohonen e

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 1

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 2

o estudo de sistemas auto-organizados recente, embora a humanidade tenha

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 3

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux

no entanto, a auto-organizao pode ser abordada de modo completamente

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 4

um sistema complexo pode ser caracterizado como o resultado da auto-

1. quando as interaes de seus componentes so fixas. Ex: mquina.

os sistemas de maior interesse so aqueles pertencentes classe 3, j que

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 5

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux

que componentes forem adicionados, removidos ou rearranjados, ou ento sempre

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 6

importante buscar respostas (direta ou indiretamente) para as seguintes questes:

uma vez caracterizadas as regras de interao que iro definir o comportamento

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 7

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux

3 Motivao para treinamento no-supervisionado: clusterizao

dados rotulados so aqueles que assumem valores em um mesmo espao vetorial

3.1 Modelo simples de classificao para dados rotulados

hiptese: as classes apresentam propriedades distintas (seus elementos

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 8

objetivo: minimizar o somatrio das distncias entre os dados e o respectivo

3.2 Modelo composto de classificao para dados rotulados

hiptese: as classes apresentam propriedades distintas (seus elementos

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 9

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux

modelagem: mltiplos representantes para cada classe;

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 10

3.3 Modelo composto de classificao para dados no-rotulados

hiptese: no se conhece o nmero de classes, mas sabe-se que elas

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 11

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux

3.4 Comparao com o k-means

Erro total = 12,250 Erro total = 5,167

figuras extradas de ZUCHINI (2003) e baseadas em JAIN et al. (1999)

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 12

4 Uma viso mais abrangente para Aprendizado de Mquina

aprendizado de mquina envolve as tcnicas computacionais que visam ampliar a

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 13

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux

Agrupamento hierrquico (figuras extradas de ZUCHINI, 2003)

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 14

Minimum Spanning Tree (MST) (figura extrada de ZUCHINI, 2003)

arcos com comportamento inconsistente so eliminados, formando os grupos.

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 15

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux

como aprender a representar padres de entrada de modo a refletir a estrutura

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 16

entrada, tomados como amostras independentes de uma distribuio de

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 17

IA353 Profs. Fernando J. Von Zuben & Romis R. F. Attux

6 Mapas Auto-Organizveis de Kohonen

um mapa de Kohonen um arranjo de neurnios, geralmente restrito a espaos de

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 18

a informao uma medida da reduo da incerteza, sobre um determinado estado

6.1 Arranjo unidimensional

um mapa de Kohonen unidimensional dado por uma seqncia ordenada de

Tpico 8 Rede Neural de Kohonen e Aprendizado No-Supervisionado 19