Académique Documents
Professionnel Documents
Culture Documents
Introdução
¹Resultados insatisfatórios do treinamento de redes neurais com dados da LE para distinção da qualidade de cafés
torrados, diluídos em água, podem ser observados na seção de resultados.
Algoritmo Genético para Construção de Ensembles de Redes Neurais: Aplicação à Língua Eletrônica 2
Os classificadores induzidos a partir dos conjuntos de 1999a; OPITZ; SHAVLIK, 1999; TSYMBAL et al., 2003a;
dados da LE e de muitos outros conjuntos de diversos TSYMBAL et al., 2003b).
domínios estão sujeitos à baixa acurácia, devido à
demasiada presença de atributos irrelevantes e/ou O emprego de algoritmo genético (AG) para EFS foi
redundantes. Para minimizar esse problema e melhorar a proposto por Opitz (1999) para um ensemble de
acurácia de um classificador, duas abordagens podem ser classificadores de RNAs. O algoritmo GEFS (Genetic
utilizadas (BERNARDINI, 2002) seleção de atributos e Ensemble Feature Selection) mostrou resultados
ensembles de classificadores. comparáveis e até superiores aos métodos tradicionais
para construção de ensembles, como Bagging (BREIMAN
A seleção de atributos relevantes (FSS Feature Subset 1996) e AdaBoost (FREUND; SCHAPIRE, 1996; HAYKIN,
Selection) é um dos temas pesquisados em AM. Embora a 2001).
maioria dos algoritmos de AM busque, de alguma forma,
selecionar ou atribuir graus de importância aos atributos Embora GEFS seja eficaz para construção de um
dos dados, estudos indicam que a presença de muitos ensemble de classificadores de RNAs, ele não tem o
atributos irrelevantes deteriora o desempenho desses compromisso de utilizar um subconjunto mínimo de
algoritmos na construção das hipóteses. Por isso, atributos para construção do classificador final
métodos explícitos de seleção de atributos podem (ensemble). Ou seja, GEFS está focado na seleção de
aumentar a acurácia dos classificadores induzidos. No subconjuntos de atributos para aumento da acurácia e da
contexto da LE, o processo de seleção de atributos diversidade entre os classificadores, mas isso não provê
relevantes representa mais que um meio para aumentar o garantias de que, ao final da execução, um subconjunto
desempenho do algoritmo de aprendizado, pois a redução reduzido dos atributos totais seja resultante do processo.
do conjunto de atributos pode também: Esta peculiaridade é desinteressante para bases de dados
com alta redundância e irrelevância, como são àquelas
- otimizar o tempo de aquisição dos dados: provenientes de uma LE. A falta de compromisso com a
quanto menor o número de parâmetros redução do total de atributos impede que GEFS possa
considerados na coleta, menor o tempo de usufruir os méritos atribuídos a um método de FSS.
aquisição dos dados; Mesmo utilizando intrinsecamente o processo de seleção
- reduzir custos com a construção do arranjo de de atributos para gerar os classificadores, não se pode
sensores: quanto menor o número de sensores, afirmar que GEFS sempre se comportará globalmente
menor o custo envolvido na construção de uma como um método de FSS. Mais especificamente, para os
LE; dados da LE isso significa que todos os atributos podem
- indicar as melhores freqüências de operação e ser utilizados na construção do ensemble inviabilizando a
os melhores polímeros condutores: a definição determinação das melhores freqüências de operação, dos
da melhor freqüência e tipo de polímero tipos de polímeros condutores e de todos os outros
condutor aumenta a sensibilidade e seletividade parâmetros considerados na coleta de dados.
da LE;
- viabilizar a construção de equipamentos Ferreira e Delbem (2006b) modificaram o algoritmo GEFS
portáteis e simplificados: um conjunto reduzido original para conjugar o processo de EFS e de FSS no
de freqüências viabiliza a construção de mesmo algoritmo. O algoritmo, denominado GEFS
equipamentos portáteis dotados de uma Modificado, mostrou-se eficaz na construção de
eletrônica relativamente simples. ensembles de RNAs assim como na redução do número
de atributos dos dados de diversos domínios. Essa
A segunda abordagem é a combinação de classificadores característica de GEFS Modificado torna-o promissor para
diversos em um comitê: ensemble. Um ensemble é aplicações com a LE e por isso vem sendo adotado como
formado por um conjunto de classificadores cujas o algoritmo ideal para construção de classificadores.
decisões individuais são combinadas de alguma forma Nesse contexto, esta circular tem como objetivo mostrar
para classificar um novo caso. Os ensembles são a potencialidade de GEFS Modificado e sua metodologia
freqüentemente mais acurados que qualquer um dos seus de validação e certificação, assim como o atual estágio de
classificadores componentes (DIETTERICH, 2000) pesquisa e aplicação com os dados sobre a qualidade
global de cafés coletados com uma LE.
Uma forma efetiva para construção de bons ensembles é
por meio da manipulação do conjunto de atributos. A Seleção de atributos para ensembles
tarefa de encontrar subconjuntos de atributos para
construção de um ensemble de classificadores acurados e A amostragem de exemplos de treinamento realizada por
diversos é conhecida como seleção de características métodos como Bagging (BREIMAN, 1996) e AdaBoost
para ensembles (EFS - Ensemble Feature Selection) (FREUND; SCHAPIRE, 1996; HAYKIN, 2001) é um
(OPITZ, 1999). O processo de EFS é caracterizado pela mecanismo comprovadamente eficiente para obtenção de
conjunção das duas abordagens supracitadas. Enquanto classificadores acurados e diversos. Para esses métodos,
os algoritmos tradicionais de seleção de atributos têm por a diversidade preditiva² é conseqüência das diferentes
objetivo encontrar o melhor subconjunto de atributos amostras, retiradas do conjunto de dados, utilizadas no
relevantes tanto para tarefa de aprendizado quanto para o treinamento dos classificadores. Outra forma efetiva para
algoritmo de AM, EFS tem o objetivo adicional de se obter diversidade é por meio do arranjo de diferentes
encontrar subconjuntos que promovam diversidade de
predição entre os classificadores (OPITZ, 1999; ²A diversidade preditiva é um requisito para a construção de ensembles de
TSYMBAL et al., 2003a) Dentre os diversos algoritmos classificadores adequados. A medida de diversidade de um classificador
reflete o seu desacordo ou divergência de predição de classes em relação
para EFS, destacam-se os algoritmos genéticos (OPITZ, aos demais classificadores do ensemble.
Algoritmo Genético para Construção de Ensembles de Redes Neurais: Aplicação à Língua Eletrônica 3
- o erro médio da população não está O ajuste faz a taxa de mutação crescer (decrescer)
aumentando e a diversidade média da geometricamente a razão de w (1/w) com as gerações,
população está diminuindo; caso o erro do ensemble não decresça.
- o erro médio da população está aumentando e a
diversidade média não está diminuindo. O conceito que permeia o algoritmo GEFS Modificado
pode ser entendido como uma taxa de mutação por
Na primeira situação o coeficiente l é aumentado (10% demanda. Se a diversidade preditiva média não contempla
do valor corrente) como forma de corrigir a perda de os requisitos para a construção do ensemble, a taxa deve
diversidade preditiva da população atual que compõe o ser ajustada. Essa modificação em GEFS torna-o
ensemble. Na segunda situação, inversa à primeira, o apropriado para construção de classificadores e
eliminação dos atributos irrelevantes e redundantes
coeficiente l é diminuído (10% do valor corrente) como
presentes nos dados da LE.
forma de reduzir o impacto da diversidade preditiva da
população atual para a geração seguinte. Metodologia para Certificação e Validação
O ajuste de l viabiliza condições para que indivíduos mais Qualquer algoritmo de AM pode ser utilizado com GEFS
diversos ou menos diversos façam parte da população Modificado, porém resultados expressivos são obtidos
nas gerações seqüentes. Entretanto, quando os indivíduos com RNAs do tipo MLP treinadas por qualquer algoritmos
da população atual são semelhantes, ou seja, há pouca de aprendizagem. Em especial, dois tipos algoritmos de
diversidade populacional, outra forma de diversificação é treinamento são recomendados: o tradicional algoritmo
requerida para obtenção de diversidade preditiva. GEFS back-propagation com Early Stopping (HAYKIN, 2001)
originalmente utiliza uma alta taxa de mutação para BPES; e o algoritmo multi-objetivo MOBJ proposto por
provocar diversidade genética e assim prover indivíduos Teixeira (2000).
com maior diversidade preditiva. No entanto, esse artifício
minimiza significativamente a probabilidade de um A estimativa de acurácia de GEFS Modificado deve ser
atributo ser descartado durante o processo de construção baseada na metodologia de validação cruzada
do ensemble. Para garantir que a taxa de mutação estratificada (10-fold stratified cross-validation) e a sua
corrobore tanto a diversidade preditiva quanto a redução eficiência quanto ao número de atributos descartados por
de características totais (RCT), Ferreira e Delbem (2006b) meio da evolução do índice de redução de características
modificaram GEFS (GEFS Modificado), inserindo uma totais (IRCT³) ao longo da busca genética.
função de adaptação dinâmica para a taxa de mutação.
Para comprovar a superioridade ou não do algoritmo
Essa função trabalha em sincronia com a função de ajuste
GEFS-Modificado para um determinado domínio, deve-se
de l. O ajuste da taxa de mutação é regido pela seguinte
compará-lo em múltiplas instâncias. Recomenda-se no
equação: mínimo uma comparação pareada com um algoritmo de
( g 1 g )
treinamento de um único classificador e uma auto-
g 1 g
p g 1 p g comparação, considerando apenas o melhor componente
(2) classificador (melhor MLP que compõe o ensemble). O
objetivo dessas comparações é certificar a superioridade
Para w=1 de GEFS Modificado e comprovar o postulado por Hansen
e Salamon (1990).
onde pg é a taxa de mutação da geração g, lg é o
coeficiente de diversidade para geração g e w é o fator Para comparação pareada de algoritmos, a metodologia
multiplicador de pg. baseada nas médias e desvios padrão em 10-fold
stratified cross-validation, descrita em Baranauskas e
No Algoritmo 2 é descrito o algoritmo GEFS Modificado. Monarfd (2000) deve ser adotada. Essa metodologia de
comparação pode assegurar, estatisticamente, a
Algoritmo 2:! Algoritmo GEFS Modificado superioridade de um algoritmo em relação a outro.
Acurácia (%)
253 medidas de cafés, igualmente distribuídas em 3
classes distintas (Ótimos, Bons e Péssimos)
correspondentes à qualidade global, foram utilizadas.
Cada sensor da LE gerou uma base de dados, nomeada
60
pela letra S seguida do número de ordenamento do sensor
no arranjo da LE. Além dos cinco sensores distintos, uma
base foi construída por meio da junção de todos os
atributos de todos os sensores ({S1, S2, S3, S4, S5}). Os
parâmetros e configurações das redes MLP e do algoritmo 40
S1 S2 S3 S4 S5 {S1,S2,S3, S4,S5}
genético foram os mesmos utilizados por Ferreira e
Delbem (2006a). Fig. 1: Acurácia estimada dos algoritmos GMOBJ, GBPES,
MGMOB e MGBES para os dados de cafés da LE.
Para facilitar a análise e compreensão dos resultados
apresentados a seguir, algumas convenções foram Evolução do Desempenho
estabelecidas:
Embora as comparações mostradas nos gráficos
- GBPES - algoritmo GEFS Modificado cujo anteriores sejam conclusivas a respeito da eficácia de
algoritmo para treinamento das MLPs é o BPES; GEFS Modificado para classificação de cafés segundo sua
- GMOBJ - algoritmo GEFS Modificado cujo qualidade, uma avaliação adicional do desempenho do
algoritmo para treinamento da MLPs é o MOBJ; algoritmo durante a evolução da busca genética (evolução
- MGBES - algoritmo GBPES focado na seleção genética) também pode ser realizada. A evolução do
da MLP mais acurada; desempenho é capaz de mostrar se o algoritmo refina sua
- MGMOB - algoritmo GMOBJ focado na seleção acurácia (minimiza o erro) ou se sua eficácia é decorrente
da MLP mais acurada. de uma simples amostragem randômica do espaço de
busca, como ocorre em RS (HO, 1998). Logo, avaliou-se
Na Tabelas 1 são apresentados os resultados obtidos com a evolução geracional da acurácia de GMOBJ e GBPES,
os dois diferentes algoritmos para treinamento das MLPs
utilizando o erro médio em validação cruzada, cálculo
com GEFS Modificado para construção de ensembles e
similar ao da Equação 3. Os resultados obtidos são
com uma única MLP.
apresentados nos gráficos das Fig. 2 e 3.
Tabela 1: Estimativa de acurácia ensembles x RNAs 0.30
0.28
Erro Médio
0.22
0.20
S1 86.10 2.50 85.83 1.79 62.99 3.55 64.85 2.20 0.20
S2 87.71 2.24 89.80 1.41 62.20 2.90 66.50 2.76 0.18
0.18
S3 86.78 2.88 86.46 2.75 59.76 2.04 62.59 2.64 0.16
0.16
S4 84.72 2.43 84.58 3.19 62.08 3.26 62.09 3.42 0.14
S5 85.63 2.65 88.80 2.37 62.57 2.67 56.14 4.10 0.14
0.12
{S1,S2,S3, S4,S5} 84.61 2.22 88.31 1.71 66.52 1.98 65.91 2.68 0.12
0 5 10 15 20 25 30 35 40 45 50 0 5 10 15 20 25 30 35 40 45 50
Geração Geração
Para todas as bases de dados, GMOBJ e GBPES superam, (a) (b)
respectivamente, MOBJ e BPES, com grau de confiança 0.35 0.32
de 95%. 0.30
0.30 0.28
0.26
0.20
GMOBJ e GBPES, respectivamente, mas consideram 0.18
0.15
apenas a acurácia obtida pela melhor MLP do ensemble 0.16
0.14
em cada fold da validação cruzada. No gráfico da Fig. 1 0.10
0 5 10 15 20 25 30 35 40 45 50 0 5 10 15 20 25 30 35 40 45 50
0.24
valor da estimativa de acurácia superando, 0.24
Erro Médio
Erro Médio
0.22 0.22
0.18 0.18
de dados. Um grau de confiabilidade de 95% dessa 0.16 0.16
0.12
0.14
0.12
bases com o algoritmo GBPES e nas bases S3 e S4 com 0.10
0 5 10 15 20 25 30 35 40 45 50 0 5 10 15 20 25 30 35 40 45 50
A geração zero representa uma população aleatoriamente todas as bases consideradas. Conforme o algoritmo
amostrada do espaço de busca, como faz RS (HO, 1998). evolui, geração a geração, atributos irrelevantes no
Logo, observa-se uma tendência de decréscimo do erro, processo de construção do ensemble são descartados.
conforme o número de gerações aumenta. Essa tendência Isso comprova a eficiência de GEFS Modificado como
de comportamento mostra que o algoritmo GEFS algoritmo para construção de um ensemble e seleção de
Modificado refina o ensemble gerado durante o processo atributos dos dados provenientes de uma LE.
evolutivo. Por essa razão, é possível concluir que GEFS
Modificado é também mais acurado do que a construção
do ensemble por RS (HO, 1998).
S1
0.25 S2
S3
0.32 0.28
S4
0.30 0.26
S5
{S1,S2,S3,S4,S5}
0.20
0.28 0.24
0.26 0.22
IRCT M dio
0.24 0.20 0.15
Erro Médio
Erro Médio
0.22 0.18
0.20 0.16
0.14
0.10
0.18
0.16 0.12
0.14 0.10
0.05
0.12 0.08
0 5 10 15 20 25 30 35 40 45 50 0 5 10 15 20 25 30 35 40 45 50
Geração Geração 0.00
(a) (b) 0 3 6 9 12 15 18 21 24 27 30 33 36 39 42 45 48 51
Gera
o
0.32
(a)
0.30
0.30 S1
0.28 S2
0.20 S3
0.26 S4
0.25 S5
0.24
Erro Médio
Erro Médio
{S1,S2,S3,S4,S5}
0.22
0.20
0.15
0.20
IRCT M dio
0.18
0.15 0.16
0.10
0.14
0 5 10 15 20 25 30 35 40 45 50 0 5 10 15 20 25 30 35 40 45 50
Geração Geração
0.05
(c) (d)
0.32 0.00
0.30 0.28 0 3 6 9 12 15 18 21 24 27 30 33 36 39 42 45 48 51
0.28 0.26 Gera
o
0.26 0.24 (b)
0.24
0.22
0.22
Erro Médio
Erro Médio
0.20
0.20
0.18 0.18 Fig. 4: Evolução do IRCT médio: (a) algoritmo GMOBJ e
0.16
0.14
0.16
(b) algoritmo GBPES.
0.14
0.12
0.12
0.10
0 5 10 15 20 25 30 35 40 45 50
0.10
0 5 10 15 20 25 30 35 40 45 50
Conclusões
Geração Geração
(e) (f)
Os resultados apresentados na seção anterior são
motivadores e comprovam a eficácia do algoritmo GEFS
Fig. 3: Evolução do desempenho em GBPES: (a) S1, (b) Modificado para construção de um ensemble de RNAs no
S2, (c) S3, (d) S4, (e) S5 e (f) {S1,S2,S3,S4,S5}. domínio da LE. As comparações pareadas entre o
algoritmo para treinamento de uma única RNAs e o
Eficiência em redução de atributos mesmo algoritmo visando o melhor indivíduo da
população deflagram e atestam a sua superioridade. No
A eficiência do algoritmo para seleção do subconjunto que tange à questão da evolução da acurácia do
relativamente reduzido de atributos pode ser avaliada por ensemble, constatou-se uma tendência de decréscimo do
meio da média em r-folds dos IRCTs, calculados a cada erro de classificação à medida que o número de gerações
geração g. Na análise da eficiência do algoritmo para aumenta. O algoritmo GEFS Modificado preserva,
RCT, a dinâmica de evolução do algoritmo traz portanto, as características primordiais de construção de
informações relevantes e conclusivas sobre a tendência ensembles do algoritmo GEFS original e efetua ainda
de RCT dos algoritmos GMOBJ e GBPES. Mais do que um seleção de atributos, requisito fundamental no domínio da
valor fixo obtido ao final da execução dos algoritmos, a LE.
avaliação do desempenho do algoritmo ao longo da
evolução genética propicia uma interpretação sobre a Ambas abordagens (MOBJ e BPES) para treinamento das
tendência do processo. Por isso, a eficiência de GMOBJ e redes MLP aplicadas são adequadas para uso com GEFS
GBPES foi calculada para cada uma das gerações g por Modificado nas bases geradas pela LE. Com o algoritmo
(r )
meio do IRCT g nos 10 folds de validação cruzada. Na BPES os resultados obtidos foram ligeiramente melhores e
Fig. 4 são mostrados os gráficos com a evolução para com maiores significâncias para algumas bases.
todas as gerações e bases consideradas na execução dos Provavelmente essa superioridade advenha de maior
algoritmos GMOBJ e GBPES. acuidade de ajustes realizada durante as definições
paramétricas. No entanto, as duas abordagens são
Observa-se, por meio dos gráficos da Fig. 4, uma clara recomendadas para uso com GEFS Modificado.
tendência de crescimento do IRCT médio ao longo da
busca genética. Esse comportamento foi similar para A seleção de atributos realizada por GEFS Modificado é
Algoritmo Genético para Construção de Ensembles de Redes Neurais: Aplicação à Língua Eletrônica 7
um norteador para escolha das freqüências relevantes de FREUND, Y.; SCHAPIRE, R. E. Experiments with a new
operação dos sensores da LE. Um ensemble de RNAs boosting algorithm. In: SAITTA, L. (Ed.). ICML'96: proceedings
construído com GEFS Modificado para classificacão de of the 13th International Conference on Machine Learning,
cafés, por exemplo, além de elevar a acurácia do 1996, San Francisco. San Francisco: Morgan Kaufmann,
classificador, possibilita a seleção dos atributos 1996. p. 146-148.
(freqüências para os sensores) mais relevantes, evitando
HANSEN L.; SALAMON, P. Neural network ensembles. IEEE
assim a construção de equipamentos de maior Transactions on Pattern Analysis and Machine Intelligence,
complexidade eletrônica e minimizando o custo, o New York, v. 12, p. 993-1001, 1990.
desperdício de armazenamento e o tempo demandados na
coleta do dados. GEFS Modificado também se mostrou HAYKIN, S. Redes neurais: princípios e prática. 2. ed. Porto
eficaz para utilização com um único sensor da LE para Alegre: Bookman, 2001. 900 p.
classificação de cafés. Uma acurácia aproximada de 90 %
foi obtida com apenas um sensor e com um subconjunto HO, T. K. The random subspace method for construction
de freqüências menor que 80% do total. Esse é um dos decision forests. IEEE Transactions on Pattern Analysis and
aspectos de maior relevância, pois revela a possibilidade Machine Intelligence, New York, v. 20, n. 8, p. 832-844,
de construção de uma LE para classificação de cafés, 1998.
segundo sua qualidade global, ainda mais simples, com KOLLER, D.; SAHAMI, M. Toward Optimal Feature Selection.
apenas um sensor e com um conjunto reduzido de In: PROCEEDING OF 13th INTERNATIONAL CONFERENCE IN
freqüências. Por essa razão GEFS Modificado, bem como MACHINE LEARNING, 1996, Bari, Itália. Proceedings... [S. L.:
a metodologia para sua certificação e validação descrita s. n., 1996]. p. 284-292. Disponível em:
nesta circular, estão sendo utilizadas nos dados obtidos <http://citeseer.ist.psu.edu/koller96toward.html>.
com a LE.
OPITZ, D. W. Feature selection for ensembles. In:
Referências INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL
INTELLIGENCE, 16., 1999, STOCHOLM. Proceedings…
BARANAUSKAS, J. A.; MONARFD, M. C. Reviewing some Somerset: International Joint Conferences on Artifical
machine learning concepts and methods. São Carlos: USP- Intelligence, Inc., 1999. p. 379-384. Disponível em:
ICMC, 2000. 52 p. (USP-ICMC. Relatórios técnicos, 102). <http://citeseer.nj.nec.com>. Acesso em: 15 jan. 2004.
BERNARDINI, F. C. Combinação de classificadores simbólicos OPITZ, D. W.; SHAVLIK, J. W. A genetic algorithm approach
para melhorar o poder preditivo e descritivo de ensembles. for creating neural-network ensembles. In: SHARKEY, A. (Ed.).
2002. 85 f. Dissertação (Mestrado em Ciência da Computação) Appears in combining artificial neural nets. London: Springer-
Instituto de Ciências Matemáticas e de Computação, Verlag, 1999. p. 79-97.
Universidade de São Paulo, São Carlos.
RUMELHART, D. E.; HINTON, G. E.; WILLIAMS, R. J. Learning
BREIMAN, L. Bagging predictors. Machine Learning, Boston, v. representation by back-propagating errors. Nature, London, v.
24, n. 2, p. 123-140, 1996. 323, p. 533-536, 1986.
DIETTERICH, T. G. Ensemble methods in machine learning. In: RUSSELL, S.; NORVIG, P. Inteligência artificial. 2. ed. Rio de
INTERNATIONAL WORKSHOP ON MULTIPLE CLASSIFIER Janeiro: Elsevier, 2004. 1021 p. ISBN: 85-352-1177-2.
SYSTEMS, 1., 2000. Anais... New York: Springer Verlag, Tradução de Vandenberg D. de Souza. Consultoria editorial e
2000. p. 1-15. (Lecture notes in computer science). Disponível revisão técnica de Raul Sidnei Wazlawick.
em: <http://www.cs.orst.edu/~tgd/>.
TEIXEIRA, R. de A. et. al. Improving generalization of MLPs
FERREIRA, E. J.; DELBEM, A. C. B. Abordagem genética para with multi-objective optimization. Neurocomputing, [S .l.], v.
seleção de um conjunto reduzido de características para 35, p. 189-194, 2000.
construção de ensembles de redes neurais: aplicação à língua
eletrônica. In: SIMPÓSIO DE TESES E DISSERTAÇÕES, 10., TSYMBAL, A.; PECHENIZKIY, M.; CUNNINGHAM, P. Diversity
2006, São Carlos, SP. Anais... [S. l.: s. n.], 2006a. 1 CD-ROM. in ensemble feature selection. Technical report, Trinity College
não paginado. Dublin, 2003a. não paginado. Disponível em: <
https://www.cs.tcd.ie/publications/tech-
FERREIRA, E. J.; DELBEM, A. C. B. A new approach based on reports/reports.03/TCD-CS-2003-44.pdf>. Acesso em: 13
genetic ensemble feature selection to construct neural network fev. 2004.
ensembles: an application to gustative sensors. In:
INTERNATIONAL JOINT CONFERENCE WTDIA 06, 2006, TSYMBAL, A. et. al. Search strategies for ensemble feature
Ribeirão Preto, SP. Anais... [S. l.: s. n.], 2006b. 1 CD-ROM. selection in medical diagnostics. In: 16th IEEE SYMPOSIUM ON
não paginado. COMPUTER-BASED MEDICAL SYSTEMS, 16., 2003, New York.
Proceedings... New York, IEEE CS Press, 2003b. p. 124-129.
Circular Exemplares desta edição podem ser adquiridos na: Comitê de Presidente: Dr. Carlos Manoel Pedro Vaz
Técnica, 34 Embrapa Instrumentação Agropecuária Publicações Membros: Dra. Débora Marcondes B. P. Milori,
Rua XV de Novembro, 1542 - Caixa Postal 741 Dr. João de Mendonça Naime,
Ministério da Agricultura,
Pecuária e Abastecimento CEP 13560-970 - São Carlos-SP Dr. Washington Luiz de Barros Melo
Valéria de Fátima Cardoso
Fone: 16 3374 2477
Fax: 16 3372 5958 Membro Suplente: Dr. Paulo S. P. Herrmann Junior
E-mail: sac@cnpdia.embrapa.br
www.cnpdia.embrapa.br Expediente Revisor editorial: Dr. Victor Bertucci Neto
Normalização bibliográfica: Valéria de Fátima Cardoso
1a. edição Tratamento das ilustrações: Valentim Monzane
Foto da capa: Ednaldo J. Ferreira
1a. impressão 2006: tiragem 300
Editoração eletrônica: Valentim Monzane