13/10/2016 LinearanlisediscriminanteWikipedia

No deve ser confundida com a alocao de Dirichlet latente .

Ronald Fisher

Linear anlise discriminante ( LDA ) uma generalizao do discriminante linear de Fisher

, um mtodo utilizado em estatsticas , reconhecimento de padres e aprendizagem de mquina
para encontrar uma combinao linear das caractersticas que caracteriza ou separa duas ou
mais classes de objetos ou eventos. A combinao resultante pode ser utilizado como um
classificador linear , ou, mais comumente, para reduo de dimensionalidade antes de posterior
classificao .

LDA est intimamente relacionado com a anlise de varincia (ANOVA) e anlise de regresso ,
que tambm tentam expressar uma varivel dependente como uma combinao linear de outras
caractersticas ou medies. [1] [2] No entanto, ANOVA usa categricos variveis independentes
e uma contnua dependente varivel , enquanto que a anlise discriminante tem contnuas
variveis independentes e uma varivel dependente categrica ( ou seja, o rtulo de classe). [3]
a regresso logstica e regresso probit so mais semelhantes aos LDA de ANOVA , como
eles tambm explicar uma varivel categrica pelos valores da contnua variveis
independentes. Estes outros mtodos so preferveis em aplicaes em que no razovel
supor que as variveis independentes so normalmente distribudos, o que um pressuposto
fundamental do mtodo LDA.

LDA tambm est intimamente relacionada com a anlise de componentes principais (PCA) e
anlise fatorial , em que ambos procuram combinaes lineares de variveis que melhor
explicam os dados. [4] LDA tenta explicitamente para modelar a diferena entre as classes de
dados. O PCA por outro lado, no leva em conta qualquer diferena de classe, e anlise de
fatores constri as combinaes de recursos com base em diferenas ao invs de semelhanas.
A anlise discriminante tambm diferente de anlise fatorial em que no uma tcnica de
interdependncia: a distino entre variveis independentes e variveis dependentes (tambm
chamado de variveis de critrio) deve ser feita.

LDA funciona quando as medies feitas em variveis independentes para cada observao
so quantidades contnuas. Ao lidar com variveis independentes categricas, a tcnica
https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 1/11
13/10/2016 LinearanlisediscriminanteWikipedia

equivalente a anlise de correspondncia discriminante . [5] [6]

LDAparaduasclasses

Considere um conjunto de observaes (tambm chamados de caractersticas, atributos,

variveis ou medies) para cada amostra de um objeto ou evento com conhecidos classe y .
Este conjunto de amostras chamado o conjunto de treinamento . O problema de classificao
, em seguida, para encontrar um bom preditor para a classe y de qualquer amostra da mesma
distribuio (no necessariamente a partir do conjunto de treinamento) dada apenas uma
observao . [7] : 338

LDA aborda o problema assumindo que as condicional funes de densidade de probabilidade

e ambos so normalmente distribudos com mdia e covarincia
parmetros e , Respectivamente. Partindo deste pressuposto, a soluo ideal
Bayes prever pontos como sendo de segunda classe se o log das razes de probabilidade
inferior a um limiar T, de modo que:

Sem quaisquer outras hipteses, o classificador resultante referido como ADQ ( anlise
discriminante quadrtico ).

LDA vez faz com que a simplificao adicional homoscedasticidade suposio ( ou seja, que as
covarincias classe so idnticos, de modo ) E que as covarincias tem posto
completo. Neste caso, vrios termos cancelar:

Porque Hermitian

eo critrio de deciso acima torna-se um limite sobre o produto escalar

por algum limiar constante C , onde

Isto significa que o critrio de um input estar em uma classe Y puramente uma funo desta
combinao linear das observaes conhecidos.

Muitas vezes, til para ver esta concluso em termos geomtricos: o critrio de uma entrada
estar em uma classe y puramente uma funo de projeco do ponto multidimensional-space
no vector (assim, consideramos apenas a sua direco). Em outras palavras, a observao

https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 2/11
13/10/2016 LinearanlisediscriminanteWikipedia

pertence a y se correspondendo est localizado sobre um determinado lado de uma

perpendicular a hiperpl . A localizao do plano definido pelo limite C.

Aanlisecannicaparakaulas

Anlise discriminante cannica (CDA) encontra-eixos ( k - 1 coordenadas cannicas , k o

nmero de classes) que melhor separar as categorias. Estas funes lineares no esto
correlacionados e definir, com efeito, uma ptima k - 1 vaga atravs do n nuvem-dimensional
de dados que melhor separa (as projees em que o espao de) os grupos de k. Consulte "
Multi-LDA " para obter mais detalhes abaixo.

DiscriminantelineardeFisher

Os termos discriminante linear de Fisher e LDA so muitas vezes usados como sinnimos,
embora de Fisher artigo original [1] , na verdade, descreve um discriminante ligeiramente
diferente, que no faz alguns dos pressupostos da LDA, como normalmente distribudas classes
ou classe igualdade de covarincias .

Suponha que duas classes de observaes tm meios e covarincias . Em

seguida, a combinao linear de funes ter meios e variaes para
. Fisher definida a distncia entre estas duas distribuies como sendo a relao da
varincia entre as classes para a variao dentro das classes:

Esta medida , em certo sentido, uma medida da relao sinal-rudo para a rotulagem de
classe. Pode ser demonstrado que a separao mxima ocorre quando

Quando os pressupostos de LDA esto satisfeitos, a equao acima equivalente a LDA.

Certifique-se notar que o vector o normal, para o discriminante hiperpl . Como um exemplo,
um problema em duas dimenses, a linha que melhor se divide os dois grupos perpendicular
.

Geralmente, os pontos de dados a ser discriminados so projetados sobre ; em seguida, o

limite que separa o melhor dados escolhido a partir da anlise da distribuio unidimensional.
No existe uma regra geral para o limiar. No entanto, se as projees de pontos de ambas as
classes apresentam aproximadamente as mesmas distribuies, uma boa escolha seria o

https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 3/11
13/10/2016 LinearanlisediscriminanteWikipedia

hiperplano entre as projees dos dois meios, e . Neste caso, o parmetro C em

condio de limite pode ser encontrada explicitamente:

O mtodo de Otsu est relacionada com discriminante linear de Fisher, e foi criado para binarize
o histograma de pixels em uma imagem em tons de cinza por optimamente escolher o limiar de
preto / branco que minimiza a varincia intra-classe e maximiza a varincia inter-classe dentro /
entre grayscales atribudos a preto e aulas pixel branco.

MultiLDA

No caso em que existem mais do que duas classes, a anlise utilizada na derivao da Fisher
discriminante pode ser estendida para encontrar um subespao que parece conter toda a
variabilidade classe. Esta generalizao devido ao CR Rao . [8] Suponha-se que cada uma
das classes C tem uma mdia e o mesmo covarincia . Em seguida, a disperso entre a
variabilidade da classe pode ser definida pela amostra de covarincia dos meios de classe

Onde representa a mdia das mdias de classe. A separao de classe em uma direo
neste caso, ser determinada pela

Isto significa que, quando um vector prprio de a separao ser igual ao

correspondente valor prprio .

E se diagonalizvel, a variabilidade entre recursos sero contida no subespao gerado

pelos vetores prprios correspondentes ao C - 1 maiores valores prprios (desde de
categoria C - 1, no mximo). Estes vectores prprios so usados principalmente na reduo do
recurso, como no PCA. Os vectores eigen que correspondem a valores prprios menores
tendem a ser muito sensveis escolha exacta dos dados de treino, e muitas vezes
necessrio utilizar regularizao como descrito na seco seguinte.

Se a classificao necessria, em vez de reduo da dimenso , h um nmero de tcnicas

alternativas disponveis. Por exemplo, as classes podem ser particionado, e um padro de
Fisher discriminante ou LDA usados para classificar cada partio. Um exemplo comum disso
"um contra o resto", onde os pontos de uma classe so colocados em um grupo, e tudo o mais
no outro, e, em seguida, LDA aplicada. Isto ir resultar em classificadores de C, cujos resultados
so combinados. Um outro mtodo comum a classificao aos pares, onde um novo
https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 4/11
13/10/2016 LinearanlisediscriminanteWikipedia

classificador criado para cada par de classes (dando C ( C - 1) / 2 classificadores no total),

com os classificadores individuais combinadas para produzir uma classificao final.

IncrementalLDA

A aplicao tpica da tcnica LDA requer que todas as amostras esto disponveis com
antecedncia. No entanto, existem situaes em que todo o conjunto de dados no est
disponvel e os dados de entrada so observados como uma corrente. Neste caso, desejvel
que a extraco de caractersticas LDA ter a capacidade de actualizar as caractersticas
calculadas LDA observando as novas amostras sem executar o algoritmo de todo o conjunto de
dados. Por exemplo, em muitas aplicaes em tempo real, tais como robtica mvel ou de
reconhecimento de face-line on, importante para atualizar o LDA extrado apresenta, logo que
novas observaes esto disponveis. Uma tcnica de extrao de caractersticas LDA que
podem atualizar as caractersticas LDA simplesmente observando novas amostras um
algoritmo de LDA incrementais , e essa idia tem sido extensivamente estudada ao longo das
ltimas duas dcadas. [9] Catterjee e Roychowdhury proposto um algoritmo LDA incrementais
auto-organizado para atualizar as caractersticas LDA. [10] Em outro trabalho, Demir e
Ozmehmet proposto algoritmos de aprendizagem locais on-line para atualizar Lda
caractersticas incrementalmente usando as regras da aprendizagem Hebbian correo de erros
e. [11] Mais tarde, Aliyari et a l. derivados algoritmos incrementais rpidos para atualizar as
caractersticas LDA, observando as novas amostras. [9]

Usoprtico

Na prtica, a classe e covarincias significa no so conhecidos. Eles podem, no entanto, ser

calculada a partir do conjunto de treino. Ou a estimativa de probabilidade mxima ou o mximo
a posteriori estimativa pode ser usada no lugar do valor exacto nas equaes anteriores.
Embora as estimativas da covarincia pode ser considerada ptima, em certo sentido, isso no
significa que o discriminante resultante obtido por substituio destes valores ptima em
qualquer sentido, mesmo se a hiptese de as classes normalmente distribudos est correcta.

Outra complicao com a aplicao discriminante de LDA e Fisher aos dados reais ocorre
quando o nmero de medies de cada amostra (isto , a dimensionalidade de cada vector de
dados) excede o nmero de amostras em cada classe. [4] Neste caso, as estimativas de
covarincia fazer no tem posto completo, e por isso no pode ser invertida. H um nmero de
maneiras de lidar com este. Uma a utilizao de um inversa pseudo em vez de a matriz
inversa habitual nas frmulas acima. No entanto, melhor estabilidade numrica pode ser
alcanado por primeiro se projecta o problema para o subespao gerado pela . [12] Outra
estratgia para lidar com pequeno tamanho da amostra a utilizao de um estimador de
encolhimento da matriz de covarincia, que pode ser expresso matematicamente como
https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 5/11
13/10/2016 LinearanlisediscriminanteWikipedia

Onde representa a matriz identidade, e a intensidade encolhimento ou parmetro de

regularizao . Isto leva ao quadro de anlise discriminante regularizada [13] ou o encolhimento
anlise discriminante. [14]

Alm disso, em muitos casos prticos discriminantes lineares no so adequados. Discriminante

de LDA e Fisher pode ser estendido para uso em classificao no-linear atravs do truque do
kernel . Aqui, as observaes originais so eficazmente mapeado para um espao superior no-
linear dimensional. Classificao linear neste espao no linear , ento, equivalente a
classificao no linear no espao original. O exemplo mais comumente usado de este o
ncleo Fisher discriminante .

LDA pode ser generalizada para a anlise discriminante multivariada , onde c torna-se uma
varivel categrica com N estados possveis, em vez de apenas dois. Analogamente, se as
densidades de classe-condicional so normais com covarincias compartilhados, a
estatstica suficiente para so os valores de N projees, que so o subespao gerado
por o N significa, afim projetada pela matriz de covarincia inversa. Estas projeces podem ser
encontrados atravs da resoluo de um problema de valores prprios generalizada , onde o
numerador a matriz covarincia formados por tratamento dos meios que as amostras, e o
denominador a matriz covarincia partilhada. Consulte " Multi-LDA " acima para obter
detalhes.

aplicaes

Para alm dos exemplos dados abaixo, LDA aplicado de posicionamento e gesto de
produtos .

Previsodefalncias

Na previso de falncias com base em ndices contbeis e outras variveis financeiras, anlise
discriminante linear foi o primeiro mtodo estatstico utilizado para explicar sistematicamente
que as empresas entraram falncia vs. sobreviveu. Apesar das limitaes, incluindo no-
conformidades conhecida de ndices contbeis com os pressupostos de distribuio normais de
LDA, Edward Altman 's 1968 modelo ainda um modelo de liderana em aplicaes prticas.

Reconhecimentofacial

Em informatizado de reconhecimento de face , cada face representada por um grande nmero

de valores de pixel. Anlise discriminante linear usado principalmente aqui para reduzir o
nmero de recursos para um nmero mais gerencivel antes da classificao. Cada uma das

https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 6/11
13/10/2016 LinearanlisediscriminanteWikipedia

novas dimenses uma combinao linear dos valores de pixel, que formam um modelo. As
combinaes lineares obtidos utilizando discriminante linear de Fisher so chamados Fisher
enfrenta , enquanto que aqueles obtidos utilizando o relacionado anlise de componentes
principais so chamados eigenfaces .

comercializao

Na comercializao , anlise discriminante j foi muitas vezes utilizado para determinar os

factores que distinguem os diferentes tipos de clientes e / ou produtos com base em inquritos
ou outras formas de dados coletados. A regresso logstica ou outros mtodos so agora mais
comumente usado. A utilizao da anlise discriminante na comercializao pode ser descrito
pelos seguintes passos:

1. Formular o problema e reunir dados - Identificar o saliente atributos consumidores utilizam

para avaliar produtos nesta categoria - Uso de pesquisa de mercado quantitativa tcnicas (tais
como pesquisas ) para recolher dados a partir de uma amostra de clientes potenciais no que
respeita suas classificaes de todos os atributos do produto. A fase de coleta de dados
geralmente feito por profissionais de pesquisa de marketing. As perguntas da pesquisa pedir
ao entrevistado para avaliar um produto de um a cinco (ou 1 a 7, ou 1 a 10) em uma srie de
atributos escolhidos pelo pesquisador. Em qualquer lugar de cinco a vinte atributos so
escolhidos. Eles poderiam incluir coisas como: facilidade de uso, peso, preciso, durabilidade,
colourfulness, preo ou tamanho. Os atributos escolhidos iro variar dependendo do produto a
ser estudada. A mesma pergunta feita sobre todos os produtos em estudo. Os dados para
vrios produtos so codificados e entrada em um programa estatstico tais como R , SPSS ou
SAS . (Este passo o mesmo que na anlise do Factor).

2. Estimar os coeficientes da funo discriminante e determinar a significncia estatstica e

validade - Escolha o mtodo de anlise discriminante apropriado. O mtodo envolve a
estimativa directa da funo discriminante para que todos os preditores so avaliadas
simultaneamente. O mtodo gradual entra no preditores sequencialmente. O mtodo de dois
grupo deve ser utilizado quando a varivel dependente tem duas categorias ou estados. O
mtodo discriminante mltipla utilizado quando a varivel dependente tem trs ou mais
categricas estados. Use Lambda de Wilks para testar a significncia no SPSS ou F status no
SAS. O mtodo mais comum usado para testar a validade dividir a amostra em uma amostra
estimativa ou anlise, e uma amostra de validao ou validao. A amostra estimativa
utilizado na construo da funo discriminante. A amostra de validao utilizado para
construir uma matriz de classificao, que contm o nmero de casos correctamente
classificados e classificados incorrectamente. O percentual de casos corretamente classificados
chamado a taxa de acertos.

3. Plotar os resultados em um mapa bidimensional, definir as dimenses, e interpretar os

resultados. O programa estatstico (ou um mdulo relacionado) ir mapear os resultados. O
https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 7/11
13/10/2016 LinearanlisediscriminanteWikipedia

mapa ir traar cada produto (normalmente no espao bidimensional). A distncia de produtos

para o outro indicar tanto como eles so diferentes. As dimenses devem ser rotulados pelo
pesquisador. Isso exige julgamento subjetivo e muitas vezes muito desafiador. Ver mapa
perceptual .

Biomedicalestudos

A principal aplicao da anlise discriminante na medicina a avaliao do estado de gravidade

do paciente e prognstico da evoluo da doena. Por exemplo, durante a anlise retrospectiva,
os pacientes so divididos em grupos de acordo com a gravidade da doena - leve, moderada e
grave forma. Em seguida, os resultados de anlises clnicas e laboratoriais so estudados a fim
de revelar variveis que so estatisticamente diferentes nos grupos estudados. Usando essas
variveis, funes discriminantes so construdos que ajudam a classificar objetivamente
doena em um paciente futuro em forma leve, moderada ou grave.

Em biologia, princpios semelhantes so usados para classificar e definir grupos de diferentes

objetos biolgicos, por exemplo, para definir tipos de fagos de Salmonella enteritidis com base
na transformada de Fourier espectros de infravermelho, [15] para detectar animal fonte de
Escherichia coli estudar seus fatores de virulncia [16] , etc.

Cinciadeterra

Este mtodo pode ser utilizado para separar as zonas de alterao. Por exemplo, quando
diferentes dados de vrias zonas esto disponveis, anlise discriminante pode encontrar o
padro dentro dos dados e classific-lo de forma eficaz. [17]

Vejatambm

Minerao de dados

aprendizagem rvore de deciso

A anlise fatorial

Kernel Fisher anlise discriminante

Logit (por regresso logstica )

escalonamento multidimensional

Reconhecimento de padres

perceptron

regresso preferncia

https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 8/11
13/10/2016 LinearanlisediscriminanteWikipedia

classificador quadrtica

Referncias

1. ^ Um b Fisher, RA (1936). "O uso de mltiplas medies em taxonmica problemas." Annals of

Eugenics . 7 (2):. 179-188 doi : 10,1111 / j.1469-1809.1936.tb02137.x . HDL : 2440/15227 .

2. ^ McLachlan, GJ (2004). Anlise Discriminante e padres estatsticos Reconhecimento .

Wiley Interscience. ISBN 0-471-69115-1 . MR 1.190.469 .

3. ^ Analisando dados quantitativa: Uma Introduo do Investigador social, Debra Wetcher-

Hendricks, p.288

4. ^ Um b Martinez, AM; Kak, AC (2001). "PCA contra LDA" (PDF) . IEEE Transactions on
Anlise de Padres e inteligncia da mquina . 23 (= 2):. 228-233 doi : 10,1109 / 34,908974 .

5. ^ Abdi, H. (2007) "anlise de correspondncia discriminante." In: (Ed.) NJ Salkind:

Encyclopedia of Medio e Estatstica . Thousand Oaks (CA): Sbio. pp. 270-275.

6. ^ Perriere, G .; & Thioulouse, J. (2003). "Uso de Anlise de Correspondncia discriminante

para prever a localizao subcelular de protenas bacterianas", mtodos e programas em
Biomedicina computador , 70, 99-105.

7. ^ Venables, WN; Ripley, BD . (2002) Estatstica Aplicada modernos com S (4 ed.). Springer
Verlag. ISBN 0-387-95457-0 .

8. ^ Rao, RC (1948). "A utilizao de mltiplas medies em problemas de classificao

biolgica" . Journal of Royal Statistical Society, Srie B . 10 (2): 159-203.

9. ^ Um b Aliyari Ghassabeh, Youness; Rudzicz, Frank; Moghaddam, Hamid Abrishami

(2015/06/01). "Rpido incremento extrao de caractersticas LDA" . Reconhecimento de
Padres . 48 (6):. 1999-2012 doi : 10.1016 / j.patcog.2014.12.012 .

10. ^ Chatterjee, C .; Roychowdhury, VP (1997-05-01). "Em auto-organizao algoritmos e

redes para os dispositivos de classe-separabilidade" . IEEE Transactions on Neural Networks .
8 (3):. 663-678 doi : 10,1109 / 72,572105 . ISSN 1045- 9227 .

11. ^ Demir, GK; Ozmehmet, K. (2005-03-01). "On-line local Aprendizagem Algoritmos para
anlise discriminante linear" . Padro Recogn. Lett . 26 (4): 421-431. Doi : 10.1016 /
j.patrec.2004.08.005 . ISSN 0167-8655 .

12. ^ Yu, H .; Yang, J. (2001). "Um algoritmo LDA direta em alta-dimensional de dados - com a
aplicao de reconhecimento facial", Pattern Recognition , 34 (10), 2067-2069

13. ^ Friedman, JH (1989). "Regularizada Discriminante Anlise" (PDF) . Journal of the

American Statistical Association . Associao Americana de Estatstica. 84 (405):. 165-175 doi :
10,2307 / 2.289.860 . JSTOR 2.289.860 . MR 0.999.675 .

https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 9/11
13/10/2016 LinearanlisediscriminanteWikipedia

14. ^ Ahdesmki, M .; Strimmer K. (2010) "Seleo de caractersticas em omics problemas de

previso usando contagens de gato e controle de taxa nondiscovery false" , Annals of Applied
Statistics , 4 (1), 503-519.

15. ^ Preisner O, Guiomar R, Machado J, Menezes JC, Lopes JA. Aplicao da transformada de
Fourier espectroscopia de infravermelho e quimiometria para a diferenciao de Salmonella
enterica sorotipo Enteritidis tipos de fagos. Appl Environ Microbiol. 2010; 76 (11): 3538-3544.

16. ^ David DE, Lynne AM, Han J, Foley SL. Avaliao dos perfis de factor de virulncia na
caracterizao de isolados de Escherichia coli veterinria. Appl Environ Microbiol. 2010; 76 (22):
7509-7513.

17. ^ Tahmasebi, P., Hezarkhani, A., & Mortazavi, M. (2010). Aplicao de anlise discriminante
para a separao de alterao ; depsito de cobre sungun, Azerbaijo Oriental, Iran.
Australian Journal of cincias bsicas e aplicadas, 6 (4), 564-576.

Outrasleituras

Duda, RO; Hart, PE; Stork, DH (2000). Reconhecimento de Padres (2 ed.). Wiley
Interscience. ISBN 0-471-05669-3 . MR 1.802.993 .

Hilbe, JM (2009). Logstica Modelos de Regresso . Chapman & Hall / CRC Press. ISBN
978-1-4200-7575-5 .

Mika, S .; et ai. (1999). "Fisher Anlise discriminante com kernels" . Conferncia IEEE de
Redes Neurais para processamento de sinal IX :. 41-48 doi : 10,1109 / NNSP.1999.788121 .

Mark Burdon e Paul Harpur, 'Re-conceptualizao de privacidade e discriminao na Age of

Talent Analytics' (2014) 37 University of New South Wales Law Journal, 2, 679-712,1

Miranda Terry e Paul Harpur, "A Nova Era da Sociedade Segmentao das Linhas de
Habilidade: Local de trabalho Analytics e Disability Discrimination" (Sociedade de Estudos sobre
Deficincia, Atlanta EUA, 10-13 junho de 2015).

H. Richard McFarland e Donald St. P. Richards, "probabilidades m classificao exatas

para Funes Plug-In normal quadrtica discriminantes. I. O Equal-Meios Caso "Journal of
Anlise Multivariada de 2001, vol. 77, nmero 1, pginas 21-53 link para o artigo

H. Richard McFarland e Donald St. P. Richards, "probabilidades m classificao exatas

para Funes Plug-In normal quadrtica discriminantes. II. O caso heterogneo "Journal of
Anlise Multivariada de 2002, vol. 82, nmero 2, pginas 299-330 link para o artigo

Ligaesexternas

ALGLIB contm implementao LDA cdigo-fonte aberto em C # / C ++ / Pascal / VBA.

Psychometrica.de implementao LDA open-source em Java

https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 10/11
13/10/2016 LinearanlisediscriminanteWikipedia

LDA tutorial usando o MS Excel

estatsticas biomdicas. A anlise discriminante

ltima Edio 9 dias atrs por Statsrick

https://en.m.wikipedia.org/wiki/Linear_discriminant_analysis 11/11