The Relationship Between Precision-Recall and ROC Curves

A relao entre a preciso - Recall e Curvas ROC

Jesse Davis jdavis@cs.wisc.edu

Mark Goadrich richm@cs.wisc.edu
Department of Computer Sciences and Department of Biostatistics and Medical Informatics,
University of
Wisconsin-Madison, 1210 West Dayton Street, Madison, WI, 53706 USA

1. Introduo
Na aprendizagem de mquina, a pesquisa atual deslocou longe de simplesmente apresentar
resultados de exatido ao executar uma validao emprica de algoritmos novos. Isto
especialmente verdadeiro quando se avaliam algoritmos que produzem probabilidades de
valores de classe. Provost et al. (1998) argumentaram que simplesmente usar resultados de
preciso pode ser enganoso.
Eles recomendaram, ao avaliar problemas de deciso binria, utilizar curvas de caractersticas
do operador receptor (ROC), que mostram como o nmero de exemplos positivos
corretamente classificados varia com o nmero de exemplos negativos classificados
incorretamente. No entanto, as curvas ROC podem apresentar uma viso excessivamente
otimista do desempenho de um algoritmo se houver uma grande inclinao na distribuio da
classe. Drummond e Holte (2000; 2004) recomendaram o uso de curvas de custo para tratar
dessa questo. As curvas de custo so uma excelente alternativa s curvas ROC, mas discuti-
las est alm do escopo deste artigo.
As curvas Precision-Recall (PR), frequentemente usadas em Information Retrieval (Manning
& Schutze, 1999; Raghavan et al., 1989), foram citadas como uma alternativa s curvas ROC
para tarefas com grande desvio na distribuio de classes (Bockhorst & Craven, 2005,
Bunescu et al., 2004, Davis et al., 2005, Goa- rich et al., 2004, Kok & Domingos, 2005,
Singla & Domingos, 2005). Uma diferena importante entre o espao ROC eo espao PR a
representao visual das curvas. Olhando para as curvas PR pode expor as diferenas entre
algoritmos que no so aparentes no espao ROC. As curvas ROC de amostra e as curvas PR
so mostradas nas Figuras 1 (a) e 1 (b), respectivamente. Estas curvas, tiradas dos mesmos
modelos aprendidos em um conjunto de dados de deteco de cncer altamente desigual,
destacam a diferena visual entre esses espaos (Davis et al., 2005). O objetivo no espao
ROC estar no canto superior esquerdo, e quando se olha para as curvas ROC na Figura 1 (a),
eles parecem estar bastantes perto do ideal. No espao PR o objetivo estar no canto superior
direito, e as curvas PR na Figura 1 (b) mostram que ainda h muito espao para melhorias.

As performances dos algoritmos parecem ser comparveis no espao ROC, no entanto, no

espao PR podemos ver que o Algoritmo 2 tem uma clara vantagem sobre o Algoritmo 1. Esta
diferena existe porque neste domnio o nmero de exemplos negativos excede em muito o
nmero de positivos exemplos. Consequentemente, uma grande alterao no nmero de falsos
positivos pode levar a uma pequena alterao na taxa de falsos positivos utilizada na anlise
ROC. A preciso, por outro lado, comparando falsos positivos com positivos verdadeiros em
vez de negativos verdadeiros, captura o efeito do grande nmero de exemplos negativos no
desempenho do algoritmo. Seo 2 defines Preciso e Recall para o leitor no familiarizado
com estes termos.
Acreditamos que importante estudar a conexo entre esses dois espaos, e se algumas das
propriedades interessantes do espao ROC tambm se mantm para o espao PR. Mostramos
que para qualquer conjunto de dados e, portanto, um nmero fixo de exemplos positivos e
negativos, a curva ROC e a curva PR de um determinado algoritmo contm os "mesmos
pontos". Portanto, as curvas PR para Algoritmo I e Algoritmo II na Figura 1 (b) so, num
sentido que formalmente, equivalentes s curvas ROC para Algoritmo I e Algoritmo II,
respectivamente na Figura 1 (a). Com base nesta equivalncia para as curvas ROC e PR,
mostramos que uma curva domina no espao ROC se e somente se domina no espao PR. Em
segundo lugar, introduzimos o espao PR anlogo ao casco convexo no espao ROC, que
chamamos de curva de PR realizvel. Mostramos que, devido equivalncia desses dois
espaos, podemos calcular com facilidade a curva PR realizvel. Em terceiro lugar,
demonstramos que no espao PR insuficiente interpolar linearmente entre pontos.
Finalmente, mostramos que um algoritmo que otimiza a rea sob a curva ROC no
garantido para otimizar a rea sob a curva PR.

Figura 1. A diferena entre comparar algoritmos em ROC vs PR espao

2. Reviso de ROC e Precision-Recall

Em um problema de deciso binria, um classificador rotula exemplos como positivos ou
negativos. A deciso tomada pelo classificador pode ser representada em uma estrutura
conhecida como matriz de confuso ou tabela de contingncia. A matriz de confuso tem
quatro categorias: Verdadeiros positivos (TP) so exemplos corretamente rotulados como
positivos. Os falsos positivos (FP) referem-se a exemplos negativos mal rotulados como
positivos. Negativos verdadeiros (TN) correspondem a negativos corretamente rotulados
como negativos. Finalmente, os falsos negativos (FN) referem-se a exemplos positivos mal
rotulados como negativos.
Uma matriz de confuso mostrada na Figura 2 (a). A matriz de confuso pode ser usada para
construir um ponto no espao ROC ou espao PR. Dada a matriz de confuso, somos capazes
de definir as mtricas utilizadas em cada espao como na Figura 2 (b). No espao ROC, um
traa a Taxa Falso Positiva (FPR) no eixo x e o Positivo Verdadeiro
Taxa (TPR) no eixo y. O FPR mede a frao de exemplos negativos que so classificados
como positivos. O TPR mede a frao de exemplos positivos que esto rotulados
corretamente. No espao PR, um traa Recall no eixo x e Precision no eixo y. Recall o
mesmo que TPR, enquanto Precision mede essa frao de exemplos classificados como
positivos que so verdadeiramente positivos. A Figura 2 (b) fornece as definies para cada
mtrica. Iremos tratar as mtricas como funes que atuam sobre a matriz de confuso
subjacente que define um ponto no espao ROC ou espao PR. Assim, dada uma matriz de
confuso A, RECALL (A) retorna o Recall associado com A.
3. Relao entre Espao ROC e Espao PR
As curvas ROC e PR normalmente so geradas para avaliar o desempenho de um algoritmo
de aprendizado de mquina em um dado conjunto de dados. Cada conjunto de dados contm
um nmero fixo de exemplos positivos e negativos. Mostramos aqui que existe uma relao
profunda entre os espaos ROC e PR.

Teorema 3.1. Para um dado conjunto de dados de exemplos positivos e negativos, existe uma
correspondncia um-para-um entre uma curva no espao ROC e uma curva no espao PR, de
modo que as curvas contenham exatamente as mesmas matrizes de confuso, se Recall 6 0.

Figura 2. Mtricas comuns de avaliao da aprendizagem da mquina

Prova. Observe que um ponto no espao ROC uma matriz de confuso nica quando o
conjunto de dados fixo. Uma vez que no espao PR ignoramos TN, pode-se preocupar que
cada ponto pode corresponder a matrizes de confuso mltiplas. No entanto, com um nmero
fixo de exemplos positivos e negativos, dado as outras trs entradas em uma matriz, TN
determinado de forma nica. Se Recall = 0, no podemos recuperar FP, e assim no podemos
encontrar uma matriz de confuso nica. Consequentemente, temos um mapeamento um-
para-um entre matrizes de confuso e pontos no espao PR. Isto implica que tambm temos
um mapeamento um-para-um entre os pontos (cada um definido por uma matriz de confuso)
no espao ROC e espao PR; Portanto, podemos traduzir uma curva no espao ROC para o
espao PR e vice-versa.
Uma definio importante que precisamos para nosso prximo teorema a noo de que uma
curva domina outra curva, "significando que todas as outras ... curvas esto abaixo ou igual a
ela" (Provost et al., 1998).
Teorema 3.2. Para um nmero xed de exemplos positivos e negativos, uma curva domina uma
segunda curva no espao ROC se e somente se o rst domina o segundo no espao Precision-
Recall.
Prova.
Reivindicao 1 (==>): Se uma curva domina no espao ROC ento domina no espao PR.
Prova por contradio. Suponhamos que temos a curva I e a curva II (como mostra a Figura 3)
de modo que a curva I domina no espao ROC, contudo, uma vez que traduzimos essas
curvas no espao PR, a curva I no mais domina. Como a curva I no domina no espao PR,
existe algum ponto A na curva II tal que o ponto B na curva I com Recall idntico tem menor
Preciso. Em outras palavras, PRECISO (A) > PRECISO (B) ainda RECUPERAR (A) =
RECUPERAR (B). Como RECALL (A) = RECALL (B) e Recall idntico a TPR, temos que
TPR (A) = TPR (B). Como a curva I domina a curva II no espao ROC