REVISIONES

Las curvas ROC en la evaluación

de las pruebas diagnósticas
M.J. Burgueñoa, J.L. García-Bastosb y J.M. González-Buitragob,c,d
a
Servicio de Análisis Clínicos. Hospital General Yagüe. Burgos. bServicio de Bioquímica.
c
Unidad de Investigación. Hospital Universitario. Salamanca. dDepartamento de Bioquímica
y Biología Molecular. Universidad de Salamanca.

curvas ROC

La evaluación de las pruebas diagnosticas se ha tratado, en Sensibilidad y especificidad diagnósticas

general, sin un criterio universalmente aceptado. En diferen-
tes estudios aparecen términos como sensibilidad, especifi- Siempre que una cuestión clínica y el resultado de la prueba
cidad, eficiencia, exactitud, utilidad, valor, eficacia y efectivi- diagnóstica encaminada a resolverla puedan plantearse en
dad, pero a menudo el significado de los mismos es ambi- términos de dicotomía (presencia o ausencia de enferme-
guo. La ausencia de acuerdo, tanto en el concepto, como en dad; positivo o negativo), la exactitud de la prueba puede
la medida de la calidad de una prueba diagnóstica, crea una definirse en función de su sensibilidad y especificidad
situación de confusión a la hora de resolver cuestiones con- diagnósticas. Sin embargo, con mucha frecuencia los resul-
cretas. tados de las pruebas diagnosticas están distribuidos en una
La calidad de una prueba diagnóstica utilizada para el cuida- escala continua, por lo que es necesario seleccionar un pun-
do de los pacientes no se juzga sólo por sus características to de corte o valor límite adecuado que permita resumir estos
analíticas sino, fundamentalmente, por su capacidad para resultados en dos categorías: positivo y negativo.
distinguir entre estados alternativos de salud. El médico soli- La sensibilidad de una prueba diagnóstica es la probabilidad
cita una prueba para decidir, junto con otros datos disponi- de obtener un resultado positivo cuando el individuo tiene la
bles, si el paciente tiene o no una condición clínica. Por lo enfermedad. Mide su capacidad para detectar la enferme-
tanto, para que una prueba se incluya en la práctica médica dad cuando está presente. La especificidad de una prueba
rutinaria es necesario que sea capaz de reducir la incerti- indica la probabilidad de obtener un resultado negativo cuan-
dumbre asociada con una determinada situación clínica. do el individuo no tiene la enfermedad. Mide su capacidad
La principal cualidad clínica de una prueba diagnóstica es para descartar la enfermedad cuando ésta no está presente.
su exactitud, definida como la capacidad para clasificar de No existe ninguna manera teórica de medición de estas dos
manera correcta a los individuos en subgrupos clínicamente características de una prueba. El único procedimiento es el
relevantes. En su forma más simple es la capacidad para experimental, sometiendo a un grupo de pacientes, sanos y
distinguir entre dos estados de salud. enfermos, clasificados mediante un método diagnóstico de
Una vez establecida esta capacidad de discriminar adecua- referencia exacto e independiente, a la prueba que quere-
damente, es necesario conocer también el valor práctico de mos estudiar2. La sensibilidad se obtiene en el subgrupo de
la prueba para el cuidado del paciente. Existen diversas cau- enfermos y la especificidad en el de sanos, por lo que ambos
sas que invalidan una prueba diagnóstico para su uso prác- valores son independientes de la prevalencia en la muestra
tico, entre ellas: estudiada.
Pueden existir métodos menos invasivos o más económicos Al comparar los resultados de la prueba a evaluar y el diag-
para obtener una información semejante. nóstico de referencia, existen cuatro posibilidades que pue-
La prueba puede ser tan cara o poseer tal requerimiento téc- den resumiese en una tabla de contingencia de 2 x 2 (tabla
nico que sea limitada su disponibilidad. 1).
Puede ser tan incómoda o invasiva que los pacientes no se La sensibilidad viene dada por:
sometan con facilidad a ella.
El coste o indeseabilidad de los resultados falsos puede ser enfermos positivos VP
tan alto que no exista un punto de corte aceptable. Sensibilidad= =
Clásicamente, la exactitud de una prueba diagnóstica se ha total enfermos VP + FN
evaluado en función de dos características: la sensibilidad y
la especificidad 1. Sin embargo, éstas varían en función del
criterio elegido como punto de corte entre la población sana La especifidad viene dada por:
y la enferma. Una forma más global de conocer la calidad de sanos negativos VN
la prueba en el espectro completo de puntos de corte es Especificidad= =
mediante el uso de curvas ROC (receiver operating total sanos VN+ FP
characteristics, características operativas del receptor) que,
como veremos a lo largo de esta «Revisión», constituyen una
herramienta fundamental y unificadora en el proceso de eva- TABLA 1
luación y uso de las pruebas diagnósticas.
Comparación de los resultados de la prueba a evaluar
con el diagnóstico verdadero
Diagnóstico verdadero
Correspondencia: Dr. J.M. González-Buitrago. Enfermos Sanos
Servicio de Bioquímica. Hospital Universitario. 37007 Salamanca. Resultado Verdadero Falso
Prueba positivo positivo positivo
Manuscrito aceptado el 18-12-1993 estudiada Resultado Verdadero Falso
Med Clin (Barc) 1995: 104: 661-670 negativo negativo negativo

661
 MEDICINA CLÍNICA VOL. 104 NÚM. 17. 1.995
La prueba diagnóstica ideal debería tener una sensibilidad y
una especificidad tan próximas al 100 % como fuera posi-
ble. Esto constituye una excepción, pero en principio se debe
dudar de pruebas cuyas sensibilidad y especificidad sean
inferiores al 80 %.
A partir de la tabla de contingencia se puede definir el valor
predictivo del resultado positivo como la proporción de resul-
tados válidos entre los resultados positivos de la prueba:
VP
VPP=
VP+FP
El valor predictivo del resultado negativo será la proporción
de resultados válidos entre los negativos:
VN
VPN=
VN+FN
y el valor global la proporción de resultados válidos entre la
totalidad de pruebas efectuadas:
VP + VN
VG=
VP + FP + VN + FN
Los valores predictivos de una prueba, a diferencia de la sen-
sibilidad y la especificidad, varían en función de la prevalen-
cia de la enfermedad. Si se estudia una enfermedad cuya
prevalencia es baja, incluso una prueba muy específica dará
lugar a muchos falsos positivos, dado el elevado número de
individuos sanos de la colectividad. Si la prevalencia es alta
se puede esperar un mayor número de resultados falsamen-
te negativos. Por lo tanto, cuanto menor sea la prevalencia
de la enfermedad menor será el VPP y mayor el VPN; lo con-
trario será cierto si la prevalencia es elevada.
Evaluación de una prueba diagnóstica
La evaluación clínica de una prueba debe incluir los siguien-
tes pasos 3:
1. Planteamiento explícito de la hipótesis nula antes de la
recogida de datos.
2. Elección de sujetos representativos de la población clínica
a la que se aplicará la prueba.
3. Establecimiento del diagnóstico verdadero mediante mé-
todos rigurosos, exactos e independientes de la prueba que
se va a estudiar.
4. Realización de la prueba a evaluar evitando sesgos.
5. Cálculo de la sensibilidad y la especificidad. Evaluación y
comparación de pruebas diagnosticas a todos los niveles de
decisión usando curvas ROC.
Cada uno de estos pasos implica una serie de precauciones
para evitar errores en los resultados finales. El diseño del
estudio, como se verá a continuación, es fundamental para
que las conclusiones sean válidas y relevantes.
Planteamiento explícito de la hipótesis nula antes de la reco-
gida de datos
Esta hipótesis debe establecer: a) la cuestión clínica precisa
que se pretende resolver con la prueba; b) la naturaleza de
la población estudiada, y c) el método utilizado para deter-
minar la verdadera respuesta a la cuestión clínica, es decir,
el diagnóstico verdadero.
Un ejemplo de hipótesis nula que cumple los anteriores re-
quisitos sería: la concentración sérica del antígeno prostático
662
específico (PSA) no puede distinguir a los pacientes con cán-
cer de próstata, diagnosticados mediante tacto rectal y estu-
dio anatomopatológico del material obtenido por punción
transrectal, de los pacientes sin dicho cáncer, en los varones
mayores de 50 años.
A veces, los datos obtenidos se revisan en busca de correla-
ciones inesperadas entre variables o subgrupos de pacien-
tes con datos llamativos. Sin embargo, la significación esta-
dística de tales relaciones que han sugerido los datos no se
puede determinar sin obtener datos adicionales. Para ase-
gurarse de que el grado de significación, P, obtenido no su-
pera el riesgo de error, α, fijado por el investigador, es nece-
sario plantear la hipótesis nula antes de la recogida de datos.
Elección de sujetos representativos de la población clínica a
la que se aplicará la prueba
Debe evaluarse en un grupo de individuos con sospecha clí-
nica de la enfermedad que se quiera detectar. Este grupo
incluirá a dos subgrupos que no necesitan estar en la misma
proporción: aquellos pacientes afectados por dicha enferme-
dad y los no afectados.
Idealmente, los sujetos deberían escogerse y estudiarse
prospectivamente sin conocer su clasificación final. Esto no
es lo más frecuente por lo que es necesario tomar precaucio-
nes para no inducir a error en la obtención de la sensibilidad
y la especificidad diagnósticas2.
La muestra de enfermos utilizada para calcular la sensibili-
dad debe ser representativa del conjunto de enfermos a los
que se aplicará la prueba en condiciones normales y rutina-
rias3,4. Es decir, debe integrar individuos que padezcan la
enfermedad a estudiar, pero con un rango amplio de varia-
ción en cuanto a la gravedad del proceso, la extensión del
mismo, su duración y su asociación con otros trastornos o
enfermedades.
Cuando se afirma que la sensibilidad y la especificidad son
independientes de la prevalencia se hace referencia a la pre-
valencia de enfermos en la muestra global a la que se aplica
la prueba. La sensibilidad sí depende de la prevalencia de
los distintos grados de enfermedad en el grupo de pacien-
tes5,6. Si al estudiar la sensibilidad de un marcador tumoral
se mide sólo en pacientes en fases avanzadas de cáncer, la
sensibilidad resultará superior que si la muestra incluye tam-
bién a enfermos de escasa evolución. Además, debe tenerse
cuidado de no excluir a sujetos que estén en el límite diag-
nóstico.
De manera análoga, en el grupo control deben incluirse suje-
tos de edades, procedencias y situaciones semejantes a las
de aquellos a quienes va dirigida la prueba. Es importante
analizarla en individuos que sin padecer la enfermedad en
estudio posean los cuadros más usuales en el diagnóstico
diferencial de dicha enfermedad, trastornos de la misma lo-
calización anatómica o de la misma naturaleza fisiológica.
Igual que la composición del grupo de enfermos influye en la
sensibilidad, la composición del grupo control que no pade-
ce la enfermedad influye en la especificidad7,8. Si una prue-
ba se va a usar para identificar el infarto agudo de miocardio
(IAM) en sujetos que se presentan en el servicio de urgen-
cias con dolor torácico típico y otros síntomas indicativos de
IAM, el grupo control debe estar formado por individuos que
reúnan estas condiciones pero sin infarto. Si se usan donan-
tes de sangre voluntarios se obtendrá una especificidad ma-
yor pero falsa, puesto que la prueba no está encaminada a
detectar IAM en individuos asintomáticos.
En el caso de comparaciones entre varias pruebas, si se uti-
lizan distintos grupos de sujetos es necesario comprobar que
dichos grupos no difieren por la variación del muestreo ni
por sesgos de selección. Por este motivo es mejor estudiar
todas las pruebas en los mismos sujetos, de manera que las
 M. J. BURGUEÑO ET AL.- LAS CURVAS ROC EN LA EVALUACIÓN DE LAS PRUEBAS DIAGNÓSTICAS
diferencias observadas se deban a las verdaderas diferen-
cias entre las pruebas 3.
Establecimiento del diagnóstico verdadero mediante méto-
dos rigurosos, exactos e independientes de la prueba que se
va a estudiar 4,9
Un estándar de oro para el diagnóstico clínico es lo ideal,
pero en muchos casos no existe o no es factible. Zweig y
CampbeIl8 recogen las estrategias de distintos investigado-
res para establecer el diagnóstico verdadero cuando se care-
ce de estándar de oro:
Definir el diagnóstico en términos de resultados clínicos
medibles.
Usar como criterio diagnóstico algún consenso, regla mayo-
ritaria o revisión de expertos.
Asignar a cada sujeto un valor comprendido entre 0 y 1 a
partir del conocimiento subjetivo de la enfermedad, para su
posterior análisis logístico.
Estudiar a largo plazo la evolución clínica.
En un gran número de casos el diagnóstico definitivo se esta-
blece mediante el estudio anatomopatológico de biopsias y
son raros los resultados falsos positivos, salvo en cuadros de
muy difícil catalogación. Sin embargo, el azar en la toma de
la muestra, cuando se trata de procesos no generalizados,
produce falsos negativos que disminuyen artificialmente la
especificidad de la prueba en evaluación.
Por otra parte, la adjudicación del diagnóstico verdadero siem-
pre tiene elementos subjetivos, en muchos casos inconscien-
tes para el investigador. Así, éste debe establecer el diagnós-
tico de manera ciega, sin conocer previamente el resultado
de la prueba evaluada, para evitar cualquier tipo de
condicionamiento que produzca aumentos sesgados de la
sensibilidad y la especificidad2.
También debe evitarse el sesgo por razonamiento circular.
Este error se produce cuando para catalogar a los sujetos
como enfermos o sanos uno de los criterios utilizados es la
propia prueba que se está evaluando o alguna otra muy rela-
cionada, por lo que aumenta artificialmente la concordancia.
El diagnóstico definitivo debe hacerse con independencia de
la prueba en estudio9.
Por último, es necesario considerar que el método usado para
determinar la verdad no debe afectar a la selección de la
muestra porque sea tan invasivo que se reserve para casos
muy graves, no sea bien tolerado por los pacientes o por al-
guna otra causa 4.
Realización de la prueba a evaluar evitando sesgos
Existen pruebas en las que la subjetividad puede afectar al
resultado, por lo que el conocimiento del diagnóstico verda-
dero puede influir mejorando injustificadamente la estima-
ción de la sensibilidad y la especificidad. Los resultados ob-
tenidos con la prueba en evaluación no deben conducir a
verificaciones en caso de discordancia con el diagnóstico de
referencia, ya que esto llevaría a un sesgo, aumentando la
sensibilidad y la especificidad. Tanto el diagnóstico de refe-
rencia como la prueba en estudio deben realizarse con igual
cuidado en todos los casos y con independencia10.
Cálculo de la sensibilidad y la especificidad. Evaluación y
comparación de pruebas diagnosticas a todos los niveles de
decisión usando curvas ROC
Como se ha comentado, en aquellas pruebas que ofrecen
resultados en un rango continuo es necesario establecer un
punto de corte que divida los resultados en dos grupos (posi-
tivo y negativo) para poder calcular su sensibilidad y su es-
pecificidad frente a un método de referencia. Sin embargo,
citar un solo valor de sensibilidad y especificidad puede con-
ducir a error o, por lo menos, a una simplificación de la exac-
titud. Para cualquier prueba en la que la distribución de los
resultados de los grupos sano y enfermo se solapen, existe
un equilibrio entre sensibilidad y especificidad. Ambas va-
rían en direcciones opuestas: si al modificar el punto de cor-
te aumenta la sensibilidad, la especificidad disminuye, y vi-
ceversa.
Por tanto, las pruebas diagnosticas no tienen un solo par
sensibilidad/especificidad (S/E), sino muchos, uno por cada
nivel de decisión o punto de corte que se adopte. ¿Cuál será
el par que describa la exactitud de la prueba? Sólo el espec-
tro completo de pares S/E para todos los puntos de corte
limita y describe la exactitud de la prueba para discriminar
entre estados de salud. La curva ROC proporciona una visión
de este espectro completo, por lo que es una herramienta
fundamental en la evaluación y comparación de pruebas
diagnósticas9.
Un punto de corte se puede elegir para utilizar la prueba en
el cuidado del paciente, pero para evaluar pruebas no es
deseable ya que puede conducir a errores respecto a su exac-
titud o comparaciones erróneas entre distintas pruebas.
Curvas ROC
Las curvas ROC se desarrollaron en los años cincuenta como
herramientas para el estudio de detección e interpretación
de señales de radar. El objetivo de los operadores de radar
era distinguir las verdaderas señales del ruido de fondo11. Si
se observa la pantalla de un receptor de radar (fig. 1), puede
verse cómo al variar la amplitud de la señal definida para
considerar un pico como misil, varían la sensibilidad y la es-
pecificidad del sistema de recepción.
Si I, II y III son señales emitidas por misiles, al situar la ampli-
tud A como punto de corte detectaremos los 3 misiles (sen-
sibilidad 100 %), pero también consideraremos misiles se-
ñales que no lo son. Al cambiar el nivel de decisión a la am-
plitud B no consideraremos misil ninguna señal de ruido (es-
pecificidad 100 %) pero no habremos detectado el misil lI,
por lo que la sensibilidad desciende.
De la misma forma que en el receptor de radar se produce
un solapamiento entre las verdaderas señales y el ruido, al
realizar pruebas diagnosticas existe un solapamiento entre
los resultados de los pacientes con una condición particular
y los de aquellos que no la tienen. Por este motivo, las aplica-
ciones de las curvas ROC se extendieron a múltiples siste-
mas diagnósticos, incluidas las técnicas radiológicas12 y las
pruebas de laboratorio9, y su denominación se está sustitu-
yendo cada vez más por «Performance Characteristic Curves»
o curvas de rendimiento diagnóstico.
La curva ROC es un gráfico en el que se observan todos los
pares sensibilidad/especificidad resultantes de la variación
continua de los puntos de corte en todo el rango de resulta-
dos observados13. En el eje y de coordenadas se sitúa la sen-
sibilidad o fracción de verdaderos positivos, definida como
se expuso anteriormente y calculada en el grupo de enfer-
mos (fig. 2). En el eje x se sitúa la fracción de falsos positivos
o 1-especificidad, definida como FP/VN + FP y calculada en
el subgrupo no afectado. Algunos autores sitúan en el eje x la
especificidad, pero es lo menos frecuente14.
Cada punto de la curva representa un par S/1-E correspon-
diente a un nivel de decisión determinado. Una prueba con
discriminación perfecta, sin solapamiento de resultados en
las dos poblaciones, tiene una curva ROC que pasa por la
esquina superior izquierda, donde S y E toman valores máxi-
mos (S y E = 1). Una prueba sin discriminación, con igual
distribución de resultados en los dos subgrupos, da lugar a
una línea diagonal de 45º, desde la esquina inferior izquier-
663
 MEDICINA CLÍNICA VOL. 104 NÚM. 17. 1.995

Fig. 1 .Señales registradas en un receptor de radar; I, II y III corresponden a misiles.

da hasta la superior derecha. La mayoría de las curvas ROC

caen entre estos dos extremos. Si cae por debajo de la diago-
nal de 45º se corrige cambiando el criterio de positividad de
“mayor que” a “menor que” o viceversa.
Cualitativamente, cuanto más próxima es una curva ROC a
la esquina superior izquierda, más alta es la exactitud global
de la prueba. De la misma forma, si se dibujan en un mismo
gráfico las curvas obtenidas con distintas pruebas
diagnósticas, aquella que esté situada más hacia arriba y
hacia la izquierda tiene mayor exactitud: por simple observa-
ción se obtiene una comparación cualitativa.
Las curvas ROC son índices de la exactitud diagnostica y
proporcionan un criterio unificador en el proceso de evalua-
ción de una prueba15, debido a sus diversas aplicaciones (ta-
bla 2).
De acuerdo con Zweig y Campbell8, el uso de las curvas ROC
en la evaluación de pruebas diagnosticas presenta las siguien-
tes ventajas:

1. Son una representación fácilmente comprensible de la

capacidad de discriminación de la prueba en todo el rango
de puntos de corte.
2 Son simples, gráficas y fáciles de interpretar visualmente.
3. No requieren un nivel de decisión particular porque está
incluido todo el espectro de puntos de corte.
Fig. 2 .Curva ROC. 4. Son independientes de la prevalencia, ya que la sensibili-
dad y la especificidad se obtienen en distintos subgrupos.
Por tanto, no es necesario tener cuidado para obtener mues-
TABLA 2 tras con prevalencia representativa de la población. De he-
Aplicaciones de las curvas ROC en la evaluación de cho, es preferible generalmente tener igual número de indi-
pruebas diagnosticas viduos en ambos subgrupos.
5. Proporcionan una comparación visual directa entre prue-
Evaluación visual de la exactitud bas en una escala común, mientras que otro tipo de gráficos,
Comparación visual entre pruebas como los diagramas de puntos o los histogramas de frecuen-
Análisis estadístico ROC
Evaluación cuantitativa de la exactitud mediante el área bajo la curva cias, requieren diferentes gráficos cuando difieren las esca-
ROC las.
Comparación cuantitativa entre pruebas 6 La especificidad y la sensibilidad son accesibles en el grá-
Selección de niveles de decisión considerando la prevalencia y la
relación coste/beneficio de los resultados falsos
fico, en contraste con los diagramas de puntos y los
Análisis de regresión logística y análisis discriminante histogramas.

664
 M. J. BURGUEÑO ET AL.- LAS CURVAS ROC EN LA EVALUACIÓN DE LAS PRUEBAS DIAGNÓSTICAS

Las curvas ROC han sido infrautilizadas por los investigado-

res a pesar de ser herramientas fundamentales en la evalua-
ción de pruebas diagnosticas. Esto quizá se deba a sus apa-
rentes desventajas8:

1. Los puntos de corte, aunque son conocidos y se han usa-

do para generar el gráfico, no aparecen en él, a diferencia de
los diagramas de puntos y los histogramas. Al observar un
punto de la curva se observan la sensibilidad y la especifici-
dad que tiene asociadas, pero no se conoce el valor concreto
de dicho punto.
2 El número de sujetos de la muestra estudiada tampoco
aparece en el gráfico.
3 Al disminuir el tamaño de la muestra, la curva ROC tiende
a hacerse más escalonada y desigual. Sin embargo, incluso
con gran número de sujetos, la curva puede ser muy des-
igual.
4. La generación de las curvas y el cálculo de sus parámetros
son difíciles sin ordenador, y los programas existentes no están
ampliamente distribuidos.

Construcción de las curvas ROC

Existen diversos métodos para construir las curvas ROC que

Fig. 3. Curva ROC no paramétrica del cociente apolipoproteína A1/
dependen del tipo de datos que se manejen. Los datos clíni- apolipoproteína B en el diagnóstico de la enfermedad arterial coronaria.
cos pueden ser discretos o continuos. La mayoría de los da-
tos de laboratorio son continuos (medidas de concentración
de sustratos, electrólitos, fármacos, hormonas o enzimas) con den producirse empates en los datos continuos. Un empate
la única limitación del sistema de medida. En los estudios es de interés cuando un miembro del grupo enfermo tiene el
clínicos es muy frecuente agrupar los datos continuos en mismo resultado que uno del grupo no enfermo. En este caso,
categorías ordenadas para resumir la información y simplifi- el verdadero camino entre dos puntos adyacentes no se co-
car los cálculos. Las tiras para análisis urinario proporcio- noce porque las fracciones de verdaderos y falsos positivos
nan, por el contrario, resultados en una escala discreta de cambian simultáneamente. La diagonal es la media entre los
categorías ordenadas. Las imágenes radiológicas también dos caminos extremos, primero horizontal y después vertical
suelen clasificarse en escalas discretas en función del grado o viceversa, pero tiende a subestimar la curva en la determi-
de la anomalía observada: una angiografía de la arteria nación de la exactitud de la prueba diagnóstica8 (fig. 4).
pulmonar puede resultar normal, probablemente normal, Una aproximación frecuentemente adoptada en la literatura
dudosa, probablemente patológica o claramente patológica. clínica consiste en agrupar los datos continuos en catego-
En todos los casos se empieza por calcular los puntos sensi- rías, representar sólo unos pocos puntos de la curva ROC y
bilidad/1-especificidad a todos los posibles puntos de corte conectarlos mediante líneas rectas (fig. 5). Esta agrupación
de la prueba. Si la escala es continua estos puntos serán tiene la ventaja de que la curva es fácil de dibujar, pero al
todos los valores observados. Si se han agrupado los resulta-
dos en intervalos, los puntos de corte son los límites de estos
intervalos. Por último, si la escala es discreta los puntos de
corte son todos los posibles valores de la escala.
Una vez obtenidos todos los puntos, la construcción de la
curva se puede abordar de acuerdo con modelos paramétricos
o no paramétricos. Los primeros se utilizan cuando los datos
están agrupados en categorías o bien pertenecen a una es-
cala discreta. Los métodos no paramétricos son adecuados
cuando se trabaja con datos de una escala continua.

Curvas ROC no paramétricas

Para datos continuos, los puntos adyacentes se unen me-

diante líneas horizontales y verticales. Al cambiar el nivel de
decisión, la inclusión de un resultado verdadero positivo pro-
duce una línea vertical, a la vez que la inclusión de un falso
positivo produce una horizontal. La figura toma apariencia
de escalera. Al ir aumentando el número de individuos en los
dos grupos, los pasos de la escalera se hacen más pequeños
y el gráfico aparece menos dentado (fig. 3). Este tipo de cur-
va ROC utiliza toda la información de los datos directamente
y se denomina no paramétrica porque no necesita ajustarse
a ningún modelo de distribución; carece de parámetros, en
contraste con las aproximaciones paramétricas que se ba-
san en modelos con parámetros que deben estimarse.
Aunque es menos frecuente que entre datos discretos, pue- Fig. 4 .Curva ROC no paramétrica de la CK-MB en el diagnóstico del IAM.
Las líneas diagonales corresponden a empates.

665
 MEDICINA CLÍNICA VOL. 104 NÚM. 17. 1.995
Fig. 5. Curva ROC no paramétrica del cociente Apo A1/Apo B. La línea con-
tinua muestra los datos sin agrupar y la discontinua los mismos datos agru-
pados en categorias.
descartar muchos datos se pierde información y se introdu-
cen muchos empates. Cuando los puntos son pocos y aleja-
dos entre sí, esta gráfica puede representar erróneamente la
verdadera curva ROC, subestimando la exactitud de la prue-
ba, ya que las líneas diagonales suelen caer por debajo de la
escalera 16.
Curvas ROC paramétricas
Cuando se dispone de datos discretos o continuos agrupa-
dos en categorías, puede utilizarse algún modelo paramétrico
para el ajuste de la curva ROC. Se asume que la distribución
de frecuencias de resultados, no de los propios resultados,
en las diversas categorías sigue un modelo paramétrico y
posteriormente se estiman los parámetros correspondientes17.
Un modelo utilizado frecuentemente es el denominado
binormal. Asume que las distribuciones de frecuencias de
los subgrupos enfermo y no enfermo en las distintas catego-
rías son gaussianas con distintas medias y, en muchos ca-
sos, distintas variancias. Estos supuestos no pueden verifi-
carse completamente, por lo que varios autores discrepan
con este método18,19 . En la figura 6 se observa una curva
paramétrica de imágenes radiológicas clasificadas en cinco
categorías; en ella, los datos experimentales se han ajustado
a una distribución binormal.
Otros modelos paramétricos con una distribución logística o
exponencial negativa tienen inconvenientes semejantes.
Una aproximación distinta consiste en ajustar los puntos de
la curva ROC directamente a una función matemática, lo que
implica también adoptar un modelo paramétrico.
En las tablas 3 y 4 se exponen las ventajas e inconvenientes
de las curvas ROC paramétricas y no paramétricas. Para datos
continuos, como la mayoría de los resultados de laboratorio,
son preferibles las curvas ROC no paramétricas.
Análisis de las curvas ROC
Las curvas ROC no sólo aportan información cualitativa, sino
666
Fig. 6 .Curva ROC paramétrica de imágenes radiológicas clasificadas en ca-
tegorías. La línea discontinua representa la curva empírica y la continua el
resultado del ajuste a una distribución gaussiana.
que también permiten los análisis estadísticos para la eva-
luación cuantitativa de las pruebas diagnósticas.
TABLA 3
Ventajas e inconvenientes de las curvas ROC no
paramétricas
Ventajas
Usan todos los datos y la curva pasa por todos los puntos de corte
Proporcionan estimadores centrados (sin sesgo) de la sensibilidad, la
especificidad y el área bajo la curva, ya que para cada punto de corte
los mejores estimadores son los no paramétricos
No necesitan asumir supuestos
Los cálculos son simples
Inconvenientes
Tienen apariencia de escalera
Las series grandes de datos producen un gráfico abigarrado
Los empates pueden causar problemas, ya que normalmente dan lugar a
curvas subestimadas y, por tanto, la exactitud obtenida es menor que
la real
La comparación entre dos puntos de dos curvas ROC sólo puede
realizarse a sensibilidades o especificidades observadas
TABLA 4
Ventajas e Inconvenientes de las curvas ROC paramétricas
Ventajas
Proporcionan una línea curva de visualización más clara.
Permiten comparar puntos de dos curvas a cualquier sensibilidad o
especificidad, observadas o no
Inconvenientes
Descartan datos al agruparlos, con la consiguiente pérdida de
información
Asumen modelos de distribución que muchas veces no se pueden
comprobar
La curva no pasa necesariamente por los verdaderos puntos Los puntos
ROC y el área pueden ser sesgados
Los cálculos son complejos
 M. J. BURGUEÑO ET AL.- LAS CURVAS ROC EN LA EVALUACIÓN DE LAS PRUEBAS DIAGNÓSTICAS
Intervalos de confianza de sensibilidad y especificidad
Ya se ha comentado que la variabilidad del muestreo puede
dar lugar a distintos valores de sensibilidad y especificidad.
Esta variabilidad se indica calculando la variancia o los inter-
valos de confianza de los puntos de la curva ROC. El método
de estimación estadística depende del criterio utilizado para
la construcción de la curva.
En la curva ROC no paramétrica los puntos son estimadores
centrados de S y 1-E para sus correspondientes niveles de
decisión, es decir, no presentan sesgos. Un punto de la cur-
va ni sobrestima ni subestima el verdadero valor, pero desco-
nocido, de S y 1-E en ese punto de corte. Esto puede no ser
verdad para aproximaciones paramétricas. Así, pueden cal-
cularse los intervalos de confianza de S y E20, que disminui-
rán al aumentar el tamaño de la muestra.
Un enfoque diferente pero también correcto no fija el punto
de corte, sino la verdadera (teórica) especificidad en un va-
lor (p. ej.: 80 %) y después calcula el intervalo de confianza
para la sensibilidad que corresponde a ese valor, o viceversa.
Para curvas ROC paramétricas que asumen distribuciones
teóricas, los parámetros y sus variancias se estiman median-
te programas informáticos 21. Se puede aplicar la teoría de la
inferencia estadística (pruebas de hipótesis e intervalos de
confianza) a la sensibilidad y la especificidad, e incluso para
estimar valores no observados.
Área bajo la curva ROC
El área bajo la curva (ABC) ROC es una medida global de la
exactitud de una prueba diagnóstica. Se define como la pro-
babilidad de clasificar correctamente un par de individuos
sano y enfermo, seleccionados al azar de la población, me-
diante los resultados obtenidos al aplicarles la prueba
diagnóstica. Es decir, es la probabilidad de que el resultado
de la prueba resulte más anormal en el paciente enfermo22.
Verdadera ABC ROC =Prob (Xenfermo > Xsano)
Se puede tomar como ejemplo la determinación del PSA para
el diagnóstico del cáncer de próstata. Un ABC de 0,75 signi-
fica que un individuo seleccionado aleatoriamente del grupo
de enfermos tendrá el 75 % de las veces un valor de PSA
mayor que un individuo elegido al azar del grupo no enfer-
mo. Esto no significa que un resultado positivo se produzca
en el enfermo con una probabilidad de 0,75 ni que esté aso-
ciado con la enfermedad el 75 % de las veces.
Por convenio, el ABC ROC es siempre mayor o igual que 0,5.
Toma valores comprendidos entre 0,5, si no existen diferen-
cias en la distribución de resultados de la prueba entre los
subgrupos enfermo y sano, y 1,0, cuando existe separación
perfecta entre las dos distribuciones. Swets4 interpreta el ABC
de la siguiente manera: valores entre 0,5 y 0,7 indican baja
exactitud, entre 0,7 y 0,9 pueden ser útiles para algunos pro-
pósitos y un valor mayor de 0,9 indica exactitud alta.
La capacidad de discriminación de la prueba diagnóstica
puede evaluarse estimando el intervalo de confianza del ABC
ROC. Si el intervalo no incluye el valor 0,5 la prueba es capaz
de discernir entre enfermos y sanos.
El cálculo del ABC ROC así como de su error estándar puede
abordarse, en función del tipo de curva, mediante un enfo-
que paramétrico o no paramétrico. Si se utiliza el criterio no
paramétrico, el ABC puede calcularse mediante un método
trapezoidal o estimarse como el estadístico W de Wilcoxon.
Bamber23 demostró que el área bajo la curva ROC coincide
con la suma de rangos (W) obtenida mediante la prueba no
paramétrica de comparación de medias de Wilcoxon. Hanley
y McNeil22 exponen esta demostración matemática en el con-
texto médico y el método directo para el cálculo del error
Fig. 7 .Curvas ROC de dos pruebas diagnósticas hipotéticas con igual área
bajo la curva, pero trazados muy diferentes.
estándar de W que permite obtener su intervalo de confian-
za. El estadístico W es un estimador centrado de la verdade-
ra ABC ROC teórica.
Con datos clínicos se debe considerar la posibilidad de em-
pates. Si se producen pocos empates, el ABC puede calcu-
larse también mediante el método trapezoidal o utilizando la
versión de Mann-Whitney del estadístico de Wilcoxon con los
rangos medios. Sin embargo, al agrupar los datos en catego-
rías ordenadas el aumento de empates conduce a un área
trapezoidal subestimada y a un aumento de su error
estándar24.
Existen varios métodos gráficos y matemáticos para calcular
el ABC y su error estándar asumiendo un modelo paramétrico
binormal12,21 . Pero, a menos que se satisfagan bien las asun-
ciones paramétricas, las ABC obtenidas suelen ser sesgadas.
También se ha propuesto un modelo exponencial negativo,
más conservador que el binormal. Hanley y McNeil22 expli-
can un método de cálculo del tamaño de muestra necesario
para obtener el ABC ROC con la precisión deseada utilizan-
do dicho modelo.
Centor y Schwartz25 han realizado una comparación de áreas
no paramétricas y paramétricas binormales.
El área bajo la curva ROC por ser una medida global implica
pérdida de información, por lo que no debe considerarse ais-
ladamente sin examinar la curva. A veces, curvas ROC de
trazados muy distintos pueden tener áreas semejantes (fig.
7). Por otra parte, una curva con mayor área que otra puede
no ser la mejor en la situación clínica de interés.
Comparación de curvas ROC
La comparación clásica de pruebas diagnósticas se realiza
mediante estudios de correlación, una vez fijado el punto de
corte. La utilización de curvas ROC permite hacer compara-
ciones de puntos de dos curvas que tengan igual sensibili-
dad o especificidad20 y un enfoque global de confrontación
de la exactitud de dos pruebas en el espectro completo de
puntos de corte, comparando sus áreas bajo la curva22.
El diseño del estudio de comparación puede ser de20:
Datos pareados, se realizan dos o más pruebas en los mis-
mos sujetos. Es un diseño muy eficaz que controla la varia-
667
 MEDICINA CLÍNICA VOL. 104 NÚM. 17. 1.995
TABLA 5
Programas informáticos para la construcción y análisis de curvas ROC
CLINROC MEZ
Tipo de datos C C, 1
Curva ROC NP - NP, P
ABC ROC NP NP, P
Comparación ABC - P
Elección puntos de corte P -
C: Continuos; A: agrupados en categorías ordenadas; NP: no paramétrico; P: paramétrico.
ción paciente-paciente, por lo que requiere menor tamaño
de la muestra. Los resultados de las pruebas están general-
mente asociados o correlacionados.
Grupos independientes, las diversas pruebas se realizan en
distintos individuos. Los resultados son independientes y no
se relacionan.
Si el estudio se realiza en grupos independientes, tanto en
curvas paramétricas como no paramétricas, la comparación
de áreas mediante métodos estadísticos es directa16,26 . Si se
utilizan datos apareados es necesario calcular previamente
la correlación entre las pruebas27,28 ; los cálculos son comple-
jos y requieren el uso de ordenador.
Distintos autores han descrito programas informáticos comer-
ciales o de dominio público para la obtención y análisis de
curvas ROC29,31 . La tabla 5 recoge los principales programas
así como algunas de sus capacidades. Zweig8 cita las direc-
ciones de contacto para adquirirlos.
Elección de niveles de decisión o puntos de corte
Considerando únicamente los valores de sensibilidad y es-
pecificidad no es posible seleccionar el punto de corte idó-
neo para la aplicación concreta de las pruebas diagnósticas.
Para determinar cuál de las posibles combinaciones S/E es
la más apropiada, es necesario considerar dos elementos8:
1. Los costes relativos de los resultados falsos, tanto negati-
vos como positivos, así como los beneficios de las clasifica-
ciones correctas.
2. La proporción relativa de los dos estados de salud que se
pretende discriminar con la prueba, es decir, la prevalencia
o probabilidad a priori de la enfermedad en la población.
Evaluar el primer apartado es complicado, ya que puede ex-
presarse en términos financieros o de costes para la salud y
se puede interpretar desde el punto de vista del paciente, de
los sanitarios o de la sociedad. Diversos autores8,32,33 han
expuesto sus criterios para el cálculo de los costes relativos
de los resultados y obtienen distintas fórmulas que también
engloban la prevalencia para la determinación del punto de
corte óptimo.
Independientemente del cálculo del nivel de decisión exac-
to, Galen y Gambino34 han emitido cuatro postulados relati-
vos a la elección práctica de las características de una prue-
ba diagnóstica, que consideran la patología estudiada y las
condiciones reales de la comunidad, y que son los siguien-
tes:
1. Se elige la mayor sensibilidad posible cuando: a) la enfer-
medad sea grave y no pueda pasar inadvertida; b) la enfer-
medad sea tratable, y c) los resultados falsos positivos no
supongan un traumatismo psicológico o económico en los
individuos examinados.
2. Se elige la mayor especificidad posible cuando: a) la en-
fermedad sea importante pero difícil de curar o incurable, y
668
ROC ANALYZER ROCLAB RULEMAKER SIGNAL EP-UH
A C C A C
NP NP NP, P NP
NP, P NP NP NP, P NP
NP, P - NP -
- NP - - -
-
b) el hecho de conocer que no se padece la enfermedad
tiene una importancia sanitaria y psicológica.
3. Debe utilizarse una prueba con alto valor predictivo positi-
vo cuando el tratamiento de los falsos positivos pueda tener
consecuencias graves.
4. Se desea un valor global elevado cuando: a) la enferme-
dad sea importante pero curable, y b) tanto los falsos positi-
vos como los falsos negativos supongan un traumatismo y
conlleven consecuencias graves.
Aplicaciones de las curvas ROC en el diagnóstico de
laboratorio
Las curvas ROC tuvieron sus primeras aplicaciones en medi-
cina en el campo del radiodiagnóstico12. En 1981, Robertson
y Zweig9 las utilizaron por primera vez en la evaluación de
pruebas de laboratorio. Estudiaron las concentraciones séricas
de mioglobina y creatincinasa MB (CK-MB) en pacientes con
sospecha de IAM y comunicaron sus resultados en forma de
curvas ROC. Además, reanalizaron datos ya publicados so-
bre la hormona paratiroidea usando estas curvas. Posterior-
mente, estos autores colaboraron con Van Steirteghem35 en
un estudio de comparación de mioglobina, CK total, CK-MB
y CK-BB en el diagnóstico de IAM. Construyeron las curvas
ROC obtenidas con los cuatro parámetros a distintos tiempos
de muestreo desde el comienzo del dolor torácico. Estas cur-
vas demostraron que la mioglobina poseía la mayor capaci-
dad diagnóstica en las primeras 5 a 8 h tras la instauración
del dolor, mientras que la CK y la CK-MB eran superiores a
las 18 h.
Sucesivamente, diversos autores publicaron curvas ROC como
resultados de sus estudios 36-40, pero con interpretaciones
solamente cualitativas.
En 1985, Carson et al41 utilizaron por primera vez el análisis
cuantitativo de curvas ROC en un estudio de comparación
de cuatro técnicas analíticas para la determinación de
fosfatasa ácida prostática en casos de sospecha de cáncer
de próstata. La evaluación se efectuó comparando las áreas
bajo las curvas ROC obtenidas.
Hermann33 comparó la exactitud de dos versiones de un en-
sayo comercial radioisotópico para tirotropina y su capaci-
dad para distinguir entre individuos eutiroideos e hipotiroideos,
mediante curvas y ABC ROC. Kazmierczack et al42 usaron
curvas ROC para evaluar la exactitud de lipasa, amilasa y
fosfolipasa A en el diagnóstico de pancreatitis aguda. Guyatt43
estudió la capacidad de siete pruebas incluyendo ferritina,
transferrina, saturación, volumen corpuscular medio y
protoporfirina eritrocitaria para distinguir la anemia ferropénica
de otras causas de anemia en sujetos mayores de 65 años.
Utilizó un factor para corregir la correlación, ya que todas las
curvas se obtuvieron en los mismos individuos.
En los últimos años se han publicado diversos estudios sobre
evaluación y comparación de pruebas diagnósticas, utilizan-
do curvas y análisis ROC44-50.
Sin embargo, el principal avance de nuestros días consiste
 M. J. BURGUEÑO ET AL.- LAS CURVAS ROC EN LA EVALUACIÓN DE LAS PRUEBAS DIAGNÓSTICAS
en la aplicación de las técnicas estadísticas de análisis
multivariante a las curvas ROC 51,52. Mediante distintos mo-
delos de regresión logística, Zweig 51 estudió la capacidad de
los lípidos y las lipoproteínas séricas para distinguir indivi-
duos con enfermedad arterial coronaria de individuos sanos,
así como distintos grados de enfermedad entre los primeros.
Obtuvo las ABC ROC para distintos parámetros: colesterol,
colesterol LDL, colesterol HDL, triglicéridos, apolipoproteína
A-I y apolipoproteína B; pero también para tres modelos
logísticos que incluían, además de índices lipídicos, varia-
bles muy relacionadas con la enfermedad arterial coronaria:
sexo, edad y hábito tabáquico. Demostró que las
apolipoproteínas aumentan la capacidad de discriminación
de los lípidos en la enfermedad coronaria.
En resumen, la curva ROC, una generalización de los con-
ceptos clásicos de sensibilidad y especificidad, es un moder-
no enfoque epidemiológico para la evaluación de pruebas
diagnosticas, ya que permite conocer su capacidad para dis-
criminar entre dos estados alternativos de salud. La curva
ROC no paramétrica es una visión sin sesgo de la exactitud
de la prueba. Además, el análisis estadístico de las curvas
ROC proporciona resultados cuantitativos muy útiles en la
evaluación y comparación de pruebas diagnósticas.
Glosario de términos
Exactitud
Capacidad de una prueba diagnóstica para clasificar correc-
tamente a los individuos en subgrupos clínicamente relevan-
tes. En su forma más simple es la capacidad para distinguir
entre dos estados de salud.
Sensibilidad
Probabilidad de obtener un resultado positivo cuando el in-
dividuo tiene la enfermedad. Mide su capacidad para detec-
tar la enfermedad cuando está presente.
Especificidad
Probabilidad de obtener un resultado negativo cuando el in-
dividuo no tiene la enfermedad. Mide su capacidad para
descartar la enfermedad cuando no está presente.
Nivel de decisión o punto de corte
Valor límite que permite resumir los resultados de una escala
continua en dos categorías: positivo y negativo.
Curva ROC
Gráfico que muestra todos los pares sensibilidad/especifici-
dad resultantes de la variación continua de los puntos de
corte en todo el rango de resultados observados.
Área bajo la curva ROC (ABC ROC)
Probabilidad de clasificar correctamente un par de indivi-
duos sano y enfermo, seleccionados al azar de la población,
mediante los resultados obtenidos al aplicarles la prueba
diagnóstica.
REFERENCIAS BIBLIOGRÁFICAS
1. Jenicek M, Clèroux R. Epidemiología. Principios. Técnicas. Aplicacio-
nes. Barcelona: Salvat, 1987.
2. Redondo FL. la lógica en la interpretación de las pruebas diagnósticas.
Barcelona: Garsi, 1989.
3. Robertson EA, Zweig MH, Van Steirteghem AC. Evaluating the clínical
efficacy of laboratory tests. Am J Clin Pathol 1983; 79: 78-86.
4. Swets JA. Measuring the accuracy of diagnostic systems. Science 1988;
240: 1.285-1.293.
5. Ransohoff DF, Feinstein AR. Problems of spectrum and bias in
evaluating the efficacy of diagnostic tests. N Engl J Med 1978; 299: 926-
930.
6, Lachs MS, Nachamkin l, Edelstein PH, Goldman J, Feinstein AR,
Schwartz JS. Spectrum bias in the evaluation of diagnostic tests: lessons
from the rapid dipstick test for urinary tract infection. Ann lntern Med 1992;
117: 135-140.
7. Gur D, King JL, Rockette HE, Britton CA, Thaete EL, Hoy RJ. Practical
issues of experimental ROC analysis. Selection of controls. lnvest Radiol 1990;
25: 583-586.
8. Zweig MH, Campbell G. Receiver-Operating Characteristic (ROC) Plots:
A fundamental evaluation tool in clinical medicine. Clin Chem 1993; 39:
561-577.
9. Robertson EA, Zweig MH. Use of Receiver Operating Characteristic
Curves to evaluate the clinical performance of analytical systems. Clin Chem
1981; 27: 1.569-1.574.
10. Gray R, Begg CB, Greenes RA. Construction of receiver operating
characteristic curves when disease verification is subject to selection bias.
Med Decis Making 1984; 4: 151-164.
11. Lusted LB. Signal detectability and medical decision-making. Science
1971; 171: 1.217-1.219.
12. Metz CE. Roc methodology in radiologic imaging. lnvest Radiol 1986;
21: 720-733.
13. Sackett DL, Haynes RB, Tugwell P. Epidemiología clínica. Una ciencia
básica para la medicina clínica. Madrid: Díaz Santos S.A., 1989.
14, Gerhardt W, Keller H. Evaluation of test data from clinical studies. Il.
Critical review of concepts of efficiency, Receiver Operated Characteristic
(ROC) and likelihood ratios. Scand J Clin Lab lnvest 1986; 46 Supl 181: 47-
74.
15. Zweig MH. lnefficiency of diagnostic efficiency [carta]. Clin Chem 1992;
38: 163-164.
16. McNeil BJ, Hanley JA. Statistical approaches to the analysis of receiver
operating characteristic (ROC) curves. Med Decis Making 1984; 2: 137-
150.
17. Swets JA, Pickett RM. Evaluation of diagnostic systems. Nueva York:
Academic Press, 1982.
18. Hanley JA. The robustness of the “binormal” assumption used in fit-
ting ROC curves. Med Decis Making 1988; 8: 197-203.
19. Rockette HE, Obuchowski NA Gur D. Nonparametric estimation of
degenerate ROC data sets used for comparison of imagina systems. lnvest
Radiol 1990: 835-837.
20. Beck JR, Shultz EK. The use of Relative Operating Characteristic (ROC)
Curves in test performance evaluation. Arch Pathol lab Med 1986; 110: 13-
20.
21. Grey DR, Morgan BJT. Some aspects of ROC curve-fitting: normal and
logistic models. J Math Psichol 1972; 9: 128-139.
22. Hanley JA, McNeil BJ. The meaning and use of the area under a
Receiver Operating Characteristic (ROC) Curve. Radiology 1982; 143: 29-
36.
23, Bamber D. The area above the ordinal dominance graph and the area
below the receiver operating graph. J Math Psych 1975; 12: 387-415.
24. Swets JA. ROC analysis applied to the evaluation of medical imaging
techniques. lnvest Radiol 1979; 14: 109-121.
25. Centor RM, Schwartz JS. An evaluation of methods for estimating the
area under the receiver operating characteristic (ROC) curve. Med Decis
Making 1985; 5: 149-156.
26. Hanley JA, McNeil BJ. A method of comparing the areas under receiver
operating characteristic curves derived from the same cases. Radiology 1983;
148: 839-843.
27. Wieand S, Gail MH, James BR, James KL. A family of nonparametric
statistics for comparing diagnostic markers with paired or unpaired data.
Biometrika 1989; 76: 585-592.
28. De Long ER, De Long DM, Clarke-Pearson DL. Comparing the areas
under two or more correlated receiver operating characteristic curves: a
nonparametric approach. Biometrics 1988; 44: 837-845.
29. Abendroth TW, Bongiovanni MB, Krieg AF, A microcomputer program
for critical evaluation of diagnostic test. Arch Pathol Lab Med 1986; 110:
952-958.
30. Pellar TG, Leung FY, Henderson AR. A computer program for rapid
generation of Receiver Operating Characteristic Curves and likelihood ratios
in the evaluation of diagnostic tests. Ann Clin Biochem 1988; 25: 411-416.
31. Centor RM, Keightley GE. Receiver operating characteristic (ROC) curve
area analysis using the ROC ANALYZER. SCAMC Proc 1989; 222-226.
32. Krieg AF, Abendroth TW, Bongiovanni MB. When is a diagnostic test
result positive? Decision tree models based on net utility and threshold. Arch
Pathol Lab Med 1986; 110: 787-791.
33. Hermann GA, Sugiura HT, Krumm RP. Comparison of thyrotropin assays
by Relative Operating Characteristic analysis. Arch Pathol Lab Med 1986;
110: 21-25.
34. Galen RS, Gambino SR. Beyond normality: the predictive value and
efficiency of medical diagnoses. Nueva York: J Wiley and Sons, lnc., 1975.
35. Van Steirteghem AC, Zweig MH, Robertson EA, Bernard RM, Putzeys
GA, Bieva CJ. Comparison of efectiveness of four clinical chemical assays in
669
 MEDICINA CLÍNICA VOL. 104 NÚM. 17. 1.995
classifying patients with chest pain. Clin Chem 1982; 28: 1.319-1.324.
36. Kadar N, DeCherney AH, Romero R. Receiver operating characteristic
(ROC) curve analysis of the relative efficacy of single and serial chorionic
gonadotropin determinations in the early diagnosis of ectopic pregnancy. Fertil
Steril 1982; 37: 542-547.
37. Ryan ED, Bilous G. Serum 5'-nucleotidase: Automation of a manual
assay and briev observations on values in patients with breast cancer. Clin
Biochem 1983; 16: 249-253.
38. Marchand A, Van Lente F, Galen RS. The assessment of laboratory
tests in the diagnosis of acute appendicitis. Am J Clin Pathol 1983; 80: 369-
374.
39. Leroux ML, Rabson J, Desjardins PRE. Clinical effectiveness of the Du
Pont aca measurement of creatine kinase MB in serum from patients in a
coronary-care unit. Clin Chem 1984; 30: 1.552-1.554.
40. Kim l, Pollit E, Leibel RL. Application of receiver-operator analysis to
diagnostic tests of iron defficiency in man. Pediatr Res 1984; 18: 916-920.
41. Carson JL, Eisenberg JM, Shaw LM, Kundel HL, Soper KA. Diagnostic
accuracy of four assays of prostatic acid phosphatase. Comparison using
receiver operating characteristic curve analysis. JAMA 1985; 253: 665-669.
42. Kazmierczack SC, Van leute F, Hodges ED. Diagnostic and prognostic
utility of phospholipase A activity in patients with acute pancreatitis:
comparison with amylase and lipase. Clin Chem 1991; 37: 356-360.
43. Guyatt GH, Oxman AD, Alí M, Willan A, Mcllroy W, Patterson C.
laboratory diagnosis of iron-deficiency anemia: an overview. J Gen lntern Med
1992; 7: 145-153.
44. Leung FY, Galbraith LV, Jablonsky G, Henderson AR, Reevaluation of
the diagnostic utility of serum total creatine kinase and creatine kinase-2 in
myocardial infarction. Clin Chem 1989; 35: 1.435-1.440.
670
45. Dupont A, Cusan L, Gómez JL, Thibeault MM, Tremblay M, Labrie F.
Prostate specific antigen and prostatic acid phosphatase for monitoring
therapy of carcinoma of the prostate. J Urol 1991; 146: 1.064-1.068.
46. De Wit R, Hoek FJ, Bakker PJ, Veenhof CH. The value of MCA, CA 15-
3, CEA and CA-125 for discrimination between metastasic breast cancer
and adenocarcinoma of other primary sites. J Intern Med 1991; 229: 463-
466.
47. Ricker DM, Hebert LA, Rohde R, Sedmak DD, Lewis EJ, Clough JD.
Serum C3 levels are diagnostically more sensitiva and specific for systemic
lupus erythematosus activity than are serum C4 levels. Am J Kidney Dis 1991;
18: 678-685.
48. Amico S, Liehn JC, Desoize B, Larbre H, Deltour G, Valeyre J.
Comparison of phosphatase isoenzymes PAP and PSA with bone scan in
patients with prostate carcinoma. Clin Nuci Med 1991; 16: 643-648.
49 . Lott JA, Lu CJ. Lipase isoforms and amylase isoenzymes: assays and
application in the diagnosis of acute pancreatitis. Clin Chem 1991; 37: 361-
368.
50. Flack MR, Oldfield EH, Cutler GB, Zweig MH, Malley JD, Chrousos GP
et al. Urine free cortisol in the high-dose dexamethasone suppression test for
the differential diagnosis of the Cushing syndrome. Ann lntern Med 1992;
116: 211-217.
51. Zweig MH, Broste SK, Reinhart RA. ROC curve analysis: an example
showing the relationships among serum lipid and apolipoprotein
concentrations in identifying patients with coronary adery disease. Clin Chem
1992; 38: 1.425-1.428.
52. Kazmierczack SC, Catrou PG, Van Lente F. Diagnostic accuracy of
pancreatic enzymes evaluated by the use of multivariate data analysis. Clin
Chem 1993; 39: 1.960-1.965.