Investigación sobre pruebas

diagnósticas
V. Abraira
Unidad de Bioestadística Clínica
H
Hospital
it l R
Ramón
ó yC Cajal.
j l IRYCIS
CIBERESP
Mayo 2011

http://www.hrc.es/investigacion/bioest/M_docente.html

Diagnóstico

 Evaluar una prueba diagnóstica implica dos

conceptos:
 Validez (validity, accuracy, conformity):
¿Clasifica bien a los individuos?
 Precisión (reliability, reproducibility,
agreement): ¿Clasifica siempre igual a los
“iguales”?

V. Abraira - Bioestadistica Clínica 2

1
Errores de medición

 Que se corresponden con los dos tipos de

errores de la medición:
 Error debido a la validez limitada del
instrumento.
 Tiene que ver con que el instrumento mida
lo que debe medir.
 Error
o sistemático
á o o sesgo.
go
 Depende exclusivamente del instrumento.
 El modo de controlarlo se denomina
calibración: comparar con patrones de
referencia.
V. Abraira - Bioestadistica Clínica 3

Errores de medición

 Error debido a la precisión limitada del

instrumento.
instrumento
 Tiene que ver con cuanto se aproxima la
medición al verdadero valor.
 Error aleatorio.
 Atenta a la reproducibilidad.
 Depende del instrumento y del proceso de
medición
medición.
 El modo de controlarlo es comparar medidas
repetidas.

V. Abraira - Bioestadistica Clínica 4

2
 Ejemplo

La balanza
P bl
Problemas d
de precisión:
i ió
Conjunto finito de “pesas”.
Comportamiento inercial.
Control: repetir la medida.
Problemas de validez:
“Defectos” de fabricación.
ó
Control: “Pesas” calibradas.

V. Abraira - Bioestadistica Clínica 5

Símil de la diana

Válido, poco
preciso Preciso, poco
válido

Poco válido, Preciso, válido

poco preciso

V. Abraira - Bioestadistica Clínica 6

3
En las pruebas diagnósticas

El control de estos errores se

complica
li por:
Variables aleatorias.
A veces, magnitudes sin patrón de
referencia objetivo, ni escala métrica
(dolor, mejoría, etc.).

V. Abraira - Bioestadistica Clínica 7

Esquemáticamente

Precisión
P i ió Concordancia
reproducibilidad intraobservador
concordancia Concordancia
fiabilidad interobservador
Exactitud
(accuracy)
Validez
Conformidad
(conformity)

V. Abraira - Bioestadistica Clínica 8

4
Elementos del diseño (I)

Evaluar validez implica comparar con

un ““patrón
ó dde oro”” (“gold
(“ ld standard”).
d d”)
¿Aparente? paradoja:
Si hay “patrón de oro”, ¿para qué
otra prueba?
y, ¿con qué
Si no lo hay, q comparamos?
p
Ejemplo: mamografía

V. Abraira - Bioestadistica Clínica 9

Elementos del diseño (II)

¿Qué patrón de oro se usa?

¿Có
¿Cómo se hacen
h las
l comparaciones?
i ?
Ojo a los posible sesgos:
Sesgo de “confirmación diagnóstica”.
(¿son ambas pruebas independien-
tes?).
S
Sesgo de
d “expectativa”
“ t ti ” (¿se
(¿
interpretan de forma “ciega”?).

V. Abraira - Bioestadistica Clínica 10

5
Elementos del diseño (III)

¿Incluye la muestra un amplio

espectro de pacientes (con la
enfermedad y la(s) alternativa(s)?).
Las características de las pruebas
dependen del espectro.
Casi cualquier prueba distingue
enfermos graves de sanos. Ejemplo:
el ACE para el cáncer colorrectal.

V. Abraira - Bioestadistica Clínica 11

Evidencia empírica

Lijmer et al.
JAMA 1999;282:
1061-1066

V. Abraira - Bioestadistica Clínica 12

6
Evidencia empírica

Rutjes et al.
CMAJ 2006;174:
469-476

V. Abraira - Bioestadística Clínica 13

Elementos del diseño (IV)

¿Se describe el método para permitir

su reproducibilidad?
d ibilid d?
Esto es muy importante en pruebas
diagnósticas.
Aquí no es sólo un requisito
epistemológico; hay que repetirlas en
cada paciente.

V. Abraira - Bioestadistica Clínica 14

7
Resumiendo

Abraira, Zamora. Atención

Primaria Basada en la
Evidencia. 2008;15(7):460-
461

15
15

Índices de validez

Patrón de oro

E E

T+ a b
Prueba

T– c d

V. Abraira - Bioestadistica Clínica 16

8
Sensibilidad y Especificidad

E E

T+ a b

T– c d


Sensibilidad: Sen  P (T  E )  a /( a  c )

Especificidad: Esp  P (T  E )  d /( b  d )
No dependen de la prevalencia, pero
sí del “espectro” de la enfermedad.
V. Abraira - Bioestadistica Clínica 17

Valores predictivos

E E

T+ a b

T– c d

Positivo: V P   P ( E T  )  a / ( a  b )

Negativo: V P   P ( E T  )  d / ( c  d )
Son más útiles al aplicar la prueba,
pero dependen de la prevalencia, que en
cada caso puede (suele) ser distinta a la
del estudio.
V. Abraira - Bioestadistica Clínica 18

9
 Cocientes de Probabilidad

E E

T+ a b

T– c d

a /(a  c )
Positivo CP   Sen /(1  Esp) 
b /(b  d )
c /( a  c )
Negativo CP   (1  Sen) / Esp 
d /(b  d )

V. Abraira - Bioestadistica Clínica 19

Cocientes de Probabilidad (II)

 Los CP son los índices más útiles

(
(aunque menos usados):
d ) permiteni
transformar la probabilidad pre-
prueba en probabilidad post-prueba.

Oddspost  CPR  Oddspre

p odds
Odds  p 
1  p odds  1
V. Abraira - Bioestadistica Clínica 20

10
Utilidad de los CP’s

Oddspost  CPR  Oddspre

V. Abraira - Bioestadistica Clínica 21

Cocientes de Probabilidad (III)

Cuando el resultado de la prueba

tiene
i varios
i niveles,
i l se pueden
d
definir estos índices para cada nivel.
Claramente es ahora más útil el CP.

V. Abraira - Bioestadistica Clínica 22

11
 Cocientes de Probabilidad (IV)

Como guía aproximada:

 CP>10 ó CP<0,1 cambios amplios.

 5<CP<10 ó 0,1<CP<0,2 moderados.
 2<CP<5 ó 0,2<CP<0,5 pequeños.
 1<CP<2 ó 0,5<CP<1 insignificantes.

V. Abraira - Bioestadistica Clínica 23

Resumiendo

E E Sen  p(T  | E )  a /(a  c)

T+ a b Esp  p(T  | E )  d /(b  d)

T– c d Valor clínico limitado

a /(a  c) a´d CP +
CP VPSen p(/(1
E |T Esp
) )a/(a  b) ORD = =
b /(b  d) b´c CP -
CP VP (1pSen )  d/(cc/(ad) c)
(E |)T/Esp Poco sentido clínico,
d /(b  d)
mide la capacidad
Poco aplicable discriminatoria de la
Mayor sentido clínico
prueba
V. Abraira - Bioestadistica Clínica 24

12
¿Es útil la prueba? (I)

 ¿Es el espectro de la enfermedad similar al

de mi medio?
 Ej. Ecografía de compresión para trombosis
de venas proximales “funciona” distinto en
pacientes ambulatorios sintomáticos que
en post-quirúrgicos asintomáticos.
 ¿hay revisiones de series de estudios?

V. Abraira - Bioestadistica Clínica 25

¿Es útil la prueba? (II)

¿Modificará la prueba el tratamiento?

La utilidad de una prueba depende
de la proporción de pacientes con
sospecha de la enfermedad en los
que el resultado tenga un CP muy
alto o muy bajo.

V. Abraira - Bioestadistica Clínica 26

13
¿Es útil la prueba? (III)

 ¿Se evaluó la prueba en un escenario

similar al que se quiere usar?
 Ojo a las pruebas en serie. Si la segunda
está muy relacionada con la primera, los
CP pueden conducir a error. ¿Cuál es el
valor incremental de la resonancia con
p
respecto al TAC?

V. Abraira - Bioestadistica Clínica 27

BMJ 2006, 332:1089-92

Salvo las pruebas de cribaje, toda prueba debe situarse

en una ruta diagnóstica existente. Hay que identificarla
correctamente y situar en ella la prueba.

14
¿Es útil la prueba? (IV)

“Pregunta del millón”: ¿Como asignar la

probabilidad
b bilid d pre?
?

V. Abraira - Bioestadistica Clínica 29

¿Es útil la prueba? (IV)

 “Pregunta del millón”: ¿Como asignar la

probabilidad pre?
 Estudios sobre propiedades de los
signos.

V. Abraira - Bioestadistica Clínica 30

15
¿Es útil la prueba? (IV)

 “Pregunta del millón”: ¿Como asignar la

probabilidad pre?
 Estudios sobre propiedades de los signos.
 Estudios predictivos para ciertos
trastornos.

V. Abraira - Bioestadistica Clínica 31

¿Es útil la prueba? (IV)

 “Pregunta del millón”: ¿Como asignar la

probabilidad pre?
 Estudios sobre propiedades de los signos.
 Estudios predictivos para ciertos
trastornos.
 Por consenso entre colegas.

V. Abraira - Bioestadistica Clínica 32

16
¿Es útil la prueba? (IV)

 “Pregunta
Pregunta del millón
millón”:: ¿Como asignar la
probabilidad pre?
 Estudios sobre propiedades de los signos.
 Estudios predictivos para ciertos
trastornos.
 Por consenso entre colegas.
 Por
P simulación
i l ió de d valores
l extremos.

V. Abraira - Bioestadistica Clínica 33

Práctica 1

Evaluar, siguiendo la tabla de ítems del

QUADAS (diapositiva
(di iti 15),
15) ell artículo
tí l ded
Med Clin 2001; 116: 286-289.
Calcular, con la calculadora RyC, los
índices y sus IC´s para la tira reactiva y
el sedimento en seco.

V. Abraira - Bioestadistica Clínica 34

17
 Pruebas con respuesta continua
(I)
Algunas pruebas diagnósticas
producen
d un resultado
l d continuo.
i
La manera de evaluarlas es calcular
la Sen y Esp para distintos valores de
corte y construir la llamada curva
ROC.

V. Abraira - Bioestadistica Clínica 35

Pruebas con respuesta continua

(II)

20,00

ROC
15,00

A
1,0
A

A
A
AA
test

A
10,00
AA
AA
AA
A A
A AA
0,8
A
A
AA A
AA
A
AA A A
A
5,00 AA
A A
A
A
A
A
A
A
A
A
AA
AA
A
AA
AA A
A
AAA
Sensibilidad

A
AA A
AA
A
AA
0,6
AA
A
AAA
AA
AA
0,00
0,00 1,00
0,4
enfermed

E E 0,2

area=0,87
EE(a)=0,12
T+ a b 0,0
0,0 0,2 0,4 0,6 0,8 1,0

1-Especificidad

T– c d

V. Abraira - Bioestadistica Clínica 36

18
 Pruebas con respuesta continua
(III)

30
ROC 16

14

1,0 12

20
10
test

test
8

0,8
6
10

2
Sensibilidad

0,6
0
0
.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2
.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2

enfermed
enfermed

0,4
S

0,2

area=0,87
EE(a)=0,12
0,0
0,0 0,2 0,4 0,6 0,8 1,0

1-Especificidad

V. Abraira - Bioestadistica Clínica 37

Las curvas ROC son útiles

Conocer el rendimiento global de una

prueba.
b Área
Á bajo
b j la
l curva.
Comparar dos pruebas o dos puntos
de corte.
Elegir el punto de corte apropiado
para
pa a un
u determinado
dete ado paciente.
pac e te

V. Abraira - Bioestadistica Clínica 38

19
A partir de la curva, el punto de
corte se elige:
 Arbitrariamente.
 El punto más cercano al vértice superior
izquierdo.
 Prefijando un nivel de Sen o Esp.
 Maximizando la suma de Sen y Esp o el
Total de aciertos (accuracy).
 Punto donde Sen=Esp.
 Ó (1/73) …

Fuente: Cantor S.B. et al. (1999) A comparison of C/B ratios from studies
using ROC curves analysis. J Clin Epidemiol; 52:885-892.

V. Abraira - Bioestadistica Clínica 39

A partir de la curva, el punto de

corte se elige:

C 1
pend  
B odds pre
C: Coste neto = UVN-UFP
B: Beneficio neto = UVP-UFN

(http://www.hrc.es/investigacion/bioest/roc_2.html)

V. Abraira - Bioestadistica Clínica 40

20
Curvas ROC con Stata

 Hay que introducir en una variable la prueba y

en otra el estado,
estado codificado como 0: No enf y
1: Sí.
 Asume que valores mayores de la prueba
indican enfermedad.
 Si fuera al revés, es decir valores menores de
la prueba indican enfermedad, codificando 0:
Enf y 1: No,
No se obtiene una curva simétrica
simétrica, es
decir con Sen y Esp cambiados.
 El comando es:
roctab estado prueba, graph

V. Abraira - Bioestadistica Clínica 41

Curvas ROC con Stata

Hay un comando descargable (senspec)

que guardad en ell archivo
hi d
de datos
d t lal
Sen y Esp usando como punto de corte
el valor de la prueba de cada
observación.
Que facilita la búsqueda de puntos de
corte.
corte
La sintaxis es:
senspec estado prueba, se(sen) sp(esp)

V. Abraira - Bioestadistica Clínica 42

21
Curvas ROC con Stata

El comando senspec tiene como

opción
ó especificar si valores
mayores, o menores de la prueba
indican enfermedad.
senspec estado prueba,
se(sen) sp(esp),
sp(esp) posif(op_re)
posif(op re)
Siendo op_re: >, < ,=< o =>

V. Abraira - Bioestadistica Clínica 43

Práctica 2

Construir la curva ROC para los datos

contenidos
t id en ““evaluacion
l i VCM
VCM.dta”
dt ”
(volumen corpuscular medio para el
diagnóstico de la anemia ferropénica,
tomando el deposito de Fe como “gold
standard”).
Elegir punto de corte,
corte maximizando la
accuracy y la suma de Sen y Esp.

V. Abraira - Bioestadistica Clínica 44

22