Valoración de pruebas

diagnósticas

Esquema:
1. Reproducibilidad
2. Validez
3. Diseños

1/18
Valoración de un instrumento de medición
¿Está la tensión arterial bien medida? 4 determinaciones de TAS dan
165, 155, 166 y 160 µg/l (Límite de HTA: 160) .
¿Cual es la calidad de esas mediciones?
Fuentes principales de variación:
La del parámetro a valorar (biológica: cambia-estable)
La del propio instrumento de medición

Variación del instrumento de medición

Reproducibilidad: grado en el concuerdan dos o más
mediciones sobre la misma muestra.
Validez: grado en el una medición coincide con la verdad (gold
standard)
2/18
Diferencia entre reproducibilidad y validez

1a 1b

1c 1d

3/18
1.  Reproducibilidad
Es previa a la validez.
Hay muchas situaciones en las que no hay criterio de
“verdad”: fiebre reumática, colon irritable, fibromialgia,
etc. Se diagnostican por consenso y cambian en el
tiempo.

Dos tipos:
Intraobservador
Entre observadores
Para variables categorizadas y continuas 4/18
Reproducibilidad de variables dicotómicas
Observación 2 Ejemplo 1 Observación 2
+ – Total + –
+ n11 n12 n1+ Total
Observ. 1 – n21 n22 n2+ + 15 10 25
Total n+1 n+2 n Observ. 1 – 10 65 75
Total 25 75 100
Acuerdo específico positivo: 2n11 / (2n11+n12+n21) = 2 x 15 / (2 x 15 + 10 + 10) = 0.6
Acuerdo específico negativo: 2n22 / (2n22+n12+n21) = 2 x 65 / (2 x 65 + 10 + 10) = 0.87
Acuerdo global, Po = (n11 + n22 ) / (n11+n12+n21+n22) = 15 + 65 /(15 +10 +10 +65) = 0.8

Dos observaciones sobre misma muestra pueden coincidir por azar:

kappa (κ) o test de Cohen mide el acuerdo global y tiene en cuenta
la coincidencia esperada por el azar. Además es generalizable a más
de dos categorías. 5/18
Reproducibilidad de variables dicotómicas
Observación 2 Ejemplo 1 Observación 2
+ – Total + – Total
+ n11 n12 n1+ + 0.15 0.10 0.25
Observ. 1 – n21 n22 n2+ Observ. 1 – 0.10 0.65 0.75
Total n+1 n+2 n Total 0.25 0.75 1
Observación 2
+ – Total
Se divide por “n” + p11 p12 p1+
Observ. 1 – p21 p22 p2+
Total p+1 p+2 1

Concordancia observada, Po = p11 + p22 Po = 0.15 + 0.65 = 0.8

Concordancia esperada Pe = p+1p1+ + p+2p2+ Pe = 0.252 + 0.752 = 0.625
Mejora sobre la concordancia esperada Po - Pe 0.8 – 0.625
κ = ------------------------------------------------------- = ----------= ---------------- = 0.47
Máxima mejora posible 1 - Pe 1 – 0.625 6/18
2.  Validez de pruebas diagnósticas
Se necesita un criterio de referencia o verdad (o gold standard)
Verdad Resonancia mágnética nucl.
+ - + -
Enfermos Sanos Lesión
Prueba VP
+ FP Nueva + 95
- FN VN Prueba - 5
100

1. Parámetros de validez interna

a) Sensibilidad: capacidad de dar + en los enfermos
VP 95
S = ————— S = ———— = 0.95 ó 95%
VP + FN 95 + 5
7/18
¿Cuando interesa una S elevada?
- Enfermedad grave, no puede ignorarse y es tratable
- Si no es tratable, problema de contagio
b) Especificidad: capacidad de dar - en los sanos

Verdad Resonancia mágnética nucl.

+ - + -
Enfermos Sanos Lesión No
Prueba + VP Nueva + 95
FP 1
- FN VN Prueba - 5
99
100 100
VN 99
E = ————— E = ———— = 0.99 ó 99%
VN + FP 99 + 1 8/18
¿Cuando interesa una E elevada?
- Enfermedad grave, y tratable con dificultad
- Saber que no se tiene tiene importancia psicológica
VN VP
c) Relación entre S y E E = ————— S = —————
VN + FP VP + FN

No glaucomatosos Punto de corte 1

Punto de corte 2 Conclusión: cuando se

es más exigente ↑ la
E y ↓ la S
VN FN
VN
VP
FP VP Glaucomatosos
FN 18 20 FP 9/18
c.1 Se puede representar la relación entre S y E mediante un
gráfico: curva ROC (receiver operating characteristic)

100

Utilidades de la curva ROC:

80

b - Ver la relación entre S y E

S
a - Para elegir puntos de corte
60

diagnósticos
- Conocer la capacidad
c
40

diagnóstica global
d - Comparar varias pruebas
20

diagnósticas
0

0 20 40 60 80 100
1- Especificidad

10/18
Factores que influyen en S y E
Características de la medición: aparato, procedimiento, criterios
Características de la muestra:
-  Gravedad y estadio (S ↑)
-  Inclusión de sanos que no representan
el diagnóstico diferencial (aumenta E)
-  Prevalencia de la enfermedad
No se puede expresar matemáticamente
Depende de: la existencia de casos limítrofes
y la imprecisión (variabilidad) de cualquier
medición

La prevalencia: - ↑ la S
- ↓ la E
11/18
 2. Valores predictivos VP
b) VP positivo: capacidad de diagnosticar enfermos en los resultados +
Verdad Resonancia mágnética nucl.
+ - Lesión No
Prueba + VP FP Nueva + 95 1
- FN VN prueba - 5 99
100 100
VP 95
VPP = ———— VPP = ¿¿————??
VP + FP 95 + 1

b) VP negativo: capacidad de diagnosticar sanos en los resultados -

VN 99
VPN = ———— VPP = ¿¿————??
VN + FN 99 + 5

c) VP global: capacidad de diagnosticar, VP + VN / todos

Sólo calcular los VP cuando la tabla representa la realidad
12/18
Conclusiones:
Conforme aumenta la
prevalencia:
↑ VPP y ↓ falsos positivos
↓ VPN y ↑ falsos negativos
Implicaciones prácticas:
- El valor de una prueba no es general
para todas las zonas geográficas
- En atención primaria se diagnostica
peor que en la asistencia
especializada

PS
VPP = ———————
PS + (1-P)(1-E)

(1-P)E
VPN = ———————
P(1-S) + (1-P)E

VG = PS + (1-P)E

13/18
3.  Diseños para valorar pruebas diagnósticas
Tipos de diseños:
Experimental: si se introduce la prueba, pero la finalidad es
observacional, ya que no hay ánimo de modificar nada de la historia
Transversal: el diagnóstico es una foto en un momento de la historia
natural. Serie consecutiva de muestras candidatas (de pacientes o de
la población). Permiten calcular todos los parámetros, porque obtienen
la prevalencia.

Casos y controles: Da problemas porque no obtienen la prevalencia.

Casos representar el espectro del problema (no los más graves). Los
retrospectivos causan muchos sesgos: hay que reconstruir bien la
secuencia de pruebas (no influencia del criterio de verdad) y que todos
fueran diagnosticados del mismo modo.
14/18
Diseños para valorar pruebas diagnósticas
Cohortes: Se usan menos, porque el diagnóstico es una foto. Su usan
para que el seguimiento verifique la presencia de enfermedad en los
que dieron resultado negativo a la prueba. Tiempo de seguimiento a
juicio del investigador. Ej., sangre oculta en heces para diagnosticar
cáncer colon, verificada por colonospia y biopsia

15/18