Funnel plots* y heterogeneidad

* Nota del traductor: Ante la falta de una traducción lo suficientemente

aceptada de "funnel plot" se ha preferido respetar la expresión original
inglesa, máxime cuando en el artículo queda suficientemente explicado en
qué consiste dicha herramienta.

Las revisiones sistemáticas y los meta-análisis buscan fuentes evidentes

de sesgos u otras razones que hagan sospechar de la veracidad de los
resultados de los ensayos clínicos. Los gráficos en embudo ( "funnel
plots") están pensados para detectar el sesgo de publicación. La
heterogeneidad está pensada para detectar diferencias fundamentales
entre los estudios. Una nueva evidencia sugiere que ambas creencias
comúnmente aceptadas tienen graves defectos.

Bandolier evita generalmente profundizar en los complejos problemas

metodológicos de las revisiones sistemáticas y meta-análisis. Las razones
se deben tanto a su complejidad como al hecho de que muchos de esos
detalles interesan sólo a algunos de nosotros.

El problema es que algunas personas parecen pensar que estos temas

metodológicos están moldeados en piedra, y que cualquier meta-análisis
que tenga un "funnel plot" asimétrico o que demuestre una heterogeneidad
estadística es tan defectuoso que el tratamiento que revisa debe, por
tanto, desecharse. Y lo que todavía es peor es que estas son las razones
que con frecuencia se esgrimen para desaconsejar la prescripción de un
tratamiento que es efectivo. Así que este mes presentamos una amable
diversión dentro del pesado barrizal de las matemáticas y estadísticas.

Funnel plots

Un funnel plot es una herramienta mediante la cual se compara

gráficamente algún efecto específico del ensayo (odds ratio, riesgo
relativo) con alguna medida de su precisión. La precisión puede definirse
de diferentes maneras. Habitualmente se utiliza el número de participantes
en el ensayo o alguna función del error estándar. Si el gráfico es simétrico,
como un V invertida, se interpreta como una demostración de que
probablemente no existe sesgo de publicación. Si el gráfico es asimétrico,
la interpretación es que probablemente exista sesgo de publicación.

No hay ninguna evidencia empírica que apoye esta idea. Aun más, con
frecuencia, la interpretación de los gráficos asimétricos es que debe haber
ensayos negativos inéditos que servirían para negar los hallazgos
positivos de un meta-análisis, si estos pudieran encontrarse. Los filósofos
tienen una palabra para esto. Falsificación significa que usted no puede
demostrar que es estúpido aunque su estupidez le mire fijamente a la
cara. Por ello es bienvenida cualquier evidencia de que los "funnel plots"
no son lo que parecen [1].

Metodos

Investigadores en Hong Kong [1] examinaron 198 meta-análisis de la

biblioteca de Cochrane de 1998, excluyendo aquéllos con variables
continuas o menos de cinco ensayos clínicos. Realizaron diferentes funnel
plots utilizando el tamaño y el error estándar. En otras palabras, se utilizó
la misma información de los mismos meta-análisis para realizar funnel
plots para cada meta-análisis, pero de dos maneras diferentes.

Resultados

De los 198 meta-análisis, en 43 (22% del total) podía deducirse que

mostraban un sesgo de publicación debido a su asimetría. De estos 43, 37
(86%) tenía un fannel plot simétrico cuando se utilizaba un método
diferente de trazar los resultados. Cuanto menor es el número de ensayos
en un meta-análisis, más asciende la proporción en la que uno de los dos
métodos graficos sea simétrico, hasta alcanzar el 100% en aquéllos meta-
análisis con seis ensayos. Asimismo se sugería que la asimetría en al
menos uno de los gráficos estaba presente en aquellos meta-análisis
donde probablemente era menos esperada.

Heterogeneidad

Si usted tiene varios ensayos con la misma clase de pacientes, con la

misma severidad de la enfermedad, la misma intervención, y el mismo
resultado durante el mismo tiempo, entonces lo que usted tiene es un
conjunto homogéneo de datos. ¿De acuerdo? Pues realmente no, ya que
como la heterogeneidad se define estadísticamente, le calificaríamos de
heterogéneo en un 10% de las veces. Es cómo si los test de
heterogeneidad debieran realizarse siempre. ¿Si usted tiene un conjunto
de datos homogéneos para qué necesita realizar tests de heterogeneidad?

Metodos

Investigadores en Oxford utilizaron datos de pacientes individuales para

simular ensayos clínicos y también para simular 10.000 meta-análisis,
usando diferente número de ensayos por meta-análisis y diferentes
proporciones de sucesos, y se realizó para las cinco formas habituales de
calcular la heterogeneidad.

Resultados
Los tests estadísticos utilizados habitualmente no produjeron el nivel
esperado de heterogeneidad (es decir, 10%) en un verdadero conjunto de
datos homogéneos. Sobreestimaron el nivel de heterogeneidad
(encontrando hasta un 20% de los meta-análisis heterogéneos) o lo
infravaloraron (menos de 1% cuando la prueba fue diseñada para
encontrar un 10%). Cuando fue introducida la heterogeneidad, los
investigadores no podían descubrirla hasta que el conjunto de datos era
de hecho muy heterogéneo.

La conclusión fue que los tests de homogeneidad (que era lo que los tests
deberían medir realmente) eran de uso muy limitado. No podían detectar
la homogeneidad ni la heterogeneidad. El recurso es utilizar criterios de
inclusión y de resultados estables y claramente definidos.

Comentario

Cuando nosotros intentamos encontrar el mejor y más adecuado sentido a

los datos de un ensayo clínico en las revisiones sistemáticas y meta-
análisis, todas las herramientas tienen su lugar.

Pero el énfasis debe estar en las herramientas, no en las reglas. Los

funnel plots y los tests de heterogeneidad no están esculpidos en piedra.
Ambos tienen sus problemas. El problema no es su utilización, que puede
ser legítima en una circunstancia particular. El temor es que las personas
con ideas fijas (y quizás con presupuestos fijos) las utilicen impropiamente
como reglas para intentar influenciar en la toma de decisiones.

Si hay una regla aquí, es que el sentido común clínico es el mejor

indicador acerca del sentido que tienen las revisiones y los meta-análisis.
¿ Los pacientes del ensayo son como los nuestros? ¿ Son razonables los
criterios de inclusión? ¿ Los resultados tienen sentido? ¿Son útiles? Y así
sucesivamente. Ningún ejercicio de evidencia va a ser dañado por
agregarle sentido común clínico.

Bibliografía:

1. J Tang, JL Liu. Misleading funnel plot for detection of bias in meta-

analysis. Journal of Clinical Epidemiology 2000; 53: 477-484.
2. DJ Gavaghan, AR Moore, HJ McQuay. An evaluation of
homogeneity tests in meta-analyses in pain using simulations of
individual patient data. Pain 2000; 85: 415-424.

Traducido por Javier Gost Garde url

original:http://www.jr2.ox.ac.uk/Bandolier/band81/b81-5.html