Vous êtes sur la page 1sur 4

Veinte consejos para interpretar resultados

y publicaciones cientficas

Por Csar Tom

Ilustracin: Dawid Ryski.


Hace unas semanas la revista Nature publicaba 20 consejos para interpretar
afirmaciones cientficas[footnote]Sutherland W.J., Spiegelhalter D. & Burgman M.
(2013). Policy: Twenty tips for interpreting scientific claims, Nature, 503 (7476) 335-337.
DOI: 10.1038/503335a[/footnote] con el objetivo de orientar a los no especialistas a la hora
de interpretar la fiabilidad y rigor de un estudio. En este artculo hemos resumido y
adaptado los 20 puntos (que no traducido) que podran ser tiles para que el lector los tenga
en cuenta. Hay quiz otros muchos sesgos y factores que podran formar parte de la lista,
pero aqu nos hemos limitado a recoger los 20 sealados por William J. Sutherland, David
Spiegelhalter y Mark A. Burgman, adaptando alguna explicacin para que se entienda
mejor:

1. Las diferencias y la probabilidad originan los cambios. En el mundo real hay miles de
variables y conviene no hacer una interpretacin lineal de los hechos.
2. Ninguna medicin es exacta. Todas tienen algn margen de error, por pequeo que sea.
Todos los estudios deben mostrar claramente cul es para no dar a entender un grado de
certeza que no se tiene.
3. Hay sesgos en todas partes. El propio diseo experimental puede estar sesgado. Los
cientficos buscan resultados significativos y tienden a dar una visin exagerada de los
problemas o de la efectividad de las soluciones. Lo ms importante es que el experimento
sea de doble ciego y que ni el experimentador ni los sujetos conozcan los detalles del
experimento. Otro sesgo muy frecuente es el de confirmacin, pues se tiende a insistir ms
en la lnea del resultado que se espera obtener.
4. Cuanto ms grande es la muestra, mejor. Que la muestra sea grande es especialmente
importante en estudios donde hay grandes variaciones naturales o grandes mrgenes de
error. Siempre es ms fiable un estudio con decenas de miles de participantes que con unas
pocas decenas.
5. Correlacin no implica causalidad. La correlacin entre dos variables puede ser
meramente casual, por tentador que nos parezca afirmar lo contrario. La mayora de las
veces entra en juego un tercer factor oculto. Por ejemplo, en su da algunos ecologistas
pensaron que las algas venenosas estaban matando a los peces en algunos ros. Result que
las algas crecan donde los peces moran, y no eran la causa de las muertes.
6. La regresin a la media puede confundir. En ocasiones los fenmenos tienen sus
propios ciclos y el momento de la medicin puede inducirnos a error. Un ejemplo muy
comn de esta ilusin cognitiva es el que sucede con la homeopata: la mayora de los
catarros suele remitir por s mismos y los homepatas aprovechan para reclamar poderes
curativos de su placebo. Otro ejemplo es el que da Ben Goldacre en su libro Mala Ciencia
sobre la maldicin de los deportistas que salen en la portada de Sports Illustrated. Cuando
aparecen, lo natural es que estn en la cima y lo ms probable es que empeoren.
7. Extrapolar ms all de los datos es arriesgado. Los patrones encontrados dentro de un
determinado rango no tienen por qu funcionar fuera de l Observar un fenmeno en un
mbito y asumir que se da en otros mbitos es un error comn.
8. Cuidado con la negacin del ratio base. Este error se produce cuando identificamos
mal la probabilidad de que se d un hecho al tomar como referencia un dato concreto. Por
este motivo, por ejemplo, nos parece ms probable morir en un atentado o un accidente de
avin que en un resbaln en la baera, cuando es al contrario. O el motivo por el que si a
una persona le hacen un anlisis de sangre que detecta una enfermedad con un acierto del
99% hay muchas posibilidades de que no tenga nada, aunque l crea que hay un 99%. As,
si la enfermedad afecta a 5 de cada 10000 personas y el test da siempre positivo si
efectivamente tienes la enfermedad, eso significa que al realizar el test habr 99,95 (1% de
9995) falsos positivos y 5 positivos reales. Por lo tanto la probabilidad de que tengas la

enfermedad si has dado positivo es 5/(5+99,95) = 0.048, es decir, el 4,8%, muy lejos del
99% que suponas.
9. Los controles son importantes. Un grupo de control se mantiene en las mismas
condiciones que el grupo del experimento, salvo que el tratamiento no se les aplica a sus
miembros. Sin esta medida es muy difcil saber si un tratamiento tiene realmente un efecto.
10. La aleatoriedad reduce el sesgo. Cuando se disea un experimento, los grupos y los
individuos deben ser elegidos de forma aleatoria. Si se atiende a distintas caractersticas de
los miembros del grupo, es ms que probable que los resultados tengan un sesgo.
11. Busca la replicacin, no la pseudorreplicacin. Para comprobar la consistencia de un
estudio los resultados deben ser replicables, pero si se replican en poblaciones
independientes, son ms slidos. Cuando se disea un ensayo con un tipo concreto de
poblacin es habitual que se obtengan resultados que no son extrapolables a otros tipos de
poblaciones.
12. Los cientficos son humanos. Los investigadores tienen intereses privados y, como en
todos los colectivos, puede haber algn tramposo. El propio sistema de revisin por pares
es engaoso puesto que los editores son ms propensos a pasar los resultados positivos y
tumbar los negativos. Para dar algo por comprobado de forma convincente, se necesita la
confirmacin por varias fuentes.
13. La significacin es importante. La significacin estadstica est relacionada con la
probabilidad de que algo haya sucedido por mero azar. Cuanto menor es el valor de esta
probabilidad, menores son las posibilidades de que los resultados del estudio sean un
espejismo o una casualidad.
14. Significacin y efectos. La falta de significacin estadstica no quiere decir que no haya
ningn efecto subyacente, sino que no se ha detectado ninguno. En ocasiones, un estudio
pequeo puede no detectarlo, pero un estudio ms exhaustivo puede encontrar una relacin
oculta, un efecto secundario o una consecuencia no observada.
15. La estadstica no lo es todo. Las respuestas sutiles son ms difciles de ser detectadas,
pero la importancia de un efecto, aunque ste sea pequeo, no es simplemente una cuestin
estadstica, puede tener implicaciones biolgicas, fsicas o sociales. En los aos 90, la
revista Epidemiology pidi a los autores que dejaran de usar simplemente la significacin
estadstica porque estaban malinterpretando sistemticamente los resultados.
16. Cuidado con las generalizaciones. Un ejemplo claro son las conclusiones que se sacan
de un experimento en ratones respecto a lo que puede suceder en humanos.
17. Los sentimientos influyen en la percepcin de riesgo. A pesar de los datos objetivos,
la percepcin del riesgo puede obedecer a factores psicolgicos y sociales. En EEUU, por
ejemplo, se sobrevalora el riesgo de vivir junto a una central nuclear y se subestima el de
tener un arma en casa.

18. La confluencia de factores cambia los riesgos. Se pueden calcular los riesgos que
tienen hechos independientes, pero en ocasiones puede ocurrir que los riesgos evaluados no
sean realmente independientes y el riesgo real sea mucho mayor . Con que se desate el
primer factor aumenta la posibilidad de que confluyan los otros y crece el riesgo. En el
colapso de las hipotecas basura en EEUU se dio un caso claro de un clculo errneo de la
independencia de los riesgos de las hipotecas individuales.
19. Los datos pueden ser seleccionados intencionadamente. El denominado cherrypicking consiste en seleccionar solo aquellas pruebas o argumentos que dan la razn a
nuestra tesis. Cuando se buscan resultados muy concretos se tiende a seleccionar solo los
datos convenientes, cuando lo adecuado para hacer buena ciencia es reunir cantidades
ingentes de datos, como sucedi en la bsqueda del bosn de Higgs, por ejemplo.
20. Las mediciones extremas pueden confundir. En los estudios donde se quiere medir
una variable para comparar distintos elementos que tienen esa variable, como por ejemplo
si queremos elaborar un ranking de universidades o de centros de investigacin (elementos)
en funcin de su productividad cientfica (variable), suele ocurrir que existen muchas
fuentes de variabilidad que afectan a esa variable, en nuestro ejemplo la financiacin
disponible, el equipamiento, la calidad del profesorado o, incluso, la serendipia. Cuando se
obtienen los resultados de estudios as es muy fcil simplificar y atribuir la variacin de la
variable a un slo factor, por ejemplo la financiacin, con lo que las comparaciones que se
realizan de los valores extremos, la universidad nmero 1 y la ltima, ya sea entre s, con la
media o con la mediana, no son realmente significativos. Esto se da en prcticamente todos
los rankings.
Sobre el autor: Antonio Martnez Ron es periodista