Académique Documents
Professionnel Documents
Culture Documents
Bioestadística
para periodistas
C
M
y comunicadores
Y
CM
MY
Coordinador: Gonzalo Casino
CY
CMY
Asociación Española de
Comunicación Científica
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Bioestadística
para periodistas
y comunicadores
Coordinador: Gonzalo Casino
Asociación Española de
Comunicación Científica
La presente edición recoge la opinión de sus autores,
por lo que la Fundación Dr. Antonio Esteve no se hace
necesariamente partícipe de su contenido.
Otras actividades de la Fundación Dr. Antonio Esteve incluyen la organización de reuniones dedicadas a
la discusión de problemas de alcance más local y publicadas en formato de monografías o cuadernos.
La Fundación participa también en conferencias, seminarios, cursos y otras formas de apoyo a las ciencias
médicas, farmacéuticas y biológicas, entre las que cabe citar el Premio de Investigación que se concede,
con carácter bienal, al mejor artículo publicado por un autor español dentro del área de la farmacoterapia.
Entre la variedad de publicaciones que promueve la Fundación Dr. Antonio Esteve, cabe destacar la serie
Pharmacotherapy Revisited en la cual a través de diferentes volúmenes se recopilan, en edición facsímil,
los principales artículos que sentaron las bases de una determinada disciplina.
-III-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Índice
Presentación
Gonzalo Casino............................................................................................................................ VII
Participantes.................................................................................................................................... IX
Seeing through the hype: problems with media coverage and how to do better
Steven Woloshin and Lisa M. Schwartz........................................................................................ 55
Seeing through the hype: Garbage! When the news is not fit to print
Lisa M. Schwartz and Steven Woloshin........................................................................................ 63
Apéndice
Numbers glossary ....................................................................................................................... 77
Statistics glossary ........................................................................................................................ 78
Questions to guide your reporting ................................................................................................ 79
How to highlight study cautions ................................................................................................... 80
-V-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Presentación
Gonzalo Casino
Esta publicación quiere dar cuenta de la jornada estas características, enseguida quedó claro
sobre bioestadística para periodistas y comuni- que, por los intereses y antecedentes de ambas
cadores organizada al alimón por la Asociación entidades, éramos los socios idóneos para esta
Española de Comunicación Científica (AECC) y la iniciativa. Desde un primer momento convinimos
Fundación Dr. Antonio Esteve, que se celebró en perfilar una jornada formativa que combinara la
Madrid el 14 de febrero de 2013, año internacio- teoría y la práctica, con el máximo rigor y lo más
nal de la estadística. Además de cumplir este ob- pegada posible al quehacer cotidiano de los in-
jetivo, pretende servir de guía y orientación para formadores, con presentaciones breves y talle-
los informadores que se enfrentan a un estudio res prácticos con casos reales, complementado
biomédico. Para ello, compensa la ausencia de todo ello con diálogos entre periodistas y esta-
una exposición formal de los conceptos esta- dísticos. Y que todo esto quedara plasmado en
dísticos básicos con numerosas indicaciones y una publicación que pudiera servir de guía y refe-
pautas para mejorar la información sobre los re- rencia para periodistas y comunicadores.
sultados de la investigación médica. Encapsular por completo estos contenidos
Informar sobre la investigación de los proble- teóricos y prácticos en el limitado margen de una
mas de salud y sobre los riesgos y beneficios de jornada hubiera sido imposible sin la estrecha
las intervenciones médicas es un asunto com- colaboración y el entusiasmo de Erik Cobo y Pa-
plicado para los periodistas, entre otras cosas blo Alonso, auténticos cómplices en el diseño del
porque la mayoría no ha recibido formación para programa y protagonistas incansables de los diá-
interpretar estadísticas de salud. (Digamos, en- logos y talleres. La presencia en la jornada –y en
tre paréntesis, que muchos médicos tampoco este libro– de Lisa M. Schwartz y Steven Wolo
las saben interpretar correctamente.) Casi todos shin, expertos entre los expertos en comunica-
tenemos alguna dificultad para entender las esta- ción de resultados biomédicos, es una garantía
dísticas –y en consecuencia para tomar decisio- de máxima calidad. Cuando aceptaron partici-
nes sobre nuestra salud– porque en la escuela par, supe que los periodistas no se irían con las
no se enseñan las matemáticas de la incertidum- manos vacías. Sin miedo a exagerar, se puede
bre sino las de la certeza. Sin embargo, en el ám- afirmar que esta pareja de médicos ha liderado
bito de la salud apenas hay certezas, todo son las principales investigaciones sobre la adecua-
probabilidades, y una de las funciones básicas ción a las pruebas científicas de las informacio-
de los periodistas que informan sobre biomedici- nes periodísticas, los comunicados de prensa y
na es precisamente explicar esta incertidumbre. la publicidad. Las abundantes investigaciones de
La formación en bioestadística es una de las estos maestros del rigor y la ponderación en los
grandes carencias de los periodistas y comunica- mensajes de salud, así como los textos incluidos
dores científicos. Cuando en nombre de la AECC en este libro, hablan por sí solos.
propuse a Fèlix Bosch, director de la Fundación Mis colegas periodistas Ainhoa Iriberri, Espe-
Dr. Antonio Esteve, coorganizar una jornada de ranza García Molina y Pablo Francescutti, com-
-VII-
Para que la muestra sea representativa hace falta azar
pañeros en los diálogos, dieron buenas muestras Luis Peñalvo. Su director, Valentín Fuster, nos dio
de que el periodismo científico es probablemente la bienvenida; Fèlix Bosch inauguró la jornada, y
más necesario que nunca, como también atesti- Antonio Calvo, presidente de la AECC, la cerró
guaron algunos de los asistentes. Lo acontecido con unas reflexiones sobre el oficio de informar.
en las casi 10 horas de jornada desborda los lí- Entre todos los ponentes hemos elabora-
mites de esta publicación, cuyo éxito se debió do una lista de 33 mensajes clave, que figura
en buena medida al apoyo organizativo de Gon- al final del libro como colofón, guía e invitación
zalo Remiro y Patricia Medrano, por parte de la para mejorar la práctica del oficio de informador.
AECC, y de Pol Morales por parte de la Funda- Como complemento, el ilustrador Enrique Ventu-
ción Dr. Antonio Esteve, así como a la colabo- ra ha creado una serie de viñetas que aporta un
ración del Centro Nacional de Investigaciones contrapunto lúdico y escéptico para reflexionar
Cardiovasculares (CNIC), que acogió la jornada sobre la interpretación de las estadísticas en bio-
y estuvo representado por el epidemiólogo José medicina.
Behar / Ventura
La idea de incluir una serie de viñetas de humor la planteó Erik Cobo, en una conversación con Pablo Alonso,
Fèlix Bosch y Gonzalo Casino. Enrique Ventura sumó con entusiasmo su profesionalidad y todos recogimos
ideas del entorno. Nuestro especial agradecimiento a José Antonio González, Matt Elmore y Jordi Cortés
por sus ideas y críticas. Y a Roberto Behar, Pera Grima y Lluís Marco por ser fuente de inspiración (Behar R,
Grima P, Marco-Almagro L. Twenty-five analogies for explaining statistical concepts. JASA. 2013;67:44-48).
-VIII-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Participantes
-IX-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
No todas las preguntas
de salud necesitan
responderse
con un ensayo clínico
Alonso / Ventura
Detrás de cada mensaje de salud hay –o debería ticas de salud.1 Este problema lo podemos
haber– números. Los resultados de la investiga- enunciar de muy diversas maneras: «los papers
ción médica se expresan con números y datos resultan muy difíciles de entender», «la jerga es-
estadísticos que los resumen y no son fáciles tadística nos desborda», «el periodismo se lleva
de entender. La omnipresencia del cálculo de muy mal con la incertidumbre», «los expertos re-
probabilidades en la investigación clínica y epi- conocen que muchas estadísticas se cocinan»,
demiológica hace que la información biomédica etcétera. Pero estas y otras expresiones vienen
sea algo demasiado técnico no sólo para la ciu- a decir que a los periodistas científicos nos fal-
dadanía sino también para los periodistas. Para ta formación estadística. Así pues, tenemos un
mejorar la información médica es imprescindible problema, o más bien un doble problema: no en-
entender las estadísticas de salud. Y para ello tendemos bien las estadísticas de salud y, por
conviene analizar el problema, revisar algunos tanto, tenemos dificultades para informar correc-
errores habituales y tener presentes ciertas cau- tamente.
telas a la hora de informar. Éste es el propósito Las causas de este problema son diversas. En
de este capítulo. primer lugar, la ciencia médica y su herramienta,
la bioestadística, son cada vez más sofisticadas;
en segundo lugar, la formación de los periodis-
Un doble problema
tas no siempre es suficiente, y en tercer lugar, la
Más de tres cuartas partes de los periodistas escasez de voluntad divulgadora entre los inves-
reconocen tener dificultades con las estadís- tigadores y, a veces, de la necesaria transparen-
-1-
Los periodistas ante la bioestadística: problemas, errores y cautelas
cia. La consecuencia de todo ello es que, dema- ción médica con personas distingue entre estu-
siado a menudo, lejos de informar contribuimos dios observacionales y experimentales o de in-
a la desinformación, con el consiguiente posible tervención, es decir, entre los que se limitan a
perjuicio para la salud que esto acarrea. observar las características de una población y
Bien es verdad que las dificultades con las los que realizan una intervención sobre ella (tra-
estadísticas de salud no afectan sólo a los perio- tamiento, prueba diagnóstica, etcétera). Estos
distas. Muchos médicos también tienen dificul- últimos son básicamente los ensayos clínicos,
tades. Un reciente estudio de Odette Wegwarth2 mientras que los estudios observacionales pue-
realizado con médicos estadounidenses indica den ser de distinto tipo, aunque los más habitua-
que los clínicos están muy lejos de comprender les son las series de casos, los estudios trans-
las estadísticas del cribado. La mayoría de ellos versales, los estudios de casos y controles, y los
no distingue la información relevante (reducción estudios de cohortes.
de la mortalidad) de la no relevante (tasa de su- Aparte de los estudios de intervención y de
pervivencia), se dejan confundir por el engañoso los observacionales, realizados con personas,
concepto de supervivencia en el cribado, ignoran pueden considerarse también los estudios in vi-
la influencia del sesgo de anticipación diagnósti- tro y los estudios preclínicos o con animales, que
ca y demuestran una preocupante falta de cono- son un primer escalón en las investigaciones de
cimientos estadísticos básicos. salud y que a menudo suscitan también interés
Así pues, un primer mensaje para los perio- informativo. Unos y otros conforman la denomi-
distas es que conviene consultar fuentes compe- nada investigación primaria, mientras que la se-
tentes en estadística. cundaria sería la realizada a partir de ésta. Entre
los estudios secundarios, los de mayor interés
informativo son las revisiones sistemáticas, con
«Según un estudio»
o sin metaanálisis.
Nada parece respaldar tanto la veracidad de un La confianza que merecen los resultados de
mensaje como el aval de un estudio. La muletilla todos estos tipos de estudios es muy distinta.
«según un estudio» es moneda corriente en las En función del diseño, clásicamente se han je-
informaciones periodísticas de salud. La palabra rarquizado en una pirámide, la llamada «pirámide
«estudio» tiene las espaldas tan anchas y tan de la evidencia», o mejor dicho de las pruebas
amplias las tragaderas que lo mismo sirve para científicas (fig. 1). En esta pirámide se observa un
designar una encuesta de medio pelo que una ri-
gurosa investigación científica, un intrascendente
análisis estadístico que un ensayo clínico riguro-
so. Pero lo cierto es que aludir vagamente a «un
estudio» no dice nada si no se añaden a con-
Revisiones
tinuación sus datos esenciales. De esta impre- y
metaanálisis
cisión y calculada ambigüedad se aprovechan,
Ensayos clínicos
obviamente, los trabajos más chapuceros, que aleatorizados
no sólo se utilizan para publicitar los supuestos Cohortes
beneficios de un producto o una intervención
Casos y controles
sino que a veces encuentran eco en informacio-
nes periodísticas. Estudios transversales
Los estudios de salud pueden clasificarse de di- Figura 1. La pirámide de la evidencia (pruebas científicas)
ferentes maneras en función de su diseño. Una jerarquiza los distintos tipos de estudios según la confianza
primera y elemental clasificación de la investiga- que a priori merecen por su diseño.
-2-
Bioestadística para periodistas y comunicadores
Una de las formas habituales de expresar los re- La idea de que es mejor prevenir que curar goza
sultados de las investigaciones de salud es en de tal prestigio y difusión que cualquier argumen-
forma de riesgos. Y uno de los principales errores tación en contra parece poco menos que un des-
que se cometen en la comunicación de riesgos varío. En medicina, las exploraciones colectivas o
es omitir los valores absolutos e indicar sólo los cribados (screening) de ciertas enfermedades se
relativos, que muestran de forma muy expresiva ven con general aprobación, sin reparar en que
la magnitud de un efecto en los ensayos clínicos estas pruebas, aparte de un coste importante,
o la asociación entre una exposición y un efec- tienen también sus riesgos. La idea de que la
to en los estudios observacionales.3 Decir, por detección precoz no siempre es la mejor opción
ejemplo, que un fármaco reduce un 50% el ries- resulta difícil de cuestionar, pues es contraintuiti-
go de muerte o que una exposición lo aumenta va y sólo es posible llegar a ella tras una rigurosa
un 100% puede resultar muy impactante, pero ponderación de los riesgos y los beneficios.
también puede ser engañoso si estos valores no Los mensajes que defienden el cribado, ava-
se acompañan de los correspondientes valores lados por médicos y autoridades sanitarias, es-
absolutos. No es lo mismo reducir el riesgo de tán por todas partes y a veces incluso respalda-
muerte del 10% al 5% que hacerlo del 0,2% al dos con la imagen y el testimonio de famosos.
0,1% (50% en ambos casos); tampoco es lo ¿Cómo vamos a ponerlos en duda? ¿Acaso la
mismo aumentarlo del 10% al 20% o del 0,1% mamografía no ayuda al diagnóstico precoz del
-3-
Los periodistas ante la bioestadística: problemas, errores y cautelas
Tabla 1. Beneficios y riesgos del cribado del cáncer de mama con mamografía.
cáncer de mama y a evitar sufrimientos en mu- las mujeres de 40 a 49 años de edad son todavía
chas mujeres? ¿Acaso la prueba del PSA (antí- más elocuentes (tabla 1).
geno prostático) no ayuda a detectar el cáncer La prevención tiene, por tanto, un precio no
de próstata y a reducir su mortalidad? Sin em- sólo económico. Los falsos positivos y los tra-
bargo, algunos análisis y artículos en las princi- tamientos innecesarios representan mucho sufri-
pales revistas médicas han puesto de manifiesto miento inútil. Por cada persona que podrá sobre-
una tendencia a sobrestimar los beneficios del vivir al cáncer gracias a la detección precoz hay
cribado y subestimar sus riesgos. otras muchas que serán sometidas a pruebas y
Steven Woloshin y Lisa M. Schwartz ilustran tratamientos innecesarios por un cáncer que no
con números sencillos los riesgos y beneficios tienen. Conocer estos números, presentados de
del cribado del cáncer de mama con mamogra- forma clara y con sus riesgos absolutos, es el pri-
fía.6 Para las mujeres de 50 a 59 años de edad, mer paso para sopesar los riesgos y beneficios y
el beneficio del cribado se resume en reducir el tomar una decisión. Por desgracia, como dicen
riesgo de muerte a 10 años de 5,3 a 4,6 mujeres Woloshin y Schwartz, promover las decisiones
por cada 1000 revisadas anualmente durante 10 informadas es más difícil que vender el cribado.
años, es decir, apenas se evita la muerte de una El psicólogo Gerd Gigerenzer ha realizado un
de cada 1000; el riesgo del cribado se cifra en estudio revelador sobre la percepción de los be-
que de 50 a 200 de cada 1000 serán sometidas neficios del cribado de los cánceres de mama
innecesariamente a una biopsia por un falso po- y próstata en Europa.7 Los resultados muestran
sitivo, y entre 1 y 7 de cada 1000 serán tratadas que el 92% de las mujeres de nueve países eu-
por un cáncer que no tienen. Y los números para ropeos, entre ellos España, sobrevalora o ignora
Tabla 2. La población europea sobrevalora el beneficio de las mamografías en la curación del cáncer.
Porcentaje de respuestas
Reducción riesgo muerte 9 países UE
(x1000 en 10 años) (n = 10.288) España Alemania Francia
Ninguna 6,4 3,9 1,4 0,8
1 1,5 2,7 0,8 1,3
10 11,7 6,9 12,8 15,7
50 18,9 11,7 21,3 21,7
100 15,0 11,3 16,8 21,5
200 15,2 15,7 13,7 23,7
No sabe 31,2 48,0 33,1 15,3
-4-
Bioestadística para periodistas y comunicadores
Mortalidad = z
Supervivencia a 5 años = 0%
Mortalidad = z
Supervivencia a 5 años = 100%
Figura 2. Una mayor tasa de supervivencia no implica necesariamente una menor mortalidad, porque hay que considerar el
sesgo por anticipación en el diagnóstico del cáncer.
el efecto real de las mamografías en la reducción los 67 años de edad y que acaban muriendo
de la mortalidad por cáncer de mama (muchas a los 70 años; como sobreviven sólo 3 años,
creen que las mamografías salvan vidas en una la tasa de supervivencia (a 5 años) es del 0%.
proporción 10, 50, 100 o incluso 200 veces su- Ahora bien, supongamos que ese mismo grupo
perior a la real). Asimismo, el 89% de los hom- se somete a un cribado a los 60 años de edad,
bres europeos sobrevalora o ignora el efecto que a todos ellos se les diagnostica un cáncer
del cribado del cáncer de próstata mediante la y que mueren también a los 70 años; como
determinación del PSA. Lo que revela el traba- sobreviven 10 años, la tasa de supervivencia
jo de Gigerenzer, un experto en comunicación (igualmente a 5 años) es del 100%. Lo que ilus-
de riesgos, es que la población no está bien in- tra este escenario hipotético que se explica en
formada para poder tomar decisiones sobre su el citado artículo de Odette Wegwarth1 es que
salud (tabla 2). la tasa de supervivencia, a pesar de su impre-
sionante aumento de 0 a 100, no demuestra el
beneficio del cribado, ya que no hay reducción
Considerar que una mayor tasa
de la mortalidad (fig. 2).
de supervivencia implica más tiempo de vida
No se puede, por tanto, comparar la supervi-
El beneficio del cribado suele comunicarse en vencia entre los diagnosticados (anticipadamen-
forma de tasas de supervivencia, que pueden te) mediante una prueba de cribado (una mamo-
ser muy llamativas pero que no son una prueba grafía, por ejemplo) y los que han sido diagnos-
del alargamiento del tiempo de vida ni, por tan- ticados cuando se presentan los síntomas del
to, del beneficio del cribado. La supervivencia, tal cáncer. Adelantar el diagnóstico implica aumen-
como se define en el cribado del cáncer, es un tar el tiempo de conocimiento de la enfermedad,
indicador del número de personas que tras ser pero no por ello el tiempo de vida.
diagnosticadas siguen vivas al cabo de un tiem- Las estadísticas de supervivencia se ven dis-
po, generalmente 5 o 10 años. Pero el tiempo torsionadas asimismo por el diagnóstico precoz
que media entre el diagnóstico y la muerte (su- de casos de cáncer que no progresan (por ejem-
pervivencia) depende mucho del momento del plo, una gran proporción de los carcinomas duc-
diagnóstico. tales in situ de la mama) y que por tanto nunca
Imaginemos, por ejemplo, un grupo de pa- darían síntomas. El cribado los saca a la luz y los
cientes a quienes se diagnostica un cáncer a contabiliza como casos de cáncer, inflando así
-5-
Los periodistas ante la bioestadística: problemas, errores y cautelas
-6-
Bioestadística para periodistas y comunicadores
-7-
Los periodistas ante la bioestadística: problemas, errores y cautelas
al científico a quien acabas de entrevistar, ni al observado serían muy poco probables (normal-
profesor que fue decisivo para tu graduación, ni mente con una p o probabilidad menor de 0,05 o
al editor estúpido que te rechazó o a esa persona de 0,01). En el caso de un tratamiento, un resul-
tan atractiva que acabas de conocer en la fiesta tado significativo (p <0,05) quiere decir que hay
y sabía que eras periodista (o a su madre). Escri- una posibilidad menor del 5% de observar (por
bes para impresionar a alguien que está colgado azar) ese resultado favorable aun cuando el tra-
de la barra del metro (…) y que dejaría de leerte tamiento no sea eficaz.
en un milisegundo si pudiera hacer algo mejor». Sin embargo, «desde el punto de vista clíni-
Por ello, añade: «Cuidado con las palabras largas co la significación estadística no resuelve todos
y absurdas, con la jerga. Esto es doblemente im- los interrogantes que hay que responder, ya que
portante si eres periodista científico, pues de vez la asociación estadísticamente significativa pue-
en cuando tendrás que manejar palabras que no de no ser clínicamente relevante y, además, la
utiliza ningún ser humano normal: fenotipo, mito- asociación estadísticamente significativa puede
condria, inflación cósmica, campana de Gauss, no ser causal», como escriben Salvador Pita Fer-
isostasia…». nández y Sonia Pértega Díaz en un esclarecedor
artículo,18 donde añaden que «podemos encon-
trar asociaciones estadísticamente posibles y
Significaciones que no significan nada
conceptualmente estériles».
Muchos investigadores médicos parecen creer Y es que una cosa es la significación esta-
que si no encuentran algo «estadísticamente sig- dística, otra la significación médica o relevancia
nificativo» no hay nada que valga la pena mostrar. clínica, y una tercera la significación periodística
O dicho al revés: basta encontrar algo «estadísti- o interés mediático, sin el cual difícilmente una
camente significativo» para que el trabajo merezca investigación tendrá eco en los medios. En me-
ser publicado y tenido en cuenta, porque esa sig- dicina, como advierten Pita y Pértega, «cualquier
nificación estadística es un marchamo de calidad. diferencia entre dos variables estudiadas puede
Con esta actitud, nefasta y engañosa como pocas ser significativa si se dispone del suficiente nú-
en la investigación médica, lo que se ha consegui- mero de pacientes». Así pues, la significación
do es inundar la literatura de significaciones que estadística puede ser también un camino hacia
no significan nada en la práctica médica y, a la la irrelevancia y la confusión. Y esto es algo que
postre, que estos resultados tengan eco en los hay que tener en cuenta a la hora de decidir si se
medios de comunicación. ¿Tiene acaso relevan- informa de una investigación.
cia que un fármaco contra el cáncer pueda alargar
«significativamente» la vida del enfermo durante
Atención al texto y al contexto
un mes a cambio de una peor calidad de vida?
En 2008, la revista Nature llamaba la atención En la información científica, el contexto es funda-
sobre algunos de los términos científicos más mental. Sin contextualizar los resultados de una
difíciles de definir,17 y uno de los ocho elegidos investigación, el estudio en cuestión no deja de
era precisamente «significativo», un adjetivo que ser una anécdota. Podemos entender la investi-
parece ilustrar por sí mismo la importancia de un gación como una conversación continuada, como
descubrimiento. Pero esto no es así, entre otras una discusión coral a lo largo del tiempo en la cual
cosas porque el concepto de significación esta- unos investigadores replican a otros, se respaldan
dística está lejos de ser comprendido por la ma- o se desdicen con sus respectivos estudios. Un
yoría de los científicos, según afirma en Nature el estudio sería, pues, como una frase en medio de
bioestadístico Steven Goodman. Decir que una una conversación, de modo que para entenderla
asociación entre dos variables es estadística- debidamente hay que conocer de qué están ha-
mente significativa quiere decir que puede des- blando los investigadores y qué han dicho.
cartarse que haya aparecido por azar, porque si El periodista debe, por tanto, informar de la
no hubiera dicha asociación, resultados como el conversación, del contexto en que se realiza el
-8-
Bioestadística para periodistas y comunicadores
-9-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
La ciencia no escribe
leyes, propone modelos
Cobo / Ventura
-11-
¿Qué pretende y qué puede contestar la investigación biomédica?
Una cita célebre de George Box dice «todos los su viaje. Pero en realidad un bioestadístico pe-
modelos son erróneos, pero algunos son útiles». diría a Colón lo mismo que los Reyes Católicos:
«Qué interesante. Ande, vuelva y confírmelo». El
primer viaje fue una atractiva novedad, pero se
Inducción frente a deducción
necesitaron varios más para abrir una nueva vía
Tenemos una gran tradición en razonamiento comercial.
deductivo: partiendo de unos principios que no El mérito de Fleming no radicó en inhibir acci-
se discuten, matemáticas, derecho o teología dentalmente un cultivo. Su mérito fue conjeturar
deducen sus consecuencias. Pero la predicción acertadamente qué pasó y luego replicarlo. John
de lo que ocurrirá mañana requiere aplicar el co- P.A. Ioannidis1 desarrolla un modelo que muestra
nocimiento más allá. El método científico parte que los estudios confirmatorios con resultados
del conocimiento disponible para, primero, de- positivos tienen una probabilidad de ser ciertos
ducir consecuencias contrastables, y luego, una del 85%, que baja al 0,1% en los exploratorios.
vez observadas éstas en unos casos, usar la in- Leah R. Jager y Jeffrey T. Leek2 estiman que son
ferencia estadística para inducir los resultados a ciertos un 84% de los resultados positivos de
una población más amplia. cinco revistas médicas punteras, que podríamos
clasificar como confirmatorias. Y Stephen Senn
suele bromear diciendo: «disfrute de sus inespe-
Exploración y confirmación
rados resultados significativos… ¡porque no los
Esta posibilidad de enfrentar las ideas con sus volverá a ver!». En resumen, un estudio explo-
consecuencias contrastables divide al proceso ratorio aporta ideas nuevas; uno confirmatorio
científico en dos fases. Al inicio del proceso de ratifica o descarta ideas previas (fig. 1).
investigación y desarrollo (I+D), el análisis explo-
ratorio propone un modelo a partir de los datos.
Intervención frente a pronóstico
Es lícito torturar los datos hasta que canten, pero
debe quedar claro: «nuestros resultados sugie- Los modelos pueden construirse con dos obje-
ren que…». Al final de la I+D, un análisis con- tivos claramente diferenciados. En primer lugar,
firmatorio preespecificado permite decir «hemos por su ambición, tenemos los modelos de inter-
demostrado que…». vención, que pretenden cambiar la evolución de
Se bromea diciendo que un bioestadístico es los pacientes y requieren una relación de causa-
un profesional que niega que Colón descubrie- efecto que permitirá, mediante intervenciones en
ra América porque no estaba en el protocolo de la variable causa, modificar el valor futuro de la
Muestra B Hipótesis
Teoría
-12-
Bioestadística para periodistas y comunicadores
-13-
¿Qué pretende y qué puede contestar la investigación biomédica?
El diagnóstico pretende una clasificación fina, (output, end-point) del seguimiento, la respuesta
en la cual los casos de un mismo grupo son si- (outcome) o desenlace.
milares entre sí pero diferentes de los de otros Una vez iniciado un estudio, se desea cono-
grupos. Los estudios de la precisión diagnóstica cer la evolución de todos los casos que cumplen
de un indicador lo enfrentan a una variable de re- los criterios de selección. Aunque es frecuente
ferencia (gold estandard). El pronóstico también usar el término «criterios de exclusión» para ha-
pretende hacer grupos homogéneos, pero ahora blar de pacientes que no deben ser incluidos,
respecto al futuro. como puede ser malinterpretado en el sentido
de poder excluir pacientes a lo largo del estudio,
el punto 4ª de la declaración CONSORT aconse-
Preguntas de seguimiento
ja hablar únicamente de criterios de elegibilidad.
frente a preguntas instantáneas
Evitar la pérdida de casos es tan importante que
En un estudio diagnóstico, los datos sobre el la revista New England Journal of Medicine ha
indicador y sobre la referencia pueden recogerse recordado a sus autores que cualquier exclusión,
simultáneamente, pero los estudios de predic- pérdida o dato ausente aumenta la incertidum-
ción y los de intervención requieren un intervalo bre, y por tanto debería ser prevenida o tratada
de tiempo. Cuando las dos variables en estudio con un buen análisis.3
se observan en el mismo momento se habla de En los estudios de cohortes, el criterio que
estudios transversales; en cambio, cuando una determina la elegibilidad de los pacientes es ini-
acontece previamente a la otra, se habla de es- cial. Si son un conjunto, se habla de criterios de
tudios longitudinales. inclusión o de selección. En resumen, si los ca-
La relación causal también precisa un lapso sos de un estudio se seleccionan en función de
de tiempo para que se manifieste el efecto. En una variable inicial, recibe el nombre de «estudio
la investigación etiológica puede buscarse la de cohortes». Si además sus casos se asignan al
información en el pasado, pero la confirmación azar a varias opciones terapéuticas en compara-
de efectos requiere asignar la causa y observar ción, se habla de «ensayo clínico».
el efecto en el futuro. Por ejemplo, si cierto com- Los estudios que validan un índice pronóstico
ponente plasmático ha de predecir enfermedad o cuantifican los efectos de una intervención tie-
cardiovascular, debe ser previo en el tiempo a nen una variable final que indica la evolución o el
ésta, ya que si la determinación analítica se rea- resultado. Por ser desconocida al inicio, es alea-
lizara simultáneamente a la aparición de la enfer- toria en términos estadísticos. Pero en los es-
medad, el valor de anticipación sería nulo. Aun tudios etiológicos, que buscan posibles causas,
más, si el objetivo fuera especular si hipotéticos puede “invertirse” el orden de recogida de las
cambios en dicho componente modificarían la variables. Así, la evolución (variable final o res-
enfermedad cardiovascular, se requiere este pe- puesta) es el criterio que determina la inclusión
riodo de tiempo para que se manifiesten dichos del individuo, y luego se investiga en el pasado
efectos. el valor de las posibles causas que son ahora
Un estudio diagnóstico relaciona variables las variables en estudio (aleatorias en términos
simultáneas, pero los pronósticos y los de inter- estadísticos). Por ejemplo, en un estudio de ca-
vención precisan un lapso de tiempo entre ellas. sos y controles se seleccionan unos casos con
la enfermedad en estudio y unos controles que
no la tienen, y se averigua su exposición previa a
Variables iniciales y finales
posibles causas hipotéticas.
En un estudio predictivo, la variable inicial (input) En resumen, la variable que determina la in-
será el índice o el indicador pronóstico. En un clusión del individuo puede ser inicial (cohortes y
estudio de intervención, la variable inicial será ensayos clínicos) o final (casos y controles). Por
la maniobra o el tratamiento que se aplica. En otro lado, la referencia o control en un ensayo
ambos tipos de estudios se observará, al final clínico es una intervención (variable inicial), pero
-14-
Bioestadística para periodistas y comunicadores
-15-
¿Qué pretende y qué puede contestar la investigación biomédica?
asma?», fue «la descarga de soja en el puerto clínica, o bien modificar los hábitos higiénico-
con viento hacia el lugar de presentación de los dietéticos eliminando (o añadiendo) alguno.
casos». El estudio de aquello sobre lo que se Hay que insistir en la acción como interven-
podía intervenir y de aquello que, como el vien- ción. Atributos como la edad o el sexo son útiles
to, no lo era, llevó a la segunda pregunta, pros- para hacer un pronóstico o una predicción; por
pectiva, «¿conseguiremos reducir los brotes de ejemplo, cabe esperar que una mujer viva alre-
agudización del asma reparando el silo y pro- dedor de 5 años más que un hombre. Pero no
tegiendo la descarga de soja?», que tuvo una son modificables y, por tanto, no tiene sentido
respuesta positiva. actuar (intervenir) sobre ellos. No tendría ningún
sentido que un médico dijera «cambie usted este
mal hábito de ser hombre; hágase mujer y vivirá
«Prospectivo» y «retrospectivo»
5 años más».
son términos ambiguos
En consecuencia, desde un punto de vista
Un primer uso de prospectivo (P) y retrospectivo práctico, de intervención, es irrelevante pregun-
(R) hace referencia a la pregunta en estudio: so- tarse si el sexo o la edad tienen un efecto cau-
bre efectos (P) o sobre causas (R). Un segundo sal en, por ejemplo, la supervivencia. Basta con
uso considera la estrategia de muestreo y reco- conocer su capacidad pronóstica para anticipar
gida de datos, según si la variable que determina el futuro. Ahora bien, el siguiente estudio “de la-
la inclusión en el estudio es inicial (P: cohortes, boratorio” permite estimar el efecto del sexo en el
ensayo clínico) o bien final (R: casos y controles). salario: se pregunta a empleadores por el sueldo
Esta segunda acepción implica otra: que los da- que darían a los currículos de una serie de traba-
tos sean futuros (P) o pasados (R); lo cual requie- jadores a quienes, artificialmente, se les asigna el
re recoger cada variable en el momento en que sexo al azar.
acaece (P) o bien buscando en el pasado la va-
riable inicial (R). Finalmente, un tercer uso valora
Principios estadísticos
la existencia de una hipótesis independiente de
los datos, llamando prospectivos a los estudios Niveles de evidencia
en que puede documentarse que la hipótesis es Suele usarse una gradación sobre la calidad de
previa a la existencia de los datos (confirmato- evidencia que cada tipo de estudio puede apor-
rios) y retrospectivos en caso contrario (explora- tar sobre una intervención: ensayos clínicos, es-
torios). Así, los términos «prospectivo» y «retros- tudios observacionales longitudinales, estudios
pectivo» tienen varios usos y acepciones, lo que observacionales transversales, y notificaciones
quebranta uno de los principios fundamentales anecdóticas de casos. Sin embargo, debe que-
de la ciencia: «un término, un significado». Por dar claro que esta gradación de la evidencia se
tanto, conviene evitar, por su ambigüedad, los aplica a la intervención, pero no al diagnóstico
términos «prospectivo» y «retrospectivo». En su ni al pronóstico. Por último, disponemos del
lugar, hay que aclarar si la pregunta es sobre metaanálisis, que es la técnica estadística que
causas o sobre efectos, si había hipótesis previa permite agregar la información contenida en los
(confirmatorio o exploratorio) y cuál es la variable estudios. Una revisión sistemática formal con su
o criterio que determina la inclusión de un caso correspondiente metaanálisis aportará una visión
en el estudio. más global que la de estudios separados.
Intervenir implica cambiar algo, lo que requiere Para afirmar que mañana se hará de día sólo ne-
un mínimo de dos valores para la variable causa. cesitamos asumir igualdad entre pasado y futuro.
Puede ser sustituir una opción terapéutica A por Pero si nos preguntamos si lloverá, además de
otra B, o añadir un nuevo tratamiento C a la guía asumir igualdad entre pasado y futuro necesita-
-16-
Bioestadística para periodistas y comunicadores
-17-
¿Qué pretende y qué puede contestar la investigación biomédica?
la distribución binomial) dice que, si los 100 ca- asociados a dos posibles acciones erróneas
sos proceden al azar de una población, observar contrapuestas (errores de tipo I y tipo II).
50 muertes es compatible con probabilidades Como el conocimiento en sí mismo no tiene im-
de morir en la población comprendidas entre el plicaciones, pero sí las acciones y las decisiones
39,83% y el 60,17%, con una confianza del 95%. que se toman basándose en él, debe distinguirse
El segundo paso es cuestionarse si se detec- entre “almacenes” de conocimiento (revistas cien-
taron todos los casos de botulismo. Si, por ejem- tíficas, bibliotecas o las colaboraciones Cochrane
plo, cabe esperar que la mitad de las muertes y Campbell) y órganos de decisión (agencias re-
por botulismo no fueran diagnosticadas como guladoras, departamentos de farmacia, agencias
tales, deberíamos añadir 50 casos al numerador de salud pública). El proceso de decisión incluye
y al denominador, subiendo la mortalidad al 66% la inferencia, pero también las opiniones sobre los
(100/150). En cambio, si lo que cabía esperar es posibles resultados: utilidad, coste, preferencias
que los casos leves no se diagnosticaran y su nú- o cualquier función de pérdida. Un ejemplo muy
mero se estima igual al de los casos diagnostica- celebrado es que antes de usar el paracaídas en
dos, ahora deben añadirse 50 casos, pero sólo al un salto desde mil metros de altura nadie pregun-
denominador, resultando en una mortalidad del taría por el ensayo aleatorizado y enmascarado
33% (50/150). Este ejemplo muestra que la mag- que aporte las pruebas científicas sobre el efecto
nitud del error sistemático por imprecisiones en beneficioso del paracaídas.
la recogida de los datos (del 33,33% al 66,67%) Por supuesto, las decisiones implícitas en el
puede ser mayor que el error contemplado por acto médico deben basarse en el conocimiento
un proceso aleatorio puro (intervalo de confianza contrastado empíricamente que aportan los artí-
del 95%: 39,83% a 60,17%). culos científicos, pero también en las consecuen-
El error originado por una obtención no alea- cias (utilidades, beneficios, costes, etcétera) de
toria de los datos puede ir en cualquier sentido, las alternativas en consideración, y su valoración
por lo que se denomina «sesgo impredecible». por los destinatarios. Como todas estas últimas
De hecho, una monografía de Jon J. Deeks4 para pueden variar fácilmente de un entorno a otro,
la agencia de tecnología sanitaria inglesa mues- es más fácil establecer un conocimiento común
tra que los estudios no aleatorizados tienen una que recomendar acciones generales para todo
mayor imprecisión que no contemplan las medi- el universo. Precisamente, la teoría de la decisión
das estadísticas de error aleatorio ni se corrige aporta los elementos para racionalizar el paso
con las técnicas de ajuste. desde un artículo científico “universal” a una guía
de práctica clínica “local”.
Saber (ciencia) frente a hacer (técnica)
Para interpretar correctamente los resultados Bibliografía
hay que distinguir entre el objetivo científico de
adquisición de conocimiento y el objetivo clínico 1. Ioannidis JPA. Why most published research findings
que requiere tomar decisiones. De hecho, au- are false. PLoS Med. 2005;2(8):e124. Disponible en:
mentar el conocimiento disponible requiere in- http://www.plosmedicine.org/article/info:doi/10.1371/
ducción, pero aplicarlo es un ejercicio deductivo: journal.pmed.0020124
la inferencia adquiere conocimiento valorando 2. Jager LR, Leek JT. Empirical estimates suggest most
published medical research is true. Disponible en:
las pruebas científicas (evidencia) a favor o en
http://arxiv.org/ftp/arxiv/papers/1301/1301.3718.pdf
contra de los modelos establecidos. Para ello se
3. Ware JH, Harrington D, Hunter DJ, D’Agostino RB.
recomienda utilizar los intervalos de confianza,
Missing data. N Engl J Med. 2012;367:1353-4.
aunque si el autor así lo considera puede repor- 4. Deeks JJ, Dinnes J, D’Amico R, Sowden AJ, Sakarov-
tar el valor p. Por otro lado, el acto médico, las itch C, Song F, et al. Evaluating non-randomised in-
medidas de salud pública, la gestión de recursos tervention studies. Health Technology Assessment.
o el permiso para comercializar un nuevo fárma- 2003;7(27). Disponible en: http://www.hta.ac.uk/full
co implican un proceso de decisión con riesgos mono/mon727.pdf
-18-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Hay más casualidades
que causalidades
González / Ventura
-19-
La epidemiología y los estudios observacionales de cohortes y de casos y controles
nas son estudiadas en un momento del tiempo. denominan variables extrañas, covariables y, en
Nos proporcionan información sobre la carga de algunos casos, variables confusoras.
la enfermedad y la magnitud de ésta, es decir, En resumen, el método epidemiológico es un
en una analogía con el periodismo, estos estu- proceso de estudio de hipótesis que expliquen
dios contestan a las preguntas de quién, dónde los patrones de distribución de las exposiciones
y cuándo. Posteriormente, al definir la exposición y los sucesos observados, eliminando aquellas
(posible causa de la enfermedad o suceso) las que no sean concordantes con las observacio-
preguntas serán por qué y cómo, y al definir el nes. Así, las fases del proceso son: 1) genera-
efecto la pregunta será qué. Hay tres indicadores ción de hipótesis; 2) diseño e implementación de
básicos a la hora de estudiar la carga de una en- estudios para generar variables y observaciones;
fermedad: 1) la prevalencia, definida como el nú- 3) descripción de la distribución de las observa-
mero de casos de una enfermedad determinada ciones (análisis exploratorio de datos), y 4) infe-
o exposición en una población y en un momento rencia o evaluación de la magnitud de la eviden-
dado; 2) la incidencia, o los casos nuevos de una cia (análisis de datos confirmatorio).
enfermedad en una población definida dentro
de un plazo determinado (también denominada
Estudios de cohortes
densidad de incidencia o tasa de incidencia), y
3) la mortalidad, o número de defunciones en La población analizada en un estudio de inciden-
una población por cada 1000 habitantes durante cia se denomina «cohorte». Una cohorte se de-
un periodo determinado (generalmente 1 año). fine como un grupo de personas que tienen una
Una vez que el problema de salud pública se característica en común en el momento en que
ha caracterizado, es función de la epidemiolo- se forma el grupo, y que son seguidas prospec-
gía generar hipótesis que expliquen los patrones tivamente en el tiempo hasta que se produce el
hallados. La generación de hipótesis y su eva- suceso objeto de estudio. Los estudios de co-
luación no dependen sólo de las observaciones hortes también se conocen como longitudinales
realizadas, sino también del conocimiento de (participantes seguidos a lo largo del tiempo) y
los resultados de estudios previos, así como de prospectivos (dirección del seguimiento, hacia
la integración del conocimiento de otras áreas delante). En este diseño, el riesgo o la incidencia
científicas y, por último, de la intuición del inves- de la enfermedad y el riesgo relativo (incidencia
tigador. El epidemiólogo pretende contestar a las en expuestos frente a incidencia en no expues-
mismas preguntas que un periodista, y el resul- tos) se obtienen directamente.
tado final de un trabajo epidemiológico se podría En los estudios de cohortes se selecciona a
comparar a generar una noticia. En el estudio los participantes en función de que presenten
de hipótesis se busca, generalmente, la causa- o no la exposición que interesa al investigador,
lidad. Al método para determinar las razones y quien a posteriori buscará el efecto propuesto en
causas de los datos observados se le denomina su hipótesis. Una cohorte es, por tanto, un grupo
«inferencia causal», y es uno de los principales de personas definidas en un espacio de tiempo
objetivos de la epidemiología. En esta fase de y un lugar determinado, con unas exposiciones
inferencia, se denomina «variable» (aquello que definidas y en quienes los epidemiólogos tienen
varía y puede medirse) a los atributos de los pa- un efecto claro que buscar, asociado a esas ex-
cientes y a los episodios clínicos, y en un estudio posiciones. La principal medida que se utiliza en
típico de asignación de causalidad hay tres tipos un estudio de cohortes es el riesgo relativo: el
de variables: una es una supuesta exposición o número de veces que la incidencia de un efecto
variable predictora (a veces denominada varia- es mayor en los sujetos expuestos que en los no
ble independiente), la otra es un efecto o even- expuestos.
to (a veces denominada variable dependiente) y Las principales fases de un estudio de co-
la tercera es un grupo de variables que pueden hortes son: 1) selección de los participantes;
afectar a la relación de las dos primeras, y se 2) obtención de datos de la exposición; 3) se-
-20-
Bioestadística para periodistas y comunicadores
-21-
La epidemiología y los estudios observacionales de cohortes y de casos y controles
-22-
Bioestadística para periodistas y comunicadores
-23-
La epidemiología y los estudios observacionales de cohortes y de casos y controles
-24-
Bioestadística para periodistas y comunicadores
Schwartz-Woloshin / Ventura
-25-
La confianza en los resultados de la investigación y el sistema GRADE
es contraintuitivo, pues hay bastantes situacio- 2) están basadas en la mejor evidencia científica
nes en las que no es necesario realizar un ensayo disponible; 3) formulan preguntas claramente
clínico para tener una confianza alta en el efec- definidas, y 4) utilizan métodos sistemáticos y
to de una intervención. Por ejemplo, cuando se explícitos para identificar y seleccionar estudios,
descubrió la insulina, el efecto de su administra- evaluarlos críticamente, extraer los datos de in-
ción en unos pocos casos fue tan espectacular terés y analizarlos.6 En consecuencia, las revi-
que no se llegaron a realizar ensayos clínicos, ni siones sistemáticas tienen como objetivo ser:
ya nunca se realizarán. Por otra parte, a pesar de 1) rigurosas, evaluando la calidad de los estudios
disponer de ensayos clínicos para una interven- incluidos; 2) informativas, esto es, enfocadas ha-
ción, la confianza puede ser baja debido a fac- cia problemas reales, presentando la información
tores como, por ejemplo, las limitaciones en su del modo que mejor ayude a la toma de decisio-
diseño y ejecución. nes; 3) exhaustivas, con el objetivo de identificar
y utilizar la mayor cantidad posible de informa-
ción pertinente, minimizando la introducción de
¿Dónde encajan
posibles sesgos (por ejemplo sesgo de publica-
las revisiones sistemáticas?
ción), y 4) explícitas, con los métodos utilizados
Otra de las limitaciones de estos sistemas de cla- descritos de manera detallada.6
sificación es que otorgaban un peso excesivo a
las revisiones sistemáticas. Este tipo de revisio-
Revisiones sistemáticas
nes son el método de referencia a la hora de co-
frente a metaanálisis
nocer los efectos de las intervenciones, pero de-
bemos tener en cuenta que sus resultados son En ocasiones, una revisión sistemática puede
tan fiables como los estudios que incluyen.5,6 Por incluir un metaanálisis, un concepto introducido
ello, nuestra confianza debe estar fundamentada por Glass en 1976 y que se define como una in-
en el conjunto de los estudios que contiene una tegración estructurada, con una revisión cualita-
revisión sistemática (contenido) y en su calidad, y tiva y cuantitativa, de los resultados de diversos
no en el hecho de que sea una revisión sistemá- estudios independientes acerca de un mismo
tica (continente). tema.5 En otras palabras, un metaanálisis es la
Archie Cochrane señaló en 1972 la necesidad combinación estadística de al menos dos estu-
de realizar un mayor número de revisiones, cuan- dios para obtener una estimación global sobre el
do afirmó que era muy grave que todavía no se efecto de una intervención. En la figura 1 pode-
hubiese organizado una síntesis crítica de todos mos ver la representación de un metaanálisis es-
los ensayos clínicos relevantes, por especialida- tándar. Los estudios individuales están indicados
des o subespecialidades, y que fuera actualizada con un cuadrado (efecto) y una línea horizontal
con periodicidad.7 Precisamente, la respuesta a (intervalo de confianza), de tal modo que cuanto
este desafío es la Colaboración Cochrane, una más corta es la línea más preciso es el resultado.
organización internacional sin ánimo de lucro Finalmente, abajo, con un rombo, se representa
que tiene como objetivo principal ayudar a tomar el efecto global de la intervención resultante del
decisiones clínicas y sanitarias bien fundamen- metaanálisis. La línea vertical que pasa por el nú-
tadas, preparando, manteniendo y divulgando mero 1 indica la posición alrededor de la cual los
revisiones sistemáticas sobre los efectos de la resultados se concentrarían si las dos interven-
atención sanitaria (http://www.cochrane.org/).8,9 ciones comparadas tuviesen efectos similares. Si
Las revisiones sistemáticas son investigacio- una línea horizontal toca esta línea, significa que
nes (investigación secundaria) que sintetizan los aquel ensayo clínico concreto no halló diferen-
resultados de un conjunto de estudios individua- cias claras entre los tratamientos. La posición del
les (investigación primaria). Las características rombo a la izquierda de esta línea indica que el
fundamentales que mejor las definen son: 1) rea- tratamiento estudiado es beneficioso, y a la de-
lizan una síntesis y un análisis de la información; recha perjudicial.
-26-
Bioestadística para periodistas y comunicadores
El logotipo de la Colaboración Cochrane (fi- ya se habían realizado siete ensayos más, que
gura 2) ilustra el metaanálisis de la figura 1, que mostraron aún con más claridad que esta inter-
corresponde a una revisión sistemática que eva- vención reduce un 30% a un 50% la probabilidad
luó la administración de corticosteroides (un tra- de morir de los recién nacidos.
tamiento corto y barato) a mujeres gestantes con Sin embargo, como no se publicó ninguna re-
amenaza de parto prematuro, en comparación visión sistemática de estos ensayos hasta 1989,
con placebo, para prevenir la disnea.10 En la revi- la mayoría de los obstetras no pudo conocer la
sión se incluyeron 12 ensayos clínicos que eva- efectividad real de este tratamiento, y decenas
luaban esta misma cuestión, el primero de ellos de miles de recién nacidos prematuros no se
publicado en 1972. La revisión proporcionó una beneficiaron de recibir esta intervención. Éste es
síntesis de la información disponible una década uno de los muchos ejemplos que ponen de ma-
después de la publicación del primer ensayo que nifiesto la necesidad de disponer de revisiones
mostraba que los corticosteroides reducen el sistemáticas actualizadas sobre todos los aspec-
riesgo de muerte de los recién nacidos. En 1991 tos de la atención sanitaria.
Aunque a veces se utilicen indistintamente los
dos términos, revisión sistemática no es equiva-
lente a metaanálisis. Podemos tener una revisión
sistemática sin metaanálisis, pero no deberíamos
tener un metaanálisis sin revisión sistemática. En
el primer caso, los resultados de los estudios pri-
marios se resumen, pero no se combinan con
métodos estadísticos (revisión sistemática «cua-
litativa»).5,6 Si se realiza un metaanálisis, estamos
ante una revisión sistemática «cuantitativa». El
metaanálisis es, por tanto, sólo una parte, aun-
que importante, de la revisión sistemática. La
virtud fundamental del metaanálisis es que au-
Figura 2. Logotipo de la Colaboración Cochrane. menta la potencia estadística del análisis, pues
-27-
La confianza en los resultados de la investigación y el sistema GRADE
disponemos de más estudios y pacientes, y por nales ha constituido el grupo de trabajo GRADE
tanto proporciona resultados más precisos. (Grading of Recommendations Assessment, De-
Las revisiones cumplen otra función funda- velopment and Evaluation).3,12 El sistema GRADE
mental: dan a conocer de un solo vistazo toda la ha sido adoptado por más de 70 organizaciones
información disponible sobre una pregunta de in- en todo el mundo, algunas tan importantes como
vestigación. Esto es crucial desde el punto de vis- la Organización Mundial de la Salud, la Colabo-
ta del periodismo científico, pues ayudan a con- ración Cochrane, el National Institute of Clinical
textualizar los resultados de los nuevos estudios. Excellence, la Scottish Intercollegiate Guidelines
Además, sirven para señalar las deficiencias de la Network y publicaciones como Clinical Evidence
investigación realizada hasta el momento y la in- o Uptodate (http://www.gradeworkinggroup.org/
vestigación que es necesaria en un determinado society/index.htm). En nuestro entorno, el Progra-
campo. Por tanto, bienvenidas sean también para ma Nacional de Elaboración de Guías de Prácti-
los periodistas. Así pues, conviene extremar las ca Clínica del Sistema Nacional de Salud (http://
cautelas cuando en un comunicado de prensa o www.guiasalud.es/web/guest/gpc-sns) también
en un artículo no se contextualizan los resultados ha comenzado a utilizarlo (manual MSC).13
con la investigación previa, idealmente mediante El sistema GRADE propone varios factores
una revisión sistemática. No obstante, muchos para evaluar la confianza en los resultados, de
ensayos todavía no empiezan ni terminan con una los cuales algunos pueden disminuir nuestra
revisión sistemática, como se recomienda.11 confianza y otros la pueden aumentar.12 A los en-
sayos clínicos se les asigna de entrada una cali-
dad alta, pero pueden ser penalizados. A los es-
¿Cómo valorar una revisión sistemática?
tudios observacionales se les asigna de entrada
Para leer una revisión sistemática tenemos que una calidad baja, pero en algunas ocasiones la
comprobar al menos dos factores clave. El pri- confianza en ellos puede aumentar. Este sistema
mero es que presente una pregunta y unos cri- explícito de subida y bajada es propio y único del
terios de inclusión y exclusión de los estudios sistema GRADE.
claros y concretos. El segundo, que documen- La figura 3 resume los diferentes factores que
te haber realizado una búsqueda de la literatura pueden disminuir la confianza en la estimación
disponible, idealmente en una o más bases de del efecto observado.14 Éstos son, fundamental-
datos o fuentes. Y el tercero, que haya realizado mente, que los estudios presenten limitaciones
una evaluación de al menos el diseño y la ejecu- en el diseño o la ejecución (riesgo de sesgo), que
ción de los estudios, esto es, que haya evaluado los resultados no sean concordantes, que no se
de manera crítica el contenido. Existen instru- disponga de evidencia directa para nuestra pre-
mentos más sofisticados para evaluar la calidad gunta de interés, que los resultados sean impre-
de las revisiones sistemáticas, pero llevan tiempo cisos o que se sospeche un sesgo de publica-
y requieren cierta experiencia para ser aplicados. ción. La ponderación global de estos factores,
En el contexto del periodismo, en principio es su- que limitan nuestra confianza en los resultados,
ficiente poder reconocer una revisión sistemática determinará que la confianza aumente o dismi-
y diferenciarla de la que probablemente no lo es. nuya. El sistema GRADE establece que la calidad
global es la menor entre los desenlaces o resul-
tados de interés. Por último, el sistema GRADE
El sistema GRADE
reconoce que la opinión de los expertos influye
En este contexto, un grupo internacional de epi- en la evaluación de la evidencia disponible (con
demiólogos, metodólogos y clínicos ha desa- independencia de su diseño), pero no la conside-
rrollado una propuesta que tiene como objetivo ra un tipo de evidencia en sí misma.
consensuar un sistema común para evaluar la El sistema GRADE proporciona, por tanto, un
calidad o confianza, y que supere las limitaciones marco para que tanto los periodistas como los
de los sistemas previos. Este grupo de profesio- profesionales de la salud nos orientemos sobre
-28-
Bioestadística para periodistas y comunicadores
-29-
La confianza en los resultados de la investigación y el sistema GRADE
Figura 4. Revisión sistemática sobre la efectividad del cribado genético preimplantacional comparado con el tratamiento
estándar en parejas sin trastornos genéticos. A) Metaanálisis con importante heterogeneidad/variabilidad. B) Metaanálisis con
escasa heterogeneidad/variabilidad. PGS: preimplantation genetic screening; IVF: in vitro fertilization.15
-30-
Bioestadística para periodistas y comunicadores
-31-
La confianza en los resultados de la investigación y el sistema GRADE
gradiente dosis-respuesta, ya que nos aporta evidence and strength of recommendations. BMJ.
una mayor certidumbre sobre una posible rela- 2008;336:924-6.
ción causa-efecto. Por ejemplo, se ha compro- 4. The GRADE Working Group. Systems for grading the
quality of evidence and the strength of recommenda-
bado que el riesgo de desarrollar una enferme-
tions I: critical appraisal of existing approaches. BMC
dad pulmonar obstructiva crónica es proporcio-
Health Serv Res. 2004;4:38.
nal al consumo acumulado de tabaco, y que es
5. Cook DJ, Mulrow CD, Haynes RB. Systematic re-
2,6 veces mayor en los fumadores de 15 a 30 views: síntesis of best evidence for clinical decisions.
paquetes al año y 5,1 veces mayor en los fuma- Ann Intern Med. 1997;126:376-80.
dores de más de 30 paquetes al año.16 La exis- 6. Gisbert JP, Bonfill X. ¿Cómo realizar, evaluar y utilizar
tencia de este gradiente de asociación entre el revisiones sistemáticas y metaanálisis? Gastroenterol
factor estudiado y el efecto aumenta la confianza Hepatol. 2004;27:129-49.
en la relación entre el tabaco y la enfermedad 7. Cochrane AL. Effectiveness and efficiency. Ran-
pulmonar obstructiva crónica. dom reflections on health services. London: Nuffield
Provincial Hospitals Trust; 1972.
8. Bero L, Rennie D. The Cochrane Collaboration. Prepar-
Conclusiones ing, maintaining, and disseminating systematic reviews
La calidad es la confianza que tenemos en que of the effects of health care. JAMA. 1995;274:1935-8.
9. Higgins JPT, Green S, editores. Cochrane handbook
los resultados de la investigación sean ciertos.
for systematic reviews of interventions, version 5.1.0.
Las revisiones sistemáticas son clave para con-
Actualizado en marzo de 2011. The Cochrane Col-
textualizar y conocer con mayor seguridad el laboration, 2011. Disponible en: www.cochrane-
efecto de las intervenciones, pues nos propor- handbook.org
cionan todos los estudios disponibles para una 10. Crowley P, Chalmers I, Keirse MJ. The effects of cor-
determinada cuestión. ticosteroid administration before preterm delivery: an
El sistema GRADE aporta un marco explícito overview of the evidence from controlled trials. Br J
y riguroso para evaluar la calidad que podemos Obstet Gynaecol. 1990;97:11-25.
depositar en los resultados de la investigación. 11. Clarke M, Hopewell S, Chalmer I. Clinical trials should
begin and end with systematic reviews of relevant evi-
La calidad (o la confianza) no sólo está determi-
dence: 12 years and waiting. Lancet. 2010;376:20.
nada por el diseño de los estudios. La confianza
12. Alonso-Coello P, Rigau D, Solà I, Martínez García L. La
puede disminuir debido a problemas de diseño
formulación de recomendaciones en salud: el sistema
y ejecución, resultados imprecisos o no concor- GRADE. Med Clin (Barc). 2013;140:366-73.
dantes, evidencia indirecta o sospecha de sesgo 13. Grupo de Trabajo sobre GPC. Elaboración de guías
de publicación. La confianza puede aumentar, de práctica clínica en el Sistema Nacional de Salud.
en los estudios observacionales, cuando hay un Manual metodológico. Guías de práctica clínica en el
gradiente dosis-repuesta o si el efecto observa- SNS: I+CS. N8 2006/0I. Madrid: Plan Nacional para
do es muy importante (y no se observan otras el SNS del MSC. Instituto Aragonés de Ciencias de la
limitaciones). Salud-I+CS; 2007.
14. Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek
J, et al. GRADE guidelines: introduction – GRADE evi-
Bibliografía dence profiles and summary of findings tables. J Clin
Epidemiol. 2011;64:383-94.
1. Systems to rate the strength of scientific evidence. 15. Checa MA, Alonso-Coello P, Solà I, Robles A, Carre-
Summary, evidence report/technology assessment: ras R, Balasch J. IVF/ICSI with or without preimplanta-
number 47. AHRQ Publication No. 02-E015. Rock- tion genetic screening for aneuploidy in couples with-
ville, MD: Agency for Healthcare Research and Quality; out genetic disorders: a systematic review and meta-
2002. analysis. J Assist Reprod Genet. 2009;26(5):273-83.
2. Laine C, Taichman DB, Mulrow C. Trustworthy clinical 16. Miravitlles M, Soriano JB, García-Río F, Muñoz L,
guidelines. Ann Intern Med. 2011;154:774-5. Durán-Taulería E, Sánchez G, et al. Prevalence
3. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter of COPD in Spain: impact of undiagnosed COPD
Y, Alonso-Coello P, et al.; GRADE Working Group. on quality of life and daily life activities. Thorax.
GRADE: an emerging consensus on rating quality of 2009;64:863-8.
-32-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
El intervalo de confianza
se interpreta mejor
que el valor de p
Cobo / Ventura
Diálogo 1
Herramientas estadísticas, buenos consejos
y cierta intuición periodística
Ainhoa Iriberri
Los periodistas que acudimos a la jornada de de los primeros pueden pensar. Informamos lo
bioestadística organizada el pasado 14 de febre- mejor que podemos con nuestros conocimientos
ro por la Asociación Española de Comunicación y las opiniones de expertos acreditados.
Científica y la Fundación Dr. Antonio Esteve pe- Quizás el error, como quedó de manifiesto en
díamos algo imposible: que en menos de 12 ho- la jornada, es que la bioestadística es una disci-
ras los expertos nos enseñaran a los comunica- plina nueva y algunos investigadores –y la mayo-
dores a informar bien sobre un estudio publicado ría de los periodistas– carecen muchas veces de
en una revista científica. Se trataba de aprender conocimientos suficientes sobre la materia. Pero
a evitar algunos de los grandes males del perio- el diálogo entre ambos agentes también demos-
dismo científico: la exageración, la falta de rigor y tró que compartimos un deseo común: informar
la descontextualización, entre otros. con rigor de los avances científicos.
Así, estos conceptos salieron a la luz en el pri-
mer diálogo entre periodistas y bioestadísticos,
Pirámides y confianza
que sirvió también como punto de encuentro.
Porque ni los bioestadísticos son esas perso- Los periodistas estamos acostumbrados a tra-
nas que, con sus enrevesados términos, dificul- bajar con pirámides. Desde la famosa pirámide
tan muchísimo la comprensión de un estudio, ni invertida, o regla de las «5 w», sabemos que la
los periodistas los irresponsables que algunos información hay que clasificarla y jerarquizarla.
-33-
Diálogo 1 Herramientas estadísticas, buenos consejos y cierta intuición periodística
Por ello no nos extrañó cuando se habló del con- ce interesante, es decir, de interés periodístico.
cepto de «pirámide de la evidencia». No todos Otros factores, como la revista científica en que
los estudios científicos son iguales, y no debe- se publica un determinado estudio, también pe-
mos confiar en todos ellos por igual. De nuevo, sarán en nuestra decisión, ya que no es lo mismo
hemos de recurrir a una pirámide; en este caso, que un trabajo aparezca en una revista de alto
la de la evidencia. impacto o en una de tercera fila. Para saberlo,
La pirámide ilustra que hay una jerarquía de hay un ranking que clasifica las revistas por su
la confianza que nos merecen los distintos tipos factor de impacto (citas recibidas), el Journal Ci-
de estudios, y el interés de un grupo de trabajo tation Reports del Institute for Scientific Informa-
que comenzó en 2000, el grupo GRADE (siglas tion, actualmente Thomson Reuters, por la em-
en inglés de Clasificación de la Evaluación, De- presa que lo elabora. Un obstáculo para los pe-
sarrollo y Valoración de las Recomendaciones). riodistas: su acceso es de pago, aunque muchas
El objetivo de este colectivo no era otro que de- instituciones, entre ellas la Fundación Española
sarrollar un sistema común y razonable para ca- para la Ciencia y la Tecnología, lo ponen a dispo-
lificar la calidad de la evidencia y la fuerza de las sición de los investigadores. Una razón añadida
recomendaciones. Un sistema que, obviamente, para que se cuente entre nuestras fuentes más
puede servir también a los periodistas a la hora consultadas.
de elaborar sus informaciones sobre un avance
científico.
Revisión frente a metaanálisis
En la base de la pirámide están los estudios
experimentales realizados con animales de labo- Uno de los primeros conceptos que se discu-
ratorio, luego se encuentran los distintos tipos tieron en este diálogo fue la diferencia entre re-
de estudios observacionales, y en la cúspide los visión sistemática y metaanálisis. Las revisiones
mejores ensayos clínicos y las revisiones siste- sistemáticas (con o sin metaanálisis) pueden
máticas (con o sin su correspondiente metaaná- cambiar la práctica clínica y, por tanto, son más
lisis). que dignas de merecer un hueco destacado en
A partir de ahí, podríamos pensar que está los periódicos. Pero como explicaron los espe-
todo dicho. A la hora de valorar si informamos cialistas, no todas las revisiones pueden tener
sobre un estudio, sólo hemos de situarlo en la metaanálisis. ¿Por qué? Lo primero que hay
pirámide. Si la confianza es baja, no se informa- que tener claro es que las revisiones “narrati-
rá sobre él; si es alta, intentaremos que vaya en vas” del pasado han dado lugar a las revisiones
portada. Esto que dicta la lógica está, sin embar- sistemáticas, con una metodología explícita,
go, muy lejos de la realidad. idealmente especificada en un protocolo. Una
Como los ponentes dejaron muy claro desde vez obtenidos los estudios pertinentes, los in-
el principio, tal jerarquía es flexible, como lo es cluidos en la revisión en ocasiones pueden me-
la clasificación de la confianza que nos ofrece. taanalizarse de manera conjunta, pero no siem-
Estudios observacionales que a priori merecen pre, por diversas circunstancias. Asimismo, los
poca confianza pueden aumentarla si reunen una estudios pueden no haber medido una variable
serie de requisitos, que la mejoran. Del mismo de manera similar, o haber reportado los resul-
modo, estimaciones procedentes de un ensayo tados numéricos de distintas maneras o inclu-
clínico, incluso aleatorizado –lo que es clave para so de forma incompleta. Una cosa está clara:
empezar a confiar en este tipo de estudio– pue- siempre que sea razonable, los autores llevarán
den no ser buenas si el ensayo está mal diseña- a cabo un metaanálisis, algo que suma valor a
do y ejecutado. la investigación porque aumenta la precisión de
Sin embargo, la confianza en los resultados los resultados.
no es el único criterio que los periodistas segui- En la definición de «metaanálisis» hubo algo
mos a la hora de informar. Obviamente, el prime- de controversia entre los participantes en la jor-
ro será si la información en cuestión nos pare- nada. Según se explicó, este tipo de estudio
-34-
Bioestadística para periodistas y comunicadores
-35-
Diálogo 1 Herramientas estadísticas, buenos consejos y cierta intuición periodística
-36-
Bioestadística para periodistas y comunicadores
-37-
Diálogo 1 Herramientas estadísticas, buenos consejos y cierta intuición periodística
De este primer diálogo entre periodistas y habitualmente: los bioestadísticos, que sin duda
estadísticos queda claro que existen muchas tienen mucho que decir.
herramientas que los primeros podemos utilizar
para informar correctamente sobre las investi- Bibliografía
gaciones científicas. No obstante, es evidente 1. Moher D, Liberati A, Tetzlaff J, Altman DG, The
que sigue haciendo falta formación, una cierta PRISMA Group. Preferred reporting items for sys-
intuición y, sobre todo, consultar a los expertos. tematic reviews and meta-analyses: the PRISMA
Sólo que ahora, en la agenda, habrá que añadir statement. PLoS Med. 2009;6:e1000097. Dispo
un apartado al de investigadores, cardiólogos, nible en: http://www.plosmedicine.org/article/info%3
físicos o cualesquiera categorías que utilicemos Adoi%2F10.1371%2Fjournal.pmed.1000097
-38-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Una cosa es conocer
la causa y otra
dar con la solución
Casino / Ventura
Diálogo 2
Sobre los estudios observacionales
y su tratamiento periodístico
Pablo Francescutti
El segundo diálogo se centró en los estudios ob- es algo que os toca a vosotros determinar. Lo
servacionales y su tratamiento en los medios de que sí podemos es repasar lo que se ha dicho a
comunicación, pero desbordó este marco inicial lo largo de la jornada: diferentes diseños ofrecen
para adentrarse en otras cuestiones de interés diferentes niveles de confianza de entrada, con-
periodístico. La sesión, también moderada por fianza alta los ensayos clínicos y baja los obser-
Gonzalo Casino, contó con la presencia de los vacionales. Ése es un primer criterio. Otros pará-
dos expertos de la mañana, Erik Cobo y Pablo metros a tener en cuenta son que la cuestión que
Alonso, y dos periodistas, Esperanza García Mo- se plantearon los investigadores sea relevante y
lina y Pablo Francescutti. que el diseño elegido sea adecuado para res-
Esperanza García Molina inició el debate con ponder a esa cuestión. Conviene tener presente
una cuestión muy concreta y de gran valor prácti- que en cada estudio observacional, al igual que
co en términos periodísticos: ¿en qué elementos en los ensayos clínicos, hay una serie de posi-
debe fijarse un periodista que tiene entre manos bles sesgos, sesgos de detección, de realización
un estudio observacional para saber si merece y otros. Dependiendo del estudio habrá que ha-
difusión? cer una serie de preguntas para saber si ha sido
bien ejecutado, cómo se reclutó la muestra, si
Alonso: Nosotros no podemos entrar a valorar se ajustaron los factores de confusión, y cómo
la importancia periodística de un estudio, porque se hizo el seguimiento. Cada estudio tiene unas
-39-
Diálogo 2 Sobre los estudios observacionales y su tratamiento periodístico
características sobre las que hay que hacerse por eso algunos ensayos se diseñan para poder
preguntas específicas, y eso requiere un conoci- estudiar ese contagio entre unidades. Pero por
miento básico de cómo leer críticamente un es- lo habitual se asume que las unidades se com-
tudio observacional (ya sea, por ejemplo, de ca- portan independientemente y se hace el análisis
sos y controles o de cohortes), de cómo valorar sobre esta base. Por lo tanto, la lectura correcta
su diseño y ejecución (riesgo de sesgo), y de qué de un ensayo clínico sería la siguiente: asumiendo
factores aumentan o disminuyen la confianza, ciertas todas las premisas, entre las que resalta
por ejemplo, sabiendo que ésta será mayor si se que el efecto es independiente en las unidades
ha establecido una asociación muy importante o –y habiéndose cumplido todo lo recién dicho por
existe un gradiente dosis-respuesta (en el caso Pablo Alonso– podemos afirmar que el efecto de
de los observacionales), y que será menor si los esta intervención es el siguiente: “…”. Por eso, en
resultados son inconsistentes, si son imprecisos general debemos ser muy modestos al hablar de
y si no son directamente aplicables a la población los resultados, incluso delante del mejor diseño
que interesa. que tenemos, que es el ensayo clínico. En lo rela-
tivo a los estudios observacionales, tenemos que
García Molina: Mi segunda pregunta tiene que ser muy transparentes con lo que hemos obser-
ver con la causalidad. ¿Nunca puede decirse de vado y lo que interpretamos. Faltaría más que los
un estudio observacional que ha establecido una autores del estudio Framingham no terminasen
relación causa-efecto? postulando que, si se logra bajar la presión arterial
de las personas, a largo plazo bajarán los eventos
Cobo: Para que nos entendamos, siempre es de- cardiovasculares. Es magnífico que interpretaran
licado hablar de causalidad, incluso en un ensayo así sus resultados, pero tienen que dejar claro
clínico. Recordemos que existen dos formas de que lo que identificaron es una “simple” relación
razonar: una es la deductiva, en la que partimos entre dos variables: aquellos con la presión más
de unos principios que damos por ciertos, que alta fueron luego quienes sufrieron más eventos
podemos llamar premisas; y la otra es la inducti- cardiovasculares al cabo de unos años. Luego,
va, en la que partiendo de unos pequeños casos por supuesto, pueden tocar en la discusión as-
intentamos generalizar lo observado a muchos pectos que no fueron observados en el estudio, y
otros. Decía esta mañana que no tenemos que plantear la hipótesis de que si se consigue bajar la
hablar de las leyes de Newton sino del modelo presión arterial de las personas, quizás disminu-
de Newton, porque las piedras no están obliga- yan a largo plazo los ictus, los infartos, etcétera.
das a seguirlo o ir a la cárcel si no lo hacen. Por Este razonamiento especulativo es lícito, pero hay
eso resulta una vanidad decir que estamos es- que dejar claro que lo estás haciendo. Volviendo
cribiendo las leyes de la naturaleza; lo que tiene a tu pregunta: ¿pueden estos autores hablar de
mucho mérito es que somos capaces de elaborar causalidad? Sí, pero dejando muy claro que esa
modelos que nos permiten construir edificios que relación no se deduce directamente de ningún
se aguantan, y eso ya es mucho. Un modelo es estudio si no le añade alguna premisa más. Y
una esquematización de la realidad en un lengua- por supuesto, los observacionales requieren más
je muy abstracto, que tiene la ventaja de que lo premisas. Una diferencia del ensayo clínico con
interpretan igual un japonés y un americano. Pero el observacional es que cuando le dices a una
estos modelos también tienen sus propias pre- persona que haga algo, lo hará o no lo hará. Si a
misas. Todos los ensayos clínicos, que se sitúan alguien le dices que no se vaya de su comunidad
en el nivel máximo de evidencia, tienen premisas; durante su tiempo de vida porque quieres hacerle
por ejemplo, el efecto que observamos en una un seguimiento durante 30 años, no tiene por qué
persona es independiente del efecto que obser- hacerte caso. Estas impurezas puedes verlas en
vamos en otra. Esta premisa puede no cumplirse un estudio experimental, pero en un estudio ob-
en el caso de una vacuna, porque si un individuo servacional no, por lo que es una incertidumbre
no se contagia, será más difícil que otro lo haga; adicional que conviene destacar.
-40-
Bioestadística para periodistas y comunicadores
-41-
Diálogo 2 Sobre los estudios observacionales y su tratamiento periodístico
fianza. Y eso autoriza a decir que las opiniones Cobo: Un matiz: cuando se describió el sida, ¿en
expresadas por estos 100 individuos nos mere- cuántos casos se basaron? En muy pocos. Si se
cen una confianza del 90%, pongamos por caso. trata de un estudio muy novedoso, unos pocos
Y si hubieran sido 2000 encuestados, la confianza casos podrán bastar para sacar conclusiones de
sería mucho mayor. Ciertamente, en las encues- interés; pero si quieres aportar algo nuevo sobre
tas hechas al azar intervienen otros factores: que un tema conocido, debes seguir las reglas que
todos los votantes respondan, que no mientan, apunta Alonso.
que no cambien de intención de voto en los días
siguientes… Pero si se cumplen esas premisas, Alonso: Es verdad. Tomemos el descubrimiento
la estadística sabe cuantificar el margen de error del valor terapéutico de la adrenalina en el shock
y el intervalo de confianza. Los encuestadores anafiláctico. El cambio que produjo en su trata-
honestos te dirán que hubo un 15% de entrevis- miento fue tan espectacular que no se necesita-
tados que no quisieron decir lo que votaban, y ron muchos ensayos para darlo por bueno.
entonces lo más honrado sería estimar hasta qué
punto esas “no respuestas” afectan sus conclu- Francescutti: Algo similar ocurrió cuando des-
siones. En el blog de la Sociedad Catalana de Es- cubrieron que un tratamiento antibiótico curaba
tadística se analiza el patinazo generalizado de las definitivamente la úlcera estomacal.
encuestas en las últimas elecciones autonómicas,
como también lo hubo en 2003. ¿Cómo interpre- Alonso: Sí, porque se produjo un efecto muy
tar estos fallos? Asumiendo que las encuestas no llamativo. De todos modos, mantengamos la
pueden predecir el cambio de voto en las dos o prudencia ante estudios con un intervalo de con-
tres semanas previas a las elecciones, un lapso fianza estrecho, en los que con muy pocos even-
en el que en Cataluña sucedieron muchas cosas tos y muy pocos pacientes puede observarse un
que podían cambiar el voto. Intuyo que esas en- efecto importante. Hay trabajos que hablan de
cuestas no son capaces de detectar los cambios la fragilidad del valor p en tales estudios, ya que
finales, pero si tomamos las encuestas a escala cambiando el desenlace (outcome) de uno o dos
global, lo que parece mentira es lo mucho que casos tales efectos desaparecen por completo,
aciertan preguntando a tan pocos. de modo que extremad la precaución.
Alonso: Aparte del intervalo de confianza, muy Francescutti: Quiero hacer una reflexión acer-
útil para determinar si los resultados son precisos ca de la pirámide de la evidencia que vimos esta
o no, existe una regla de la abuela: cuando los mañana. Cuando la explicabais caí en la cuenta
datos proceden de ensayos clínicos con menos de que en periodismo se suele invertir esa pirá-
de 100 eventos, la confianza que nos merecen mide: las noticias basadas en estudios in vitro
es baja o muy baja; cuando la muestra cuenta y con ratones, situadas en el nivel más bajo de
con cientos de eventos, nos inspira una confian- confianza, compiten por la primera plana con los
za moderada; y cuando disponemos de miles de estudios epidemiológicos, más fiables. Los me-
pacientes o eventos, una confianza alta. taanálisis prácticamente no son noticia, salvo en
revistas médicas o reportajes. Me parece lógico
García Molina: He visto publicados estu- que una publicación especializada destaque un
dios neurológicos llevados a cabo con resonan- estudio con células o ratones, pero me pregun-
cia magnética que sacan conclusiones con ape- to cuál es el justo lugar que debemos dar a sus
nas 10 pacientes. resultados cuando escribimos para un medio ge-
neralista.
Casino: Está claro que cuando nos están ha-
blando de unas pocas decenas de pacientes, Casino: Voy a devolver la pelota a los científi-
hay que extremar las cautelas y tener cuidado cos. Que los periodistas hablemos de estudios
con las conclusiones. en ratones es a menudo una consecuencia de
-42-
Bioestadística para periodistas y comunicadores
-43-
Diálogo 2 Sobre los estudios observacionales y su tratamiento periodístico
mos ser positivos, y tanto más en el entorno en Casino: Si se ha hecho un estudio de salud muy
que nos movemos ahora. importante lo normal es que no se publique en Na-
ture, sino en alguna de las cinco grandes revistas
Público: Para mí la diferencia entre informar o de medicina. Casi con seguridad, estas revistas
no de un hallazgo en ciencia básica depende habrían rechazado el estudio del que yo hablaba.
mucho de la revista en que se publique. ¿Tengo
que fiarme de la publicación? Porque yo me guío Cobo: Cuando tenéis que coger la evidencia
por la publicación: si un artículo sale en Science existente y determinar hasta qué punto creer los
o Nature va a misa. resultados de un trabajo, os puede resultar muy
útil la declaración Consort de ensayos clínicos
Casino: Si los artículos vinieran con una clasifi- y estudios observaciones. Las grandes revistas
cación de confianza alta, media, baja y muy baja, médicas piden a los autores de los artículos que
las cosas serían más sencillas. digan en qué página o línea se está satisfacien-
do cada uno de los ítems de esa declaración.
Alonso: Esa confianza está implícita en que sean Es una posibilidad que tenéis. Con respecto a lo
publicados en Nature o Science. dicho sobre Nature, totalmente de acuerdo; esta
revista no sigue esas líneas de comprobación ni
Casino: Son dos jerarquías diferentes: la de la esas declaraciones, es de otro estilo y toca otros
revista, si es de mayor o menor impacto, y la je- temas. Otra cosa: atentos al cambio en los esti-
rarquía de confianza según la calidad del estudio. los de publicación. Existe una iniciativa que tras-
Y luego hay una tercera, que a menudo es la que lada el coste de publicación al investigador, ya
más importa para decidir si se informa o no: el que él paga por publicar y el lector tiene libre ac-
interés periodístico. ceso a los artículos. El modelo Plos, por ejemplo.
Otro cambio llamativo concierne a las críticas de
Alonso: Mi consejo a un periodista es que si los revisores y las respuestas de los autores, que
tienes un titular que te quema en las manos, ahora se publican en algunas webs. Esto permite
prudencia, porque un gran descubrimiento mé- a los periodistas conocer las críticas que los revi-
dico ocurre en contadas ocasiones. Las revis- sores han hecho al estudio.
tas científicas también viven de la publicidad y
necesitan titulares potentes. A veces las cinco Francescutti: Sin duda, estas enseñanzas pre-
grandes de medicina, The Lancet, New England sentan el mayor interés, aunque resultan difíciles
Journal of Medicine, British Medical Journal, de aplicar incluso por periodistas especializados.
JAMA y los Annals, pecan de lo mismo que al- Pero el problema mayor es que ya casi no que-
gunos periodistas y publican artículos fantásti- dan periodistas especializados en ciencia en las
cos sin examinarlos con el rigor necesario. Se redacciones; en los medios sólo hay “todoterre-
han publicado estudios interrumpidos antes de nos”, periodistas generalistas con menor capaci-
tiempo, sin criterios explicitados a priori para dad de discriminación en estos temas. En con-
evaluar los resultados, con pocos eventos y po- trapartida, prolifera la comunicación institucional
cos pacientes, en revistas de alto impacto, que de la ciencia, palpable en los press releases de
muchas veces han acabado contradiciéndose, los centros, instituciones y universidades que
incluida Nature. Como periodista tienes que te- bombardean a los escasos medios que quedan.
ner criterio propio, no puedes fiarte únicamente Y si llevar a la práctica esas enseñanzas en las
de las revistas. redacciones parece difícil, no digamos ya apli-
carlas en los gabinetes: veo muy difícil que sus
García Molina: A propósito de este punto, Casi- miembros vayan a enmendar la plana a los cien-
no señaló un estudio epidemiológico defectuoso tíficos de sus centros y a sus superiores, ambos
publicado en Nature, que no tiene gran tradición empeñados en dar la mayor repercusión a su in-
en esa disciplina. vestigación.
-44-
Bioestadística para periodistas y comunicadores
-45-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Un riesgo que crece
del 1% al 2% puede
significar un aumento
del 1% o del 100%,
según se mire
González / Ventura
Talleres
Análisis de papers, comunicados de prensa
y artículos periodísticos
Esperanza García Molina
-47-
Talleres Análisis de papers, comunicados de prensa y artículos periodísticos
facilitamos las referencias bibliográficas suficien- cionó tomando en cuenta a los pacientes que
tes para encontrarlos. En el resumen de estos habían acudido a la consulta de un oftalmólogo
talleres se incluyen párrafos textuales, con las re- y se les pidió que cumplimentaran una encuesta,
ferencias a sus publicaciones, para poder seguir en la cual se reflejaban hechos que habían suce-
los ejemplos. dido con anterioridad. Erik Cobo aclaró que se-
Aunque el dossier incluía más ejemplos para leccionar a los participantes por la exposición no
trabajar, durante los talleres sólo se escogieron significa seleccionar sólo a los expuestos, sino
tres. Por falta de tiempo, únicamente en el prime- escoger un grupo de individuos y medir en ese
ro se completaron las 10 cuestiones planteadas; momento su grado de exposición.
en los otros dos, nos limitamos a analizar en de- Está claro, por tanto, que no se trata de un es-
talle el artículo científico, pero no su difusión en tudio de casos y controles. No se seleccionan los
los medios. casos y después se buscan los controles, sino
que se eligen pacientes, y de ellos unos tienen
miopía y otros no. Más tarde se pregunta si de
Primer ejemplo:
pequeños han estado expuestos a la luz durante
relación entre la miopía y la exposición
el sueño. Como no han sido seleccionados en
a la luz en niños menores de 2 años
función de su exposición ni de su resultado (mio-
El primer ejemplo analizado en los talleres se pe/sano), es una serie de casos. Las series de
basó en un artículo publicado en Nature en el año casos lo son independientemente de su tamaño:
1999 sobre miopía y medio ambiente, con el títu- pueden ser de dos o tres casos, o de muchos.
lo Myopia and ambient light at night.1 Aunque las dos variables se recogen en el mismo
Gonzalo Casino sugirió hacer primero una lec- momento del tiempo, una de ellas hace referen-
tura del artículo en diagonal, pensando en una cia al pasado, por lo que más investigadores lo
situación real de trabajo en la redacción, con po- clasificarían como longitudinal retrospectivo que
cas horas para valorar si hacerse eco o no de como transversal.
ese artículo y, en caso afirmativo, cómo hacerlo. ¿Cuál es el criterio de valoración en esta serie
Más tarde se respondieron las 10 preguntas para de casos o qué se está midiendo? La relación
valorar el paso del paper a la noticia. entre la miopía y la exposición a la luz. ¿Y qué se
El artículo trataba sobre un estudio en padres encuentra? Primero, que hay una asociación
de niños de 2 a 16 años de edad, pacientes de fuerte de la miopía con la exposición a la luz du-
una clínica oftalmológica pediátrica. Los padres rante el sueño. Además, que es dependiente de
completaron un cuestionario acerca del nivel de la dosis, una de las cosas que pueden aumentar
exposición a la luz que habían tenido sus hijos la credibilidad del estudio: cuanto mayor es la ex-
antes de cumplir 2 años. Concluía que la preva- posición a la luz, mayor es el riesgo de desarrollar
lencia de la miopía en la infancia tenía una fuerte miopía.
asociación estadística con la exposición a la luz ¿Es adecuado el diseño? Es un diseño poco
durante el sueño en los primeros 2 años de vida, fiable. En la pirámide que jerarquiza la calidad de
y que esta relación era dependiente de la dosis. los tipos de diseño está cerca de la base, y no
La primera cuestión planteada en el taller con- permite establecer causalidad. Su nivel de con-
sistía en delimitar de qué tipo de estudio se trata- fianza es muy bajo. Además, el estudio se ha
ba. Los participantes estaban de acuerdo en que hecho con una muestra de participantes obte-
no era un estudio de intervención, sino observa- nida de una clínica terciaria, que es una muestra
cional. ¿Pero de qué tipo? ¿Cohortes, series de difícilmente extrapolable a la población general.
casos, o casos y controles? Se recordó que el ¿Qué se echa de menos en la metodología?
criterio básico de un estudio de cohortes es que Que el estudio no se ajusta por la herencia fa-
la muestra esté seleccionada por la exposición. miliar de miopía, pues no se estudia en cada
Es un criterio clave que ayuda a distinguir el tipo caso si los padres son miopes o no. Además,
de estudio. En este caso, la muestra se selec- el estudio se basa en lo que han respondido los
-48-
Bioestadística para periodistas y comunicadores
-49-
Talleres Análisis de papers, comunicados de prensa y artículos periodísticos
Tim Radford, considerado uno de los mejores pe- miopía, recordar que no se conocen los factores
riodistas científicos de los últimos años; una prue- que la provocan y plantear que este artículo ofre-
ba de que todos podemos meter la pata». Para ce una nueva hipótesis aún sin confirmar.
Casino, lo más interesante de los errores que se A favor de El País se recuerda que, más tar-
cometieron con esta noticia es observar cómo a de, publicó un segundo reportaje sobre una re-
la prensa se le fue de las manos la información visión posterior en Nature, diciendo que no se
sobre un estudio que presentaba muchas debili- habían podido demostrar las conclusiones del
dades. Alonso añade que hay que tener especial primer estudio y señalando sus limitaciones.
cuidado con noticias sobre mensajes muy nove-
dosos con diseños observacionales pobres.
Segundo ejemplo:
El artículo de The Guardian no contiene fuen-
las pelirrojas sufren más miedo
tes independientes del estudio, sólo cita a los pro-
al ir al dentista
pios autores. Es más, se atribuye declaraciones
propias del autor que no son tales, porque son El artículo de este segundo caso se publicó en
copia literal de la nota de prensa. Casino conti- diciembre de 2012 en la revista Journal of Endo-
núa poniendo como ejemplo de buena cobertura dontics, con el título Anesthetic efficacy of the in-
periodística el tratamiento que da el periódico es- ferior alveolar nerve block in red-haired women.2
tadounidense The New York Times a este artículo El objetivo del estudio, que en su resumen se
científico, al cual dedicó una noticia el 13 de mayo define como aleatorizado, era medir la posible
de 1999, a la vista del interés periodístico del relación entre la presencia del alelo de un gen
tema, pero en el penúltimo párrafo indicaba que (que tienen las personas pelirrojas) y la eficacia
el estudio era prematuro, incompleto y que no ha- de la anestesia para el nervio alveolar inferior.
bía tenido en cuenta un factor obvio como la he- Participaron en el estudio 62 mujeres pelirrojas
rencia. Es decir, se hace eco del estudio, pero lo y otras 62 con el pelo oscuro. Se les hizo res-
analiza con fuentes independientes, especialistas ponder un cuestionario para medir la ansiedad.
en oftalmología, que supieron leer el artículo con Después se les administró la anestesia dental y
perspectiva y ofrecer una visión crítica al periodis- se midió su efecto. No se encontraron diferen-
ta. En este sentido, Alonso opina que el perio cias en el efecto de la anestesia entre mujeres
dista puede obtener una ayuda más valiosa del pelirrojas y morenas. Sin embargo, las pelirrojas
especialista al que consulta si, en lugar de darle a manifestaron mayores niveles de ansiedad.
leer el paper sin más, le señala los puntos donde Este ejercicio se plantea, en primer lugar, con
sospecha que puede haber problemas. el objetivo de que los participantes en el taller
¿Los periodistas deberían haberse hecho eco sean capaces de averiguar el nivel de eviden-
del estudio o no? Casino opina que es cuestión cia del estudio. Cobo recuerda la pirámide de la
de perspectivas, pero lo que hizo el The New evidencia para analizar qué tipo de estudio es, y
York Times es perfecto. Además, el artículo se avisa de que tiene trampa. ¿Qué tipo de estudio
publicó sin firmar, lo cual es una lección de perio- es? Se trata de un estudio experimental. Es fácil
dismo. Un participante reflexiona que, si medios reconocerlo porque en el texto aparece la pala-
como El País y The Guardian, con suficientes re- bra «aleatorizado».
cursos, metieron la pata, ¿qué no pasará en me- ¿Cuál es el outcome? La medida entre 0 y
dios menores o sin especialistas en ciencia en 100 del nivel de ansiedad de las participantes en
las redacciones? Para Casino, «lo fundamental el estudio mediante una escala de ansiedad. ¿Es
es recordar que, en este caso, lo que falta es adecuado el diseño? En principio, si es aleatori-
un buen conocimiento del contexto del proble- zado, parece que sí. ¿Qué resultados ofrece?
ma, que no sabemos todavía cuáles son las Que las pelirrojas tienen más ansiedad al ir al
razones que provocan la miopía». Una manera dentista. ¿Pero en qué se sustenta esta afirma-
correcta de enfocar este estudio, según el perio- ción? Realmente sólo en los resultados del test
dista, es utilizarlo como percha para hablar de la previo al experimento. En el estudio intentan es-
-50-
Bioestadística para periodistas y comunicadores
-51-
Talleres Análisis de papers, comunicados de prensa y artículos periodísticos
minuye un 12% ([0,88 –1] x 100) respecto a los puede haber un riesgo de sesgo porque los en-
no tratados. Es decir, los pacientes sometidos a sayos no estén bien aleatorizados o controlados.
ese tratamiento tienen un 12% menos de riesgo No obstante, el análisis se hizo únicamente
de sufrir el suceso que los que toman placebo. para los estudios de alta calidad. La odds ratio
En el caso que se analiza, el intervalo de confian- en los estudios de homeopatía, con un valor de
za para las terapias homeopáticas es de 0,65 a 0,88, es no significativa, pues sólo representa
1,19. Comprende desde una reducción del ries- una mejoría del 12% respecto al placebo, explica
go del 35% ([0,65 –1] x 100) hasta un aumento Alonso. El intervalo de confianza, de 0,65 a 1,19,
del 19% ([1,19 –1] x 100), todo en términos rela- indica que la precisión es baja. Muestra tanto im-
tivos, no absolutos. portantes beneficios como perjuicios, por lo que
Continuamos con el ejercicio. ¿Qué tipo de estos estudios no son clínicamente relevantes.
estudio es? Es una revisión sistemática. Hay dos En este punto, Alonso aclara que cuando un in-
claves para reconocerlo. El estudio reúne lo que tervalo de confianza incluye el 1, esto quiere de-
hay publicado sobre un tema, es una búsque- cir que el tratamiento estudiado puede no tener
da exhaustiva. Además, evalúa la calidad de los ningún efecto positivo respecto al placebo.
estudios y para ello tiene en cuenta que los en- Cobo apunta que esto no quiere decir que
sayos sean a doble ciego (para evitar el sesgo ese tratamiento sea perjudicial, sino que el efec-
de realización) y que tengan la adecuada alea- to nulo es uno de los valores compatibles con
torización (para eliminar el sesgo de selección). los resultados observados para ese tratamiento;
Se asume que esos estudios tienen una meto- pero hay otros, unos positivos y otros negativos.
dología de mayor calidad y se escogen porque «Aquí aplica aquello de que ausencia de pruebas
los pacientes son dos grupos comparables, y ni no es prueba de ausencia», aclara Cobo. Alonso
pacientes ni médicos saben qué están tomando recalca que, para que pueda afirmarse que un
o prescribiendo. tratamiento reduce el riesgo, el intervalo de con-
¿Cuál es el criterio de valoración? La revisión fianza debe estar por debajo de 1. No obstante,
compara ensayos clínicos de medicina conven- aclara que, aun así, puede no ser clínicamente
cional de múltiples intervenciones frente a place- relevante por reducir muy poco el riesgo, resultar
bo, con todos los ensayos que encuentra de in- muy caro, tener efectos secundarios, etcétera. El
tervención homeopática frente a placebo. De los umbral varía en función de los efectos adversos y
homeopáticos hallaron más de 100 y buscaron de los inconvenientes.
otros tantos equivalentes de medicina conven- Seguimos analizando el intervalo de confianza
cional, que estudiaran las mismas enfermeda- en estudios equivalentes de alta calidad en me-
des y tratamientos parecidos, aunque evaluaran dicina convencional. Para estos casos, la odds
cosas diferentes. Luego metaanalizaron con un ratio es 0,58, lo que significa que los tratamientos
análisis estadístico conjunto todos los resulta- convencionales reducen el riesgo un 42% res-
dos de los estudios que comparaban homeo- pecto al placebo. El intervalo de confianza (0,39
patía frente a placebo, independientemente de a 0,85) está, en el peor de los casos, por debajo
lo que estuvieran comparando, y obtuvieron un de la unidad. La medicina convencional demues-
estimador global. Hicieron lo mismo con todos tra tener resultados positivos.
los estudios de tratamiento convencional frente a El intervalo de confianza cuantifica la magni-
placebo equivalentes a los de homeopatía, y así tud de la incertidumbre, añade Cobo, pero no
llegaron a tener dos estimadores. debe extraerse de él la idea de que el efecto es
Una de las conclusiones del artículo es que en diferente en distintos pacientes. Una de las pre-
ambos tipos de estudios, de homeopatía y de me- misas es que el efecto es el mismo en una misma
dicina convencional, los de baja calidad mostraron población. Asumiendo que el efecto es el mismo
un beneficio importante, mayor que los de alta ca- para todos los pacientes, el intervalo de confian-
lidad. Puede que, por intereses comerciales, sólo za indica cuáles son los valores plausibles para
se publiquen los casos positivos. Pero también este efecto común en una población.
-52-
Bioestadística para periodistas y comunicadores
-53-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Las condiciones
no son causas útiles
Cobo / Ventura
problems with
media coverage and how to do better
Steven Woloshin and Lisa M. Schwartz
The two basic ingredients of good decision mak- in the New York Times (fig. 1). This ad does not
ing are facts and values. Facts refer to the avail- present facts, it presents fear. It says be afraid:
able choices and the likely outcomes of their you may feel healthy, but guess what, you may
choices. Values refer to how much people care have colon cancer. It says you can never feel safe
about the different outcomes and the associated because even when you seem well you may re-
tradeoffs (e.g., the potential benefits and harms, ally be sick. The ad is also highly exaggerated
costs and inconveniences of their choices). Peo-
ple can only make good decision when they have
the facts and some clarity about their values.
This simple model of decision making high-
lights a basic problem: without the facts, people
cannot possibly make good decisions. They may
make a lucky decision and have a good out-
come, but not an informed decision consistent
with their values.
When it comes to medical care, people see
lots of messages. Unfortunately, many do not
provide the facts. Consider this colon cancer
screening advertisement from Sloan Kettering
–a major cancer hospital in New York– which ran Figure 1.
-55-
Seeing through the hype: problems with media coverage and how to do better
Figure 2.
since most 50 year olds who feel great and have The Light of Life Foundation (a disease aware-
a healthy appetite do not have –and will not ness group founded by a thyroid cancer survi-
get– colon cancer. For example, on average, a vor) ran a series of ads to promote thyroid cancer
50-year-old man has a 3 out of 1,000 chance of screening (fig. 3).
being diagnosed with colon cancer in the next 10 The ad depicts Rachel, age 14, “the day be-
years and 1 out of 1,000 chance of dying from it. fore she was diagnosed with thyroid cancer”.
Or consider this direct-to-consumer adver-
tisement (fig. 2) promoting a drug for osteopo-
rosis –thinning of bones (only the US and New
Zealand permit direct to consumer advertising
of prescription drugs– in the US, citizens are ex-
posed to over $4 billion of these ads each year,
ten times the FDA’s budget for evaluating new
drugs).
This ad looks like it presents facts –but it is
an illusion of facts. The “1 in 2” number greatly
exaggerates a woman’s risk of fracture. The “1 in
2” number includes both fractures that hurt (and
cause problems) and fractures that are small
(which can only be seen on x-rays and never
cause symptoms or problems). But most impor-
tantly, the vast majority of fractures from osteo-
porosis occur among women 75 and older –not
among women 50 to 75. The message in the fine
print reveals the true purpose of the ad: to make
women feel vulnerable and afraid. The print under
the numbers says: “You may be more vulnerable
than you think” (Fig. 2).
That a drug company might exaggerate risk
to sell a product is not so surprising. Seeing the
same tactic from a disease awareness group is. Figure 3.
-56-
Bioestadística para periodistas y comunicadores
-57-
Seeing through the hype: problems with media coverage and how to do better
us too scared or too hopeful. This is especially of humans. Moving from animals to humans is a
important for journalists. The media’s power to slow and uncertain process.
amplify and disseminate messages makes jour- After finding similar problems in medical jour-
nalists a prime target for exaggeration. nal press releases, we interviewed press officers
at major medical journals to better understand
how releases are written. The interviews gave us
Journalists’ sources exaggerate
insight into why press releases can be so prob-
Exaggeration often begins with journalist’s sourc- lematic. None of the journals had data presenta-
es. Researchers do this when they suggest their tion standards for press releases. Nor did any
findings apply to more people than they really require a statement about study limitations.4
do. Or when they are too certain about inherent- Medical journals, academic medical centers
ly weak science and fail to acknowledge study and researchers –all important sources for jour-
limitations. One way this plays out is through nalists– contribute to the problems with health
researcher quotes, a feature seen in almost all news. We now look at how these problems play
press releases. In a systematic review of press out in what is actually reported in the media. We
releases issued by academic medical centers, focus specifically on reporting in two high-risk
we judged one-quarter of researcher quotes as zones for exaggeration: scientific meeting pre-
“exaggerated”.2 For example, in a press release sentations and disease mongering.
titled “Scientists inhibit cancer gene. Potential
therapy for up to 30% of human tumors”, the
Too much, too soon: media reporting
lead investigator, said, “the implication is that a
on scientific meetings
drug therapy could be developed to reduce tu-
mors caused by Ras without significant side ef- Reporters routinely cover scientific meetings.
fects”. The researcher greatly exaggerated the These meetings, sponsored by large professional
implications of this study since it only involved organizations, have two purposes: they are a fo-
skin cancer in mice (no human testing for efficacy rum for scientists to present work to colleagues
or safety had been done). and represent an engine for generating me dia
In the same systematic review, we document- coverage. In fact, the effort courting the media is
ed other problems with the press releases –the often greater than the effort in vetting the scienc-
most direct way that academic medical centers es. In 2002 (when we conducted a study of media
communicate with journalists.2 Over one-third of coverage of scientific meetings), the Society for
the press releases failed to quantify the main re- Neuroscience received 15,000 abstracts for pre-
sult. When results were quantified, over half used sentation and accepted 100% of them (the only
formats known to exaggerate the magnitude of criteria for acceptance was membership of one
findings (for example, giving a relative change of the authors).5 The only review conducted by
without providing the base rate). Despite the fact the Neuroscience organization was to determine
that all studies have limitations, few press releases which abstracts would be promoted to the media.
mentioned them. Scientific meeting research is typically pre-
Many press releases promoted animal or lab liminary, may have limited relevance to human
research and specifically claimed that these stud- health, and has generally undergone limited –if
ies were relevant to human health. Nearly all (98%) any– peer review (i.e., reviewers typically have
failed to caution about problems translating such access only to the abstract –not the full manu-
research to humans. The need for caution was script). Nevertheless, research presented at sci-
highlighted in a systematic review of “high profile” entific meetings is often big news.
animal studies.3 On average, it took 14 years to To gauge the quality of these reports, we did
translate the animal research into human testing. a content analysis of news stories after five major
And only one-third of animal studies translated scientific meetings (World AIDS, American So-
into successful interventions in randomized trials ciety of Clinical Oncology, Radiological Society
-58-
Bioestadística para periodistas y comunicadores
-59-
Seeing through the hype: problems with media coverage and how to do better
the diagnosis and side effects from treatment Treatment is reserved for those with moder-
can be worse than the disease. The primary cul- ate-severe symptoms judged by frequency.
prits are drug companies who conduct disease In 2003, GlaxoSmithKline sought FDA ap-
promotion campaigns, run direct-to-consumer proval of Requip for restless legs. FDA review
drug ads, fund disease advocacy groups, subsi- generally takes about one year. Toward the end
dize physician education (CME, etc.) and pay for of this period, GlaxoSmithKline began launching
clinical trials. But the facilitator is the news media. a press campaign, beginning with press releases
They are a highly visible source of health informa- from presentations at the American Academy of
tion for consumers (and physicians and policy- Neurology meeting and a press releases from
makers). Because the news is more credible than a company funded (and unpublished survey):
advertisements, it is met with less skepticism. To “New survey reveals common yet under recog-
avoid being co-opted into the process, journal- nized disorder –restless legs– is keeping America
ists need to know how to recognize the signs and awake at night”. But FDA refused to approve the
symptoms of disease mongering. drug because the submitted studies were too
short (12 weeks) raising questions about long
term safety. The drug was finally approved in
Case study: a drug in search of a new use
2005 after Glaxo submitted a “long-term” study
and how the media helped
of 36 weeks. With approval, the drug company
Years ago, GlaxoSmithKline developed a drug sought to “push restless legs syndrome into the
called Requip. It was a drug for Parkinson’s dis- consciousness of doctors and consumers alike”
ease, but not a very successful –a third line drug– and began a 27 million U.S. dollar direct-to-con-
and it was going off-patent. There were some re- sumer advertising campaign. Within a year, drug
ports that Requip could be used for an obscure sales increased from $97 to $146 million.
movement disorder called Ekbom’s syndrome To explore the role of the news media, we
(now known as restless legs syndrome). We are looked at coverage of Requip during the cam-
going to show how GlaxoSmithKline extended paign.9 We identified and rated the 33 news
Requip’s patent protection by turning this ob- stories that appeared in major newspapers.
scure disorder into –according to their direct to Two-thirds of news stories simply repeated the
consumer drug ads– a “recognized medical con- “nearly 1 in 10 U.S. adults” prevalence estimates
dition. One shared by nearly 1 in 10 U.S. adults”.9 asserted in the drug company ads (a more critical
The story actually began in the late 90’s, reading of the prevalence studies suggests that
when the International Restless Legs Foundation <3% might need treatment, although even this
(a group of mostly industry funded scientists) cre- number is likely to be an overestimate). Three-
ated the definition of restless legs syndrome.10 To quarters of news stories discussed the extreme
have the diagnosis, a patient must have each of physical and emotional aspects (typically with a
the four standard criteria: patient anecdote), yet none presented any anec-
dote of mild disease. Forty-five percent blamed
1) An urge to move the legs due to an unpleasant doctors for being unaware of the diagnosis (e.g.,
feeling in the legs. “relatively few doctors know about restless legs.
This is the most common disorder your doctor
2) Onset or worsening of symptoms when at rest has never heard of”) or suggested that patients
or not moving around frequently. were unaware they were sick. One quarter re-
ferred readers to checklists for self-diagnosis and
3) Partial or complete relief by movement (e.g., for, for more information, to the “not for profit”
walking) for as long as the movement continues. Restless Legs Foundation. While the Foundation
is “not for profit”, its annual report discloses that,
4) Symptoms which occur primarily at night and by far, the major funder is GlaxoSmithKline –the
which can interfere with sleep or rest. makers of Requip. Glaxo is the only gold medal
-60-
Bioestadística para periodistas y comunicadores
-61-
Seeing through the hype: problems with media coverage and how to do better
2. Woloshin S, Schwartz L, Casella S, Kennedy A, Lar- third National Health and Nutrition Examination survey,
son R. Press releases by academic medical centers: 1988-1994. Eff Clin Pract. 1999;2:76-85.
not so academic? Ann Intern Med. 2009;150:613-8. 8. National Heart, Lung and Blood Institute. Clinical guide-
3. Hackam DG, Redelmeier DA. Translation of evidence lines on the identification, evaluation and treatment of
from animals to humans. JAMA. 2006;296:1731-2. overweight and obesity in adults. 1998. Available from:
4. Woloshin S, Schwartz L. Press releases: translating http://www.ncbi.nlm.nih.gov/books/NBK2003/
research into news. JAMA. 2002;287:2856-8. 9. Woloshin S, Schwartz L. Giving legs to restles legs: a
5. Schwartz L, Woloshin S, Baczek L. Media coverage case study of how the media helps make people sick.
of scientific meetings: too much, too soon? JAMA. PLoS Med. 2006;3:452-5.
2002;287:2859-63. 10. Allen R, Picchietti D, Hening W, Trenkwalder C, Wal-
6. Woloshin S, Schwartz L. Media reporting on research ters A, Montplaisi J. Restless legs syndrome: diagnos-
presented at scientific meetings: more caution need- tic criteria, special considerations, and epidemiology.
ed. Med J Aust. 2006;184:576-80. A report from the restless legs syndrome diagnosis
7. Schwartz L, Woloshin S. Changing disease definitions: and epidemiology workshop at the National Institutes
implications for disease prevalence. Analysis of the of Health. Sleep Medicine. 2003;4:101-19.
-62-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Los modelos de previsión
reducen la incertidumbre,
no la anulan
Elmore / Ventura
Sometimes the medical news may not be fit to “Raloxifene may decrease the risk
print: the research is so preliminary or so inher- of endometrial cancer
ently weak that reporting it would more likely mis- in post-menopausal women”
lead than inform the public. For example, stories Meeting abstract, American Society
about a new miracle diet, or cancer breakthrough of Clinical Oncology 1998 meeting
–stories which often arise out of abstracts pre-
sented at scientific meetings that have not under- When this abstract was presented at a plenary
gone peer review, or uncontrolled human studies. session at the 1998 ASCO meeting, several
Nevertheless, journalists often feel pressure to re- news outlets covered the story, including the Wall
port on such studies. Street Journal.1 The abstract reported on what
What should journalists do when the news is seemed to be a major advance: a relatively new
not fit to print? Ideally they would not report it. medication which behaved differently than others
But if they have to report it, they should always in its class which increased the risk of endome-
include strong cautions to alert readers to ques- trial (uterine cancer).
tions about the validity, meaning or generalizabil- The investigators presented results from a
ity of the research. In this essay, we will use real randomized trial of raloxifene, a selective estro-
examples to review cautions about research that gen receptor modulator, or placebo which in-
may sound exciting but is very preliminary or in- cluded 7704 postmenopausal women (mean age
herently weak. 66.5 years) with osteoporosis (based on hip or
-63-
Seeing through the hype: Garbage! When the news is not fit to print
spine bone density at least 2 standard deviations written into the study protocol, rather than ex-
below normal or a history of vertebral fractures). cluded after the data were analyzed (we have
The study was “designed to test the hypothesis not been able to ascertain which was the case
that women assigned to receive raloxifene will in this trial). Another theoretical concern about
have a lower risk of fractures than women as- this finding is whether the scrutiny was similar for
signed to placebo”. But the main result reported both the raloxifene and placebo groups. If not,
in the ASCO abstract was not about the primary the investigators will have introduced bias. For
outcome –osteoporosis– but about endometrial example, if researchers looked harder for endo-
cancer. Of course, endometrial cancer is not the metrial cancers in women in the raloxifene group
same as osteoporotic fractures. compared to the placebo group (and excluded
While it is perfectly legitimate for a study to re- any found) this would bias the study in favor of
port on multiple outcomes, these outcomes need the drug because preexisting cancers would still
to be specified in advance. Otherwise, surprise count against placebo. Fortunately, based on the
findings –which may reflect chance alone may protocol, the level of scrutiny was appeared to be
be over interpreted. That is, taken as strong evi- the same in both groups in this trial.
dence for a treatment effect rather than a hypoth- Assuming the exclusions were legitimate, the
esis generating finding which needs confirmation fact that removing two cases had such a dra-
in a subsequent trial. For example, if 20 random matic effect highlights a second concern: the
outcomes are assessed after a trial is completed, results are very unstable. The magnitude of the
1 will be statistically significant –have a p value risk reduction increased from 62% (relative risk
less than 0.05 – just by chance. While endome- = 0.38 ) to 87% (relative risk = 0.13) and the p-
trial cancer was a pre-specified study outcome, value changed from not statistically significant
the researchers’ hypothesis was the opposite: (p = 0.232) to statistically significant (p = 0.045).
they were concerned it might increase cancer, a This instability reflects the preliminary nature of
harm associated with raloxifene’s rival, the drug the report. The study was not over –only a frac-
tamoxifen. In fact, according to the trial protocol, tion of the final data was collected. While the re-
assessing the drug’s effect on endometrial cancer searchers did not report the number of cancers
was designated as a safety issue, not as a poten- found in either the raloxifene or placebo groups,
tial benefit.2 the number must have been very small. Waiting
Contrary to their hypothesis, they found that a little longer to accrue more data, a few more
raloxifene decreased endometrial cancer: since cases might flip the findings back.
this decrease in endometrial cancer was not a In fact, waiting for more data did reverse the
pre-specified hypothesis, the finding should be finding. When final study results were reported
considered a “surprise” and interpreted cautiously. in JAMA,3 raloxifene no longer had any effect on
How much did raloxifene decrease the risk of uterine cancer (Table 1).
endometrial cancer? According to the abstract, Not only were the findings different, the same
“compared with the rate in the placebo group, authors made a big change to their message. In
the overall relative risk of endometrial cancer is the scientific meeting abstract, they wrote that
0.38 (p = 0.232). If two cases diagnosed within the “Raloxifene may decrease the risk of endo-
one month of randomization are excluded, the metrial cancer in post-menopausal women”.
estimate of relative risk is 0.13 (p = 0.045)”. While In the JAMA article published 1 year later, they
one may question the legitimacy of excluding wrote “Raloxifene did not increase the risk of en-
data (particularly when doing so generates a de- dometrial cancer”. The JAMA message reflects
sirable finding), the rationale for exclusion may be their original hypothesis that endometrial cancer
reasonable –the drug is unlikely to have had such was a safety concern.
a rapid effect, so the two cancers were probably Here is how we would have rewritten the find-
present at the time of randomization. It would be ings presented at the scientific meeting: “There
reassuring to know that such exclusions were was a trend toward a lower rate of uterine cancer
-64-
Bioestadística para periodistas y comunicadores
but it may be due to chance and it is too early in is extremely difficult to learn much about how well
the study to say. This was not the main outcome the treatment works. It is possible that equivalent
being studied. We are not very confident in these patients who did not get the drug would have
results”. done worse (meaning Iressa helped). But it is
This example highlights the fundamental prob- also possible that the patients would have done
lem with early results –they turn out not to be true no better or even worse (meaning Iressa caused
(as in this case) or they may change substantially. harm). Here’s the first red flag for journalists and
When they report on scientific meeting presen- readers –“Because everyone took Iressa, it is ex-
tations, journalists should raise a red flag for tremely hard to know if Iressa had anything to do
their readers. Our suggestion for this cautionary with the outcome”.
note is “These preliminary findings may change Even if this study were a randomized trial, a
because the study has not been independently second fundamental problem exists: the primary
vetted through peer review and all the data are outcome was a surrogate measure –tumor shrink-
not yet in”. (Note: this caution and the ones that age (by half or more). The study found that 10%
follow are summarized in the tip sheet: How to of the 216 patients had tumor shrinkage.5 It is a
highlight study cautions. See Apéndice, p. 80.) big leap of faith to assume that tumor shrinkage
means less suffering or death from lung cancer.
There are three reasons why this is a leap of faith.
“Drug advances bring new hope
Tumor shrinkage may be followed by period rapid
to cancer battle –New treatments
growth. Or the tumor may shrink in an unimport-
block ‘switches’ that turn cells malignant”
ant area that does not affect a person’s health.
Wall Street Journal
Finally, spread in rest of body may be much more
Other major U.S newspapers echoed the excite- important than tumor shrinkage. So again, read-
ment of the Wall Street Journal headline: “Drug ers need a cautionary note: ”This study measured
shrinks lung tumors” Washington Post, “Major tumor shrinkage –an x-ray finding that patients do
step in cancer fight” Houston Chronicle, “Pill not directly experience. Be cautious about acting
shows significant results in battling advanced on these findings since changes in these kinds of
lung cancer” The Milwaukee Journal Sentinel. measures don’t reliably translate into people feel-
Lung cancer is a terrible disease, one for which ing better or living longer”.
we do not have very effective treatments, so a Despite these two fundamental limitations, the
real breakthrough would be wonderful news. Is study received a lot of enthusiastic press. This
this new drug really a breakthrough? initial press coverage illustrates the beginning of
To understand whether this enthusiasm is an unfortunately common cycle. The cycle begins
warranted involves looking at the science behind with great news –typically with breathless excite-
the headlines.4 The study followed 216 patients ment about a new technology. But terrible news
with advanced lung cancer who were all given quickly follows –when side effects start to emerge
the new treatment –Iressa. Unfortunately, there as more people take the drug. In the case of Ir-
was no control group. Without a control group, it essa, this happened with reports of drug-related
-65-
Seeing through the hype: Garbage! When the news is not fit to print
deaths in Japan where the drug was already ap- nal Iressa study (where all of the patients received
proved for the treatment of advanced small cell Iressa). The “new” study found that eight of the
lung cancer. Here is an excerpt from the Wall nine patients who responded to Iressa (experi-
Street Journal’s story titled “AstraZeneca drug enced tumor shrinkage) had a specific genetic
used to fight cancer is tied to 124 deaths”: “Side mutation while none of the seven patients who
effects from the cancer-fighting drug Iressa have had not responded to Iressa lacked the mutation.
resulted in 124 deaths in Japan, a government But since all patients with the mutation received
official here said, as a ministry panel set stricter Iressa, there is (as described above) no way to
guidelines for the drug’s use. .... Early studies know if the mutation predicted response to the
showed lung-cancer patients who hadn’t been drug. Unfortunately, subsequent work failed to
helped by other therapies recovered impressively confirm that the genetic mutation predicted re-
after taking Iressa [the impressive recovery refers sponse to this class of drugs.
to the study above where only 10% of patients Even worse, the phase III study (required by
had tumor shrinkage], but the large number of se- the FDA as part of the accelerated approval pro-
vere side effects prompted AstraZeneca to issue gram) did not find any survival benefit from Iressa.
a safety warning to Japanese doctors in October”. In this randomized trial of 1,700 lung cancer pa-
Despite the report of deaths in Japan, the tients, the Iressa group had a median survival of
U.S. Food and Drug Administration (FDA) ap- 5.6 months vs. 5.1 months in the placebo group.8
proved Iressa.6 In fact, this was their first acceler- The FDA then pulled the drug from the market,
ated approval –a new program to more rapidly only allowing it for compassionate use.9 Figure 1
approve drugs for dangerous diseases with lim- summarizes the Iressa and the news cycle.
ited treatment options– like lung cancer –based
on early studies. Accelerated approval is typically
“Major cancer breakthrough? New drug
conditional upon confirmation of the results in a
potential ‘holy grail’ for treatment
randomized trial post-approval. The Wall Street
of cancer”
Journal was extremely enthusiastic about this de-
CBS Healthwatch, The Early Show
cision. Their editorial board wrote: “A rare victory
at the FDA. When an FDA advisory panel con- Excessive hope about cancer drugs did not end
vened Tuesday to consider AstraZeneca’s appli- with Iressa story. A major breakthrough in 2009
cation for the cancer drug Iressa, it was expected started with a The New England Journal of Medi-
to send the company back for more data. But cine article about “Parp inhibitors” (drugs which
spurred on by powerful testimony from patients inhibit poly (ADP ribose) polymerase) in cancer
who would almost surely be dead without the patients who had BRCA mutations.10 It is hard to
drug, and over the apparent objections of hyper- exaggerate the exaggeration of the three major
cautious FDA staffers, the panel voted 11-3 to national television news networks.11 In addition to
recommend Iressa for accelerated approval”. the CBS story, NBC Nightly news reported “Now
Hope was even higher when another study we turn to what some are calling the most impor-
was published in The New England Journal of tant cancer treatment breakthrough in a decade”,
Medicine.7 This study received hyperbolic cov- and ABC news “New hope: cancer treatment”.
erage –particularly on the U.S. national news. To distinguish hope from hype, we need to
NBC national news ran a segment “Scientists understand the science behind the headlines.
announce major breakthrough in treatment of This study measured what happened to 19 pa-
lung cancer with Iressa”. The segment featured tients with BRCA1 or BRCA2 mutations with
the story of a young woman with children whose ovarian, breast or prostate cancer. After about 5
tumor melted away and quotes experts who say months of follow-up, 63% had either stable dis-
the drug will save thousands of lives. Surprisingly, ease (stable tumor markers) or response (defined
the The New England Journal of Medicine article as 30% or more tumor shrinkage on x-ray). This
was reporting on 16 of the patients from the origi- study was a phase I study –an uncontrolled study
-66-
Bioestadística para periodistas y comunicadores
Figure 1.
using a surrogate outcome– just like the Iressa good for your general health, but keeping up
study. Publication in The New England Journal with your girlfriends may also reduce your risk of
of Medicine seemed to trump the weakness of developing breast cancer. In a recent study, re-
the science (which many journalists recognized). searchers at the University of Chicago report that
In fact, some asserted that since The New Eng- lonely women may be at greater risk of breast
land Journal of Medicine typically does not pub- cancer. The theory? Stress and anxiety caused
lish this kind of uncontrolled study it must mean by social isolation may have the power to in-
that this study was very important. Sadly, once crease the growth of tumors in the breast.”
again, the randomized trial did not show a dif- Is it really possible that all you need to do is
ference in cancer death –and the drug company spend some time with your friends to reduce
has abandoned pursuing approval.
your risk of breast cancer? This magazine story
The Parp inhibitor story reinforces the lessons
is based on a study published in the prestigious
of Iressa –be extremely cautious about uncon-
journal, Proceedings of the National Academy of
trolled studies and surrogate outcomes. But it
Sciences.12
also holds another important lesson: recognize
The story, however, wildly extrapolates findings
pseudo-evidence. Publication in a medical jour-
from a study of 40 rats. Half the rats were ran-
nal –even The New England Journal of Medi-
domized to live alone from 1 month of birth until
cine– does not guarantee the findings are true (or
even important). We can all agree that giving false death (the other lived in groups of five-female rats).
hope to sick patients is a real disservice. Rats were just as likely to develop a breast tumor
regardless of isolation; however isolated rats de-
veloped more and larger tumors.
“Your friends may be as powerful Does this really mean that your friends are as
as anticancer drugs powerful as “anticancer drugs”? Inbred rats, ge-
in the fight against breast cancer” netically altered so they are predisposed to develop
Women’s Day (magazine), October 2010
breast cancer are not typical rats. And, of course,
“Do you get together with friends often? Here’s even typical rats are not like typical humans. Nor
an important reason to accept your pal’s book is total, lifelong isolation the same as refusing your
club invitation: An active social life is not only pal’s book club invitation or feeling lonely.
-67-
Seeing through the hype: Garbage! When the news is not fit to print
If we had to write about this study, here is what 2. Comparison of raloxifene hydrochloride and placebo
we would say: “News only a mutant rat could use in the treatment of postmenopausal women with
(maybe). This study of mutant rats forced to live osteoporosis (MORE) trial protocol NCT00670319.
in total lifelong isolation has no direct meaning Available at: http://clinicaltrials.gov/ct2/show/NCT-
on cancer risk for humans or even ordinary rats. 00670319www.clinicaltrials.gov
3. Cummings S, Eckert S, Krueger K. The effect of raloxi-
Don’t get stressed out by this study of stress.
fene on risk of breast cancer in postmenopausal wom-
And don’t feel like you have to change your social
en: results from the MORE randomized trial. JAMA.
behaviors. The level of social isolation in this rat
1999;281:2180-97.
study was far more extreme than any human be-
4. Wolosshin S, Schwartz L. What’s the rush? The dis-
ing could ever experience.” semination and adoption of preliminary research re-
While test-tube and animal studies can be sults. J Natl Cancer Inst. 2006;98:372-3.
fundamentally important, the problem is claiming 5. Pollack A. Drug’s approval hints at flexibility in FDA pro-
imminent relevance to human health. In a sys- cess. New York Times. May 6, 2003;C; Column 5: 1.
tematic review of “high profile” animal studies, 6. United States Food and Drug Administration. Questions
it took an average of 14 years to translate the and answers on Iressa (gefitinib). 2005. (Accessed Jan-
animal research into human testing.13 And only uary 28, 2006.) Available at: http://www.fda.gov/cder/
one-third of animal studies translated into suc- drug/infopage/iressa/iressaQ&A2005.htm
cessful interventions in randomized trials of hu- 7. Lynch T, Bell D, Sordella R. Activating mutations in the
mans. Moving from animals to humans is a slow epidermal growth factor receptor underlying respon-
siveness of non-small-cell lung cancer to gefitinib.
and uncertain process.
N Engl J Med. 2004;350:2129-39.
When reporting on such research, extrapolate
8. Pollack A. Lung-cancer drug shows unfavorable trial
with caution. Do not tell people what to worry
results. New York Times. December 20, 2004;C; Col-
about –or do– based on very preliminary animal or
umn 1: 2.
lab science. We recommend cautioning readers 9. Pollack A. FDA restricts access to cancer drug, citing
that “It takes many years to learn if the findings of ineffectiveness. New York Times. June 18, 2005; C;
animal [lab] studies apply to people. Many prom- Column 1: 2.
ising animal [lab] studies fail to pan out in people”. 10. Fong PC, Boss DS, Yap TA, Tutt A, Wu P, Mergui-
Sometimes the news is not fit to print. Con- Roelvink M, et al. Inhibition of poly(ADP-ribose)
sider asking your editor whether you can skip it. polymerase in tumors from BRCA mutation carriers.
If you have to report it, always include STRONG N Engl J Med. 2009;361:123-34.
cautions. These will help readers avoid over in- 11. Woloshin S, Schwartz L, Kramer B. Promoting healthy
terpreting the findings –and may even sway your skepticism in the news: helping journalists get it right.
editor against covering the study after all. J Natl Cancer Inst. 2009;101:1596-9.
12. Hermes G, Delgado B, Tretiakova M. Social isolation
dysregulates endocrine and behavioral stress while in-
References
creasing malignant burden of spontaneous mammary
1. Schwartz L, Woloshin S, Baczek L. Media coverage tumors. PNAS. 2009;106:22393-8.
of scientific meetings: too much, too soon? JAMA. 13. Hackam DG, Redelmeier DA. Translation of evidence
2002;287:2859-63. from animals to humans. JAMA. 2006;296:1731-2.
-68-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
El azar permite cuantificar
la precisión del muestreo
Cobo / Ventura
Gonzalo Casino
-69-
33 mensajes clave sobre bioestadística para periodistas y comunicadores
-70-
Bioestadística para periodistas y comunicadores
-71-
La variabilidad, esa amiga de la vida
Cobo / Ventura
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Bibliografía
-73-
La ciencia acompaña sus afirmaciones
de medidas de incertidumbre
Ventura
Apéndice
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE Nº 26
Numbers glossary
-77-
Statistics glossary
-78-
Bioestadística para periodistas y comunicadores
-79-
How to highlight study cautions
-80-
CUADERNOS DE LA FUNDACIÓN DR. ANTONIO ESTEVE
1. Guardiola E, Baños JE. Eponímia mèdica catalana. Quaderns de la Fundació Dr. Antoni Esteve, Nº 1.
Barcelona: Prous Science; 2003.
2. Debates sobre periodismo científico. A propósito de la secuenciación del genoma humano: interacción de
ciencia y periodismo. Cuadernos de la Fundación Dr. Antonio Esteve, Nº 2. Barcelona: Prous Science; 2004.
3. Palomo L, Pastor R, coord. Terapias no farmacológicas en atención primaria. Cuadernos de la Fundación
Dr. Antonio Esteve, Nº 3. Barcelona: Prous Science; 2004.
4. Debates sobre periodismo científico. En torno a la cobertura científica del SARS. Cuadernos de la
Fundación Dr. Antonio Esteve, Nº 4. Barcelona: Prous Science; 2006.
5. Cantillon P, Hutchinson L, Wood D, coord. Aprendizaje y docencia en medicina. Traducción al español de
una serie publicada en el British Medical Journal. Cuadernos de la Fundación Dr. Antonio Esteve, Nº 5.
Barcelona: Prous Science; 2006.
6. Bertomeu Sánchez JR, Nieto-Galán A, coord. Entre la ciencia y el crimen: Mateu Orfila y la toxicología en
el siglo xix. Cuadernos de la Fundación Dr. Antonio Esteve, Nº 6. Barcelona: Prous Science; 2006.
7. De Semir V, Morales P, coord. Jornada sobre periodismo biomédico. Cuadernos de la Fundación Dr.
Antonio Esteve, Nº 7. Barcelona: Prous Science; 2006.
8. Blanch Ll, Gómez de la Cámara A, coord. Jornada sobre investigación en el ámbito clínico. Cuadernos de
la Fundación Dr. Antonio Esteve, Nº 8. Barcelona: Prous Science; 2006.
9. Mabrouki K, Bosch F, coord. Redacción científica en biomedicina: Lo que hay que saber. Cuadernos de la
Fundación Dr. Antonio Esteve, Nº 9. Barcelona: Prous Science; 2007.
10. Algorta J, Loza M, Luque A, coord. Reflexiones sobre la formación en investigación y desarrollo de
medicamentos. Cuadernos de la Fundación Dr. Antonio Esteve, Nº 10. Barcelona: Prous Science; 2007.
11. La ciencia en los medios de comunicación. 25 años de contribuciones de Vladimir de Semir. Cuadernos
de la Fundación Dr. Antonio Esteve, Nº 11. Barcelona: Fundación Dr. Antonio Esteve; 2007.
12. Debates sobre periodismo científico. Expectativas y desencantos acerca de la clonación terapéutica.
Cuadernos de la Fundación Dr. Antonio Esteve, Nº 12. Barcelona: Fundación Dr. Antonio Esteve; 2007.
13. Gonzàlez-Duarte R, coord. Doce mujeres en la biomedicina del siglo xx. Cuadernos de la Fundación Dr.
Antonio Esteve, Nº 13. Barcelona: Fundación Dr. Antonio Esteve; 2007.
14. Mayor Serrano MB. Cómo elaborar folletos de salud destinados a los pacientes. Cuadernos de la
Fundación Dr. Antonio Esteve, Nº 14. Barcelona: Fundación Dr. Antonio Esteve; 2008.
15. Rosich L, Bosch F, coord. Redacció científica en biomedicina: El que cal saber-ne. Quaderns de la
Fundació Dr. Antoni Esteve, Nº 15. Barcelona: Fundació Dr. Antoni Esteve; 2008.
16. El enfermo como sujeto activo en la terapéutica. Cuadernos de la Fundación Dr. Antonio Esteve, Nº 16.
Barcelona: Fundación Dr. Antonio Esteve; 2008.
17. Rico-Villademoros F, Alfaro V, coord. La redacción médica como profesión. Cuadernos de la Fundación
Dr. Antonio Esteve, Nº 17. Barcelona: Fundación Dr. Antonio Esteve; 2009.
18. Del Villar Ruiz de la Torre JA, Melo Herráiz E. Guía de plantas medicinales del Magreb. Establecimiento de
una conexión intercultural. Cuadernos de la Fundación Dr. Antonio Esteve, Nº 18. Barcelona: Fundación
Dr. Antonio Esteve; 2009.
19. Gonzàlez-Duarte R, coord. Dotze dones en la biomedicina del segle xx. Quaderns de la Fundació Dr. Antoni
Esteve, Nº 19. Barcelona: Fundació Dr. Antoni Esteve; 2009.
20. Serés E, Rosich L, Bosch F, coord. Presentaciones orales en biomedicina. Aspectos a tener en cuenta para
mejorar la comunicación. Cuadernos de la Fundación Dr. Antonio Esteve, Nº 20. Barcelona: Fundación Dr.
Antonio Esteve; 2010.
21. Francescutti LP. La información científica en los telediarios españoles. Cuadernos de la Fundación Dr.
Antonio Esteve, Nº 21. Barcelona: Fundación Dr. Antonio Esteve; 2010.
22. Guardiola E, Baños JE. Eponímia mèdica catalana (II). Quaderns de la Fundació Dr. Antoni Esteve, Nº 22.
Barcelona: Fundació Dr. Antoni Esteve; 2011.
23. Mugüerza P. Manual de traducción inglés-español de protocolos de ensayos clínicos. Cuadernos de la
Fundación Dr. Antonio Esteve, Nº 23. Barcelona: Fundación Dr. Antonio Esteve; 2012.
24. Marušić A, Marcovitch H. Competing interests in biomedical publications. Main guidelines and selected
articles. Esteve Foundation Notebooks, Nº 24. Barcelona: Esteve Foundation; 2012.
25. De Semir V, Revuelta G, coord. El periodismo biomédico en la era 2.0. Cuadernos de la Fundación Dr.
Antonio Esteve, Nº 25. Barcelona: Fundación Dr. Antonio Esteve; 2012.
Para solicitar cuadernos ya publicados diríjanse por escrito a la Fundación Dr. Antonio Esteve, c/ Llobet i Vall-Llosera nº2, 08032 Barcelona,
o a través de la página web: www.esteve.org.