ARTCULO ESPECIAL

Evaluacin de la evidencia cientfica

Albert J. Jovella y Mara D. Navarro-Rubiob
a

Agncia dAvaluaci de Tecnologia Mdica. Servei Catal de la Salut. Departament de Sanitat i Seguretat Social. bDivisi dAtenci Primria. Hospital Mtua de Terrassa. Barcelona.

tecnologa sanitaria, anlisis coste-beneficio

El proceso de evaluacin de tecnologas sanitarias discurre a travs de tres fases complementarias. En la primera fase se evalan los aspectos tcnicos, los posibles riesgos y la eficacia de la tecnologa sanitaria en su interaccin con los sujetos humanos sanos y enfermos. En esta fase se tienen en cuenta las caractersticas de la tecnologa a evaluar y de la condicin clnica a la que se intenta aplicar. En una segunda fase se evalan la seguridad, la efectividad y la idoneidad de la tecnologa en un contexto sanitario concreto y en el grupo especfico de pacientes que se pueden beneficiar de la misma. En la tercera fase de evala el impacto global de la tecnologa o intervencin sanitaria, es decir, las consecuencias ticas, sociales y econmicas de su introduccin, adopcin y difusin en un sistema sanitario concreto. Las dos ltimas fases constituyen la denominada fase de contextualizacin de la evaluacin de tecnologas mdicas1. Las tres fases mencionadas permiten distinguir cules son los dos objetivos bsicos de la evaluacin de las tecnologas sanitarias. El primer objetivo consiste en la valoracin de la seguridad, la eficacia, la efectividad y la relacin coste-consecuencia derivada de la posible adopcin de una tecnologa sanitaria en la prctica mdica habitual. El segundo objetivo es la valoracin de las posibles consecuencias ticas, econmicas y sociales que se pueden derivar de la introduccin, y posterior adopcin, de una nueva tecnologa sanitaria o procedimiento mdico en el sistema sanitario. El cumplimiento de estos objetivos debera constituir un elemento fundamental en el proceso de toma de decisiones en torno a la introduccin y la adopcin de una innovacin sanitaria en la prctica mdica habitual o respecto a la nueva indicacin clnica de una nueva tecnologa ya adoptada con anterioridad. La informacin dada por el proceso global de evaluacin debera ser determinante en la adopcin de una nueva (o existente) intervencin sanitaria por parte de los profesionales sanitarios, en su aceptacin por parte de la sociedad y en la toma de decisiones relativas a su financiacin y/o provisin por los sistemas sanitarios pblicos. Las recomendaciones respecto a la decisin de adoptar o no una nueva tecnologa o procedimiento mdico formuladas por las agencias e instituciones de evaluacin de tecnologas sanitarias deberan surgir del anlisis y sntesis de la evidencia disponible en la literatura cientfica, as como de la valoracin de otro tipo de informacin adicional de carcter clnico, tcnico y financiero. El anlisis y la sntesis de la informacin disponible comprende la valoracin y la clasificacin previa de la evidencia segn el rigor cientfico y la calidad de la misma. Cuando el rigor cientfico es escaso o controvertido, el informe de evaluacin debe indicar de forma explcita la necesidad de llevar a cabo estrategias especficas de investigacin. Tales estrategias son imprescindibles para poder recomendar la introduccin y la adopcin
Correspondencia: Dr. A.J. Jovell. Agncia dAvaluaci de Tecnologia Mdica. Travessera de les Corts, 131-159. Pavell Ave Maria. 08028 Barcelona. Manuscrito aceptado el 15-4-1995

de la tecnologa a evaluar en la prctica mdica habitual. La misin del proceso de evaluacin es la de valorar si los mritos cientficos de una tecnologa justifican su uso en humanos para indicaciones clnicas especficas y en contextos sanitarios concretos. Los objetivos del presente artculo son: 1) describir las principales escalas de clasificacin de la evidencia cientfica disponibles; 2) presentar el esquema de gradacin utilizado en la Agncia dAvaluaci de Tecnologia Mdica (AATM), y 3) introducir el proceso de formulacin de recomendaciones a partir del anlisis y de la sntesis de la evidencia cientfica. Niveles de evidencia cientfica Las escalas de clasificacin de la evidencia cientfica diferencian de forma jerrquica los distintos niveles de la evidencia en funcin del rigor cientfico del diseo del estudio. El esquema de gradacin se construye a partir del reconocimiento de la capacidad diferencial de los diversos tipos de diseos para determinar la evidencia cientfica. Diferencias inherentes a las caractersticas del diseo determinan, a su vez, la magnitud y el rigor cientfico de las recomendaciones en torno a la idoneidad de las condiciones de adopcin y difusin de una nueva tecnologa sanitaria o procedimiento mdico en la prctica clnica habitual. Hay diferentes escalas de gradacin de la calidad de la evidencia cientfica, todas ellas muy similares entre s. En la tabla 1 se describe la clasificacin o gradacin de la evidencia cientfica formulada inicialmente en 1979 por la Canadian Task Force on the Periodic Health Examination2 y adaptada con posterioridad por el mismo grupo3 y por la U.S. Preventive Services Task Force4. En la tabla 2 se describe una clasificacin propuesta por The Swedish Council on Technology Assessment in Health Care (SBU) en funcin del rigor cientfico de los diferentes tipos de diseos5. Las clasificaciones de la evidencia cientfica se basan en el mayor rigor cientfico de determinadas caractersticas del diseo en comparacin con otras posibles alternativas metodolgicas. Los aspectos del diseo que estn asociados a un mayor rigor cientfico son: la asignacin aleatoria a los grupos experimental y control de la intervencin sanitaria a evaluar, la existencia de un grupo control concurrente en el tiempo, el sentido prospectivo del estudio, el enmascaramiento de los pacientes e investigadores participantes respecto a la tecnologa objeto de estudio y la inclusin en el estudio de un nmero de pacientes suficiente como para detectar diferencias estadsticamente significativas en la determinacin del efecto verdadero de la tecnologa o procedimiento que se evala. Una descripcin de las caractersticas del diseo de un estudio que influyen en la calidad y en el rigor cientfico de los resultados puede encontrarse en la literatura6,7. Anlisis de la evidencia cientfica Los esquemas de gradacin de la evidencia cientfica constituyen la primera etapa en el proceso de evaluacin de una

Med Clin (Barc) 1995; 105: 740-743

740

A.J. NOVELL Y M.D. NAVARRO-RUBIO EVALUACIN DE LA EVIDENCIA CIENTFICA

tecnologa sanitaria. Las clasificaciones descritas en el apartado anterior tienen ciertas limitaciones, al no poder discriminar entre las posibles diferencias de calidad y rigor cientfico que puedan existir entre dos estudios situados en el mismo nivel de evidencia cientfica, por ejemplo 2 ensayos aleatorizados y controlados, cuando stos producen resultados contradictorios. Podra darse el caso de que un estudio de menor gradacin cientfica presentara una mayor calidad y rigor en comparacin con otro situado en un nivel superior en el esquema de clasificacin. La validez interna de un estudio caso-control bien diseado podra ser mayor que la de un ensayo controlado no aleatorizado en el que se produjera un sesgo de seleccin en la asignacin de los pacientes. Con el objeto de mejorar los esquemas de gradacin de la evidencia cientfica antes descritos, se propone un sistema de clasificacin que tiene en cuenta adems del diseo del estudio una valoracin especfica de su calidad. El esquema de gradacin propuesto por la AATM se describe en la tabla 3. Esta clasificacin considera en el anlisis de la evidencia, adems del tipo de diseo, las denominadas condiciones de rigurosidad cientfica. Estas condiciones permiten seleccionar, cuando se producen resultados dispares, el mejor estudio entre los de diseo similar o de igual nivel de evidencia. El esquema de gradacin de la evidencia cientfica propuesto en la tabla 3 es similar a los descritos en las tablas 1 y 2. La diferencia fundamental que presenta, aparte de la inclusin de las condiciones de rigurosidad, es la consideracin del metaanlisis como el diseo de mayor rigor cientfico8. Esto se debe a que el metaanlisis puede presentar la mejor combinacin de validez interna u homogeneidad del diseo y validez externa o capacidad de generalizar los resultados a la poblacin general. A pesar de sus ventajas, el metaanlisis no est exento de sesgos ni limitaciones9,10. En el caso del metaanlisis o revisin cuantitativa, las condiciones de rigurosidad sealan un mayor rigor cientfico si se analizan datos de pacientes individuales megaanlisis11, se tienen en cuenta las posibles diferencias entre estudios metarregresin12, los estudios incluidos son homogneos y consistentes con respecto a los resultados, los ensayos seleccionados han sido valorados mediante un protocolo de calidad13 y los resultados obtenidos se han confirmado por ms de un mtodo de anlisis estadstico14. En el caso de que los estudios seleccionados para el metaanlisis fueran heterogneos o de baja calidad, habra que plantear la posibilidad de que el rigor cientfico y la calidad de un nico ensayo aleatorizado y controlado fuera mayor que la del metaanlisis. Hay que tener en cuenta la heterogeneidad en el nivel de calidad de los ensayos controlados y aleatorizados15,16. Las restantes categoras del esquema de gradacin propuesto en la tabla 3 distinguen el mayor rigor cientfico de los diseos que presentan una mejor combinacin de valiTABLA 1 Niveles de calidad de la evidencia cientficaa
I II-1 II-2 II-3 III
a

dez interna y de validez externa. Un poder estadstico que avale la significacin estadstica de los resultados, la asignacin aleatoria de la intervencin a evaluar y la presencia de un grupo control concurrente indican un mayor control del sesgo y del error sistemtico en el diseo del estudio y, por lo tanto, una mayor validez interna17,18. El carcter multicntrico del estudio debera suponer la participacin de mltiples instituciones sanitarias, de pacientes de diversas procedencias y de diferentes estilos de prctica clnica, lo que garantizara una mayor validez externa. La valoracin del estudio se complementa con el anlisis de la calidad del mismo con respecto a diferentes factores relacionados con el tipo de diseo y la metodologa del anlisis estadstico. TABLA 2 Clasificacin de la evidencia cientfica segn el rigor cientficoa
01 Ensayo controlado y aleatorizado con una muestra grande 02 Ensayo controlado y aleatorizado con una muestra pequea 03 Ensayo no aleatorizado con controles coincidentes en el tiempo 04 Ensayo no aleatorizado con controles histricos 05 Estudio de cohorte 06 Estudio de casos y controles 07 Estudios transversales 08 Vigilancia epidemiolgica (bases de datos o registros) 09 Serie consecutiva de casos 10 Notificacin de un caso aislado (ancdota)
a

Tomado de Goodman C5. De rigor mximo (1) a rigor mnimo (10).

TABLA 3 Niveles de calidad de la evidencia cientfica. Esquema propuesto por la AATM

Nivel Tipo de diseo Condiciones de rigurosidad cientfica*

Metaanlisis de ensayos controlados y aleatorizados

II

Ensayo controlado y aleatorizado de muestra grande Ensayo controlado y aleatorizado de muestra pequea Ensayo prospectivo controlado no aleatorizado Ensayo prospectivo controlado no aleatorizado Estudios de cohorte

III

IV

No heterogeneidad Diferentes tcnicas de anlisis Metarregresin Megaanlisis Calidad de los estudios Evaluacin del poder estadstico Multicntrico Calidad del estudio Evaluacin del poder estadstico Calidad del estudio Controles coincidentes en el tiempo Multicntrico Calidad del estudio Controles histricos Calidad del estudio Multicntrico Apareamiento Calidad del estudio Multicntrico Calidad del estudio Multicntrico

VI

Evidencia obtenida a partir de al menos un ensayo aleatorizado y controlado diseado de forma apropiada Evidencia obtenida a partir de ensayos controlados no aleatorizados y bien diseados Evidencia obtenida a partir de estudios de cohorte o casocontrol bien diseados, realizados preferentemente en ms de un centro o por un grupo de investigacin Evidencia obtenida a partir de mltiples series comparadas en el tiempo con o sin intervencinb Opiniones basadas en experiencias clnicas, estudios descriptivos o informes de comits de expertos

VII VIII

De mayor (I) a menor (III) calidad de diseo y rigor cientfico. Tomado de U.S. Preventive Task Force4. bEste tipo de evidencia tambin incluye resultados dramticos producidos en experimentos incontrolados, como son los derivados de la introduccin de la penicilina en los aos cuarenta.

IX

Estudios de casos y controles Series clnicas no controladas Estudios descriptivos: vigilancia epidemiolgica, encuestas, registros, bases de datos Comits de expertos Ancdotas o casos nicos

*Complementado por las caractersticas descritas en la tabla de evidencia. De mayor (I) a menor (III) rigor cientfico.

741

MEDICINA CLNICA. VOL. 105. NM. 19. 1995

TABLA 4 Idoneidad de las recomendaciones segn la calidad de la evidencia cientficaa

Grado de las recomendaciones Niveles de calidad

A: existe ADECUADA evidencia cientfica para recomendar la adopcin de la tecnologa B: existe CIERTA evidencia cientfica para recomendar la adopcin de la tecnologa C: existe una INSUFICIENTE evidencia cientfica, por lo que la decisin de adoptar la tecnologa debe basarse en otros criterios D: existe una CIERTA evidencia cientfica para recomendar la no adopcin de la tecnologa E: existe una ADECUADA evidencia cientfica para recomendar la no adopcin de la tecnologa
a

I II-1 II-1 II-2 II-3 III II-1 II-2 I II-1

certidumbres y ausencias de conocimiento en la interpretacin de la evidencia cientfica. Una ltima tcnica de sntesis, an en fase de desarrollo, es la denominada sntesis de diseos cruzados que combina los resultados de ensayos aleatorizados y controlados con estudios de tipo observacional21. El anlisis de la evidencia cientfica se completa con la valoracin de las implicaciones ticas y de la aceptabilidad social de la tecnologa objeto de evaluacin. Formulacin de recomendaciones A partir del anlisis y de la clasificacin de la evidencia cientfica descrita en la tabla 1, pueden formularse recomendaciones en torno a la idoneidad de las condiciones de adopcin de una tecnologa sanitaria o procedimiento mdico22. El esquema de gradacin de las recomendaciones ms utilizado en la literatura mdica se describe en la tabla 44. La clasificacin descrita califica a la evidencia cientfica como adecuada (grado A) cuando permite formular recomendaciones conclusivas, como cierta (grado B) cuando es factible expresar recomendaciones no concluyentes y como insuficiente (grado C) cuando no se puede manifestar ningn tipo de valoracin. Un ejemplo de la aplicabilidad clnica de los esquemas de recomendaciones basados en la evidencia se describe en la tabla 523. Este ltimo esquema ha sido modificado por sus autores por otro de mayor complejidad que considera la inclusin del metaanlisis, as como la valoracin, en este ltimo tipo de diseo, de la significacin clnica del efecto teraputico combinado y del grado de heterogeneidad de los estudios seleccionados24. Las futuras escalas de recomendaciones basadas en la calidad de la evidencia cientfica deberan hacer ms nfasis en la valoracin de las condiciones de aplicabilidad del diseo y la metodologa de anlisis estadstico. La valoracin de la aplicabilidad del diseo considerar los diferentes aspectos que definen la validez interna y externa del estudio17,18. El anlisis estadstico permite valorar la magnitud del beneficio teraputico estimado de la tecnologa, a partir del clculo del efecto clnico combinado mediante tcnicas metaanalticas y/o a travs de la estimacin del nmero de pacientes en los que se necesita aplicar ese procedimiento con objeto de obtener los resultados clnicos deseados25. Las escalas de recomendaciones revisadas en este apartado slo califican como buena a la evidencia cientfica procedente de metaanlisis y de ensayos aleatorizados y controlados. Esto supone un obstculo en la evaluacin de tecnologas o procedimientos en los que la asignacin aleatoria no es tica, no existe tratamiento estndar con que comparar o el diseo aleatorizado y controlado precisa de un gran nmero de pacientes y/o un largo perodo de seguimiento para proporcionar la evidencia necesaria y/o no permite reproducir las condiciones de la prctica clnica habitual. Estas ltimas situaciones son frecuentes en el proceso de evaluacin de tecnologas sanitarias. Los posibles inconvenientes y ventajas de adoptar o evitar el ensayo controlado y aleatorizado como estndar ideal de diseo en la evaluacin de las tecnologas o procedimientos sanitarios, en comparacin a otros diseos, pueden encontrarse en la literatura mdica26. De todas maneras, la evaluacin de una tecnologa sanitaria o procedimiento mdico debera considerar, siempre que sea posible, los resultados procedentes de diseos controlados27. Estos diseos permiten comparar los beneficios, riesgos y costes de la tecnologa a evaluar con los de las posibles alternativas en condiciones de aplicacin equivalentes. A pesar del debate existente en torno a cul debera ser el diseo ideal, el proceso de evaluacin de tecnologas sanitarias supone la consideracin de toda la informacin disponi-

Al no abordar un ejemplo concreto el contenido de esta tabla es slo orientativo, dado que la relacin entre las recomendaciones y los niveles de eviencia cientfica tienen en cuenta el impacto de la enfermedad en la poblacin, las caractersticas de la intervencin y, sobre todo, el tipo de diseo. Adaptado de U.S. Preventive Task Force4.

TABLA 5 Relacin entre los niveles de calidad de la evidencia cientfica y el grado de recomendacionesa
Nivel de calidad de la evidencia cientfica Grado de recomendacinb

I: ensayos aleatorizados con una muestra grande y resultados bien definidos (y un riesgo bajo de error estadstico tipo y ) II: ensayos aleatorizados con una muestra pequea (y un riesgo moderado a alto de error estadstico tipo y ) III: estudios no aleatorizados, controles concurrentes en el tiempo IV: estudios no aleatorizados, controles histricos V: estudios no controlados, series clnicas
a

B C

El esquema de recomendaciones se define en la tabla 4. bTomada de Sackett DL23.

La evaluacin de la evidencia cientfica se completa cuando, adems de valorar el tipo de diseo, se tienen en cuenta otras consideraciones relacionadas con la metodologa del estudio y las caractersticas de la intervencin sanitaria que se evala. Las tablas de evidencia contribuyen a contextualizar las recomendaciones formuladas en funcin de otras consideraciones no inherentes al diseo del estudio y relacionadas con la tecnologa sanitaria objeto de evaluacin. stas son: la condicin clnica o el problema de salud objeto de intervencin, las caractersticas de los pacientes y de los proveedores, el tipo de intervencin y la forma de provisin, la relevancia clnica de los posibles resultados clnicos y el tipo de institucin sanitaria donde se va a adoptar la tecnologa. Las tablas antes descritas ponen en evidencia toda la informacin que se debe considerar en el proceso de evaluacin de una tecnologa sanitaria antes de recomendar su introduccin y adopcin en la prctica mdica habitual. Ejemplos de esas tablas estn en la literatura19,20. La informacin descrita en las tablas de evidencia permiten la aplicacin de las tcnicas de sntesis de la evidencia con el propsito de valorar la utilizacin de la tecnologa en grupos especficos de la poblacin y/o circunstancias clnicas concretas anlisis de decisiones clnicas o el impacto de la misma cuando se tienen en cuenta otro tipo de factores, como son los costes anlisis coste-efectividad. En este sentido, el metaanlisis tambin debera considerarse una tcnica de sntesis, debido a que no podra aplicarse sin la existencia de ensayos controlados y aleatorizados o estudios epidemiolgicos a combinar. Otras tcnicas de sntesis, ms complejas y poco comunes, se basan en la elaboracin de modelos de simulacin o en la aplicacin de modelos matemticos de tipo multivariable que permiten clarificar las in-

742

A.J. NOVELL Y M.D. NAVARRO-RUBIO EVALUACIN DE LA EVIDENCIA CIENTFICA

bles y su clasificacin mediante tablas de evidencia cientfica que permiten considerar aspectos complementarios al mtodo utilizado. El informe de evaluacin debera explicar los criterios en los que se basan las recomendaciones formuladas, incluyendo la procedencia de la informacin analizada, el esquema utilizado para clasificar la evidencia cientfica, la descripcin de las tablas de evidencia y la interpretacin de su contenido, la metodologa de sntesis de la evidencia y el anlisis de las posibles consecuencias econmicas, sociales y ticas que se pueden anticipar como resultado de la adopcin y difusin de la tecnologa sanitaria evaluada. Conclusiones Las recomendaciones sobre la introduccin, la adopcin y la difusin de una tecnologa sanitaria en la prctica mdica habitual deberan estar avaladas por la confirmacin cientfica de su seguridad, eficacia, efectividad y relacin costeconsecuencia. La aplicacin de una tecnologa o procedimiento sanitario (nuevo o adoptado) para una indicacin clnica cuya idoneidad no est probada cientficamente plantea problemas de tipo tico que precisan ser estudiados y abordados mediante propuestas concretas de evaluacin. El proceso de evaluacin de tecnologas sanitarias supone la formulacin de recomendaciones basadas en el anlisis, la sntesis y la contextualizacin de la evidencia cientfica. Las escalas de clasificacin de la evidencia cientfica contribuyen a determinar la calidad y el rigor cientfico de la informacin disponible. La gradacin de la evidencia cientfica permite establecer recomendaciones objetivas respecto al uso apropiado de la tecnologa evaluada. Las tablas de evidencia cientfica permiten la consideracin en el proceso evaluador de otro tipo de caractersticas necesarias para contextualizar las recomendaciones formuladas. Las tcnicas basadas en el anlisis de decisiones clnicas y en el anlisis econmico contribuyen a completar el proceso evaluador al considerar otros factores, diferentes a los resultados procedentes de la evidencia cientfica, determinantes en la adopcin y difusin de la tecnologa. El proceso evaluador se ampla y completa con la inclusin de una valoracin de las consecuencias sociales, ticas y econmicas derivadas de la introduccin, adopcin y difusin de la tecnologa en un sistema sanitario concreto28. Este proceso puede culminar con la elaboracin y aplicacin de las guas de prctica clnica29 y la determinacin del nivel de cobertura sanitaria del sistema. En el caso de que la gradacin de la informacin disponible indique la carencia, insuficiencia o controversia de la evidencia cientfica respecto a la utilizacin de una tecnologa concreta no debera recomendarse su adopcin universal en la prctica mdica habitual. Su utilizacin tendra que restringirse al contexto de un protocolo de investigacin experimental en instituciones sanitarias seleccionadas que permitiera obtener la evidencia que se quiere evaluar. En este sentido, se debera reflexionar en torno a cules son los principios ticos que justifican la adopcin y difusin de una tecnologa sanitaria en la prctica mdica habitual cuando no existe evidencia cientfica sobre los posibles riesgos y beneficios derivados de su aplicacin a sujetos humanos. En otras palabras, sin conocer los resultados del proceso de evaluacin no se debera recomendar la provisin de una tecnologa30. Quiz, si Hipcrates tuviera que rehacer su cdigo tico, al primer principio: no hacer dao le aadira un pie de nota que dijera: antes de utilizar, primero investigar y evaluar. La produccin y la evaluacin de la evidencia cientifica constituyen la primera etapa del proceso.

Agradecimiento
Los autores agradecen los comentarios y las sugerencias realizadas a una versin preliminar del artculo por ngela Boland, Josep M. Borrs, Alicia Granados y Laura Sampietro-Colom.
REFERENCIAS BIBLIOGRFICAS 1. 2. 3. Granados A. La evaluacin de tecnologas mdicas. Med Clin (Barc) 1995; 104: 581-585. Canadian Task Force on the Periodic Health Examination. The Periodic Health Examination. Can Med Ass J 1979; 121: 1.193-1.254. Wolff SM, Battista RN, Anderson GM et al. Assessing the clinical effectiveness of preventive maneuvers: analytic principals and systematic methods in reviewing evidence and developing clinical practice recommendations. A report by the Canadian Task Force on the Periodic Health Examination. J Clin Epidemiol 1990; 43: 891-905. U.S. Preventive Task Force. Guide to clinical preventive services: an assessment of the effectiveness of 169 interventions. Baltimore: Williams and Wilkins, 1989. Goodman C. Literature Searching and evidence interpretation for assessing health care practices. Estocolmo: The Swedish Council on Technology Assessment in Health Care, 1993. lvarez-Dardet C, Bolmar F, Porta-Serra M. Tipos de estudios. Med Clin (Barc) 1987; 89: 296-301. Fowks FGR, Fulton PM. Critical appraisal of published research: introductory guidelines. Br Med J 1991; 302: 1.136-1.140. Chalmers TC, Lau J. Meta-analytic stimulus for changes in clinical trials. Stat Meth Med Res 1993; 2: 161-172. Chalmers TC. Problems induced by meta-analyses. Stat Med 1991; 10: 971-980. Eysenck H. Meta-analysis and its problems. Br Med J 1994; 309: 789-792. Early Breast Cancer trialistss collaborative Group. Tratment of early breast cancer Volume 1. Wordlwide evidence 1985-1990. Oxford: Oxford University Press, 1990. Kasiske BL, Kalil RSN, Ma JZ et al. Effect of antihypertensive therapy on the kidney in patients with diabetes: a meta-regression analysis. Ann Intern Med 1993; 118: 129-138. Chalmers TC, Smith M, Blackbum B et al. A method for assessing the quality of a randomized controlled trial. Control Clin Trials 1981; 2: 3149. Dickersin K, Berln JA. Meta-analysis: state-of-the science. Epidemiol Rev 1992; 14: 154-176. Gotzsche PC. Methodology of overt and hidden bias in reports of 196 double-blind trials of nonsteroidal antiinflammatory drugs in rheumatoid arthritis. Control Clin Trials, 1989; 10: 31-56. Sacks HS, Berier J, Reitman D, Pagano D, Chalmers TC. Meta-analysis of randomized control trials: and update of the quality and methodology. En: Bailar JC, Mosteller F, editores. Medical uses of statistics (2.a ed.). Boston: NEJM Books, 1992; 427-442. Porta-Serra M, lvarez-Dardet C, Bolmar F et al. La calidad de la informacin clnica (I): validez. Med Clin (Barc) 1987; 89: 741-747. Plasencia A, Porta-Serra M. La calidad de la informacin clnica (II): significacin estadstica. Med Clin (Barc) 1988; 90: 122-126. Eddy DM. A manual for assessing health practices and designing practice policies: the explicit approach. Filadelfia: American College of Physicians, 1992. Morris RD, Lau J, Arena NJ, Nardine FE, Chalmers TC. A clinical trials database as a research tool in health care. Online J. Current Clin Trials 1992; 17 de julio de 1992; 14. Droitcours J, Silberman G, Chelimsky E. Cross-design synthesis. A new form of meta-analysis for combining results from randomized clinical trials and medical-practice databases. Int J Technol Assess Health Care 1993; 9: 440-449. U.S. Preventive Services Task Force. Screening for adolescent idiopathic scoliosis. Policy statement. JAMA 1993; 269: 2.664-2.666. Sackett DL. Rules of evidence and clinical recommendations on the use of antithrombotic agents. Chest 1989; 95 (Supl): 2-3. Cook DJ, Guyatt GH, Laupacis A, Sackett DL. Rules of evidence and clinical recommendations on the use of antithrombotic agents. Chest 1992; 102 Supl 305-311. Laupacis A, Sackett DL, Roberts RS. Assessment of clinically useful measures of the consequences of treatment. N Engl J Med 1988; 318: 1.728-1.733. Warren KS, Mosteller F, editores. Doing more good than harm: the evaluation of health care interventions. Nueva York: New York Academy of the Sciences, 1993. Bonfill X, Porta-Serra M. Es necesario un grupo control? Med Clin (Barc) 1987; 89: 429-435. Granados A, Borrs JM. Technology assessment in Catalonia: integrating economic appraisal. Soc Sci Med 1994; 38: 1.643-1.646. Jovell AJ, Navarro-Rubio MD. Guas de prctica clnica. FMC 1995; 2: 152-156. Jennet B. Health technology assessment. The rule should be no evaluation - no tecnology. Br Med J 1992; 305: 67-68.

4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16.

17. 18. 19. 20. 21.

22. 23. 24. 25. 26. 27. 28. 29. 30.

743