Evaluacion de La Salud Publica

GACETA SANITARIA
Vol. 25 - Monogrfico 1 - Junio 2011
ISSN: 0213-9111
EVALUACIN EN SALUD PBLICA

Editores: Manel Nebot y M Jos Lpez
Junio 2011 - Volumen 25 - Monogrfico 1 - Pginas 1-55

R E V I S TA E S PA O L A D E S A L U D P B L I C A Y A D M I N I S T R A C I N S A N I TA R I A
R E V I S TA E S PA N Y O L A D E S A L U T P B L I C A I A D M I N I S T R A C I S A N I T R I A
R E V I S TA E S PA O L A D E S A D E P B L I C A E A D M I N I S T R A C I N S A N I TA R I A
O S A S U N P U B L I K O E TA S A N I TA L A D M I N I S T R A Z I O R A K O E S PA I N I A R A L D I Z K A R I A
Revista Fundada en 1888 como Gaceta Sanitaria de Barcelona
Comit editorial
Directora
Carme Borrell (Barcelona)
Directora asociada
M. Felicitas Domnguez-Berjn (Madrid)
Editores asociados
Carlos lvarez-Dardet (Alicante)
Clara Bermdez Tamayo (Granada)
Pere Godoy (Lleida)
Mara Jos Lpez (Barcelona)
Miguel Angel Negrn (Las Palmas de G.C.)
Glria Prez (Barcelona)
Napolen Prez-Farins (Madrid)
Marisol Rodrguez (Barcelona)
Alberto Ruano (Santiago de Compostela)
Carmen Vives Cases (Alicante)
Consejo asesor
Rosa Mara Alberdi (Sevilla)
Jordi Alonso (Barcelona)
Carlos lvarez-Dardet (Alicante)
Josep Maria Ant (Barcelona)
Francisco Bolmar (Alicante)
Xavier Bonfill (Barcelona)
Josep Maria Borrs (Barcelona)
Francesc Borrell (Barcelona)
Juan Cabass (Pamplona)
Jaume Canela (Washington)
Miguel Carrasco (Madrid)
Merc Casas (Barcelona)
Xavier Casas (Barcelona)
Xavier Castells (Barcelona)
Concha Colomer (Valencia)
Alfonso Contreras (Washington)
M. Corral (Madrid)
Jaume Costa (Bruselas)
Jos Ignacio Cuervo (Barcelona)
Antonio Cueto (Oviedo)
Miguel Delgado (Jan)
Marta Durn (Madrid)

Lena Ferrs (Barcelona)
Gonal Foz (Barcelona)
Fernando G. Benavides (Barcelona)
Ana M. Garca (Valencia)
Juan J. Grvas (Madrid)
Miguel Gili (Sevilla)
M. O. Gimnez (Cdiz)
Luis I. Gmez (Zaragoza)
Carlos Alberto Gonzlez (Barcelona)
Isabel Izarzugaza (Vitoria)
Pablo Lzaro (Madrid)
Flix Lobo (Madrid)
Guillem Lpez-Casasnovas (Barcelona)
Gonzalo Lpez-Abente (Madrid)
Esteban de Manuel (Zaragoza)
Jos Mara Martn Moreno (Valencia)
Elvira Mndez (Barcelona)
Conchi Moreno (Pamplona)
Carlos Murillo (Barcelona)
Manel Nebot (Barcelona)
Andreu Nolasco (Alicante)

Manuel Oorbe (Madrid)
Vicente Ortn (Barcelona)
Armando Peruga (Ginebra)
Antoni Plasncia (Barcelona)
Jaume Puig (Barcelona)
Eduard Portella (Barcelona)
Francisco Pozo (Madrid)
Oriol Ramis (Barcelona)
Fernando Rodrguez-Artalejo (Madrid)
Joan Rovira (Barcelona)
Montse Ru (Lleida)
Dolores Ruiz (Madrid)
Llus Salleras (Barcelona)
Emilio Snchez-Cantalejo (Granada)
Andreu Segura (Barcelona)
Jordi Sunyer (Barcelona)
Maties Torrent (Ma)
Joan Ramon Villalb (Barcelona)
M. Victoria Zunzunegui (Madrid)
Entidades que patrocinan Gaceta Sanitaria mediante suscripciones institucionales
El contenido de esta publicacin refleja exclusivamente las conclusiones, hallazgos y opiniones de los autores y no del
Comit Editorial, Consejo Asesor, SESPAS o Sociedades federadas ni de los patrocinadores, presentndose
como un servicio a los profesionales sanitarios
Revista Fundada en 1888 como Gaceta Sanitaria de Barcelona
GACETA SANITARIA
rgano Oficial de la Sociedad Espaola
de Salud Pblica
y Administracin Sanitaria
www.elsevier.es/gs
ISSN: 0213-9111
Periodicidad: 6 nmeros al ao.
Dirigida a:
Profesionales de la Salud Pblica, la Epidemiologa, la Medicina
Preventiva y Comunitaria, y la Administracin y Gestin de
Servicios Sanitarios.
Incluida en: Medline/Pubmed, Science Citation Index Expanded,
Social Sciences Citation Index, IME, Toxline, Cancerlit, Aidsline,
Cab Health, EMBASE, Cuiden, MEDES, Scielo, Eventline,
Healthstar, SCOPUS.
Correspondencia cientfica:
ELSEVIER ESPAA, S.L.
Travesera de Gracia, 17-21 08021 Barcelona
Tel.: 932 000 711 Fax: 932 091 136.
Correo electrnico: gs@elsevier.com
Publicidad y relaciones institucionales:
SuportServeis
Calvet, 30 08021 Barcelona
Tel.: 932 017 571
Correo electrnico: rosaroda@suportserveis.com
Copyright 2011 Elsevier Espaa, S.L. - SESPAS.
ELSEVIER ESPAA, a los efectos previstos en el artculo 32.1 prrafo segundo del
vigente TRLPI, se opone de forma expresa al uso parcial o total de las pginas de Gaceta
Sanitaria con el propsito de elaborar resmenes de prensa con fines comerciales.
Cualquier forma de reproduccin, distribucin, comunicacin pblica o transformacin
de esta obra slo puede ser realizada con la autorizacin de sus titulares, salvo
excepcin prevista por la ley. Dirjase a CEDRO (Centro Espaol de Derechos
Reprogrficos, www.cedro.org) si necesita fotocopiar o escanear algn fragmento
de esta obra.
Suscripciones y atencin al cliente:

Elsevier Espaa, S.L.
Travesera de Gracia, 17-21. 08021 Barcelona
Tel.: 902 888 740
Correo electrnico: suscripciones@elsevier.com
Tarifa suscripcin anual:
Profesionales
Instituciones
IVA incluido
109,99
278,45
Precios vlidos slo para Espaa
Los socios de SESPAS o de Sociedades federadas incluyen Gaceta

Sanitaria dentro de su cuota de asociacin
Proteccin de datos: Elsevier Espaa, S.L., declara cumplir lo dispuesto

por la Ley Orgnica 15/1999, de 13 de diciembre, de Proteccin de Datos de
Carcter Personal.
Miembro de la Asociacin de Prensa Profesional
Seccin: Ciencias de la Salud
Depsito Legal: B. 27.056-1987
Impresin: Hurope, S.L.
Papel ecolgico libre de cloro.
Esta publicacin se imprime en papel no cido.
This publication is printed in acid-free paper.
Reservados todos los derechos.

El contenido de la presente publicacin no puede ser reproducido ni transmitido por ningn procedimiento electrnico o mecnico, incluyendo fotocopia, grabacin magntica, ni registrado por ningn sistema de recuperacin
de informacin, en ninguna forma, ni por medio alguno, sin la previa autorizacin por escrito del titular de los derechos de explotacin de la misma.
Travesera de Gracia, 17-21. 08021 Barcelona

Tel. 932 000 711. Fax: 932 091 136
Jos Abascal, 45, Planta 3 28003 Madrid
Tel. 914 021 212. Fax: 914 250 423
Sociedades Federadas a SESPAS (www.sespas.es)

Asociacin de Economa de la Salud
Asociacin de Juristas de la Salud
Asociacin Madrilea de Administracin Sanitaria
Hipatia
Red Espaola de Atencin Primaria

Sociedad Canaria de Salud Pblica
Sociedad Espaola de Epidemiologa
Sociedad Espaola de Epidemiologa Psiquitrica

Sociedad Espaola de Sanidad Ambiental
Societat de Salut Pblica de Catalunya i Balears
Asociacin de Enfermera Comunitaria
Junta Directiva SESPAS
Presidentes y representantes de Sociedades
Andreu Segura (Presidente)

Lluis Bohigas (Presidente saliente)
M. Dolores Fiuza (Vicepresidenta)
Hermelinda Vanaclocha (Secretaria)
Rosa M. Urbanos (Tesorera)
Soledad Mrquez (Vocala de
Informe SESPAS)
M. Luisa Vazquez (Vocala de relaciones
internacionales)
Anna Garca-Alts (Vocala Gaceta
Sanitaria)
Santi Prez Hoyos (Vocala web)
Temticas
Juan Oliva Moreno (Asociacin de Economa de la Salud)
Fernando G. Benavides (Sociedad Espaola de Epidemiologa)
Jos Ma Ordez Iriarte (Sociedad Espaola de Sanidad Ambiental)
Isabel Montero (Sociedad Espaola de Epidemiologa Psiquitrica)
Luis Garca Olmos (Red Espaola de Atencin Primaria)
Rafael lvaro Milln Calenti (Asociacin de Juristas de la Salud)
Jos Ramn Martnez (Asociacin de Enfermera Comunitaria)
Territoriales
Francisco Cuberta (Hipatia)
Juan Francisco Aguiar Rodrguez (Sociedad Canaria de Salud Pblica)
ngel Fernndez (Asociacin Madrilea de Administracin Sanitaria)
Montserrat Casamitjana (Societat de Salut Pblica de Catalunya i Balears)
Consejo Directivo SESPAS
Sumario
Monogrfico 1 Vol. 25 Junio 2011
EVALUACIN EN SALUD PBLICA

Editores: Manel Nebot y M Jos Lpez
1 Valorando la efectividad de las intervenciones en salud pblica: la fuerza
de los diseos evaluativos dbiles
Manel Nebot y Csar Victora
3 Evaluacin de la efectividad en salud pblica: fundamentos conceptuales y metodolgicos

Manel Nebot, M Jos Lpez, Carles Ariza, Joan R. Villalb y Anna Garca-Alts
9 Diseos evaluativos en salud pblica: aspectos metodolgicos

M Jos Lpez, Marc Mar-DellOlmo, Anna Prez-Gimnez y Manel Nebot
17 Evaluacin de polticas y planes de salud

Joan R. Villalb y Ricard Tresserras
25 Evaluacin econmica de intervenciones de salud pblica

Anna Garca-Alts, Encarna Navas y M Jess Soriano
32 La evaluacin del proceso en relacin con la evaluacin de la efectividad: experiencias

de programas en el medio escolar
Carles Ariza, Joan R. Villalb, Francesca Snchez-Martnez y Manel Nebot
40 La evaluacin de tecnologas sanitarias en intervenciones de salud pblica: ms vale prevenir

que curar?
Mireia Espallargues, Joan M.V. Pons, Caridad Almazn y Oriol de Sol-Morales
49 Evaluacin de la efectividad de los programas de vacunacin

Eva Borrs, ngela Domnguez y Lluis Salleras
Contents
Vol. 25 Supplement 1 June 2011
PUBLIC HEALTH EVALUATION

Editors: Manel Nebot and M Jos Lpez
1 Evaluating the effectiveness of public health interventions: the strength of weak designs
Manel Nebot and Csar Victora
3 Effectiveness assessment in public health: conceptual and methodological foundations

Manel Nebot, M Jos Lpez, Carles Ariza, Joan R. Villalb and Anna Garca-Alts
9 Evaluative designs in public health: methodological considerations

M Jos Lpez, Marc Mar-DellOlmo, Anna Prez-Gimnez and Manel Nebot
17 Evaluation of health policies and plans

Joan R. Villalb and Ricard Tresserras
25 Economic evaluation of public health interventions

Anna Garca-Alts, Encarna Navas and M Jess Soriano
32 Process evaluation in relation to effectiveness assessment: experiences with school-based

programs
Carles Ariza, Joan R. Villalb, Francesca Snchez-Martnez and Manel Nebot
40 Health technology assessment in public health interventions: is prevention better than cure?
Mireia Espallargues, Joan M.V. Pons, Caridad Almazn and Oriol de Sol-Morales
49 Assessing the effectiveness of vaccination programs

Eva Borrs, ngela Domnguez and Lluis Salleras
Gac Sanit. 2011;25(Supl 1):1-2
Valorando la efectividad de las intervenciones en salud pblica: la fuerza

de los diseos evaluativos dbiles
Manel Nebota,b,c,d,* y Csar Victorad,e,f
Agencia de Salud Pblica de Barcelona, Barcelona, Espaa
CIBER de Epidemiologa y Salud Pblica (CIBERESP), Espaa
c
Departamento de Ciencias Experimentales y de la Salud, Universitat Pompeu Fabra, Barcelona, Espaa
d
Institut dInvestigacions Biomdiques Sant Pau (IIB Sant Pau), Barcelona, Espaa
e
Programa de Pos-Grado en Epidemiologa, Universidad Federal de Pelotas, Pelotas, Brasil
f
Department of International Health, Bloomberg School of Public Health, Johns Hopkins University, Baltimore, Estados Unidos
a
Desde hace algunos aos asistimos a un creciente debate conceptual y metodolgico sobre la necesidad (y sobre todo la forma) de
superar el paradigma del diseo experimental en la evaluacin de
resultados en salud pblica1,2. Para algunos autores no tiene sentido
empearse en buscar indicadores objetivos de efectividad, que slo
podran valorarse en el contexto especfico en que se produce la intervencin, por lo que debemos concentrarnos en entender desde
dentro los mecanismos del cambio que sigue a un programa3. Efectivamente, la imposibilidad de controlar todos los factores relevantes
que influyen en la intervencin, especialmente los contextuales, y de
encontrar grupos de control equivalentes para valorar el efecto contrafactual, nos obligan a buscar mtodos y abordajes distintos.
En una posicin pragmtica, podemos tratar de buscar evidencias
de efecto combinando la identificacin de indicadores de cambio con
la valoracin de la atribucin del cambio a la intervencin4. El primer
paso sera la demostracin de que se ha producido un efecto o cambio (lo que se ha llamado adecuacin de la intervencin), y a continuacin deberamos investigar hasta qu punto podemos atribuir con
un cierto grado de certeza el cambio observado a la intervencin, lo
que podramos llamar plausibilidad. As, en la evaluacin de algunas
polticas pblicas como la ley de tabaquismo o las normativas de seguridad vial, deberamos constatar un cambio de los indicadores seleccionados y, adems, relacionarlos con las medidas adoptadas en la
implementacin de las polticas, sean radares de control de velocidad, inspecciones en locales, campaas de sensibilizacin o cualquier otra medida encaminada a alcanzar los objetivos. Siempre que sea
posible, es importante tambin demostrar que ha habido cambios en
indicadores intermedios de las cadenas causales, por ejemplo en
ventas de cigarrillos o en la velocidad de los vehculos.
En cualquier caso, no hay duda de que los planteamientos apropiados para la evaluacin de la efectividad de intervenciones teraputicas, que permiten un alto grado de control de las covariables y
de los potenciales confusores, no son adecuados para evaluar intervenciones complejas, con componentes mltiples y dependientes
del marco social, cultural o econmico. Se puede afirmar que si en la
investigacin clnica la modificacin de efectos (o la heterogeneidad
entre los resultados de distintos estudios) es la excepcin, en salud
pblica es la regla.
De hecho, las metodologas de estimacin de impacto en salud, que
no miden directamente los efectos de las intervenciones sino que tratan de estimarlos de forma indirecta a partir de la combinacin de
estudios epidemiolgicos y datos de exposicin, se estn utilizando
cada vez ms para valorar consecuencias en salud de polticas pblicas5. Supone todo esto que debemos renunciar a la medida del efecto
con los diseos evaluativos clsicos? Ciertamente no, pues sera absurdo dejar de utilizar un grupo de comparacin si est disponible,
pero debemos ser muy conscientes de las limitaciones a la inferencia

causal de efectividad que se pueden derivar de las diferencias entre los
grupos. En este sentido, cabe sealar que hay ciertas metodologas
(propensity score, regression discontinuity) que pueden mejorar el
tratamiento de los sesgos de seleccin. Sin embargo, en muchas ocasiones no podremos utilizar un grupo de comparacin, por lo que ser
an ms importante utilizar criterios como la consistencia de resultados con mtodos distintos y la comprensin del proceso. La formulacin de un modelo conceptual o marco lgico nos permitir definir
los indicadores a corto, medio y largo plazo, de proceso y de resultados, y garantizar que nuestro modelo de recoleccin de datos y de
anlisis estadstico tiene en cuenta tales indicadores.
Obviamente queda mucho camino por recorrer, pero empezamos
a disponer de propuestas de partida, que debern ser elaboradas en
un largo y esperamos que rico y fructfero proceso de reflexin, debate y consenso. A esta reflexin esperamos que pueda contribuir la
presente monografa, en la cual se abordan algunos de los aspectos
principales de la evaluacin de la efectividad en salud pblica, en
particular los relativos a los diseos cuasi-experimentales y no experimentales, en ocasiones llamados diseos evaluativos dbiles.
En el primer artculo se describen y analizan las bases conceptuales y metodolgicas de la evaluacin en salud pblica, y se debate
sobre las limitaciones de los abordajes convencionales, revisando algunas de las propuestas orientadas a superarlas. En el segundo se
abordan algunos de los principales aspectos metodolgicos de la
evaluacin en salud pblica. Se identifican y explican los principales
diseos evaluativos, analizando sus ventajas y limitaciones. Asimismo, se describe brevemente el anlisis estadstico ms utilizado para
cada diseo. El tercer captulo ilustra con diversos ejemplos los retos
en la evaluacin de polticas y planes de salud, y las formas de abordarlos para obtener indicadores que sean de ayuda en la toma de
decisiones en planificacin y gestin. En el cuarto se esbozan e ilustran con algunos ejemplos los principales mtodos utilizados en la
evaluacin econmica, de gran relevancia actualmente en los sistemas sanitarios y de salud. En el quinto artculo se presentan algunos
ejemplos de evaluacin de programas de promocin de la salud en la
escuela, que permiten identificar aspectos relevantes del proceso a
tener en cuenta en la evaluacin, ya que permiten comprender los
mecanismos implicados en el efecto de las intervenciones. El sexto
trata de los conceptos y mtodos en la evaluacin de los programas
vacunales, con ejemplos procedentes de programas aplicados en
nuestro entorno. Finalmente, en el sptimo captulo se analiza el papel de la evaluacin de tecnologas en el marco general de la evaluacin de la efectividad en salud pblica.
En conjunto, la monografa no puede (ni se ha planteado) cubrir
todos los aspectos del complejo y variado mundo de la evaluacin.
0213-911/$ - see front matter 2011 SESPAS. Publicado por Elsevier Espaa, S.L. Todos los derechos reservados.
M. Nebot y C. Victoria / Gac Sanit. 2011;25(Supl 1):1-2
Sin embargo, deseamos que al menos permita avanzar en la clarificacin de los grandes retos y aportar propuestas concretas y elementos
de reflexin. Esperamos, por lo tanto, que sea de utilidad.
Conflicto de intereses
Contribuciones de autora
Bibliografa
M. Nebot escribi el borrador y C. Victora lo revis y edit.

Financiacin
Este artculo ha sido elaborado con apoyo del Comissionat per a
Universitats i Recerca del DIUE de la Generalitat de Catalunya (AGAUR
SGR 2009-1345).
Los autores declaran no tener ningn conflicto de intereses.
1. Nebot M. Evaluacin en salud pblica: todo vale? Gac Sanit. 2007;21:95-6.

2. Victora CG, Habicht JP, Bryce J. Evidence-based public health: moving beyond randomized trials. Am Journal P Health. 2004;94:400-5.
3. Pawson R, Tilley N. Realistic evaluation. Sage: London (UK); 1997.
4. Habitch JP, Victora CG, Vaughan JP. Evaluation designs for adequacy, plausibility and
probability of public health performance and impact. IJE. 1999;28:10-8.
5. Wismar M, Blau J, Ernst K, et al. The effectiveness of health impact assessment:
scope and limitations of supporting decision-making in Europe. Copenhagen:
World Health Organization; 2007.
Gac Sanit. 2011;25(Supl 1):3-8
Evaluacin de la efectividad en salud pblica:

fundamentos conceptuales y metodolgicos
Manel Nebota,b,c,d,*, M Jos Lpeza,b,d, Carles Arizaa,b,d, Joan R. Villalba,b,c,d y Anna Garca-Altsb,d,e
Agencia de Salud Pblica de Barcelona, Barcelona, Espaa
c
d
Institut dInvestigacions Biomdiques Sant Pau (IIB Sant Pau), Barcelona, Espaa
e
Agncia dInformaci, Avaluaci i Qualitat en Salut (AIAQS), Barcelona, Espaa
a
RESUMEN
Palabras clave:
Evaluacin
Efectividad
Salud pblica
En los ltimos aos ha aumentado de forma notable el inters por la evaluacin de las intervenciones en salud, especialmente en relacin a su utilidad social y su eficiencia econmica. Sin embargo, todava estamos
lejos de tener un grado suficiente de consenso en los aspectos bsicos de la evaluacin, como son la terminologa, la finalidad y la metodologa de trabajo. En este marco se revisan las principales definiciones y clasificaciones de la evaluacin aplicada a los programas y polticas en salud pblica. En relacin a la evaluacin de
resultados, se presentan los principales diseos evaluativos y sus componentes, y se revisan las amenazas a la
validez interna de los resultados de los diseos evaluativos dbiles. Se analizan y discuten las caractersticas
de las intervenciones de salud pblica que limitan las opciones de evaluacin con diseos tradicionales. Entre
estas limitaciones destacan la complejidad de las intervenciones, que habitualmente tienen mltiples componentes, y la dificultad de establecer un grupo de comparacin sin intervencin, en especial mediante asignacin aleatoria. Para finalizar, se describe una propuesta de evaluacin a partir de diseos evaluativos dbiles,
consistente en la valoracin de la adecuacin y la plausibilidad. La adecuacin estara determinada por la
existencia de un cambio observable en los indicadores de resultados, y podra ser suficiente para tomar decisiones bajo determinadas condiciones; otras veces sera necesario analizar la plausibilidad, o atribucin de los
resultados observados al programa.
2011 SESPAS. Publicado por Elsevier Espaa, S.L. Todos los derechos reservados.
Effectiveness assessment in public health: conceptual and methodological

foundations
ABSTRACT
Keywords:
Evaluation
Effectiveness
Public health
In the last few years, interest has markedly increased in evaluating health programs, especially their social
utility and economic efficiency. However, consensus on key issues in evaluation, such as terminology, goals
and methods is still a long way off. In this context, we review the main definitions and classifications of
evaluation applied to public health programs and policies. We describe the main evaluation designs and their
components, focusing on outcome evaluation. Threats to the internal validity of the results of weak evaluation
designs are also discussed. The characteristics of public health interventions that limit evaluation with
traditional designs are also analyzed. These limitations include the complexity of interventions, usually with
multiple components, and the difficulty of forming an equivalent control group with no intervention,
especially through random assignment. Finally, a two-step approach to evaluation through weak designs,
which takes into account adequacy and plausibility, is described. Adequacy consists of the observation of a
change in the selected indicators after the intervention, and would be sufficient to take decisions under
certain conditions; at other times, plausibility would need to be analyzed, defined as attribution of the results
to the program or intervention.
2011 SESPAS. Published by Elsevier Espaa, S.L. All rights reserved.
*Autor para correspondencia.

Correo electrnico: mnebot@aspb.cat (M. Nebot)
M. Nebot et al / Gac Sanit. 2011;25(Supl 1):3-8
Introduccin
Aunque la evaluacin de los procedimientos y de los resultados
siempre ha formado parte de las intervenciones sociales, es en la segunda mitad del siglo XX cuando el inters por la evaluacin se hace
explcito y da lugar a una disciplina especfica, con una metodologa
de trabajo propia1. A finales de los aos 1950, los programas de salud
promovidos por las grandes agencias de salud y desarrollo (especialmente los programas de planificacin familiar y nutricin) incorporan de manera formal indicadores de evaluacin. Progresivamente, el
desarrollo conceptual y metodolgico de las ciencias sociales, y la
utilizacin cada vez ms frecuente de las encuestas y de nuevas tcnicas cuantitativas de anlisis, configuran una cierta especializacin
de la evaluacin en el marco de las ciencias y los programas sociales.
En la dcada de 1960 se produce un crecimiento espectacular de los
estudios evaluativos y aparecen las primeras publicaciones dedicadas especficamente a la metodologa de la evaluacin. Es en esta
poca cuando se plantea por primera vez utilizar diseos experimentales y cuasiexperimentales en la evaluacin de intervenciones no
farmacolgicas2. Desde entonces, el inters por la evaluacin se ha
generalizado entre los financiadores y los planificadores, los clientes
y los usuarios de los programas, con la utilidad social como principal
criterio de valoracin. La aparicin de la medicina basada en la evidencia, hace dos dcadas, ha reforzado la importancia de demostrar
la utilidad de las intervenciones de salud en trminos de eficacia y
efectividad3. Por otro lado, a finales de los aos 1960 aparecieron los
primeros estudios de evaluacin econmica de los programas de salud, que cobraron fuerza a mediados de la dcada de 1980, cuando se
publicaron los primeros estudios que utilizaban indicadores de impacto, como los aos de vida ajustados por calidad4. Cabe sealar
tambin que algunos autores han criticado los enfoques centrados en
resultados, sealando las limitaciones del modelo experimental y
cuasiexperimental, y en especial las dificultades de controlar y reproducir los factores contextuales, que son determinantes en intervenciones sociales y de salud pblica5.
Globalmente, y a pesar del enorme desarrollo conceptual y metodolgico de la evaluacin (o quizs por ello), hay una notable confusin terminolgica y conceptual, sobre todo a la hora de definir los
criterios de efectividad6. En este artculo se revisan las bases conceptuales y metodolgicas de la evaluacin de la efectividad de las intervenciones de salud pblica.
Conceptos y tipos de evaluacin
Los trminos utilizados con ms frecuencia en el mbito de la evaluacin de intervenciones en salud pblica, adaptados de los diccionarios de epidemiologa7 y salud pblica8, as como del manual Evaluation: a systematic approach de Rossi1, se presentan en la tabla 1.
Con respecto a la propia definicin de evaluacin en ciencias de la
salud hay muchas propuestas, de las cuales una de las ms apropiadas es probablemente la de Suchman9, que considera la evaluacin
como el juicio sobre el valor o utilidad de una intervencin. Esta
definicin asume de forma implcita que lo que se juzga son los resultados de la intervencin. En una visin ms global, el Diccionario
de salud pblica8 define la evaluacin como los esfuerzos dirigidos a
determinar de forma sistemtica y objetiva la efectividad y el impacto de las actividades realizadas para alcanzar objetivos de salud, teniendo en cuenta los recursos asignados. En esta definicin se asume que hay diversas formas de abordar la evaluacin, aunque
ninguna sea por s sola completamente satisfactoria.
Los principales tipos de evaluacin, segn el nivel, la finalidad y la
perspectiva, se resumen en la tabla 2. Segn el nivel en que la evaluacin tiene lugar suele distinguirse entre evaluacin tctica, que incluye
la evaluacin de la estructura, el proceso y los resultados, y evaluacin
estratgica (a veces tambin llamada evaluacin de la pertinencia),
que consiste en la valoracin de los objetivos del programa o poltica
de salud. La evaluacin estratgica intenta responder a preguntas
como: la intervencin o programa de salud se corresponde con las
necesidades y con las prioridades? responde a problemas relevantes
desde el punto de vista de la sociedad y est planteado en la direccin
Tabla 1
Glosario de trminos utilizados habitualmente en la evaluacin de la efectividad en salud pblica1,7,8
Accesibilidad
Grado en que se facilita la participacin en el programa en su conjunto o en alguna de sus actividades o recursos
Cumplimiento (dosis, exhaustividad)
Medida de la cantidad de la intervencin que ha sido aplicada; normalmente se expresa como el porcentaje del total del contenido
previsto que ha sido efectivamente implementado
Eficacia
Grado en que una intervencin produce un resultado beneficioso en los receptores del programa
Efectividad
Grado en que una intervencin produce resultados beneficiosos en el conjunto de la poblacin diana
Eficiencia
Efectos o resultados de una intervencin en relacin a los recursos empleados
Evaluacin de impacto
Estudio evaluativo en el cual se valoran globalmente los resultados directos del programa, as como el impacto en las condiciones
sociales en que el programa puede influir a largo plazo
Evaluacin de impacto en salud
Anlisis de las consecuencias y posibles implicaciones para la salud pblica de iniciativas o procesos sociales o ambientales que no
han sido diseados primariamente como intervenciones de salud
Evaluacin de proceso
Evaluacin diseada para determinar si el programa se administra de la forma planeada a la poblacin diana
Evaluacin de resultados
Evaluacin diseada para determinar si el programa ha alcanzado los objetivos previstos
Evaluacin formativa
Evaluacin que se realiza durante la fase de desarrollo de una intervencin orientada a obtener informacin sobre el proceso
y los mecanismos de accin con la finalidad de mejorarla y de explorar su factibilidad
Factibilidad
Viabilidad prctica de un estudio, programa o intervencin
Fidelidad
Medida del grado en que los programas son aplicados de acuerdo al protocolo
Grupo de comparacin
En diseos cuasiexperimentales, los individuos del grupo de comparacin son los que no reciben la intervencin que se administra
a los individuos del grupo de intervencin, en quienes se compararn los efectos observados
Grupo control
En un ensayo aleatorizado o comunitario, los individuos del grupo control son los que no reciben la intervencin que se administra
a los individuos del grupo de intervencin, en quienes se compararn los efectos observados
Monitorizacin (del programa)
Documentacin sistemtica de aspectos de la ejecucin del programa que permiten valorar si est siendo aplicado de la forma
planificada o bien si cumple unos parmetros estndar determinados. La monitorizacin puede ser de proceso o de resultados
Poblacin diana (poblacin objetivo)
Conjunto de individuos o grupos (familias, comunidades, etc.) a los que se dirige el programa
Elaboracin propia a partir de: Rossi et al1, Last et al7 y Porta8.
Tabla 2
Principales enfoques y tipos de evaluacin en salud pblica12,13,16
Evaluacin segn el nivel
De estructura
Adecuacin de los recursos a las necesidades
De proceso
Adecuacin de las actividades y de los servicios a los objetivos y al protocolo
De resultados
Consecucin de los objetivos del programa
Estratgica
Evaluacin de los objetivos (son pertinentes?)
Evaluacin segn la finalidad

Formativa
Evaluacin que se realiza en la fase de desarrollo de un programa (prueba piloto) para explorar su factibilidad y mejorarlo
Sumativa (de impacto)
Valoracin de la eficacia o efectividad de un programa consolidado
Evaluacin segn la perspectiva

De desarrollo
Anlisis de la ejecucin de las actividades y de los servicios
De gestin
Evaluacin orientada a conocer y mejorar los programas y sus efectos
Experimental
Valoracin de los resultados del programa en condiciones controladas
Econmica
Estudio de la relacin entre los costes y los resultados de la intervencin
Elaboracin propia a partir de: Overtveigt12, Pineault13 y Windsor16.
adecuada? Idealmente, la evaluacin estratgica tiene lugar en la fase

previa a la implementacin del programa, lo que se conoce como pertinencia terica. Sin embargo, no es infrecuente que se plantee con
posterioridad, valorando los resultados alcanzados en el contexto de
los problemas de salud y las prioridades.
Segn la finalidad puede distinguirse entre evaluacin formativa
y evaluacin sumativa o de impacto. Aunque en muchas ocasiones la
evaluacin formativa se confunde con la evaluacin de proceso, la
primera sera la que se realiza durante el perodo de desarrollo de
una intervencin, con la finalidad de detectar precozmente problemas o insuficiencias que puedan ser mejorados. La evaluacin formativa es especialmente importante en los programas nuevos o adaptados de otros contextos, y finaliza cuando se considera que los
contenidos y procedimientos del programa son estables y definitivos; slo entonces puede procederse a la evaluacin de los resultados y del impacto, lo que se conoce como evaluacin sumativa10. La
evaluacin formativa debe diferenciarse de la evaluacin de proceso,
que se realiza para monitorizar la cobertura y la calidad de las intervenciones, y tiene especial relevancia en las intervenciones complejas y cuando los resultados en salud son a largo plazo11.
Tambin pueden distinguirse cuatro tipos de evaluacin segn la
perspectiva12. As, la evaluacin en la perspectiva de desarrollo intenta ayudar a los profesionales y responsables a desarrollar y mejorar
los tratamientos, los servicios y las polticas. La evaluacin en la perspectiva de gestin est orientada a monitorizar y mejorar la ejecucin de los programas y servicios, y a verificar que las actividades se
han realizado de acuerdo al protocolo establecido. La evaluacin experimental es la que trata de averiguar si una intervencin ha tenido
efecto, y las causas de este efecto. En consecuencia, la evaluacin est
diseada para verificar o refutar una hiptesis, y el diseo evaluativo
deber ser adecuado a este propsito. Finalmente, la evaluacin econmica se preocupa por los costes y beneficios econmicos de la intervencin.
Los distintos niveles de evaluacin (estructura, proceso y resultados) de la evaluacin tctica13 y su relacin con la evaluacin econmica se describen en la figura 1. La evaluacin de la estructura se
corresponde con la evaluacin de los recursos, materiales y humanos. Tradicionalmente este tipo de evaluacin ha tenido una importancia destacada en los servicios sanitarios. La evaluacin del proceso, como ya se ha sealado, se corresponde con la valoracin de los
servicios y las actividades que se generan a partir de los recursos,
mientras que la evaluacin de los resultados consiste en verificar si
estos servicios y actividades han permitido alcanzar los objetivos establecidos. La eficiencia sera la medida de la relacin entre los recur-
Estructura
Proceso
Resultados
Recursos
Actividades
y servicios
Objetivos
Productividad
Eficacia/efectividad
Eficiencia
Figura 1. Componentes de la evaluacin de los programas de salud y sus relaciones13.
sos empleados y la consecucin de los objetivos de las intervenciones, en el marco de la evaluacin econmica, que analiza los costes y
los beneficios para optimizar la asignacin de recursos, y resulta fundamental en un mbito en el cual la demanda de servicios y el coste
de stos crecen a una velocidad muy superior a la de los recursos14.
Evaluacin de proceso y evaluacin de resultados
La evaluacin de proceso tiene como finalidad bsica conocer la
cobertura y la calidad de las intervenciones. En esencia, se trata de
verificar si el programa ha alcanzado la poblacin diana y los subgrupos relevantes, y si se han realizado las actividades previstas con la
calidad necesaria. Es importante distinguir la evaluacin de proceso,
que puede ser una iniciativa o actividad puntual, de la monitorizacin, que implica disponer de forma estable de indicadores de proceso vlidos. La monitorizacin mediante indicadores de proceso est
indicada cuando los resultados de la intervencin slo pueden observarse a largo plazo, el proceso est suficientemente estandarizado y
hay un buen conocimiento del modelo causal entre proceso y resultados. Por ejemplo, puede monitorizarse un programa de deteccin
precoz del cncer mediante los indicadores relativos a la cobertura y
la deteccin de casos cuando la reduccin de la mortalidad est slidamente establecida por estudios especficos.
Los indicadores principales de la evaluacin del proceso son la
cobertura del programa, en el conjunto de la poblacin diana y en los
diversos subgrupos, y la calidad de la intervencin, medidos por diversos indicadores (exhaustividad, fidelidad, satisfaccin), que se
comparan con estndares previos o con parmetros establecidos ad
hoc por el protocolo del programa. La evaluacin del proceso es fun-
Tabla 3
Diseos evaluativos bsicos en evaluacin de resultados16
Tipo
Definicin
Ejemplo
Experimental
Diseo evaluativo en el cual la asignacin de los individuos al

grupo de intervencin o al grupo de control es aleatoria (grupos
equivalentes)
Ensayo clnico sobre educacin sanitaria en pacientes hipertensos
Cuasiexperimental
Diseo evaluativo en el cual la asignacin de individuos a los grupos

de intervencin y de comparacin no es aleatoria
Comparacin de los ndices de salud dental en un condado donde se aade

flor al agua de consumo y en un condado similar sin fluorizacin
No experimental
Diseo evaluativo en el cual la medicin del efecto se realiza

nicamente en el grupo de intervencin (sin grupo de
comparacin)
Evaluacin de la concentracin de humo ambiental de tabaco en locales

cerrados antes y despus de la ley de tabaquismo
Observacional
Evaluacin del efecto mediante un estudio epidemiolgico

observacional (estudio de casos y controles o estudio de cohortes)
Evaluacin de la efectividad de la vacuna BCG contra la tuberculosis

mediante estudios de casos y controles
Elaboracin propia a partir de: Windsor16.
damental en los programas de promocin de la salud, especialmente

si son complejos o innovadores. Slo si un programa o intervencin
alcanza la poblacin diana y es desarrollado conforme al protocolo
establecido puede esperarse que sea efectivo, aunque una evaluacin
satisfactoria del proceso no garantiza por s sola alcanzar los resultados esperados.
La evaluacin de los resultados consiste esencialmente en verificar si se han alcanzado los objetivos establecidos. En salud pblica es
habitual que los resultados directos del programa (p. ej., obtener mayores tasas de cobertura vacunal o reducir la tasa de fumadores) no
se traduzcan de forma inmediata en una reduccin de la mortalidad
o de la morbilidad, por lo que suele distinguirse entre los resultados
directos o inmediatos y los resultados a largo plazo15,16. Con relacin
a los resultados, tambin suele distinguirse entre eficacia y efectividad, en funcin de si stos se miden en los receptores del programa
o de la intervencin (eficacia) o en el conjunto de la poblacin diana
(efectividad).
Para evaluar los resultados se utilizan diversos diseos evaluativos, que se resumen en la tabla 3. Windsor et al16 proponen utilizar
tres categoras: diseos experimentales, diseos cuasiexperimentales
y diseos no experimentales. A stos pueden aadirse los estudios
observacionales17, que pueden utilizarse para estimar la efectividad
aunque no se haya controlado la asignacin a la intervencin. En todos los diseos evaluativos hay al menos una intervencin (X) y una
medicin de resultados realizada despus de la intervencin (O2) o
medida postest. Los distintos diseos difieren en la presencia o ausencia de distintas caractersticas o atributos, bsicamente el grupo de
control y las distintas mediciones del indicador de resultados, incluyendo la medicin anterior a la intervencin, o medida pretest (fig. 2).
La presencia de estas caractersticas ser determinante para atribuir
con mayor o menor seguridad los efectos observados a la intervencin, lo que se conoce como validez interna de los resultados. Adems, a estos atributos habra que aadirles el marco social, econmico, cultural, poltico o normativo, que condiciona e influye en el
desarrollo, la implementacin y la efectividad de las intervenciones5.
Como se ha sealado, junto a los estudios diseados especficamente con una finalidad evaluativa, los estudios epidemiolgicos
observacionales tambin pueden utilizarse para evaluar la efectividad de las intervenciones en salud pblica. As, se han usado estudios
de casos y controles para evaluar la efectividad de la vacunacin con
BCG para prevenir la tuberculosis18, o para estimar la efectividad del
cribado del cncer cervical19. Este enfoque es especialmente til para
estudiar la proteccin por la vacuna en caso de brotes agudos de enfermedades vacunables, como el sarampin, ya que los factores de
confusin son ms fciles de controlar y no hay que esperar largos
perodos para realizar el estudio20.
Aunque hay diseos ms complejos que permiten analizar por
separado otros componentes de la intervencin (p. ej., puede estudiarse el efecto del test de forma separada del efecto de la interven-
O1
O2
(R)
O1
O2
Figura 2. Elementos bsicos del diseo evaluativo. R: aleatorizacin; X: intervencin;

O1: observacin previa a la intervencin (pretest); O2: observacin posterior a la intervencin (postest).
cin en el diseo conocido como diseo Salomn16,21), los diseos

evaluativos ms habituales en salud pblica son los cuasiexperimentales, incluyendo las series temporales y el diseo antes-despus.
Validez interna de los diseos evaluativos
Una caracterstica fundamental de los diseos evaluativos es su
validez interna, definida como la capacidad del estudio para descartar
posibles sesgos que puedan enmascarar explicaciones alternativas
(por lo tanto, no debidas a la intervencin) a los resultados
observados21,22. La mxima validez interna es la del ensayo clnico
aleatorizado, en el cual podemos tener la certeza de haber obtenido
dos grupos iguales que slo se diferencien (salvo por efecto del azar)
en que uno de ellos ha sido sometido a la intervencin. En la medida
en que los grupos de control no sean equivalentes, o cuando no haya
grupo de control, deberemos ser capaces de descartar estas explicaciones alternativas, que se conocen habitualmente como amenazas a
la validez interna, descritas por Cook y Campbell21 y que se resumen
en la tabla 4. El efecto de la historia es el sesgo que se produce cuando
hay una tendencia previa en el mismo sentido de los efectos esperados, o bien cuando los efectos observados se deben a circunstancias o
factores externos al programa, incluyendo otras intervenciones de salud. Por ejemplo, una campaa meditica de mbito nacional alertando sobre los riesgos de conducir sin cinturn de seguridad puede explicar en parte el efecto observado tras un programa local con
objetivos similares. Se trata de un sesgo que raramente tiene lugar en
la investigacin bsica, en la cual es fcil controlar todos los factores
externos, mientras que, por el contrario, es un problema habitual en
las intervenciones de salud pblica. El sesgo de seleccin se produce
cuando el grupo de comparacin no es equivalente, ya que slo podremos controlar en el anlisis los factores de confusin conocidos,
observables y medidos, y en muchos casos no ser suficiente para
concluir que los resultados se deben a la intervencin. Por ejemplo, si
realizamos un programa de educacin sanitaria para diabticos en
pacientes de atencin primaria y comparamos los resultados con pacientes atendidos en el hospital; o si comparamos pacientes en un
Tabla 4
Amenazas a la validez interna de las intervenciones21
Historia
El efecto observado se debe a un factor externo a la intervencin, que acta durante o antes de la intervencin, o bien forma parte de una
tendencia anterior a la intervencin
Seleccin
El efecto observado se debe a las diferencias entre los participantes en el grupo de intervencin y el grupo de comparacin
Maduracin
El efecto observado se debe a que los participantes adquieren experiencia y conocimiento en el perodo entre el pretest y el postest
Efecto del test
El efecto observado se debe al aprendizaje que tiene lugar como consecuencia de la realizacin del pretest
Instrumentacin
El efecto observado se debe al cambio en el instrumento o mtodo de medicin
Regresin a la media
El efecto observado se debe a una variacin espontnea en los valores medios del parmetro o medida de efecto cuando la asignacin de los
participantes se asocia a valores extremos en la variable y sta tiene variacin aleatoria
Prdidas
El efecto observado se debe a que las prdidas en el seguimiento se distribuyen de forma desigual en los grupos de intervencin y comparacin
Elaboracin propia a partir de: Cook y Campbell21.
rea urbana con otros pertenecientes a un rea rural. La maduracin

es el sesgo que se produce cuando atribuimos a una intervencin todo
o parte del cambio observado, que en realidad se debe al proceso intrnseco de aprendizaje que se produce normalmente en los individuos; es un sesgo que puede afectar de forma especial a las intervenciones que se realizan en nios y adolescentes, o bien cuando
transcurre mucho tiempo entre el pretest y el postest. El efecto del test
sobre los resultados puede producirse tanto por la reiteracin (los
participantes acaban por aprenderse el test y sus respuestas) como
por el efecto desencadenante de cambios de actitudes y de curiosidad
sobre un tema concreto, que puede conllevar la bsqueda activa de
informacin. En general, el efecto es ms importante en el caso de
temas poco conocidos o bien cuando son temas especialmente sensibles para los participantes, como sucede por ejemplo en investigaciones sobre el suicidio o sobre las prcticas sexuales. La instrumentacin
es el sesgo que se produce cuando el cambio aparente se debe en
realidad a cambios en el instrumento de medida, ya sea en cambios
instrumentales o de procedimiento (p. ej., en una tcnica analtica o
en el procedimiento para medir la presin arterial) o en definiciones
operativas, como la definicin de tabaquismo habitual. La regresin a
la media es una distorsin en la medida del efecto que puede producirse cuando se seleccionan los participantes en funcin de alguna
variable que tenga un componente aleatorio de variacin. Por ejemplo, si se eligen los individuos con la presin arterial ms alta para
realizar una intervencin de relajacin con el fin de disminuir la presin arterial, hay que tener en cuenta que una parte de los individuos
que hayan sido declarados hipertensos en la primera medida habrn
normalizado espontneamente sus valores de tensin arterial en medidas posteriores sin realizar ninguna intervencin. Si no se tiene en
cuenta este sesgo, puede atribuirse errneamente el cambio a la intervencin. Finalmente, las prdidas pueden introducir un sesgo en la
interpretacin del efecto de una intervencin si no se distribuyen por
igual en los grupos de intervencin y de comparacin, ya que pueden
producir grupos no comparables en el postest.
Limitaciones metodolgicas en la evaluacin en salud pblica
Como se ha sealado, en muchas ocasiones la evaluacin de intervenciones en salud pblica depende de diseos evaluativos dbiles
(cuasiexperimental, no experimental u observacional) porque no es
posible utilizar diseos experimentales como el ensayo clnico
controlado23,24. Como consecuencia, puede resultar difcil descartar
las amenazas a la validez interna de la evaluacin, lo cual puede arrojar dudas sobre los resultados obtenidos y, por consiguiente, tambin
sobre la utilidad social de la intervencin. Junto a las limitaciones en
la validez interna debidas a la falta de un grupo de comparacin
equivalente, tambin hay otras limitaciones tales como la complejidad de las intervenciones de salud pblica y las limitaciones de los
propios indicadores de medida de los efectos.
La falta de grupo de comparacin equivalente puede deberse a
diversas razones; a veces se trata de cuestiones ticas, como por
ejemplo en las intervenciones sociales, en las cuales no es posible

retrasar los beneficios de una intervencin socialmente necesaria
con el nico propsito de la investigacin25. En otros casos se debe a
razones operativas, como ocurre en las intervenciones comunitarias,
basadas en intervenciones normativas o sobre el ambiente, que se
desarrollan sobre una comunidad natural con una base geogrfica
definida en la cual toda la poblacin est potencialmente expuesta.
Aunque puedan utilizarse comunidades vecinas como grupo de comparacin, el riesgo de difusin de los efectos, especialmente en intervenciones basadas en ideas, es muy importante. As, en el caso del
programa comunitario de reduccin del riesgo cardiovascular puesto
en marcha en Karelia del Norte (Finlandia) en 1972, se observ una
marcada disminucin de la mortalidad y de sus principales factores
de riesgo (presin arterial, tabaquismo, cifras de colesterol)26,27, pero
los resultados no pudieron atribuirse de forma concluyente al programa, debido a que en las reas elegidas como grupo de comparacin (inicialmente la vecina provincia de Kuopio) se observ tambin
un descenso notable de la morbimortalidad y de los factores de riesgo. Aunque el programa puede considerarse un ejemplo de xito de
las intervenciones comunitarias de modificacin del riesgo poblacional, la ms que probable difusin a las provincias vecinas de los mensajes principales de la intervencin, sin duda beneficiosos para la
salud de la poblacin, constituye un serio problema para la validez
interna de la evaluacin.
En otras ocasiones el obstculo principal a la evaluacin deriva de
la complejidad de la intervencin. Las intervenciones que por su naturaleza tienen mltiples componentes son difciles de estandarizar
y a veces es difcil atribuir los resultados a un componente particular.
Esto sucede habitualmente con las intervenciones comunitarias, y de
forma especial en aquellas dirigidas a promover cambios de conducta, ya que es habitual tratar de influir simultneamente en varios de
los determinantes de la conducta. En estos programas suele ser imposible enmascarar la asignacin y seguir un protocolo muy cerrado,
porque algunos de los componentes pueden tener que adaptarse a
las circunstancias del contexto28. Muchas intervenciones aparentemente sencillas, como la fisioterapia en las lesiones de rodilla, implican una diversidad de elementos no siempre explcitos que con frecuencia interactan entre ellos. En este ejemplo, incluso en el caso de
que se haya estandarizado apropiadamente el tratamiento directo
(una serie de ejercicios definidos en contenido, nmero y duracin),
hay otros aspectos que van a influir en los resultados aunque no estn normalmente protocolizados, como la actitud del terapeuta, su
interaccin emocional con el paciente, la informacin sobre los cuidados a realizar en el hogar y la actitud preventiva para evitar recadas o nuevas lesiones, entre otros29.
Finalmente, adems de los factores descritos, las limitaciones de
los indicadores de medida de los resultados pueden dificultar la evaluacin de las intervenciones de promocin de la salud22. En muchas
ocasiones, la principal dificultad en la evaluacin de resultados se
debe a que los cambios pueden ser difciles de observar, bien porque
sea complicado identificar los indicadores de resultado apropiados
(p. ej., si queremos promover una mayor actividad fsica) o porque

los cambios tardan mucho en observarse, como sucede en los programas educativos para la prevencin de la infeccin por el virus de la
inmunodeficiencia humana en los adolescentes. Otras veces podemos estar ante una cadena causal compleja y esperar resultados mltiples, como por ejemplo en los programas multicomponente dirigidos a la prevencin de la cardiopata isqumica, que pueden afectar
a diversos factores de riesgo y sus determinantes. En estas situaciones, es habitual que se utilicen los resultados a corto plazo por razones de visibilidad y responsabilidad social, aunque como consecuencia puede ocurrir que la evaluacin definitiva basada en resultados a
largo plazo quede postergada u olvidada.
Evidencias de efectividad: adecuacin y plausibilidad
En el marco descrito, a menudo las evidencias de efectividad debern basarse en la contribucin de los diseos evaluativos dbiles.
Victora et al23 y Habicht et al24 proponen un razonamiento de efectividad en dos etapas, que describen como adecuacin y plausibilidad,
cuando no se puedan utilizar diseos experimentales. En esencia,
estos autores sealan que en la evaluacin de la efectividad de las
intervenciones valoraremos los indicadores de cambio en funcin
de la certeza con que podamos relacionarlos con la intervencin. El
primer paso (adecuacin) consiste en valorar si se han alcanzado los
objetivos previstos. Si se observan los cambios esperados, se considera que se cumple el criterio de adecuacin (p. ej. cobertura vacunal del programa, reduccin de la morbimortalidad), incluso en
ausencia de unos objetivos formulados explcitamente. La evaluacin de la adecuacin no requiere, por lo tanto, un grupo de control
ni un diseo evaluativo concreto, sino nicamente demostrar que se
han producido los cambios previstos o deseables, ya sea entre los
receptores del servicio o programa o en el conjunto de la poblacin.
Aunque no pueda establecerse una relacin causal entre los cambios
observados y el programa, en muchos casos la evaluacin de la adecuacin puede ser suficiente para tomar decisiones. El caso ms claro es cuando no se observan los cambios esperados, situacin que
habitualmente nos permitir concluir que el programa no ha funcionado. Si por el contrario se han observado cambios favorables, en
determinadas condiciones pueden atribuirse al programa, y por tanto los responsables de la provisin de servicios pueden tomar la decisin de seguir apoyando el programa o generalizarlo, aplicando el
principio de prevencin30 cuando no se disponga de otro tipo de evidencias y se den una serie de condiciones; entre stas, la magnitud
del cambio observado debe ser tan grande que haga muy improbables las explicaciones alternativas o amenazas a la validez interna.
Tambin es ms plausible atribuir el cambio a la intervencin si la
cadena causal entre ella y sus efectos es simple (no hay muchas explicaciones alternativas posibles) y corta (los efectos son visibles
poco tiempo despus de la intervencin). Un ejemplo podra ser la
observacin de un cambio importante en la siniestralidad por accidentes de trfico inmediatamente despus de la aplicacin de normas de control o leyes regulatorias. Estas condiciones no se cumplen
en muchas intervenciones en salud pblica, por lo que ser necesario adoptar una actitud ms prudente cuando haya dudas razonables acerca de la posibilidad de explicaciones alternativas, cuando
deban tomarse decisiones sobre programas a gran escala o especialmente costosos, o cuando se trate de un programa innovador y no se
pueda descartar la existencia de potenciales confusores por el desconocimiento de los mecanismos de actuacin. En todos estos casos
deberemos combinar los criterios de adecuacin con los de plausibilidad, lo que implica comparar los resultados con un grupo de
comparacin, para controlar las principales amenazas a la validez
interna, utilizando el diseo evaluativo ms apropiado a la situacin. En definitiva, se trata de alcanzar un compromiso entre las
exigencias de rigor requeridas a toda intervencin de salud pblica
y las condiciones que puedan impedir la evaluacin en condiciones
experimentales. En todos los casos debemos asegurarnos de que los

recursos se emplean de forma eficiente y de que las intervenciones
son tiles para mejorar la salud de la poblacin, finalidad ltima de
todas las intervenciones de promocin de la salud.
M. Nebot ha realizado el borrador y la versin final. Todos los
autores han participado en la discusin y revisin del manuscrito.
Financiacin
Este artculo ha sido elaborado con el apoyo del Comissionat per
a Universitats i Recerca del DIUE de la Generalitat de Catalunya
(AGAUR SGR 2009-1345).
Bibliografa
1. Rossi PH, Lipsey MW, Freeman HE. Evaluation: a systematic approach, 7th ed.
Thousands Oaks (CA): Sage Publi; 2004.
2. Campbell DT, Stanley JC. Experimental and quasi-experimental designs for research. Skokie (IL): Rand McNally; 1966.
3. Sacket DL. Evidence-based medicine. Semin Perinatol. 1997;21:3-5.
4. Williams A. The nature, meaning and measurement of health and illness: an economic viewpoint. Soc Sci Med. 1985;20:1023-7.
5. Pawson R, Tilley N. Realistic evaluation. Sage: London (UK); 1997.
7. Porta M, Last JM. Dictionary of epidemiology. Oxford: Oxford University Press; 2008.
8. Last JM. A dictionary of public health. Oxford: Oxford University Press; 2007.
9. Suchman E. Evaluative research. New York: Rusell Sage Foundation; 1967.
10. Hawe P, Degeling D, Hall J. Evaluating health promotion. Sydney: MacLennan Petty
Pty; 1990.
11. Scriven M. The methodology of evaluation. En: Weiss C, editor. Evaluating action
programmes: readings in social action and education. Boston: Allyn and Bacon
Publ; 1972. pp. 36-55.
12. Overtveigt J. Evaluation purpose, theory and perspective. En: Overtveigt J. Evaluating health interventions. Buckingham, UK: Open University Press; 1999. pp. 23-47.
13. Pineault R. La planificacin sanitaria. Barcelona: Masson; 1981. pp. 25-67.
14. Haddick AC, Teutsch SM, Shaffer PA, et al. Prevention effectiveness. Introduction.
New York: Oxford University Press; 1996. pp. 3-19.
15. Green LW, Kreuter MW. Health promotion planning. An educational and ecological
approach. Palo Alto: Mayfield Publ Co; 1999.
16. Windsor R, Branowski T, Clark N, et al. Evaluation of health promotion, health education and disease prevention programs. Mountain View (CA): Mayfield Co; 1994.
17. Kleinbaum DG, Kupper LL, Morgenstern H. Types of epidemiolgic research. En:
Epidemiologic research. Principles and quantitative methods. New York: Van Nostrand Reinhold; 1982. pp. 40-50.
18. Dantas OM, Ximenes RA, de Albuquerque M de F, et al. A case-control study of
protection against tuberculosis by BCG revaccination in Recife, Brazil. Int J Tuberc
Lung Dis. 2006;10:536-41.
19. Sasieni P, Castanon A, Cuzick J. Screening and adenocarcinoma of the cervix. Int J
Cancer. 2009;125:525-9.
20. Luna Snchez, A. Efectos de la cobertura vacunal previa en la dinmica de un brote de sarampin. Rev Esp Salud Pblica. 1997;71:243-7.
21. Cook TD, Campbell DT. Quasi-experimentation. Design and analysis issues for field
settings. Boston: Houghton Mifflin Co; 1979.
22. Green LW, Lewis FM. Measurement and evaluation in health education and health
promotion. Palo Alto: Mayfield Publ. Co; 1986.
23. Victora CG, Habicht JP, Bryce J. Evidence-based public health: moving beyond randomized trials. Am J P Health. 2004;94:400-5.
24. Habitch JP, Victora CG, Vaughan JP. Evaluation designs for adequacy, plausibility
and probability of public health programme performance and impact. Int J Epidemiol. 1999;28:10-8.
25. Thomson H, Hoskins R, Petticrew M, et al. Evaluating the health effects of social
interventions. BMJ. 2004;328:282-5.
26. Vartiainen E, Jousilahti P, Alfthan G, et al. Cardiovascular risk factor changes in
Finland, 1972-1997. Int J Epidemiol. 2000;29:49-56.
27. McAlister A, Puska P, Salonen JT, et al. Theory and action for health promotion:
ilustrations from the North Karelia Project. Am J Public Health. 1982;72:43-50.
28. Stephenson J, Imrie J. Why do we need randomised controlled trials to assess behavioural interventions? BMJ. 1998;316:611-6.
29. Campbell M, Fitzpatrick R, Haines A, et al. Framework for design and evaluation of
complex interventions to improve health. BMJ. 2000;321:694-6.
30. Nebot M. Health promotion evaluation and the principle of prevention. J Epidemiol Community Health. 2006;60:5-6.
Gac Sanit. 2011;25(Supl 1):9-16
Diseos evaluativos en salud pblica: aspectos metodolgicos

M Jos Lpeza,b,c*, Marc Mar-DellOlmoa,b,c, Anna Prez-Gimneza,b,c y Manel Nebota,b,c,d
Agencia de Salud Pblica de Barcelona, Espaa
c
Institut dInvestigaci Biomdica (IIB Sant Pau), Barcelona, Espaa
d
Departament de Cincies Experimentals i de la Salut, Universitat Pompeu Fabra, Barcelona, Espaa
a
RESUMEN
Palabras clave:
Evaluacin
Salud pblica
Diseos evaluativos
La evaluacin de las intervenciones de salud pblica, en la cual rara vez es posible la aleatorizacin de individuos y habitualmente intervienen mltiples factores, implica numerosos retos metodolgicos. Para afrontarlos hay que tener en cuenta determinados aspectos, como la eleccin de un diseo evaluativo apropiado y la
realizacin de un anlisis estadstico que considere los posibles confusores. El objetivo de este artculo es
describir los diseos ms frecuentes en la evaluacin de intervenciones (polticas, programas o campaas) de
salud pblica, enumerando sus caractersticas, analizando sus principales ventajas y limitaciones, y haciendo
una breve descripcin del anlisis estadstico ms utilizado en cada uno de ellos.
Evaluative designs in public health: methodological considerations

ABSTRACT
Keywords:
Evaluation
Public health
Evaluative designs
Evaluation of public health interventions poses numerous methodological challenges. Randomization of

individuals is not always feasible and interventions are usually composed of multiple factors. To face these
challenges, certain elements, such as the selection of the most appropriate design and the use of a statistical
analysis that includes potential confounders, are essential. The objective of this article was to describe the
most frequently used designs in the evaluation of public health interventions (policies, programs or
campaigns). The characteristics, strengths and weaknesses of each of these evaluative designs are described.
Additionally, a brief explanation of the most commonly used statistical analysis in each of these designs is
provided.
Introduccin
La evaluacin de intervenciones en salud pblica es un proceso
complejo que requiere la definicin de indicadores adecuados, la
eleccin de un diseo evaluativo apropiado y la realizacin de un
anlisis estadstico que considere los posibles confusores. Todo ello
permitir estimar el efecto de la intervencin, cuantificando la magnitud del cambio en el indicador de resultado y descartando explicaciones alternativas a la intervencin que hubieran podido influir en
el cambio observado.
Los diseos tratados en este artculo pueden clasificarse en tres
grandes grupos: diseos no experimentales, diseos cuasiexperimentales y diseos experimentales1,2 (tabla 1). Los diseos no experimentales se caracterizan por la ausencia de grupo de comparacin
que no recibira la intervencin. Los diseos experimentales y cuasiexperimentales incluyen, como mnimo, un grupo de comparacin,
y la diferencia principal entre ambos diseos es el tipo de asignacin
de los individuos. Los diseos experimentales se caracterizan por
una asignacin individual aleatoria entre el grupo que recibe la intervencin y el grupo de comparacin. En los diseos cuasiexperimentales esta asignacin se basa en criterios de conveniencia, aunque
tambin es posible la asignacin de grupos de manera aleatoria (ensayo comunitario). Dependiendo del tipo de asignacin, as como del
nmero de mediciones realizadas antes y despus de la intervencin,
los tres diseos bsicos pueden dividirse en una serie de diseos evaluativos que sern abordados a lo largo de este artculo.
Nuestro objetivo es describir los diseos ms frecuentes en la evaluacin de intervenciones (polticas, programas o campaas) de salud pblica, enumerando sus caractersticas, analizando sus principales ventajas y limitaciones, y haciendo una breve descripcin del
anlisis estadstico ms utilizado en cada uno de ellos.
Diseos no experimentales
Los diseos no experimentales carecen de grupo comparacin.
Reciben tambin el nombre de diseos reflexivos, ya que habitualmente el valor de la variable resultado postintervencin se compara
con el valor de la variable para esos mismos individuos antes de la
intervencin. En este diseo asumimos que la poblacin permanece
igual respecto a otros aspectos que pudieran modificar los resultados (p. ej., otras intervenciones o cambios histricos), por lo que el
cambio observado podra atribuirse a la intervencin. Como conse-
*Autora para correspondencia.

Correo electrnico: mjlopez@aspb.cat (M Jos Lpez)
10
M.J. Lpez et al / Gac Sanit. 2011;25(Supl 1):9-16
Tabla 1
Clasificacin y descripcin de los principales diseos evaluativos en salud pblica
Presencia
de grupo de
comparacin
Momento
de seleccin
del grupo de
comparacin
Unidad de
asignacin
Tipo de
asignacin
Unidad de
intervencin
Unidad de medida
Nmero de medidas
Diseo no experimental (reflexivo)

Antes-despus (pre-post)
No
-----------
-----------
-----------
Individuos o
grupos
Individuos o grupos
Mnimo una antes y una despus
Serie temporal
No
----------
----------
----------
Grupo
Grupo
Nmero necesario para controlar

por tendencia y estacionalidad
Normalmente
previo
Individuo o
grupo
Conveniencia
Individuos o
grupos
Individuos o grupos

de la intervencin
Ensayo comunitario
Previo
Grupos
Aleatoria
Individuos o
grupos
Individuos o grupos

de la intervencin
Regresin discontinua
Previo
Individuo o
grupo
Por un punto de
corte establecido
Individuos o
grupos
Individuos o grupos

de la intervencin
Serie temporal mltiple
Previo o
posterior
Grupo
Conveniencia
Grupo
Grupo
Nmero necesario para controlar

por tendencia y estacionalidad
Post
Previo
Individuo
Aleatoria
Individuo
Individuo
Mnimo una despus de la

intervencin
Previo
Individuo
Aleatoria
Individuo
Individuo

de la intervencin
Diseo cuasi-experimental
Diseo experimental
cuencia, este tipo de diseo evaluativo es el ms vulnerable a las

amenazas a la validez interna, ya que aunque el cambio puede cuantificarse, la ausencia de grupo de comparacin dificulta la atribucin
del efecto a la intervencin. Entre los principales diseos no experimentales se encuentran el diseo antes-despus y la serie temporal.
Diseo antes-despus (o pre-post)
El diseo no experimental antes-despus (o pre-post) requiere
una o ms medidas tomadas antes y despus de la intervencin en la
poblacin intervenida (fig. 1 A). Al no haber grupo de comparacin,
el valor obtenido tras la intervencin puede compararse con el valor
previo a sta. El cambio entre las medidas tomadas antes y despus
de la intervencin se utiliza como medida del efecto. La principal limitacin de este diseo es la dificultad de poder atribuir el efecto
observado a la intervencin, ya que ste podra deberse a otros factores distintos al programa. Entre las ventajas destaca que consume
poco tiempo y recursos, y que permite estimar el efecto de una intervencin cuando no disponemos de grupo de comparacin. Este diseo es especialmente apropiado cuando la cadena causal entre la intervencin del programa y el resultado esperado es directa (no hay
muchos factores intermedios), las condiciones medidas son estables
a lo largo del tiempo (p. ej., no se ven afectadas por variaciones estacionales) y el periodo analizado es corto. Conviene tener presente
que cuanto ms tiempo pasa entre las mediciones antes y despus de
la intervencin, mayor es la posibilidad de que otros factores distintos a la intervencin hayan intervenido en el efecto encontrado.
El diseo antes-despus (o pre-post) se aplica principalmente en el
mbito de la evaluacin de polticas pblicas o programas de amplia
cobertura, en los cuales encontrar una poblacin similar a la intervenida pero no afectada por la intervencin no siempre es posible. ste
es el caso de las normativas polticas definidas para el conjunto de una
regin o un estado, como la Ley de medidas sanitarias frente al tabaquismo que entr en vigor en 2006, cuyo impacto sobre la exposicin
al humo ambiental de tabaco3 se evalu tomando medidas de las concentraciones de nicotina ambiental antes y despus de la implantacin
de la ley en los mismos lugares de trabajo y hostelera. Los datos mostraron disminuciones significativas en los lugares de trabajo y en aque-
llos locales de hostelera en que se prohibi fumar tras la ley. Estos

resultados sugeran que la ley haba sido efectiva en la reduccin de la
exposicin en los lugares de trabajo, pero que sera necesaria la ampliacin de la prohibicin a todos los lugares de hostelera.
En el caso de que la variable resultado se haya medido en los mismos individuos antes y despus de la intervencin (datos emparejados), para determinar si hay un cambio significativo pueden aplicarse distintos tests clsicos en funcin de la distribucin de los datos.
Si la variable medida es continua y sigue una distribucin normal
(antes y despus de la intervencin), puede aplicarse la prueba t para
datos emparejados. Si stos no siguen una distribucin normal, es
posible aplicar el test no paramtrico de Wilcoxon para datos emparejados. Si se dispone de una variable categrica, y quiere estimarse
un cambio en la proporcin, aplicaremos la prueba de ji cuadrado de
McNemar. En caso de que los datos no sean emparejados, se aplicara
la prueba t, la U de Mann-Whitney y la de ji cuadrado, respectivamente. En caso de disponer de varias medidas preintervencin o postintervencin, deberan aplicarse los siguientes tests para datos emparejados: ANOVA de medida repetidas (distribucin normal),
Friedman (distribucin no normal) y Q de Cochran (en caso de proporciones). Finalmente, para datos independientes (no emparejados)
se aplican el test de ANOVA (distribucin normal), el de KruskalWallis (distribucin no normal) y la ji cuadrado.
Serie temporal
El diseo no experimental de serie temporal es apropiado cuando
hay datos temporales agregados disponibles que permiten describir la
tendencia temporal mediante una serie de medidas recogidas antes y
despus de la intervencin (fig. 1 B). En general, el diseo es ms robusto (es decir, menos vulnerable a las amenazas a la validez interna)
cuando se dispone de un nmero importante de mediciones en el
tiempo. Aunque no se ha establecido un nmero mnimo de mediciones consensuado, debe haber un nmero suficiente entre los valores
previos y posteriores a la intervencin. Algunos autores proponen 10 o
15 observaciones por periodo, mientras que otros sugieren un total de
50 observaciones entre ambos periodos4,5. Como en otros diseos no
experimentales, entre sus limitaciones destaca la dificultad de atribuir
11
Diseos no experimentales:
antes despus
Diseos no experimentales:
serie temporal
Intervencin
Intervencin
A2
Variable
resultado
Variable
resultado
G. intervencin
A8
A5 A6 A7
A
A1 A2 A3 4
A1
Tiempo
C
Tiempo
D
Diseos cuasi-experimentales:
antes-despus
ensayo comunitario
Intervencin
Intervencin
A2
Variable
resultado
G. intervencin
G. comparacin
A1
B1
A2
Variable
resultado
(asignacin grupal aleatoria)
G. control
A1
B1
B2
regresin discontinua
serie temporal
Intervencin
Intervencin
A2
Variable
resultado
G. intervencin
(asignacin en base a un
punto de corte establecido)
G. comparacin
A1
B1
B2
Tiempo
Tiempo
E
G. intervencin
G. intervencin
Variable
resultado
A A8
A5 A 6 7
G. comparacin
A
A1 A2 A3 4
B1 B2 B3 B4
B2
Tiempo
B B8
B5 B6 7
Tiempo
Figura 1. Principales diseos evaluativos (no experimentales y cuasiexperimentales) en salud pblica.
una asociacin causal entre la intervencin y los cambios observados,

ya que, al no disponer de grupo de comparacin, stos podran deberse a otros factores distintos a la intervencin. Entre sus fortalezas se
encuentra la posibilidad de descartar los sesgos histricos, ya que permite controlar por determinados factores confusores tales como la
tendencia temporal y la estacionalidad. Este diseo, al igual que el anterior, se ha utilizado principalmente para evaluar polticas pblicas,
como por ejemplo las relacionadas con el control de las lesiones por
accidentes de trfico. As, en el estudio de Novoa et al6 se evalu el plan
estratgico de seguridad vial (conjunto de medidas implementadas
para promover la seguridad en las carreteras) comparando los datos de
lesiones de trfico de la Direccin General de Trfico en el periodo
preintervencin (2000-2003) con los del periodo postintervencin
(2004-2006). Los resultados del estudio sugieren una importante reduccin del riesgo de lesiones de trfico, que podra ser atribuible a las
medidas del plan estratgico.
Desde el punto de vista analtico puede considerarse que las series
temporales estn constituidas por tres componentes: tendencia, estacionalidad y componente residual7. De forma exploratoria, suele ser de
utilidad realizar en primer lugar los grficos que permitan observar
visualmente si hay un cambio debido a la intervencin. La representacin grfica ms comn consiste en la evolucin de la serie temporal
original (fig. 2 A), que puede desglosarse en las tendencias separadas

para los periodos preintervencin y postintervencin (fig. 2 B), o bien
en un grfico de subseries estacionales. Por ejemplo, en la figura 2 C se
representan las subseries temporales mensuales, describiendo el valor
de la variable resultado del mismo mes para los distintos aos (20012005). Para determinar el impacto de la intervencin pueden emplearse modelos de regresin paramtricos, en los cuales es posible introducir variables confusoras de las que se disponga de valores para todo
el periodo de la serie temporal. En caso de disponer de un mnimo de
50 mediciones, tambin podra utilizarse un modelo ARIMA (Auto Regresivo Integrado de Medias Mviles)4.
Son tres los posibles patrones de cambio (fig. 3) entre los periodos
antes y despus4,5: 1) cambio de nivel sin cambio de tendencia; 2) cambio de tendencia sin cambio de nivel; y 3) cambio de tendencia y de
nivel. En caso de haber un cambio de nivel entre periodos sin un cambio
de tendencia, que es uno de los patrones ms habituales, el modelo de
regresin paramtrico podra resumirse del siguiente modo4,5,8:
Yt = 0 + 1Intt + 2Tt + 1Z1t + + nZnt + t
donde Yt es la variable resultado para cada medida en el tiempo t (t
= 1,, T), Intt es la variable intervencin, que toma valor 1 para el pe-
12
Evolucin de la serie temporal

A
Intervencin
Nmero de lesiones
70
60
50
40
30
20
pre
post
2001
2002
2003
Ao
2004
2005
Tendencias antes y despus de la intervencin

B
Intervencin
Nmero de lesiones
70
60
50
40
30
20
pre
10
post
2001
2002
2003
Ao
2004
2005
C
Subseries estacionales
Nmero de lesiones
70
pre
60
pre
pre
pre
pre
pre
pre
pre
post
post
post
50
40
pre
pre pre
post
post
post
post
pre
post
pre
pre
pre
post
post
post
post
30
pre
pre
post
pre
pre
pre
pre
pre
pre
post
pre
pre
post
post
pre
post post
post
pre
post
post post
post
20
post
10
Enero
Febrero
Marzo
Abril
Mayo
Junio
Julio
Agosto Septiembre Octubre Noviembre Diciembre
Figura 2. Anlisis descriptivo de series temporales. Nmero de lesiones de trfico (Barcelona, 2001-2005)26.
riodo postintervencin y 0 para el preintervencin, y Tt es la variable

que permite controlar la tendencia y toma valores de 1,, T. Las variables Z1t ,, Znt son las n variables confusoras por las que queremos controlar la estimacin del impacto de la intervencin. Finalmente, si se
observa estacionalidad, es posible controlarla introduciendo en el modelo diversas funciones (p. ej., funciones sinusoidales)9. En este modelo, el impacto de la intervencin se estima a partir del parmetro 1,
que se interpreta como el cambio en media de la variable resultado en
el periodo postintervencin respecto al periodo preintervencin, independientemente de que haya tendencia o estacionalidad en la serie.
En caso de que la intervencin produzca un cambio de tendencia
(patrones 2 y 3), ser necesario incluir en el modelo la interaccin de
la variable intervencin (Intt) con la variable tendencia (Tt).
Diseos cuasiexperimentales
Los diseos cuasiexperimentales se caracterizan por una asignacin no aleatoria de los individuos o grupos a un grupo de intervencin y a un grupo de comparacin, o bien una asignacin aleatoria
pero grupal (ensayo comunitario). Este diseo es muy comn en el
mbito de la evaluacin de programas preventivos, ya que habitualmente no es posible una asignacin aleatoria individual. La validez
de este tipo de diseos depende en gran medida de lo parecido que
sea el grupo de comparacin al grupo de intervencin en todos los
aspectos relevantes que podran afectar a la variable resultado. Entre los principales diseos cuasiexperimentales destacan los diseos cuasiexperimentales antes-despus (o pre-post) (fig. 1 C), los
Cambio de nivel sin cambio

de tendencia (patrn 1)
Intervencin
Variable resultado
Tiempo
Cambio de tendencia sin cambio
de nivel (patrn 2)
Intervencin
Variable resultado
Tiempo
Cambio de tendencia y cambio
de nivel (patrn 3)
Intervencin
Variable resultado
Tiempo
Figura 3. Patrones de series temporales.
ensayos comunitarios (fig. 1 D), el diseo de regresin discontinua

(fig. 1 E) y las series temporales mltiples (fig. 1 F).
Diseo antes-despus (o pre-post)
El diseo cuasi-experimental antes-despus (o pre-post) es uno de
los ms frecuentes en la evaluacin de intervenciones en salud pblica.
Es necesario tener, como mnimo, una medida antes de la intervencin
y otra despus de ella, y comparar el cambio observado en la variable
resultado entre el grupo de intervencin y el grupo de comparacin. La
diferencia observada entre ambos cambios correspondera al efecto de
la intervencin si los dos grupos fueran equivalentes. Sin embargo, la
dificultad para encontrar un grupo de comparacin similar al de intervencin limita la fuerza de este diseo para descartar que factores diferentes a la intervencin puedan ser causa del efecto. Cuando haya du-
13
das razonables de que los grupos sean equivalentes, habr que intentar
descartar el sesgo de seleccin controlando por las posibles variables
confusoras. Este diseo es ampliamente utilizado en el mbito de la
evaluacin de programas de prevencin y promocin de la salud. Un
ejemplo de este tipo de estudios es el de Robitaille et al10, en el cual se
evalu un programa de prevencin de las cadas en las personas de
edad avanzada en Canad. En este estudio se reclut, mediante organizaciones que trabajaban con ancianos, un grupo de personas que recibieron una intervencin que inclua varias sesiones en las cuales se les
entrenaba con ejercicios que promovan el equilibrio, la flexibilidad y la
fuerza. Asimismo, se escogi un grupo de comparacin de caractersticas similares a las del grupo intervenido, y que posteriormente recibira
la misma intervencin. A ambos grupos se les realiz una serie de pruebas antes y despus de la intervencin. Los resultados del estudio mostraron que las personas que haban realizado los ejercicios ofrecidos en
la intervencin presentaban mejoras en el equilibrio y la fuerza motora
en relacin al grupo de comparacin, y por tanto concluyeron que la
intervencin era efectiva en la mejora de aquellas habilidades que podran prevenir las cadas en las personas de edad avanzada.
En este tipo de diseos puede haber diversas variables confusoras
que determinen la inclusin desigual de individuos en un grupo u
otro. Por ello, el primer paso es identificar cules pueden ser estas
variables y tenerlas en cuenta al elegir el grupo de comparacin. El
segundo paso, una vez seleccionados los grupos, es hacer una descripcin comparativa de las posibles variables confusoras en ambos
grupos, asumiendo que stas sean conocidas, observables y mensurables. Para ello se aplicar el test de comparacin que se corresponda a la distribucin de la variable estudiada.
En la estimacin del impacto de la intervencin, una de las tcnicas ms comunes es el uso de modelos de regresin capaces de estimar el efecto de la intervencin, controlando por las variables confusoras (Z). Este modelo se podra formular del siguiente modo:
Yi,t = 0 + 1Inti + 2Yi,t1 + 1Z1 + + nZn + ei
donde Yi,t1 y Yi,t son, para cada individuo i, el valor de la variable
resultado antes y despus de la intervencin, respectivamente. La
variable Inti es la variable intervencin, que habitualmente toma valor 1 para los individuos intervenidos y 0 para los individuos del grupo de comparacin. Las variables Z1,, Zn son las n variables confusoras. Finalmente, el impacto de la intervencin se estima a partir del
parmetro 1, que se interpreta como la diferencia media de la variable resultado (en el post-test) en el grupo de intervencin respecto al
grupo de comparacin, controlando por la variable resultado en el
momento preintervencin y por las variables confusoras Z1,, Zn.
Una alternativa a introducir las variables confusoras (Z) en el modelo es el clculo del Propensity Score (PS)11,12, que es la probabilidad
condicionada que tiene cada individuo de la muestra de ser asignado
al grupo de intervencin dadas las variables confusoras Z1,, Zn11. El PS
se obtiene habitualmente mediante regresin logstica o anlisis discriminante, donde las variables confusoras observadas son las variables independientes y pertenecer o no al grupo de intervencin es la
variable dependiente. El PS se aplica con el fin de equilibrar grupos no
equivalentes mediante distintas tcnicas: apareamiento (matching),
estratificacin, modelo de regresin (covarianza) o ponderacin por el
PS13. Como ejemplo de la utilizacin de esta tcnica estadstica, en el
estudio de Lauby et al14 se evalu una intervencin comunitaria que
promocionaba el uso del preservativo entre las mujeres sexualmente
activas. El PS se utiliz para controlar las diferencias entre las comunidades intervenidas y las del grupo de comparacin con respecto a caractersticas sociodemogrficas y comportamientos de riesgo.
Ensayos comunitarios
En el caso de los ensayos comunitarios, que incluyen asignacin
aleatoria de grupos, as como en los diseos que consideren varias me-
14
Variable resultado
post-intervencin
(Yi)
G. intervencin
Efecto de la
intervencin
(1)
G. comparacin
Punto de corte
(Xc)
Medida pre-intervencin
(Xi)
didas en el tiempo, es posible aplicar modelos que tengan en cuenta

una estructura jerrquica, como las generalized estimating equations
(GEE), los modelos mixtos o los modelos de anlisis multinivel15,16. Los
ensayos comunitarios son uno de los diseos ms utilizados en la evaluacin de programas de prevencin y promocin en las escuelas. La
principal ventaja de este tipo de diseos es que la asignacin aleatoria
de los grupos permite asumir que los principales factores confusores
asociados al grupo se distribuirn por igual entre ambos. Adems, la
asignacin de grupos permite minimizar la contaminacin entre los
individuos que reciben la intervencin y los que no la reciben. Por ejemplo, si la mitad de los alumnos de un aula participaran en una intervencin y el resto no, la contaminacin entre ellos sera ms probable que
si estuvieran en aulas o escuelas separadas. Como desventaja, cabe sealar que los individuos de un mismo grupo pueden diferir en factores
que afecten a la intervencin. En tal caso, habra que tener en cuenta esa
variabilidad individual con modelos estadsticos apropiados, como los
ya comentados previamente. Faggiano et al17 evaluaron la efectividad
de un programa de prevencin de abuso de sustancias en el que participaron 170 escuelas de siete pases europeos asignadas aleatoriamente
a grupos de intervencin y de comparacin. Para tener en cuenta la
estructura jerrquica de los datos y el efecto del grupo se utiliz en el
anlisis un modelo multinivel, en el cual se incluyeron tres niveles: escuela, clase y estudiante. El estudio demostr la efectividad de la intervencin en la disminucin del abuso de alcohol y de cannabis.
Figura 4. Diseo de regresin discontinua. Se representa

la variable resultado postintervencin (Yi) en funcin de
una medida preintervencin (Xi). Se determina un punto
de corte de una medida preintervencin (Xc). Todos los
individuos por debajo de este punto son intervenidos (lnea continua), mientras que los que estn por encima
forman parte del grupo de comparacin (lnea discontinua). El efecto de la intervencin (1) corresponde al cambio de nivel de la variable resultado en el punto de corte.
tervencin y al grupo de comparacin se hizo segn la puntuacin

obtenida en un test sobre estas asignaturas que se pas a todos los
alumnos. Los resultados demostraron un aumento en el rendimiento
acadmico en los alumnos que atendieron el curso de refuerzo18.
El modelo estadstico ms sencillo para analizar este tipo de diseo sera el siguiente19,20:
Yi = 0 + 1Inti + 2(Xi Xc) + ei
donde Yi es, para cada individuo i, el valor de la variable resultado
en el momento posterior a la intervencin. La variable Inti es la variable intervencin, que habitualmente toma un valor 1 para las individuos intervenidos y 0 para los del grupo de comparacin. La variable
Xi es la medida preintervencin para cada individuo, y Xc es el valor
de esta variable que se toma como punto de corte. Finalmente, el
impacto de la intervencin se estima a partir del parmetro 1 (fig. 4),
que se interpreta como la diferencia en media de la variable resultado en el grupo de intervencin respecto el grupo de comparacin.
Este modelo es correcto bajo dos supuestos: 1) que la relacin
entre la variable dependiente y la medida preintervencin es lineal;
y 2) que las pendientes de las rectas de regresin para ambos grupos
son paralelas (fig. 4). En caso de no cumplirse estos supuestos, deberan aplicarse modelos ms complejos21.
Serie temporal mltiple
Regresin discontinua
El diseo de regresin discontinua se caracteriza porque la asignacin de individuos al grupo de intervencin y al grupo de control se
lleva a cabo basndose en un valor establecido (punto de corte) de
una medida preintervencin (fig. 4). Partiendo de una variable continua, todos los individuos que estn por encima de ese valor determinado se asignan a uno de los grupos (p. ej. al grupo de comparacin)
y todos aquellos por debajo de dicho valor al otro (en este caso el
grupo de intervencin). Si la intervencin es efectiva, esperaremos
que en el grupo intervenido vare el valor en la variable medida tras
la intervencin, mientras que en el grupo de comparacin no se observarn cambios. Este diseo es especialmente adecuado cuando
queremos que la intervencin se dirija a aquellos que ms la necesitan, pues no requiere que asignemos al grupo de comparacin individuos que potencialmente necesitaran la intervencin. Como limitacin se encuentra la dificultad de disponer, en muchas ocasiones, de
una variable preintervencin continua en la cual establecer un punto
de corte que permita asignar individuos a ambos grupos. Como ejemplo, este diseo se utiliz en Chicago para evaluar la efectividad de los
cursos de refuerzo ofrecidos a los alumnos con peores resultados en
lectura y matemticas. En este estudio, la asignacin al grupo de in-
El diseo de serie temporal mltiple exige la existencia de datos

temporales agregados de la variable resultado, disponibles en un
grupo sujeto a la intervencin y en un grupo de comparacin. Este
diseo compara las medidas observadas en los grupos de intervencin y de comparacin a lo largo del tiempo. Dentro de los cuasiexperimentales, se trata de uno de los diseos menos susceptibles a las
amenazas a la validez interna, con la limitacin de que suele ser difcil encontrar un grupo de comparacin equivalente cuando la unidad
de anlisis es muy grande (como un pas o una regin). Su principal
ventaja es que, al disponer de datos que muestran la tendencia, pueden descartarse los sesgos histricos. Asimismo, el grupo de comparacin permite descartar que el impacto de la intervencin se deba a
otros factores, ya que se espera que la intervencin produzca un efecto en la serie del grupo de intervencin (entre las medidas recogidas
antes y despus de la intervencin), pero que este efecto no se observe en la serie de comparacin.
Este diseo se aplica principalmente en la evaluacin de polticas
pblicas. Por ejemplo, Benavides et al22 estudiaron el efecto de los
planes de actuacin preferente sobre la incidencia de lesiones por
accidentes de trabajo. Los autores observaron que, para el conjunto
de Espaa, la tendencia de las lesiones por accidentes de trabajo por
causas mecnicas era ligeramente ascendente hasta el ao 2000, y

claramente descendente hasta 2004. El cambio en la tendencia coincida con la puesta en marcha de estos planes en las comunidades
autnomas, pero tambin se observ esta diferencia en comunidades
que an no los haban implementado. Por tanto, estos resultados no
permitan atribuir exclusivamente a los planes de actuacin preferente el descenso generalizado en la incidencia de lesiones por accidentes de trabajo no mortales a partir del ao 2000 en Espaa.
El anlisis estadstico de series temporales mltiples puede abordarse con diferentes enfoques en funcin, entre otras cosas, del nmero de series temporales, de la cantidad de observaciones que se
obtengan y del momento en que se realizan las intervenciones4. El
enfoque ms sencillo consiste en analizar cada una de las series temporales por separado y comparar si hay efecto de la intervencin en
cada una de ellas, o si el impacto es mayor en una serie u otra. Un
enfoque ms complejo consiste en introducir la informacin de varias series temporales en un nico modelo. En caso de disponer de un
patrn de cambio de nivel con igual tendencia antes y despus de la
intervencin en ambos grupos, el modelo de regresin paramtrico
se podra resumir del siguiente modo5,8:
Yit = 0 + 1Intit + 2Tit + 3Grupoit + it
donde Yit es la variable resultado en el grupo de intervencin
(i = 1) y el grupo de comparacin (i = 2) para cada medida en el tiempo t (t = 1,,T). Por lo tanto, disponemos de 2 T observaciones en la
base de datos. Intit es la variable de intervencin. Es importante destacar que esta variable toma valor 0 para todas las observaciones del
grupo de comparacin (i = 2) y para las observaciones preintervencin del grupo de intervencin (i = 1), mientras que toma valor 1 para
las observaciones postintervencin del grupo de intervencin (i = 1).
Tit es la variable que permite controlar la tendencia, y toma valores
de 1,,T tanto para el grupo de comparacin como para el grupo de
intervencin. Finalmente, Grupoit toma valor 1 para las observaciones del grupo de comparacin y 0 para las del grupo de intervencin.
En este modelo, el parmetro 1 representa el impacto de la intervencin. Al igual que en el diseo no experimental, es posible introducir
en el modelo otras variables confusoras.
Diseos experimentales
Los diseos experimentales se caracterizan por una asignacin
aleatoria de los individuos a un grupo de intervencin y a un grupo
de comparacin, que en este tipo de diseos se denomina grupo control. Si el tamao de muestra es suficiente, ambos grupos sern, por
efecto del azar, equivalentes, excepto en el hecho de que uno de ellos
recibir la intervencin. Esto nos permitir atribuir el efecto observado a la intervencin, descartando otros posibles factores confusores.
Sin embargo, en el mbito de la evaluacin en salud pblica, este tipo
de diseo es de los menos utilizados, debido tanto a conflictos de
tipo tico como a dificultades logsticas o relacionadas con la falta de
recursos. Los principales diseos experimentales se pueden clasificar
en diseos post y diseos antes-despus (o pre-post).
Diseo post
El diseo experimental post se caracteriza por no disponer de ninguna medicin preintervencin, ya que se asume que ambos grupos
son perfectamente equivalentes antes de la intervencin y, por lo tanto, los dos estaran sujetos al mismo grado de cambio inducido por
factores externos al programa. De este modo, cualquier diferencia entre ellos en el resultado postintervencin representara el efecto de la
intervencin. La principal ventaja de este estudio es que no son necesarias las medidas preintervencin. Sin embargo, la asuncin de que
en el momento preintervencin ambos grupos tendran el mismo valor para el criterio evaluado no siempre corresponde a la realidad, y
15
esas posibles diferencias podran afectar al cambio que atribuimos a

la intervencin. Este diseo es de los menos utilizados en evaluacin
en salud pblica, aunque hay algunos ejemplos, como el estudio de
Hilliard23, que investig el efecto de la musicoterapia en pacientes terminales asignando aleatoriamente a los pacientes a esta terapia,
mientras que otros reciban los tratamientos paliativos tradicionales.
El estudio mostr diferencias significativas en algunas variables, como
por ejemplo el tiempo que transcurra antes de la muerte del paciente, que fue mayor en los que reciban la musicoterapia.
En cualquier caso, para descartar que las diferencias halladas entre el grupo de intervencin y el grupo control no se deben al azar,
debe aplicarse un test apropiado de significacin estadstica, como la
prueba t, el anlisis de la variancia (ANOVA), el anlisis de la covarianza (ANCOVA) o tests no paramtricos cuando el supuesto de normalidad no se cumpla24.
Diseo experimental antes-despus (o pre-post)
En el diseo experimental antes-despus (o pre-post) disponemos
de una o ms mediciones antes y despus de la intervencin. El cambio
en la variable resultado en el grupo control representa lo que hubiera
pasado a los individuos del grupo de intervencin si no hubieran recibido la intervencin. Por ello, si calculamos la diferencia del cambio en la
variable resultado de ambos grupos obtenemos directamente el efecto
del programa. Los diseos experimentales se consideran los menos vulnerables a las posibles amenazas a la validez interna, ya que se asume
que el azar distribuye por igual las posibles variables confusoras, incluyendo las no conocidas o no observables. Sin embargo, en salud pblica,
debido a la complejidad de las intervenciones, este diseo es difcilmente aplicable en la mayora de los casos. Un ejemplo de aplicacin de este
diseo es el estudio de evaluacin de una intervencin dirigida a mejorar la calidad de vida llevado a cabo por Marn et al25, en el cual se asign aleatoriamente a los individuos interesados a un grupo de intervencin y a un grupo control que recibira la intervencin posteriormente.
Se determin en los individuos de ambos grupos la percepcin del estado de salud y ciertos parmetros clnicos antes y despus de la intervencin. Los resultados del estudio mostraron una mejora del grupo de intervencin respecto a los individuos del grupo control.
Adems de los tests de comparacin mencionados en el diseo
post, es posible estimar modelos de regresin, que son aplicables con
independencia de la distribucin (normal o no) de la variable resultado, y adems permiten estimar la magnitud del efecto de la intervencin3. En este caso, el modelo de regresin sera el mismo que se
ha utilizado en los diseos no experimentales, pero sin incluir las
posibles variables de confusin.
Para algunos de los diseos expuestos a lo largo del manuscrito se
ha especificado el modelo de regresin adecuado para detectar y
cuantificar un efecto debido a la intervencin. Con el fin de simplificar
la notacin, se ha incidido sobre todo en qu covariables deben introducirse en el modelo, y se ha considerado siempre que slo habra un
grupo de comparacin y que la variable resultado es continua y sigue
una distribucin normal. Cabe mencionar que, en el caso de que la
variable respuesta no fuera continua, deberan especificarse otros tipos de modelos de regresin, como por ejemplo un modelo de regresin logstico (variables dicotmicas) o un modelo de regresin de
Poisson (recuentos). Tambin es frecuente utilizar los modelos lineales generalizados (MLG), que permiten considerar, bajo un mismo
marco, una gran variedad de distribuciones de la variable resultado.
Consideraciones finales
Aunque este artculo se centra en los diseos evaluativos ms utilizados en salud pblica y su anlisis estadstico, hay muchos otros aspectos metodolgicos relevantes a tener en cuenta en el mbito de la
evaluacin, entre los que cabe destacar los relacionados con la muestra
(tcnicas de muestreo o tamao de muestra) y con la eleccin de los
16
Tabla 2
Mtodos para controlar los sesgos de seleccin segn la fase de estudio
Mtodo
Descripcin
Fase del estudio
Aleatorizacin
Asignar al azar individuos al grupo de intervencin y al grupo control
Restriccin
Limitar las caractersticas de los individuos incluidos en el estudio.
Emparejamiento
Para cada individuo del grupo intervencin, seleccionar uno o ms individuos con las mismas
caractersticas (excepto recibir la intervencin) en el grupo de comparacin
Estratificacin
Analizar los resultados segn subgrupos (o estratos) de individuos de caractersticas similares
Diseo
Anlisis
Ajuste por regresin
Introducir variables que pudieran ser confusoras en el modelo de regresin
Propensity Score
Calcular un ndice (propensity score) que recoge la probabilidad condicionada que tiene cada individuo
de ser asignado al grupo de intervencin dadas unas determinadas variables confusoras
Estimar el impacto de la intervencin bajo diversas condiciones del posible sesgo de seleccin
Anlisis de sensibilidad
Adaptado de Fletcher et al
27
indicadores adecuados. Asimismo, aparte de los diseos comentados

existen otros que pueden ser tiles en determinados estudios, como el
diseo Solomon (que permite corregir el efecto que la medida preintervencin pueda tener en los individuos o grupos), el diseo factorial
(que permite evaluar la efectividad de diversos componentes de una
misma intervencin) o la metaevaluacin (que evala la efectividad a
partir de la evidencia acumulada de evaluaciones previas).
Tal como se ha comentado a lo largo del artculo, el sesgo de seleccin es una de las principales amenazas a la validez interna. En
algunos casos, este sesgo puede minimizarse directamente en el diseo del estudio mediante la aleatorizacin en la asignacin de los
individuos al grupo de intervencin y al grupo control, restringiendo
el estudio a sujetos de unas determinadas caractersticas o seleccionando para el grupo comparacin personas que sean similares a cada
una del grupo de intervencin. Cuando este sesgo no se ha podido
controlar en la fase de diseo, es posible minimizarlo durante la fase
de anlisis de los datos. Para ello, entre otras opciones, podemos estratificar los resultados, ajustar por variables confusoras o por un
ndice como el PS, o realizar un anlisis de sensibilidad en el cual se
recojan diversos escenarios alternativos (tabla 2).
Sin duda, la evaluacin de intervenciones de salud pblica, en la
que rara vez es posible la aleatorizacin de individuos y habitualmente intervienen mltiples factores, implica numerosos retos metodolgicos. Aun as, es absolutamente necesario intentar evaluar la
efectividad de dichas intervenciones, haciendo uso de los recursos
metodolgicos disponibles que, en la mayora de los casos, permitirn concluir si una intervencin es efectiva y estimar en qu magnitud. Esta informacin debera ser una de las bases fundamentales en
la inversin eficiente de recursos en intervenciones de salud pblica,
que se traducira en una mejora de la calidad de vida y de la salud de
la poblacin.
M Jos Lpez y Marc Mar-DellOlmo lideraron la concepcin del
artculo y escribieron su primera versin. Todos los autores participaron en la escritura y revisin cientfica del manuscrito, y aprobaron la versin final para su publicacin.
Financiacin
(AGAUR SGR 2009 1345).
Bibliografa
1. Rossi PH, Lipsey MW, Freeman HE. Evaluation: a systematic approach. 7th ed.
Thousands Oaks (CA): Sage Publi; 2004.
2. Posavac E, Carey R. Program evaluation: methods and case studies. 7th
ed. New
Jersey: Pearson Education; 1992.
3. Nebot M, Lpez MJ, Ariza C, et al. Impact of the Spanish smoking law on exposure
to secondhand smoke in offices and hospitality venues: before-and-after study.
Environ Health Perspect. 2009;117:344-7.
4. Arnau Gras J. Diseos temporales: tcnicas de anlisis. Barcelona: Edicions de la
Universitat de Barcelona, 2001.
5. Langbein LI, Felbinger CL. Public program evaluation: a statisticall guide. New
York: M.E. Sharpe; 2006.
6. Novoa AM, Prez K, Santamarina-Rubio E, et al. Road safety in the political agenda: the
impact on road traffic injuries. J Epidemiol Community Health. 2010; en prensa.
7. Tobas A, Sez M, Galn I. [Graphic tools for the descriptive analysis of temporary
series in medical research]. Med Clin (Barc). 2004;122:701-6.
8. Simonton DK. Cross-sectional time-series experiments: some suggested statistical
analyses. Psychol Bull. 1977;84:489-502.
9. Stolwijk AM, Straatman H, Zielhuis GA. Studying seasonality by using sine and cosine functions in regression analysis. J Epidemiol Community Health. 1999;53:235-8.
10. Robitaille Y, Laforest S, Fournier M, et al. Moving forward in fall prevention: an
intervention to improve balance among older adults in real-world settings. Am J
Public Health. 2005;95:2049-56.
11. Luellen JK, Shadish WR, Clark MH. Propensity scores: an introduction and experimental test. Eval Rev. 2005;29:530-58.
12. Rosenbaum PR, Rubin DB. The central role of the propensity score in observational
studies for causal effects. Biometrika. 1983;70:41-55.
13. Expsito Ruiz M, Ruiz Bailn M, Prez Vicente S, et al. Uso de la metodologa propensity score en la investigacin sanitaria. Rev Clin Esp. 2008;208:358-60.
14. Lauby JL, Smith PJ, Stark M, et al. A community-level HIV prevention intervention
for inner-city women: results of the women and infants demonstration projects.
Am J Public Health. 2000;90:216-22.
15. Braun TM. A mixed model-based variance estimator for marginal model analyses
of cluster randomized trials. Biom J. 2007;49:394-405.
16. Shadish WR, Cook TD. The renaissance of field experimentation in evaluating interventions. Annu Rev Psychol. 2009;60:607-29.
17. Faggiano F, Vigna-Taglianti F, Burkhart G, et al. The effectiveness of a school-based
substance abuse prevention program: 18-month follow-up of the EU-Dap cluster
randomized controlled trial. Drug Alcohol Depend. 2010;108:56-64.
18. Jacob BA, Lefgren L. Remedial education and student achievement: a regressiondiscontinuity analysis. Review of Economics and Statistics. 2004; 86:226-44.
19. Linden A, Adams JL, Roberts N. Evaluating disease management programme effectiveness: an introduction to the regression discontinuity design. J Eval Clin Pract.
2006;12:124-31.
20. Shadish WR, Cook TD. Experimental and quasi-experimental designs for generalized causal inference. Boston, New York: Houghton Mifflin Company; 2002.
21. Khandker SR, Koolwal GB, Samad H. Handbook on impact evaluation: quantitative
methods and practices. Washington: World Bank Publications; 2009.
22. Benavides FG, Rodrigo F, Garca AM, et al. Evaluation of the effectiveness of preventive activities (Strategic Action Plans) on the incidence of non-fatal traumatic
occupational injuries leading to disabilities in Spain (1994-2004). Rev Esp Salud
Publica. 2007;81:615-24.
23. Hilliard RE. A post-hoc analysis of music therapy services for residents in nursing
homes receiving hospice care. J Music Ther. 2004;41:266-81.
24. Dimitrov DM, Rumrill PD. Pretest-posttest designs and measurements of change.
Work. 2003;20:159-65.
25. Marin GH, Homar C, Niedfeld G, et al. Evaluation of the state intervention project
to improve quality of life and reduce the complications associated with aging:
Add health to your years. Gac Sanit. 2009;23:272-7.
26. Prez K, Mari-Dellolmo M, Tobas A, et al. Reducing road traffic injuries: effectiveness of speed cameras in an urban setting. Am J Public Health. 2007;97:1632-7.
27. Fletcher HR, Fletcher WS, Wagner HE. Epidemiologa clnica: aspectos fundamentales. Madrid: MassonWilliams & Wilkins; 1989.
Gac Sanit. 2011;25(Supl 1):17-24
Evaluacin de polticas y planes de salud

Joan R. Villalba,b,* y Ricard Tresserrasc
Agncia de Salut Pblica de Barcelona, Barcelona, Espaa
CIBER de Epidemiologa y Salud Pblica, Espaa
c
Direcci General de Planificaci i Avaluaci, Departament de Salut, Generalitat de Catalunya, Barcelona, Espaa
a
RESUMEN
Palabras clave:
Salud pblica
Evaluacin de programas
Polticas de salud
Ejecucin de planes de salud
La evaluacin de los planes y de las polticas es un elemento clave de su gestin, y ha de hacerse en condiciones reales, las mismas en que se desarrollan los planes o las polticas que se desea evaluar. Como las polticas
o los planes suelen incluir un conjunto de componentes que operan simultneamente, y con frecuencia hay
factores ajenos que afectan a los problemas que se quieren abordar con su actuacin, su evaluacin es compleja. De otro modo, una poltica efectiva que est reduciendo los efectos de un problema puede ser juzgada
como inefectiva (si el problema crece por efecto de otros factores que el programa no pretende abordar), o una
poltica que no consigue modificar el problema que la justifica puede ser juzgada como til (si la magnitud del
problema se reduce independientemente de la poltica por el efecto de otros factores). Este trabajo aborda la
evaluacin de polticas, planes o programas complejos de salud, con nfasis en la evaluacin de su efectividad,
utilizando datos de ejemplos reales. Entre otros aspectos, se revisa la necesidad de identificar los componentes de las polticas y de los planes. Adems, se aborda cmo realizar la evaluacin del producto o de los resultados del programa mediante indicadores procedentes de otras fuentes. Se valoran aspectos ligados a los
plazos e indicadores para la evaluacin. Se discute la situacin planteada cuando la puesta en marcha de una
poltica o de una intervencin se acompaa de un incremento en la magnitud registrada del problema que se
pretende abordar, valorando casos en que es atribuible a mejoras en la deteccin del problema y otros en que
se debe a factores ajenos a la intervencin. Se comenta la frecuente confusin de efectos entre intervencin y
otros sucesos, con ejemplos. Finalmente, se cubre tambin la evaluacin de planes que incluyen una amplia
variedad de objetivos.
Evaluation of health policies and plans

ABSTRACT
Keywords:
Public health
Program evaluation
Health policies
Health plan implementation
Evaluation of plans and policies is a key element in their administration and must be performed under real
conditions. Such evaluation is complex, as plans and policies include a diverse set of components that operate
simultaneously. Moreover, external factors frequently influence those same issues that programs attempt to
change. Unless plans and policies are evaluated under real conditions, a policy that effectively reduces the
effects of a problem may be deemed ineffective (if the problem increases due to the influence of factors the
program does not attempt to affect), or a policy that is unable to influence the problem it attempts to solve
may be judged useful (if the magnitude of the problem is being reduced through the influence of factors other
than the policy). The present article discusses evaluation of health policies, plans or complex programs, with
emphasis on effectiveness assessment, using data from real examples. Among other issues, the need to
identify the distinct components of policies and plans is reviewed. This article also describes how to evaluate
the outcome or results of a program with indicators from other sources. Aspects related to the timing of
evaluation and assessment indicators are analyzed. We discuss situations in which the launch of a new policy
or intervention is followed by an increase in the reported magnitude of the problem it attempts to solve.
These situations are illustrated by cases in which this increase is attributable to improved detection and by
others in which the increase is related to factors external to the intervention. The frequent confusion of the
effects of the intervention with other events is covered, with data from some examples. Finally, evaluation of
plans that include a wide range of objectives is also addressed.

Correo electrnico: jrvillal@aspb.cat (J.R. Villalb)
18
J.R. Villalb et al / Gac Sanit. 2011;25(Supl 1):17-24
Introduccin
En un experimento de laboratorio se evala el efecto de una nica
variable; en un ensayo clnico controlado, el de una variable intentando controlar todas las dems mediante los procedimientos de
aleatorizacin y cruce; y en una evaluacin de la efectividad de un
programa se evala el efecto de una intervencin en condiciones que
intentan aproximarse a un diseo experimental, pero siempre menos
controladas1. Cuando se aplica un programa a gran escala, se asume
que su eficacia ha sido demostrada previamente, y por tanto las opciones de evaluacin se concentran en monitorizar el proceso para
velar por su aplicacin real conforme a lo previsto, por la cobertura,
por la calidad y por la satisfaccin de los implicados, asumiendo que,
si es as, la eficacia demostrada se traducir en efectividad. De todos
modos, es deseable disponer de mecanismos de valoracin de la
efectividad del programa para documentar sus efectos (o alternativamente la falta de impacto), para revisarlo y mejorarlo; tarea que no
es trivial, sobre todo cuando en vez de un programa complejo se
plantea la evaluacin de todo un plan, compuesto a veces por diversos programas.
La evaluacin de los planes y de las polticas es un elemento clave
de su gestin. La evaluacin permite juzgar, basndose en datos, su
desempeo, si se est consiguiendo alcanzar los objetivos propuestos y, en su caso (tanto si se han logrado los objetivos como si no),
proporciona una base para revisar el programa o poltica, o para redefinir los objetivos a alcanzar. Esta evaluacin ha de operar en condiciones reales, las mismas en que se desarrollan los planes o las
polticas que se desea evaluar. Esto aade una complejidad, que dificulta la evaluacin o introduce elementos distorsionadores o de confusin en su prctica2. Las polticas o planes suelen incluir un conjunto de componentes que operan simultneamente, y por ello su
evaluacin es ms compleja. Por otra parte, con frecuencia hay factores ajenos que afectan a los problemas que quieren abordarse con la
actuacin. Los esfuerzos de evaluacin han de tenerlo en cuenta. De
otro modo, una poltica efectiva que est reduciendo los efectos de
un problema puede ser juzgada como inefectiva (si el problema crece
por efecto de otros factores que el programa no pretende abordar), o
una poltica que no consigue modificar el problema que la justifica
puede ser juzgada como til (si la magnitud del problema se reduce
por el efecto de otros factores). Estos juicios errneos pueden llevar
a desmantelar o modificar planes efectivos, o a mantener planes que
no aportan valor aadido, con el coste sanitario y el despilfarro de
recursos que ello comporta. En este trabajo nos proponemos abordar
la evaluacin de polticas, planes o programas de salud complejos,
centrndonos en la evaluacin de su efectividad.
Anlisis de los componentes de polticas y planes
Uno de los principales problemas al plantear la evaluacin es que
los componentes reales de las polticas, los planes o los programas
complejos no siempre son explcitos, o que en realidad se apartan de
lo que se enuncia en su formulacin inicial3. Por ello, el anlisis de los
componentes reales de una intervencin compleja es una etapa importante previa al desarrollo de la evaluacin.
Ejemplo: la ley del tabaco de 2005 y sus componentes como intervencin
La ley 28/2005 de medidas sanitarias de prevencin y control del
tabaquismo puede considerarse como una intervencin compleja4.
Detrs de su enunciado, hay cinco componentes principales: 1) la
prohibicin de la publicidad y del patrocinio del tabaco; 2) una reduccin de la disponibilidad de productos del tabaco con una importante reduccin de los puntos de venta; 3) la prohibicin del consumo de tabaco en los lugares de trabajo y otros espacios cerrados, con
exenciones en espacios de ocio; 4) una invocacin a la necesidad de
realizar programas de prevencin y control desde las administraciones pblicas (sustanciada posteriormente en la transferencia anual
de una partida finalista a las comunidades autnomas); y 5) un esfuerzo de comunicacin institucional desde el mbito sanitario sobre
los efectos del tabaco y la conveniencia de dejar de fumar. Ante una
poltica con tantos componentes, cabe preguntarse cul es el efecto
esperado de cada uno de ellos y cmo evaluarlo, si es posible plantear la existencia de un efecto conjunto concreto y evaluable, y cules
son los indicadores y plazos en que es posible proceder a la evaluacin5.
Evaluacin del proceso y de los resultados
No siempre es posible evaluar la utilidad de una intervencin.
Para ello se requieren recursos, que no siempre estn disponibles. En
cambio, siempre es posible evaluar el proceso, monitorizarlo6. La gestin del plan o programa ha de tener incorporados elementos de control de gestin que han de permitir monitorizarlo de manera casi
sistemtica. De otro modo funcionar a ciegas, y es probable que se
desve de lo previsto y no contribuya a lograr los objetivos sin que
esto se perciba. La evaluacin del proceso suele comportar la evaluacin de cuatro aspectos: actividad, cobertura, calidad y satisfaccin.
En un programa complejo, habr que hacerlo con sus diversos componentes:
Actividad: la monitorizacin de la actividad comporta definir indicadores apropiados que permitan conocer lo que se hace. En algunos casos, la actividad puede resumirse mediante un nico indicador, aunque ms a menudo se precisan varios indicadores para su
percepcin. Son indicadores de actividad tpicos el nmero de vacunas administradas, o el nmero de personas vacunadas.
Cobertura: la cobertura expresa la proporcin de la poblacin diana a la cual se cubre con el programa. La cobertura de un programa
de cribado mamogrfico en una poblacin expresa la proporcin
de la poblacin diana que ha sido explorada en el perodo definido,
y la cobertura de un programa de vacunacin expresa la proporcin de la poblacin de la edad prevista que ha sido vacunada en
el perodo previsto. Raramente las coberturas alcanzan el 100%, y
su monitorizacin permite apreciar si el programa mejora, se deteriora o se mantiene, as como el impacto que puedan tener acciones de promocin, cambios en la poblacin o contingencias diversas en su curso. En muchos programas, es un indicador
crucial.
Calidad: la calidad con que se realizan las actividades permite ver
hasta qu punto se cumple lo previsto, o si en su desempeo los
servicios se apartan de lo planificado (cosa que probablemente
afectar a su efectividad).
Satisfaccin: la satisfaccin de los participantes en un programa
permite predecir su curso futuro. Un programa que sea insatisfactorio para quienes lo reciben difcilmente tendr buenas coberturas. Asimismo, ser dudoso mantener buenos niveles de actividad,
calidad y cobertura con un programa que no sea aceptado por
quienes lo han de administrar.
Evaluacin de la efectividad de un programa: la evaluacin del
producto o de los resultados del programa es ms compleja que la
evaluacin del proceso. En muchos casos se mide mediante indicadores que no estn integrados en la gestin de la intervencin, pero que
tienen otras fuentes de informacin. Por ello, es conveniente disponer
de una estrategia de evaluacin que permita comprobar de forma peridica los resultados o el impacto en salud del programa. Esto a veces
puede hacerse utilizando los sistemas de informacin existentes, que
pueden aportar elementos de evaluacin.
19
20
15
10
0
1983-1986
1988-1992 1989-1999
2000-2006
1983-1986
Mortalidad infantil
1988-1992 1989-1999
2000-2006
Mortalidad perinatal
Ciutat Vella
Resto ciudad
Figura 1. Mortalidad infantil y perinatal en Ciutat Vella y el resto de la ciudad segn el perodo de implantacin de los programas de mejora de la salud materno-infantil en
Ciutat Vella (Barcelona, 1983-2006)8.
NOTA: El programa se inici en 1987, y a finales de los aos 1990 se integr en la actividad de los servicios de atencin primaria de salud, una vez desplegada y consolidada la
reforma de los servicios de atencin primaria en todos los barrios de Ciutat Vella.
Ejemplo: evaluacin de la efectividad de una intervencin sobre la

salud materno-infantil en una zona desfavorecida
El programa de salud materno-infantil desarrollado en el distrito
de Ciutat Vella de Barcelona es un ejemplo de plan o programa complejo. En diversos estudios emprendidos a principios de los aos
1980 se puso de manifiesto un exceso de mortalidad infantil en este
distrito, que por aquel entonces era objeto de diversas polticas complejas de rehabilitacin y regeneracin urbana, las cuales combinaban intervenciones urbansticas, de mejora de los servicios pblicos
y de atencin social. En este marco, en 1987 se pusieron en marcha
diversas acciones orientadas a mejorar la salud reproductiva de las
mujeres. Sus componentes principales eran tres: 1) fomentar el acceso precoz de las gestantes de la zona a los servicios prenatales especializados; 2) favorecer el acceso prioritario de los recin nacidos a
los servicios de atencin primaria; y 3) favorecer el acceso prioritario
de sus madres a los servicios de planificacin familiar y a los servicios sociales o de otro tipo si se detectaba una necesidad especial. La
estrategia bsica se basaba en el uso de la enfermera comunitaria
como personal de enlace y gestor de casos, utilizando la visita a domicilio de los recin nacidos, los registros de nacimientos y el contacto con todos los servicios asistenciales de la zona para la deteccin. Paralelamente se facilit la mejora de los servicios sociales y de
salud. Se puso especial nfasis en mejorar la atencin primaria de
salud en el distrito, cuya reforma se complet en 1993, y de los servicios especializados (de planificacin familiar, del hospital de referencia y del centro de urgencias local, que ampliaron sus recursos y
mejoraron sus instalaciones).
Esta intervencin compleja se evaluaba anualmente con indicadores de actividad, cobertura y calidad, derivados de los datos de
gestin del programa por los servicios de salud pblica. Al mismo
tiempo, su funcionamiento fue variando conforme los gestores del
proyecto adecuaban los esfuerzos a los puntos crticos. No haba una
visin clara del impacto conseguido, y pese a la intensidad del trabajo realizado personas ajenas al programa cuestionaban peridicamente su utilidad, especialmente en momentos de tensiones presupuestarias. Por ello pareca necesario documentar su utilidad, lo que
se hizo mediante una evaluacin del impacto realizada a principios
de la dcada de 1990. sta mostr la efectividad del programa, cuya
ejecucin se acompa de una reduccin del diferencial de mortalidad infantil del distrito con el resto de la ciudad7, gracias al trabajo
intensivo de los servicios de salud pblica, en un perodo en que la
mejora de los servicios de atencin sanitaria estaba todava desplegada de manera desigual.
Posteriormente, los componentes del programa se fueron integrando en la actividad de los servicios de atencin primaria (notablemente con los servicios de pediatra) y especializada (sobre todo del
programa de atencin a la salud sexual y reproductiva), con lo cual la
actividad de enfermera de salud pblica se reorient a otras prioridades. Como se aprecia en la figura 1, la mejora obtenida en el perodo inicial se mantiene y prosigue, y el indicador de mortalidad infantil en el distrito es en la actualidad similar al del resto de la ciudad8.
Sin embargo, la mortalidad perinatal muestra an un cierto diferencial, pese a haber mejorado notablemente.
Plazos e indicadores para la evaluacin
Los plazos en que cabe esperar ver los resultados de una intervencin compleja varan. En algunos casos, la intervencin va alcanzando a ms personas de forma lenta y acumulativa. As sucede con un
mensaje educativo de prevencin o un nuevo tratamiento, que llegan
progresivamente a ms personas a medida que funciona la comunicacin, o que la poblacin diana va consultando en los servicios que
lo proporcionan. En otros, la intervencin llega al mismo tiempo a
amplios grupos de la poblacin, como es el caso de un cambio regulatorio que comporta la desaparicin de un producto del mercado, el
cese de una fuente de contaminacin o la obligatoriedad del uso de
una medida protectora, como el casco para los motoristas. Adems,
los efectos de una intervencin pueden ser visibles a corto o largo
plazo (o para una misma intervencin puede haber efectos visibles a
corto plazo y otros visibles a largo plazo). Por ejemplo, la entrada en
vigor de la transposicin en Espaa de la directiva europea que regula la presencia de determinados contaminantes en el agua de bebida
ha de tener efectos visibles a corto, medio y largo plazo9; a corto
plazo y ya apreciables, en la captacin de aguas para el consumo o la
adopcin de nuevas tecnologas en las plantas de tratamiento en algunas localidades, pero esperamos tambin efectos a medio plazo en
la carga biolgica de determinados contaminantes, y a largo plazo los
20
debera tener en la disminucin de los efectos adversos en la salud

que se le atribuyen. Una regulacin sobre el uso de pesticidas orgnicos persistentes puede tener un efecto inmediato en su produccin
y aplicacin, y en cambio tardar en verse en muestras de alimentos
grasos o en muestras biolgicas en humanos por el carcter persistente del contaminante. Las personas expuestas masivamente al DDT
en su infancia y juventud portarn DDT y sus metabolitos en el tejido
graso durante toda la vida. Sin embargo, la razn entre las concentraciones de DDT y de sus metabolitos debera permitir apreciar que la
exposicin fue antigua, puesto que en Espaa se regul su uso y en
general se interrumpi desde finales de los aos 1970. La instalacin
de nuevos filtros en una planta incineradora de residuos tras la entrada en vigor de la directiva europea del ao 2000 se acompa de
una reduccin inmediata de las emisiones de contaminantes tales
como dioxinas y furanos. A corto plazo se pudo apreciar el descenso
de la carga orgnica de estos contaminantes en el suelo y en muestras herbceas de las zonas vecinas, as como en invertebrados10; a
largo plazo debera poder apreciarse el mismo efecto en los humanos, y tericamente tambin los efectos en la salud (aunque stos
sern difciles de aislar, al ser indistinguibles de los causados por
otras exposiciones ubicuas).
Paradojas: mayor magnitud del problema pese a una poltica
efectiva
En algunas ocasiones, la puesta en marcha de una poltica o de
una intervencin se acompaa de un incremento en la magnitud registrada del problema que pretende abordarse. Esto, que parece sealar el fracaso de la intervencin, puede sin embargo ser un indicador de progreso, o simplemente poner de manifiesto otros cambios
ajenos a la bondad de la poltica.
Cambios atribuibles a mejoras en la deteccin del problema: con
la puesta en marcha de algunos programas mejora su deteccin y
registro. Es sabido que en el plan de erradicacin de la viruela, en
las zonas donde se mantena endmica, la puesta en marcha de las
acciones operativas para su control se tradujo inicialmente en un
incremento de los casos registrados. Esto no se deba a un fracaso
en el control, sino que la calidad y la exhaustividad de la vigilancia
mejor, y esto llev a un incremento en los casos registrados a
expensas de muchos que previamente no se notificaban ni investigaban. Situaciones similares se dan al poner en marcha planes de
intervencin de todo tipo, que generan mejoras en la deteccin y
el registro de determinadas situaciones. En otros casos se dan
cambios en los procedimientos disponibles para la deteccin de
un problema que comportan un incremento aparente de su deteccin, como ocurre con la introduccin de nuevas tecnologas sanitarias tales como los kits que mediante un sencillo anlisis de orina permiten atribuir a Legionella pneumophila muchos casos de
neumona que antes no se filiaban. Esto comport incrementos
aparentes de la incidencia de casos, cuyo origen hay que entender
y tener en cuenta para no interpretarlos como un fracaso de las
intervenciones orientadas a mejorar el mantenimiento y la desinfeccin de las instalaciones de riesgo de Legionella. A largo plazo,
una vez superado el efecto de este factor, la disminucin de los
brotes y casos de legionelosis ha sido evidente.
Cambios atribuibles a factores ajenos a la intervencin: algunos
problemas de salud se dan en condiciones de relativa estabilidad,
pero otros son muy sensibles a cambios en la poblacin. Por ejemplo, la frecuencia de los accidentes de trfico depende de la densidad de uso de los vehculos de motor, y del nmero de conductores jvenes y noveles: ambos se incrementan en situaciones de
bonanza econmica, que comportan mayor circulacin de personas y mercancas, y tambin ms dinero disponible para gastar por
parte de las personas jvenes, que en parte se destina a la adquisi-
cin y el uso de vehculos de motor11. Como resultado, en estas

situaciones puede registrarse un incremento de las lesiones por
trfico, independientemente de que las polticas de control aplicadas tengan un efecto favorable. Algo as ocurri a mediados de los
aos 1990, y se ha documentado cmo corregir el efecto de la economa sobre los datos de accidentabilidad.
Ejemplo: el programa de prevencin y control de la tuberculosis de
Barcelona
Este programa complejo se puso en marcha en 1987 y permite
ejemplificar estos aspectos. Los componentes principales del programa han sido tres: 1) el seguimiento activo de los enfermos con tuberculosis para garantizar el cumplimiento del tratamiento y por
tanto su curacin (el ms importante); 2) la deteccin exhaustiva de
nuevos casos (incorporando elementos de vigilancia activa al sistema
preexistente propio de las Enfermedades de Declaracin Obligatoria); 3) la prevencin de nuevos casos de enfermedad (mediante el
estudio de los contactos de los casos y la instauracin de tratamiento
para la infeccin tuberculosa latente); y 4) otro componente no explcito, pero importante, como es la construccin y el mantenimiento
de una red de comunicacin orientada a la colaboracin con los profesionales con mayor contacto con los pacientes de tuberculosis en la
red asistencial y en otros dispositivos (sociales, penitenciarios, de
atencin a las adicciones...), que persigue el uso comn de protocolos
de actuacin y genera proyectos colaborativos de innovacin, basados en la investigacin aplicada.
La figura 2 muestra la evolucin de la incidencia de nuevos casos
de tuberculosis en la ciudad12. El seguimiento de los casos para garantizar que cumplen con el tratamiento produjo un incremento inicial en el registro de casos, fruto de la vigilancia activa y del renovado
inters suscitado por el programa en los servicios clnicos. Sin embargo, en el segundo ao fue posible apreciar un descenso en el nmero de nuevos casos, fruto de la mejora en el control de los enfermos y de los infectados recientes, y especialmente en el subgrupo de
personas sin hogar y con otros problemas sociales que constituan el
ncleo principal de pacientes que no completaban el tratamiento,
mediante un programa de incentivos sociales asociados al tratamiento directamente observado13. No obstante, desde 1989 se produjo un
nuevo incremento de casos, ligado a la emergencia de un nuevo problema: la infeccin por el virus de la inmunodeficiencia humana. Su
diseminacin en grupos con alta incidencia de infeccin tuberculosa,
en especial entre usuarios de drogas inyectables, comport la aparicin de la enfermedad tuberculosa como primera manifestacin de
la inmunodeficiencia adquirida, con un exceso de casos nuevos pese
a la mejora en los indicadores de control de la endemia14. Este problema se afront con la implantacin del tratamiento directamente
observado ligado a los programas de tratamiento con metadona para
usuarios de herona en 1992. La estrategia obtuvo buenos resultados,
y se tradujo de nuevo en una mejora de los indicadores. Tras unos
aos, se produjo un estancamiento en el descenso (muy visible entre
los varones desde el ao 2000), seguido de un nuevo incremento de
casos en 2005. Este problema se relacion con la creciente presencia
en nuestro medio de personas inmigrantes procedentes de pases
con alta endemia de tuberculosis, pues ms de la mitad de los casos
se producan en los primeros 2 aos de estancia en el pas, en general
por reactivacin de una infeccin previa15. La situacin se agravaba
porque algunos de estos inmigrantes se encontraban en situacin
legal de residencia confusa, lo que comportaba barreras de acceso a
los servicios asistenciales, y adems, en algunos casos les resultaba
difcil aceptar la necesidad de mantener un tratamiento durante semanas o meses sin sufrir sntomas. Este problema se abord con la
incorporacin de agentes de salud que pudieran vencer las barreras
culturales y de idioma, con resultados preliminares prometedores,
pese a que el flujo continuo de nuevos inmigrantes hasta 2008 comport un mantenimiento de las tasas de incidencia.
21
120
Casos/100.000 habitantes
100
80
60
40
20
0
1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008
Ao
Varones
Mujeres
Total
Figura 2. Incidencia de tuberculosis registrada por sexo y ao (casos por 100.000 habitantes en Barcelona, 1987-2008)12.
NOTA: El programa se inici en 1987, e inicialmente aument la deteccin de casos. Los casos de tuberculosis como enfermedad indicativa de sida tuvieron un impacto importante a fines de los aos 1980. En 1991 se introdujo el tratamiento directamente observado combinado con el uso de metadona como sustitutivo en usuarios de opiceos. En los
ltimos aos, el peso de la inmigracin en la poblacin residente en la ciudad se incrementa, y crece el nmero de nuevos casos en inmigrantes.
Confusin de efectos entre intervencin y otros sucesos

Las intervenciones de salud no se realizan en un marco aislado,
sino en condiciones reales y en comunidades y mbitos que estn
sometidos a cambios constantes. Algunos de estos cambios pueden
afectar a los problemas que las intervenciones pretenden abordar,
alivindolos o agravndolos. La evaluacin debe estar alerta a esta
posibilidad, para tenerla en cuenta.
Ejemplo: la falta de efectividad de una intervencin oculta por los
efectos de otro suceso
En algunas ocasiones, una intervencin que en s misma es eficaz
se realiza de manera poco rigurosa y no consigue los efectos esperables, pero otros sucesos que afectan al problema tienen un impacto
positivo que acaba atribuyndose a la intervencin. Un ejemplo fue
la entrada en vigor del uso obligatorio del cinturn de seguridad en
Espaa, mediante un decreto publicado en 1974 que entr en vigor
en abril de 1975. La falta de exigencia real por la polica de trfico de
su uso efectivo en carretera en el perodo inicial comport que la
proporcin de usuarios en los asientos delanteros fuera relativamente baja16, y no se apreci ningn impacto real en la mortalidad por
accidentes de trfico en carretera en los ocupantes de estos vehculos17. En contraste, unos meses antes se haba producido la sbita
subida del precio de los carburantes consecutiva a la guerra del Yom
Kippur, lo cual comport una drstica disminucin del uso de vehculos de motor que redujo el riesgo de accidentes y supuso un descenso de la mortalidad asociada, ms intenso en las ciudades que en la
carretera (y en aquel momento no era obligatorio el uso del cinturn
de seguridad en las vas urbanas, por lo que ste no poda influir en
el descenso de las lesiones). Posteriormente, la disminucin global
de las lesiones y de las muertes se atribuy al uso obligatorio del
cinturn de seguridad en carretera (fig. 3). Es evidente que el cinturn es un instrumento de prevencin eficaz, pero hay indicios de que
en nuestro pas su efectividad inicial fue baja por la poca exigencia
real de su uso, posteriormente corregida18.
Ejemplo: la efectividad de una intervencin oculta por sus efectos
secundarios positivos
La aparicin de efectos secundarios positivos de una intervencin

puede ocultar su efecto directo. Un ejemplo en nuestro entorno lo
proporciona el descenso de la mortalidad por cncer de mama. La
monitorizacin de los indicadores de mortalidad por los servicios de
salud pblica puso de manifiesto, a finales de los aos 1980, que la
mortalidad por cncer de mama iba claramente en ascenso, hasta
pasar a ser una de las primeras causas de muerte. Tras revisar la literatura se plante la posibilidad de poner en marcha un programa
piloto de deteccin precoz del cncer de mama mediante un cribado
mamogrfico. Su realizacin mostr que el programa era factible, y
puso de manifiesto las dificultades encontradas19 (entre las cuales
destacaba que buena parte de las mujeres invitadas a participar acuda a consultar a su proveedor habitual de asistencia en vez de responder a la invitacin de cribado organizado, y que a menudo era
ste quien realizaba la mamografa) y la cobertura alcanzable en estas condiciones.
Tras un tiempo se puso en marcha el programa con ambicin poblacional, que se fue extendiendo al conjunto de Catalua20. Sus componentes ms claros eran: 1) la oferta de realizar mamografas preventivas gratuitas a la poblacin de mujeres de 50 a 64 aos de edad
mediante carta personalizada; 2) la realizacin y la interpretacin en
un centro de referencia en cada territorio; 3) la garanta de un circuito gil para la reconvocatoria de las mujeres con mamografa sospechosa y el proceso diagnstico, as como para el tratamiento si proceda; y dos componentes ms, no explcitos pero reales: 4) la
reordenacin de los circuitos asistenciales a la patologa mamaria
que la puesta en marcha del cribado comport en los centros de referencia (con una mayor protocolizacin y procedimentacin de la
asistencia y una mayor agilidad del proceso asistencial), y 5) la comunicacin intensiva del valor del cribado mamogrfico, dirigida
tanto a los profesionales sanitarios como a la poblacin. El proceso se
inici en la ciudad de Barcelona en 1995, circunscrito a dos distritos,
y se fue extendiendo hasta cubrir toda la ciudad entre 2002 y 2004.
La evaluacin del proceso se realiza anualmente. En la ciudad de
Barcelona, los servicios de salud pblica monitorizan la participacin
en el cribado y la cobertura efectiva de las exploraciones mamogrficas (valorando otras fuentes de exploracin, cuyo importante papel
fue revelado por la prueba piloto), la calidad del cribado (mediante la
proporcin de mujeres cribadas reconvocadas o sometidas a contro-
4.000
400
3.000
300
2.000
200
1.000
100
Muertes en va urbana
Muertes en carretera
22
0
1970
1971
1972
1973
1974
1975
1976
1977
1978
1979
Ao
Va urbana
Carretera
Figura 3. Muertes de ocupantes de vehculos de ms de dos ruedas en accidente de trfico ocurridas en las primeras 24 horas tras el accidente, segn el tipo de va (Espaa, 19701979).
NOTA: En enero y marzo de 1974 se produce, en dos etapas, un incremento sbito en el precio de los combustibles, y en abril de 1975 entra en vigor el uso obligatorio del cinturn de seguridad en carretera para los ocupantes de los asientos delanteros. Fuente: elaboracin propia a partir de los datos de la Direccin General de Trfico.
les avanzados) y la patologa tumoral hallada como fruto del cribado

(incluyendo estadio y tratamiento aplicado), as como la opinin de
las mujeres citadas y de los profesionales implicados21. Estos resultados son discutidos conjuntamente por los servicios implicados y los
gestores del sistema para estimular mejoras; la existencia de cuatro
centros donde se realiza el cribado permite un cierto estndar de
comparacin (benchmarking) orientado a la calidad.
Adems de la evaluacin del proceso integrada en el programa,
los servicios de salud pblica abordan la evaluacin peridica de los
resultados y del impacto de esta intervencin mediante instrumentos complementarios. Por un lado, la encuesta peridica de salud
permite valorar la proporcin de mujeres de las franjas definidas que
refiere haberse sometido a un examen mamogrfico preventivo. Los
datos de 1991-1992, previos a la puesta en marcha del programa,
mostraban que la exploracin era ms frecuente en edades tempranas, cuando su utilidad es muy discutida, y adems que se daban
fuertes desigualdades sociales. En las mujeres de clase trabajadora
apenas se realizaba en la edad recomendada, mientras que era mucho ms frecuente en las mujeres ms acomodadas de todas las edades, especialmente en las ms jvenes22. En contraste, los datos de las
encuestas de 2001-2002 y de 2006 muestran que la cobertura es
ahora alta en las mujeres de todos los grupos socioeconmicos en la
franja recomendada (aunque persisten muchas mamografas de indicacin dudosa en mujeres jvenes, especialmente de estratos
acomodados)23. Por otra parte, el anlisis de la mortalidad muestra
una disminucin importante tras la entrada en funcionamiento del
programa (fig. 4). Las tasas muestran que la disminucin de la mortalidad por cncer de mama fue mayor en trminos absolutos en las
mujeres de 55 a 64 aos de edad y mayores de 65 aos, pero la disminucin relativa fue mayor en las ms jvenes. Esta disminucin no
parece vinculada a la progresiva extensin territorial del programa,
pues se manifiesta de forma relativamente general24. Es probable que
los efectos de los componentes no explcitos del programa, que desbordan la poblacin diana para afectar a todos (mejora de los procesos asistenciales a esta afeccin y mayor sensibilizacin social y sanitaria ante el problema) desempeen un papel importante en la
mejora de la mortalidad (a la que tambin pueden contribuir los
avances teraputicos y de diagnstico por la imagen). Ahora bien, la
evaluacin del proceso documenta de manera slida efectos inequvocamente propios del programa, como son las importantes coberturas del cribado alcanzadas en barrios de clase trabajadora, o el hallaz-
go de lesiones en estadios ms precoces, que pueden ser tratadas de

forma menos agresiva.
La evaluacin de planes con una amplia variedad de objetivos
La Organizacin Mundial de la Salud (OMS) plante los Objetivos
de Salud Para Todos en el ao 2000, que tuvieron una poderosa
influencia en la planificacin sanitaria en muchos pases europeos.
En Espaa, las comunidades autnomas desarrollaron y aplicaron
planes de salud, estimuladas adems por las previsiones de la Ley
General de Sanidad de 1986. Estos planes autonmicos establecieron las lneas estratgicas ligadas a las polticas sanitarias de los
gobiernos autonmicos y formularon objetivos estratgicos de salud y de disminucin de riesgo. Estos objetivos se caracterizan por
establecer la direccin y la magnitud del cambio que se desea alcanzar a partir del punto de partida, as como un horizonte temporal para alcanzarlo. En general, estas caractersticas permiten una
evaluacin cuantitativa de los objetivos y una valoracin formal del
alcance logrado. La complejidad radica en el gran nmero de objetivos incluidos (para el ao 2000, eran 101 objetivos de salud en
Catalua) y en la dificultad de disponer sistemticamente de indicadores para algunos.
En Catalua, los objetivos de los planes de salud se monitorizan
de forma regular cuando los indicadores necesarios pueden obtenerse de fuentes sistemticas de informacin sanitaria. En caso contrario, cuando se requieren fuentes de informacin especficas o estudios epidemiolgicos concretos, el grado de alcance se mide de
acuerdo con los perodos de vigencia establecidos en el plan. As, en
el ao 2002 finaliz la evaluacin de los objetivos del plan de salud
de Catalua establecidos para el ao 2000 siguiendo las recomendaciones de la estrategia de la OMS. Los resultados mostraron que
aproximadamente dos tercios de los objetivos se haban alcanzado
completamente o en una proporcin mayor del 50%, mientras que un
tercio no se haba conseguido25. Resultados similares se obtuvieron
en la evaluacin intermedia de los objetivos para el ao 2010 (efectuada en 2006, a mitad del perodo de vigencia del plan)26. La tabla 1
presenta a modo de ejemplo el esquema de evaluacin seguido para
algunos de estos objetivos (los de salud cardiovascular); los que
muestran un menor grado de alcance son los relacionados con algunas medidas de prevencin secundaria muy vinculadas a la atencin
primaria. Ello ha llevado a priorizar intervenciones en este campo, y
23
150
Tasas de mortalidad
(por 100.000 mujeres)
125
Figura 4. Mortalidad por cncer de mama de las

mujeres segn el grupo de edad y el perodo de
aplicacin del programa de cribado (tasas anuales
por 100.000 mujeres en Barcelona, 1985-2006)8.
NOTA: El programa se inici en 1995 en dos distritos, dirigido selectivamente a las mujeres de 50 a 64
aos de edad, y fue ampliando su cobertura territorial hasta alcanzar al conjunto de la ciudad a partir
de 2004.
100
75
50
25
0
45-54 aos
1985-1989
55-64 aos
1990-1994
1995-1999
65+aos
2000-2001
2004-2006
Tabla 1
Valoracin del grado de cumplimiento de los objetivos de salud y de disminucin del riesgo para el ao 2010 en relacin con las enfermedades cardiovasculares (Catalua,
2006)26
Objetivo
Indicador
Punto de partida
en 2002
Situacin
en 2006
Objetivo
2010
Valoracin
1. Reducir la mortalidad por enfermedad coronaria en un 15%

Tasa de mortalidad por 100.000 habitantes por enfermedad coronaria estandarizada por edad
69,4
60,0
59,0
++
2. Reducir la mortalidad por accidente vascular cerebral en un 15%

Tasa de mortalidad por 100.000 habitantes por enfermedad coronaria estandarizada por edad
62,7
50,7
53,3
++
1,9
1,8
1,8
++
4. Incrementar en un 50% la proporcin de personas hipertensas que estn bien controladas (<140/90 mmHg)
Proporcin de personas hipertensas controladas en la poblacin (%)
29,7
36,0
44,7
+/-
5. Aumentar en un 50% la proporcin de personas con hipercolesterolemia que estn bien controladas
(colesterol LDL <160 mg/dl)
Proporcin de personas con hipercolesterolemia controladas en la poblacin (%)
57,1
67,9
85,6
+/-
3. Reducir la mortalidad por insuficiencia renal crnica en los menores de 75 aos en un 5%

Tasa de mortalidad por 100.000 habitantes por enfermedad renal estandarizada por edad
Escala de valoracin del progreso hacia los objetivos de 2010: (objetivo que difcilmente ser cumplido), +/- (objetivo que podra ser cumplido con esfuerzos) y ++ (objetivo
cumplible).
a modular las polticas de compra de servicios desarrolladas desde el

Servicio Cataln de la Salud, que acaban traducindose en objetivos
muy concretos para el trabajo clnico de los profesionales de primera
lnea27,28.
resultado de una intervencin, es necesario tener datos de evaluacin del proceso para formular juicios razonables sobre su efectividad.
Conclusiones
Abordar la evaluacin de los planes y de las polticas es crucial, y
hay que hacerlo en condiciones reales, las mismas en que se desarrollan. Como los programas complejos suelen incluir un conjunto de
componentes que operan simultneamente, y con frecuencia hay
factores ajenos que afectan a los problemas que quieren abordarse
con la actuacin, esta evaluacin exige rigor y mtodo. Sin evaluacin, una poltica efectiva que est reduciendo los efectos de un problema puede ser juzgada como inefectiva (si el problema crece por
efecto de otros factores que el programa no pretende abordar), o una
poltica que no consigue modificar el problema que la justifica puede
ser juzgada como til (si la magnitud del problema se reduce independientemente de la poltica por el efecto de otros factores). Si un
programa o poltica piloto se ha juzgado eficaz y se opta por su adopcin generalizada, al desarrollarse a gran escala deben monitorizarse
de forma continua las actividades que desarrolla, su cobertura o la
calidad con que se aplica. Cuando se dispone de informacin sobre el
J.R. Villalb concibi y dise el manuscrito, y escribi su primera

versin. R. Tresserras concibi y escribi la seccin sobre evaluacin
de planes, revis crticamente el texto inicial y contribuy a su mejora. Ambos autores revisaron y aprobaron la versin final.
Agradecimientos
Los autores quieren expresar su agradecimiento a todas las personas del grupo de evaluacin de programas y polticas de salud pblica del rea de Polticas y Epidemiologa Social del CIBERESP, especialmente a Manel Nebot y M Jos Lpez.
Financiacin
Este articulo ha sido elaborado con el apoyo del Comissionat per
(AGAUR SGR 2009 1345).
24
Bibliografa
1. Lpez MJ, Mar dellOlmo M, Prez-Gimnez A, et al. Diseos evaluativos en salud
pblica: aspectos metodolgicos. Gac Sanit. 2011; 25(Supl 1):9-16.
2. Victora CG, Santos IS. Los siete pecados capitales de la evaluacin del impacto. Gac
Sanit. 2008;22(Supl 1):1-7.
3. Blum HL. Planning for health, 2nd ed. New York: Human Sciences Press; 1981.
4. Ley 28/2005 de 26 de diciembre, de medidas sanitarias frente al tabaquismo y
reguladora de la venta, el suministro, el consumo y la publicidad de los productos
del tabaco. Boletn Oficial del Estado 309, de 27 de diciembre de 2005; 42241-50.
5. Villalb JR. Valoracin del cumplimiento de la ley 28/2005 de medidas sanitarias
frente al tabaquismo. Rev Esp Salud Pblica. 2009;83:805-20.
6. Hawe P, Degeling D, Hall J. Evaluacin en promocin de la salud. Barcelona: Masson; 1993.
7. Dez E, Villalb JR, Benaque A, et al. Desigualdades en salud materno-infantil: impacto de una intervencin. Gac Sanit. 1995;9:224-31.
8. Bartoll X, Garcia-Alts A, coordinadores. La salut a Barcelona, 2008. Barcelona:
Agncia de Salut Pblica; 2009. pp. 60-3.
9. Aragons-Sanz N, Palacios Diez M, Avello de Miguel A, et al. Nivel de arsnico en
abastecimientos de agua de consumo de origen subterrneo en la comunidad de
Madrid. Rev Esp Salud Pblica. 2001;75:421-32.
10. Domingo JL, Schuhmacher M, Agramunt MC, et al. PCDD/F levels in the neighbourhood of a municipal solid waste incinerator after introduction of technical improvements in the facility. Environ Int. 2002;28:19-27.
11. Garca-Ferrer A, de Juan A, Poncela P. The relationship between traffic accidents
and real economic activity in Spain: common cycles and health issues. Departamento de Anlisis Econmico, Universidad Autnoma de Madrid. Disponible en:
http://www.uam.es/personal_pdi/economicas/arantxa/health.pdf
12. Agncia de Salut Pblica de Barcelona. La tuberculosi a Barcelona. Disponible en:
http://www.aspb.cat/quefem/documents_tuberculosi.htm
13. Dez E, Claveria J, Serra T, et al. Evaluation of a social health intervention among
homeless tuberculosis patients. Tuber Lung Disease. 1996;77:420-4.
14. Cayl JA, Garca de Olalla P, Galds-Tangs H, et al. The influence of intravenous
drug use and HIV infection in the transmission of tuberculosis. AIDS. 1996;10:95100.
15. Borrell S, Espaol M, Orcau A, et al. Tuberculosis transmission patterns among

Spanish-born and foreign-born populations in the city of Barcelona. Clin Microbiol
Infect. 2009;16:568-74.
16. Altozano-Moraleda JM. La seguridad vial: un programa en marcha. Madrid: Ministerio del Interior; 1980. pp. 90-5.
17. Villalb JR. Estudi sobre la mortalitat per accidents segons els certificats mdics de
defunci recollits en el Movimiento Natural de la Poblacin Espaola. Tesis doctoral. Barcelona: Universitat de Barcelona; 1992.
18. Villalb JR, Prez K. Evaluacin de polticas regulatorias: prevencin de las lesiones
por accidentes de trfico. Gac Sanit. 2006;20(Supl 1):79-87.
19. Rodrguez-Sarmiento MC, Plasencia A, Ferrer F, et al. Programa PAM de deteccin
temprana del cncer de mama: primeros resultados (1987-1990). Med Clin (Barc).
1991;96:206-10.
20. Massuet C, Sculi E, Brugulat P, et al. La prctica de la mamografa preventiva en
Catalua. Un paso adelante. Gac Sanit. 2004;184:321-5.
21. Agncia de Salut Pblica de Barcelona. Detecci preco del cncer de mama. Disponible en: http://www.aspb.cat/quefem/documents_cancer_mama.htm
22. Rohlfs I, Borrell C, Plasncia A, et al. Social inequalities and realisation of opportunistic screening mammographies in Barcelona (Spain). J Epidemiol Community
Health. 1998;52:205-6.
23. Tresserras R, Brugulat P, directores. Enquesta de salut de Catalunya 2006. Departament de Salut. Barcelona: Generalitat de Catalunya; 2009. p. 122. Disponible en:
http://www.gencat.cat/salut/depsalut/html/ca/plasalut/catparsesalut2006.pdf
24. Pons-Vigus M, Puigpins R, Cano-Serral G, et al. Breast cancer mortality in Barcelona following implementation of a city breast cancer-screening program. Cancer
Detection and Prevention. 2008;32:162-7.
25. Salleras l, Tresserras R. Evaluacin de los objetivos de salud y disminucin de riesgo del
Plan de salud de Catalua para el ao 2000. Med Clin (Barc). 2003;121(Supl 1):1-142.
26. Departament de Salut. Pla de salut de Catalunya a lhoritz 2010. Informe de salut
de Catalunya. I. Avaluaci dels objectius de salut. Barcelona: Generalitat de Catalunya; 2009. pp. 232-3. Disponible en: http://www20.gencat.cat/portal/site/plasalut
27. Departament de Salut. Pla de salut de Catalunya a lhoritz 2010. Informe de salut
de Catalunya II. Els cinc eixos estratgics que articulen les poltiques de salut. Barcelona: Generalitat de Catalunya; 2009. pp. 84-5. Disponible en: http://www20.
gencat.cat/portal/site/plasalut/menuitem.7baf2c730ce9e94d061ead10b0c0e1a0/
?vgnextoid=cfd810b73ed17110VgnVCM1000000b0c1e0aRCRD&vgnextchannel=c
fd810b73ed17110VgnVCM1000000b0c1e0aRCRD&vgnextfmt=default
28. Corts Prez PJ, Mendez Boo L, Fina Avils F, et al. Document de direcci per objectius
(DPO) dels equips datenci primria 2009. Barcelona: Institut Catal de la Salut;
2009. Disponible en: http://www.gencat.cat/ics/professionals/pdf/DPO_2009.pdf
Gac Sanit. 2011;25(Supl 1):25-31
Evaluacin econmica de intervenciones de salud pblica

Anna Garca-Altsa,b,c,*, Encarna Navasd y M Jess Sorianoe
Agncia dInformaci, Avaluaci i Qualitat en Salut, Barcelona, Espaa
Fundacin Instituto de Investigacin en Servicios de Salud, Valencia, Espaa
c
d
Departament de Salut, Generalitat de Catalunya, Barcelona, Espaa
e
Agncia de Salut Pblica de Barcelona, Barcelona
a
RESUMEN
Palabras clave:
Evaluacin econmica
Anlisis de coste-efectividad
Anlisis de costes
Intervenciones preventivas
Salud pblica
La escasez de recursos disponibles para satisfacer una demanda creciente de servicios sanitarios ha hecho que
las miradas se dirijan hacia la evaluacin econmica como instrumento para informar la asignacin de recursos. Su objetivo es comparar diversas alternativas de actuacin en trminos de sus costes y efectos sobre la
salud. Para ello, utiliza diversas tcnicas: el anlisis de minimizacin de costes, el anlisis coste-efectividad, el
anlisis coste-utilidad y el anlisis coste-beneficio. Sea cul sea la metodologa utilizada, toda evaluacin
debe incluir la definicin del problema, la seleccin de opciones a comparar, la explicitacin de la perspectiva
del anlisis y del horizonte temporal, la medida y la valoracin de los costes y los efectos sobre la salud relevantes, la presentacin de resultados, y la realizacin de anlisis de sensibilidad. En Espaa sera conveniente
que se evaluaran las intervenciones preventivas actualmente en marcha, y que los investigadores se adhiriesen a las guas de evaluacin econmica existentes.
Economic evaluation of public health interventions

ABSTRACT
Keywords:
Economic evaluation
Cost-effectiveness analysis
Cost analysis
Preventive interventions
Public health
The scarcity of resources available to meet the growing demand for healthcare services has increased interest
in economic evaluation as a tool to inform resource allocation. The aim of economic evaluation is to compare
various alternatives for action, in terms of their costs and effects on health, by using several techniques: cost
minimization analysis, cost-effectiveness analysis, cost-utility analysis, and cost-benefit analysis. Irrespective
of the methodology used, any assessment must include scope of the problem, selection of alternatives for
comparison, explication of the perspective of analysis and the time horizon, measurement and evaluation of
costs and health effects, presentation of results, and sensitivity analysis. In Spain, evaluation of currently
ongoing preventive interventions, and adherence to the existing economic evaluation guidelines by
researchers would be desirable.
Introduccin
La racionalizacin de los servicios sanitarios, las polticas de contencin de costes, la definicin de catlogos de prestaciones bsicas,
la determinacin de prioridades o la financiacin selectiva de servicios sanitarios, entre otros, son conceptos cada vez ms presentes en
el entorno sanitario y en el lenguaje de polticos, gestores, investigadores, clnicos y ciudadanos en general. La escasez de recursos disponibles para satisfacer una demanda creciente de servicios sanitarios
y, por lo tanto, la necesidad de adecuar las prestaciones sanitarias a
la disponibilidad econmica del sistema, han hecho que las miradas
se dirijan hacia la evaluacin econmica como instrumento para in-
formar la asignacin de recursos sanitarios. Su aplicacin facilita que

los procesos de toma de decisiones estn informados sobre la eficiencia de las intervenciones de salud pblica o los servicios sanitarios que se evalan.
El objetivo de la evaluacin econmica es comparar diversas alternativas de actuacin en trminos de sus costes y efectos sobre la
salud1,2. No slo hacemos referencia a escoger entre alternativas
como dos intervenciones dirigidas a una misma condicin clnica
(una intervencin farmacolgica y una no farmacolgica para la cesacin tabquica, por ejemplo), sino tambin a escoger entre intervenciones diferentes para diferentes condiciones clnicas (cesacin
tabquica frente a vacunacin neumoccica) o, incluso, a las decisio-

Correos electrnicos: agarciaaltes@aatrm.catsalut.cat; annagarcia@post.harvard.edu
(A. Garca-Alts).
26
A. Garca-Alts et al / Gac Sanit. 2011;25(Supl 1):25-31
Tabla 1
Caractersticas de las tcnicas de evaluacin econmica
Tcnica de anlisis
Medida de costes
Medida de efectos
Aplicaciones
Anlisis de minimizacin de costes
Unidades monetarias
Se supone que todas las alternativas

tienen la misma efectividad
Comparar diferentes alternativas con un mismo objetivo de salud y una

misma efectividad, pero con distinto coste
Anlisis coste-efectividad
Unidades monetarias
Unidades de salud
Comparar los efectos positivos y negativos de dos o ms alternativas

con un mismo objetivo de salud
Anlisis coste-utilidad
Unidades monetarias
AVAC
Comparar los efectos positivos y negativos de dos o ms alternativas

con un mismo objetivo de salud, expresando la efectividad en AVAC
Anlisis coste-beneficio
Unidades monetarias
Unidades monetarias
Comparar los efectos positivos y negativos de alternativas con objetivos

similares o ampliamente divergentes
AVAC: ao de vida ajustado por calidad.
nes sobre momentos de actuacin alternativos (prevencin o tratamiento).

El objetivo de este artculo es presentar las caractersticas metodolgicas de las diferentes tcnicas de evaluacin econmica, describir las principales etapas de un estudio de evaluacin econmica y
poner algunos ejemplos reales de su utilizacin en la evaluacin de
intervenciones de salud pblica.
En este caso, los efectos sobre la salud se miden en unidades de salud. Aqu podemos encontrar aos de vida ganados, supervivencia
global, supervivencia libre de enfermedad, mortalidad evitada y medidas de morbilidad como casos detectados por programas de cribado, estancias hospitalarias evitadas o infecciones erradicadas. Cuando los resultados en salud y los costes se recogen en el marco de un
ensayo clnico, se habla de un anlisis coste-eficacia o de un ensayo
clnico-econmico.
Las diferentes tcnicas de evaluacin econmica

Al comparar intervenciones alternativas segn los costes y los
efectos sobre la salud, las tcnicas de evaluacin econmica permiten medir la eficiencia relativa de las opciones consideradas. Una
intervencin de salud pblica, un servicio sanitario o, en general, una
asignacin de recursos, es ms eficiente que otra si con los mismos
recursos se obtienen mejores resultados en salud.
Con el fin de medir costes y efectos sobre la salud, la evaluacin
econmica utiliza diversas tcnicas: el anlisis de minimizacin de
costes, el anlisis coste-efectividad, el anlisis coste-utilidad y el
anlisis coste-beneficio (tabla 1). La seleccin de la tcnica de evaluacin econmica depender del objetivo del estudio.
Anlisis de minimizacin de costes
Los anlisis de minimizacin de costes suponen que las alternativas comparadas tienen los mismos efectos sobre la salud de los individuos, y slo se diferencian en su coste. De este modo, el objetivo de
un estudio de minimizacin de costes es estudiar cul de las intervenciones tiene unos costes menores. En cambio, se habla de anlisis
de costes cuando slo se miden los costes de cada una de las alternativas, sin asumir los mismos efectos sobre la salud. Por este motivo,
los expertos en evaluacin econmica consideran el anlisis de costes como un tipo de anlisis econmico parcial y sesgado desde el
punto de vista de la toma de decisiones, porque slo considera las
implicaciones con respecto a los costes y no tiene en cuenta los efectos sobre la salud.
Otro caso particular son los estudios llamados de coste de la enfermedad. En este tipo de estudio se contabiliza el coste que supone para
la sociedad la existencia de una determinada enfermedad o problema
de salud pblica. Habitualmente, los costes incluidos en estos estudios
son los directos de la atencin mdica a los enfermos, las prdidas de
productividad de los pacientes por enfermedad o por muerte, los costes de los programas preventivos y los costes en mbitos distintos al
sanitario, as como los del sistema legal, judicial y educativo3.
El anlisis de coste-efectividad es posiblemente la tcnica ms
utilizada en la evaluacin econmica de servicios sanitarios, y compara los costes y los efectos de dos o ms intervenciones alternativas.
Los estudios coste-utilidad, que son una variante de los estudios de

coste-efectividad, tienen la particularidad de determinar los efectos
sobre la salud en una medida agregada que tiene en cuenta la cantidad y la calidad de vida, y que refleja las preferencias (utilidades) de
los pacientes ante diferentes estados de salud: los aos de vida ajustados por calidad (AVAC [o QALY, quality adjusted life years])4.
Los anlisis coste-beneficio miden los costes y los efectos sobre la
salud en trminos monetarios. A pesar de su dificultad, existen tcnicas para medir los efectos sobre la salud en trminos monetarios,
como la valoracin contingente o el mtodo del capital humano. Su
principal ventaja es la de permitir la comparacin de intervenciones
muy diferentes, ya que tanto los costes como los beneficios en salud
se miden en la misma unidad.
La medida de los costes en los estudios de evaluacin econmica
En evaluacin econmica, el concepto de coste se refiere al coste
de oportunidad. Se entiende por coste de oportunidad los rendimientos que podran haberse obtenido si un recurso concreto se hubiera utilizado en otro uso alternativo. La aproximacin a su medida
suele hacerse de acuerdo con la cantidad de otros bienes o servicios
que se sacrificarn por obtener unos resultados determinados.
Los costes pueden clasificarse, segn su posibilidad de ser cuantificados, en tangibles e intangibles. Los tangibles son aquellos que
pueden cuantificarse de manera precisa, como los recursos de capital, de trabajo o fsicos. Los intangibles, en cambio, son difciles de
medir, como los causados por el estrs, la angustia, la ansiedad, el
dolor o el padecimiento. En el mbito de la salud pblica, estos costes
intangibles pueden ser importantes en la evaluacin de pruebas de
cribado, cuando el tiempo desde la realizacin de las pruebas hasta
el conocimiento de su resultado puede producir angustia a los pacientes por un resultado incierto o un resultado falso positivo. Si bien
no hay instrumentos lo bastante desarrollados para medir en unidades monetarias estos costes intangibles, no por eso dejan de ser importantes. Por ello, hay que mencionarlos en el anlisis y tenerlos en
cuenta a la hora de discutir los resultados.
27
Definir el problema o pregunta a responder
Seleccionar las alternativas a comparar
Perspectiva de anlisis
Horizontes temporal
Medir y valorar los costes y los efectos sobre la salud relevantes
Presentacin de resultados
Realizar anlisis de sensibilidad

Figura 1. Principales etapas de un estudio de evaluacin econmica.
Los costes tambin pueden clasificarse en directos e indirectos.

Los costes directos son aquellos directamente atribuibles a la aplicacin de una intervencin o tecnologa que se evala sobre la poblacin seleccionada, incluyendo el tiempo de trabajo de los profesionales, los equipamientos, los frmacos, los materiales o los fungibles.
Los costes indirectos son las prdidas de productividad, o costes laborales, resultantes de la aplicacin de la intervencin sobre la poblacin (p. ej., el coste laboral de asistir a una sesin educativa, o de
estar de baja laboral por enfermedad), de los desplazamientos necesarios (p. ej., ir a un centro sanitario a vacunarse) o de la espera para
ser tratado o recibir la intervencin, entre otros5.
En el clculo de los costes se tienen que identificar todos los recursos afectados por la intervencin que se evala. As pues, habra
que incluir los costes iniciales derivados de la intervencin y los costes que puedan ocurrir durante el periodo de seguimiento.
Las fuentes de informacin sobre costes en los sistemas sanitarios
no estn, por regla general, suficientemente desarrolladas. Aunque
sera adecuado utilizar los costes de produccin de los diferentes recursos, como se recoge en la contabilidad analtica de los centros que
proveen los servicios evaluados, su bajo grado de desarrollo hace que
a menudo se utilicen otras aproximaciones, como los precios de mercado o las tarifas de reembolso de los servicios pblicos.
Principales etapas de un estudio de evaluacin econmica
Con independencia de la metodologa utilizada, todo ejercicio de
evaluacin econmica incluye una serie de pasos fundamentales que
se describen a continuacin (fig. 1).
Definir el problema o pregunta a responder
La evaluacin econmica tiene que responder una pregunta de
evaluacin bien definida, que represente una incertidumbre sobre la
eficiencia de intervenciones alternativas. La naturaleza de la pregun-
ta que la evaluacin econmica pretende responder determinar

tanto el diseo del estudio como la tcnica de anlisis. La pregunta
tiene que contemplar una decisin, sobre dos o ms opciones, que se
compararn en el transcurso del anlisis.
Seleccionar las alternativas a comparar
Como el anlisis econmico se basa en la comparacin de alternativas, su seleccin se convierte en un paso primordial. La seleccin ha
de ser rigurosa y basada en criterios que justifiquen plenamente su
inclusin como relevantes. Los criterios de seleccin contemplarn la
disponibilidad de la intervencin, su uso habitual, la identificacin
por parte de la poblacin segn criterios de relevancia, o la presencia
de incertidumbre con respecto a su eficiencia. La relevancia y la seleccin de las opciones comparadas, que pueden ser ms de dos, tiene que estar justificada de forma explcita. La opcin no hacer nada
puede considerarse en determinados escenarios.
La perspectiva de anlisis es el punto de vista desde el cual se
enfocar el anlisis: el de la sociedad,del financiador de los servicios
sanitarios, de las compaas aseguradoras, de los hospitales, de las
unidades de atencin primaria, de los mdicos, de las familias o de
los propios pacientes. La eleccin de una u otra perspectiva tiene importantes implicaciones en el resto de los elementos del anlisis, ya
que la utilizacin de una perspectiva amplia supone incluir muchos
ms costes que la utilizacin de una perspectiva ms limitada. La
perspectiva que se recomienda es la de la sociedad, precisamente
porque el coste de oportunidad de los recursos utilizados tiene como
referencia otros usos alternativos en el seno de la sociedad y en sus
intercambios. No obstante, es poco frecuente encontrar estudios de
evaluacin econmica que adopten la perspectiva social en su metodologa, visto el alcance que toma el estudio en este caso. En cual-
28
Tabla 2
Anlisis de coste de la enfermedad
Etapa de evaluacin econmica
Aplicacin al estudio de los accidentes de trfico7
Definicin del problema/pregunta a resolver
Estimar el coste econmico que suponen los accidentes de trfico en la ciudad de Barcelona
Sociedad y sistema sanitario
Alternativas comparadas
1) Existencia de accidentes de trfico y 2) no existencia de accidentes de trfico
Horizonte temporal
1 ao
Costes incluidos
Costes directos: atencin hospitalaria, atencin de urgencias, transporte, polica, administracin de primas de seguros
y costes materiales
Costes indirectos: prdida de productividad debida a la atencin mdica y a la mortalidad prematura
Aplicacin de una tasa de descuento
Tasa de descuento anual del 3%
Medida de resultados
Euros
Univariante: coste de transporte, costes indirectos
quier caso, y en la medida de lo posible, es interesante hacer el anlisis desde dos perspectivas: la de la sociedad y la de aquella con que
debe tomarse la decisin.
Horizonte temporal
El horizonte temporal del estudio es el periodo durante el cual la
intervencin produce efectos sobre la salud. Los costes y los efectos
sobre la salud no siempre tienen lugar en el mismo periodo de tiempo. Por eso, el horizonte temporal seleccionado en el anlisis tiene
que ser lo suficiente amplio para capturar todos los efectos relevantes sobre la salud, as como sobre el consumo de recursos. La seleccin de un horizonte temporal adecuado es primordial, con el fin de
no omitir efectos importantes derivados de las diferentes alternativas, y minimizar el sesgo en la comparacin de intervenciones o tecnologas a favor de alternativas que tienen costes y efectos muy diferentes a lo largo del tiempo. Esto es importante sobre todo en las
intervenciones de salud pblica, porque los costes de la intervencin
tienen lugar en los primeros aos y los efectos en salud no aparecen
hasta mucho ms tarde.
Cuando el horizonte temporal es igual o mayor de 1 ao es necesario utilizar tasas de descuento que permiten medir segn los costes y los resultados producidos a lo largo del tiempo por las diferentes alternativas en valor presente. Ms all del referente terico sobre
su clculo y uso, los analistas suelen utilizar una tasa de descuento
fija de un 3% a 5%, aplicable tanto a los beneficios en salud como a los
costes.
mayor ratio de coste por unidad de efecto, y escoger la de menor

ratio.
Hay que ser conscientes de qu se incluye en los ratios coste-efectividad. Ciertamente, los valores de los ratios pueden ser muy diferentes atendiendo a cuestiones ya repasadas aqu, como la perspectiva de anlisis, el horizonte temporal o los tipos de costes incluidos,
entre otros. Es, pues, peligroso comparar los ratios de coste-efectividad de estudios que han hecho uso de perspectivas o metodologas
diferentes.
Realizar anlisis de sensibilidad
A veces se desconocen los valores exactos de los costes y de los
efectos de una determinada intervencin, o se sabe que su coste o su
efectividad varan. En estos casos hay que hacer uso del anlisis de
sensibilidad6. El objetivo de este tipo de anlisis es comprobar cmo
variaran los resultados del estudio si cambiaran los valores de las
variables consideradas, es decir, en situaciones hipotticas con respecto a su valor real. Los valores de las variables, es decir, el rango en
que se mover su valor, tiene que estar plenamente justificado segn
los intervalos de confianza, los valores mximos y mnimos, y las
fuentes de informacin utilizadas. Cuando este anlisis se hace para
una sola variable se denomina sensibilidad univariante o parcial; si
los cambios en los valores de las variables afectan a ms de una variable se habla de anlisis de sensibilidad mltiple.
Ejemplos de evaluaciones econmicas de intervenciones
de salud pblica
Medir y valorar los costes y los efectos sobre la salud relevantes

Una vez definida la pregunta de la evaluacin econmica, seleccionada la perspectiva y detallado el horizonte temporal, ha de iniciarse el anlisis comparativo. Con el fin de realizar este anlisis hay
que identificar los costes y los efectos sobre la salud, medirlos, valorarlos y despus compararlos. Las preguntas a responder son del
tipo: qu costes y efectos dependen de cada alternativa seleccionada?, se pueden medir?, qu unidades de medida hay que utilizar?
Las fuentes de informacin de los datos de costes sern las descritas
en el apartado anterior; para los datos de eficacia o efectividad se
utilizar la mejor evidencia cientfica disponible.
Presentacin de resultados
En los anlisis coste-efectividad y coste-utilidad, los resultados
se presentan en forma de razones o ratios que informan, al mismo
tiempo, sobre las implicaciones en el consumo de recursos y sobre
los efectos en la salud de escoger una u otra alternativa. De esta
manera, las alternativas comparadas pueden ordenarse de menor a
A continuacin se describe la aplicacin de las diferentes tcnicas

de evaluacin econmica en algunos estudios especficos.
Anlisis de coste de la enfermedad
Escenario: al igual que en otras ciudades de pases desarrollados,
en Barcelona los accidentes de trfico suponen un importante problema de salud pblica (tabla 2). Para estimar el coste econmico que
suponen los accidentes de trfico en la ciudad de Barcelona, las autoras realizan un estudio de coste de la enfermedad desde la perspectiva de la sociedad y del sistema sanitario, con un horizonte temporal
de 1 ao, incluyendo costes directos e indirectos (descontados con
una tasa del 3%). Los resultados se presentan en trminos monetarios
(en euros), y se realizan diversos anlisis de sensibilidad univariantes.
El estudio muestra que los accidentes de trfico en la ciudad de Barcelona en el ao 2003 tuvieron un coste de 367 millones de euros, y
hasta 782 millones de euros en el anlisis de sensibilidad. Las autoras7
concluyen que la importancia del problema hace que sean necesarias
ms intervenciones para reducir los accidentes de trfico.
29
Tabla 3
Aplicacin al estudio de intervenciones de cesacin tabquica8
Analizar la eficiencia del incremento del empleo de farmacoterapias para la cesacin del consumo de tabaco
Sistema Nacional de Salud
1) Procedimiento de cesacin tabquica actual empleado por la poblacin espaola

2) Aumentar un 10% el uso del bupropin
3) Aumentar un 10% el uso de parches de nicotina
4) Aumentar un 10% el uso de chicles de nicotina
En las alternativas 2, 3 y 4 se mantiene constante el resto de los componentes del procedimiento de cesacin tabquica
Horizonte temporal
20 aos
Costes incluidos
Costes directos sanitarios de las enfermedades relacionadas
Tasa de descuento anual del 4,25%
Euros por muerte evitada, euros por ao de vida ganado
Univariante: tasa de descuento, tasa de cesacin, proporcin de fumadores que tratan de dejar el consumo de tabaco,
eficacia del tratamiento farmacolgico de la cesacin del hbito tabquico mediante bupropin, tasa de recada, coste del
tratamiento del cncer de pulmn, coste del tratamiento por bajo peso al nacer
Escenario: los mtodos utilizados por los fumadores que desean
dejar el hbito tabquico consisten en una combinacin de consejo
mdico, terapia de grupo, fuerza de voluntad y el uso (en una proporcin reducida) de frmacos, parches y chicles de nicotina, que han
demostrado una efectividad variable despus de 1 ao (tabla 3). Para
analizar la eficiencia del incremento del empleo de farmacoterapias
para la cesacin del consumo del tabaco, los autores8 realizan un
anlisis coste-efectividad, desde la perspectiva del Sistema Nacional
de Salud, con un horizonte temporal de 20 aos, incluyendo los costes directos sanitarios de las enfermedades relacionadas con el consumo de tabaco (descontados con una tasa del 4,25%). Los resultados
se presentan en trminos de euros por muerte evitada y euros por
ao de vida ganado, y se realizan diversos anlisis de sensibilidad
univariantes. Segn los clculos realizados, el bupropin es el tratamiento ms coste-efectivo para la cesacin del hbito tabquico.
Escenario: el virus de la gripe causa cada ao una gran morbilidad
en la poblacin infantil. La vacuna antigripal virosmica reduce el
impacto de la carga de enfermedad generada por el virus de la gripe
en los escolares de 3 a 14 aos de edad en lugares donde la incidencia
de la enfermedad es alta, como es el caso de Catalua (tabla 4). Para
analizar la eficiencia de la vacunacin universal de los nios de 3 a
14 aos de edad con una dosis de vacuna antigripal virosmica inactivada en Catalua, en comparacin con la alternativa de no vacunar,
los autores9 realizan un anlisis coste-utilidad, desde la perspectiva
de la sociedad y del proveedor sanitario, con un horizonte temporal
de 6 meses y de la esperanza de vida en Catalua, incluyendo costes
directos sanitarios e indirectos (descontados con una tasa del 5%).
Los resultados se presentan en trminos de euros por AVAC y euros
por episodio respiratorio febril agudo evitado, y se realizan diversos
anlisis de sensibilidad univariantes. El estudio muestra que la vacunacin de los nios de 3 a 14 aos de edad con una dosis de vacuna
antigripal virosmica inactivada en los centros de atencin primaria
durante el examen de salud anual de otoo ofrece beneficios econmicos para la sociedad, adems de beneficios de salud importantes
para el nio.
Escenario: puesto que ms del 80% de los fumadores habituales se
inician en el hbito antes de los 18 aos de edad, una de las medidas
preventivas que ms se ha usado en los ltimos aos son los programas de prevencin en edad escolar (tabla 5). Para analizar la eficiencia del programa PASE.bcn de prevencin del tabaquismo en los escolares de Barcelona, los autores10 realizan un anlisis coste-beneficio
desde la perspectiva de la sociedad, con un horizonte temporal de 1
ao, incluyendo costes directos y beneficios directos e indirectos
(descontados con una tasa del 4%). Los resultados se presentan en
Tabla 4
Aplicacin al estudio de la vacunacin antigripal9
Analizar la eficiencia de la vacunacin universal de nios de 3 a 14 aos de edad con una dosis de vacuna antigripal
virosmica inactivada en Catalua
Sociedad y proveedor
1) Vacunacin y 2) no hacer nada
Horizonte temporal
6 meses y esperanza de vida en Catalua
Costes incluidos
Costes directos: coste de la vacuna, coste de administracin, coste del tratamiento de los efectos adversos, coste del
tratamiento de las enfermedades relacionadas
Costes indirectos: prdida de productividad debida a las enfermedades relacionadas y a la mortalidad prematura
Euros por AVAC, euros por episodio respiratorio febril agudo evitado
Univariante: precio de la vacuna, coste de administracin de la vacuna, tasa de hospitalizacin, das de estancia
hospitalaria, tasa de mortalidad y coste del absentismo laboral
30
Tabla 5
Aplicacin al estudio de una intervencin de prevencin del tabaquismo10
Analizar la eficiencia del programa PASE.bcn de prevencin del tabaquismo en los escolares de Barcelona
Sociedad
1) Aplicacin del programa y 2) no hacer nada
Horizonte temporal
1 ao
Costes incluidos
Costes directos: coste de los materiales educativos, coste de personal de gestin del programa, imputacin de costes del
diseo, puesta en marcha y actualizacin del programa
Beneficios directos: reduccin en el consumo de recursos sanitarios, derivados de la disminucin de la incidencia de
fumadores
Beneficios indirectos: mayor productividad debida a la menor incidencia de bajas laborales y al aumento del nmero de
aos productivos en el mercado laboral
Coste-beneficio neto en euros (beneficio total menos coste total) y razn beneficio-coste en euros
Univariante: efectividad del programa, tasa de descuento, consumo diferencial de recursos sanitarios, edad de inicio del
consumo diferencial, edad final del consumo diferencial
trminos de coste-beneficio neto en euros y de razn beneficio-coste

en euros, y se realizan diversos anlisis de sensibilidad univariantes.
El estudio muestra que tan slo asumiendo una efectividad del 1%, el
programa PASE.bcn conseguira unos beneficios de 1.558.311,46
euros; y considerando el coste del programa, la razn beneficio-coste es de 22,74. Con estos resultados, los autores abogan por la aplicacin universal de este tipo de intervenciones.
Evaluacin econmica: ms y mejor
Los trabajos de revisin de estudios de evaluacin econmica realizados en Espaa sobre servicios sanitarios en general11,12, y sobre
intervenciones de salud pblica en particular13, han puesto de relieve
que hay un inters creciente en la evaluacin econmica. Tambin
han mostrado el predominio de los estudios de coste-efectividad y de
minimizacin de costes por encima de los de coste-beneficio y de
coste-utilidad. Los tratamientos son la intervencin sanitaria ms
analizada, mientras que los temas preventivos y de diagnstico o rehabilitacin son mucho menos frecuentes. Tambin se han detectado
deficiencias metodolgicas, como la falta de unos objetivos claramente relacionados con el proceso de toma de decisiones, la no explicitacin de la perspectiva de anlisis, la falta de detalle en las fuentes de
informacin sobre las medidas de efectividad y de costes, o la insuficiencia de recomendaciones para la toma de decisiones. Es, pues, imperativo que los investigadores espaoles se adhieran a las guas existentes a la hora de disear sus estudios y dirigir la investigacin2,14-16,
y que los revisores de las revistas cientficas las incorporen a sus criterios de valoracin17-19. En definitiva, se trata de construir un marco
metodolgico para la investigacin en evaluacin econmica en salud, que implique la inclusin de caractersticas imprescindibles para
alcanzar un mnimo de calidad y validez del anlisis.
En particular, en los estudios de evaluacin econmica de intervenciones de salud pblica destacan la sobrerrepresentacin de las
evaluaciones de vacunas y la falta de evaluaciones de otras intervenciones como la educacin para la salud, la prevencin de lesiones, los
estilos de vida y las condiciones medioambientales, con una mayor
carga de enfermedad20 y con beneficios enormes en trminos poblacionales21. Este fenmeno no es nico de Espaa, ya que se ha observado en la literatura internacional22-25, con un excesivo inters por la
prevencin medicalizada en detrimento de otras estrategias preventivas. Este hecho puede estar motivado, en parte, por el importante impacto presupuestario que tienen los programas de vacunaciones; por poner un ejemplo, en Catalua representan el 33% del
gasto que efecta el Departamento de Salud en salud pblica26. Para
poder diversificar el mbito de las evaluaciones realizadas en Espaa,
sera conveniente que los organismos planificadores comenzaran

evaluando las intervenciones preventivas existentes desde hace
tiempo, como los cribados masivos de cncer de mama o el plan bucodental infantil, as como las nuevas polticas tales como la vacunacin frente al virus del papiloma humano, por la actualidad y el volumen de recursos que estos temas consumen en la agenda sanitaria
espaola. En otros pases, las intervenciones preventivas existentes
se evalan de manera sistemtica y peridica27. En Reino Unido, el
National Institute for Health and Clinical Excellence (NICE) hace recomendaciones sobre la efectividad de intervenciones de salud pblica, con un nfasis especial en la reduccin de desigualdades en
salud28,29.
Algunos retos metodolgicos
Un artculo de reciente aparicin identifica los principales retos
que afronta la evaluacin econmica de intervenciones de salud pblica30. La atribucin de resultados es el primero de ellos, ya que los
recomendados ensayos clnicos son mucho menos frecuentes (y a
veces no factibles) en salud pblica, tal y como se ha descrito en
otros artculos de este monogrfico. Sin embargo, y como tambin se
ha mencionado, hay metodologas y tcnicas estadsticas que pueden
utilizarse para obtener evidencias sobre la efectividad de las intervenciones. A esto se une el hecho de que los resultados de las intervenciones en salud pblica suelen producirse a largo plazo, cuando
muchos resultados clnicos se miden a corto plazo, favoreciendo la
asignacin de recursos hacia el sistema sanitario asistencial en perjuicio de la salud pblica. Como muestra del bajo esfuerzo dedicado
a la salud pblica puede sealarse que, en Catalua, slo se dedica a
ella el 1,9% de los recursos pblicos destinados a salud, cuando la
media en los pases que integran la Organizacin para la Cooperacin
y el Desarrollo Econmico (OCDE) es del 4,3%26. El segundo reto es la
medida y la valoracin de los resultados, ya que algunas intervenciones tienen resultados positivos sobre una poblacin a la que no iba
dirigida la intervencin, y que difcilmente pueden incorporarse en
el marco de los AVAC. El anlisis de coste-beneficio o el uso de tcnicas de toma de decisiones multicriterio seran ms adecuados en
estos casos. En tercer lugar, las intervenciones que afectan a la salud
de la poblacin son muy diversas, y muchas veces externas al sector
sanitario. En estas situaciones se recomienda evaluar los costes y los
beneficios que tienen lugar en los diferentes sectores de la economa.
Finalmente, el objetivo de algunas de las intervenciones en salud pblica es reducir las desigualdades en salud. Sin embargo, la incorporacin de consideraciones sobre equidad en el marco de los AVAC no
est bien resuelta.
Ante todo, la tarea pendiente es determinar la efectividad de las

intervenciones de salud pblica, que permita llevar a cabo los estudios de eficiencia correspondientes, la mejora de la difusin de los
estudios y la realizacin de estudios de calidad que sean adecuados
en el tiempo y relevantes para la toma de decisiones. El principal reto
de futuro consiste en ser capaces de sobrepasar estas barreras metodolgicas, administrativas y polticas, haciendo los estudios de evaluacin econmica fcilmente entendibles, tiles y rigurosos, y facilitando los elementos necesarios para favorecer que sean utilizados
en los procesos de decisiones.
Conclusiones
La adopcin de la perspectiva social, la inclusin de todos los grupos de individuos afectados por la intervencin, la especificacin de
todos los tipos de costes y efectos sobre la salud, la definicin de un
horizonte temporal lo suficientemente amplio para captar los efectos
a largo plazo de la intervencin, y la actualizacin de costes y beneficios, forman parte del tipo de diseo ideal de un estudio de evaluacin econmica.
Con el objetivo de que los resultados de los estudios de evaluacin
econmica tengan una repercusin prctica en el diseo y la implementacin de las polticas sanitarias, es necesario el desarrollo y la
aplicacin de un marco metodolgico que garantice su validez, su
reproducibilidad y su comparabilidad en mbitos sanitarios similares. Por ello es importante preservar el rigor metodolgico y hacer
una redaccin esmerada y sistemtica de los resultados y de las conclusiones de los estudios de evaluacin econmica, haciendo explcitas las caractersticas del estudio (en cuanto a su marco general, a los
datos y a los mtodos utilizados), sus resultados y la discusin tanto
de estos resultados como de las asunciones y limitaciones del anlisis31.
Finalmente, hay que hacer un esfuerzo en la difusin de los estudios y en la produccin de estudios de calidad que sean adecuados en
el tiempo y relevantes en la gestin de las intervenciones o de los
programas de salud pblica. La finalidad ltima de los estudios de
evaluacin econmica es ser un instrumento ms para informar los
procesos de toma de decisiones en salud pblica32.
Los recursos son escasos y la eleccin es forzosa, pero los elementos a tener en cuenta pueden sobrepasar de largo a los de carcter
puramente econmico. La solidaridad, la equidad o la discriminacin
positiva son trminos que, a priori, no parecen relacionarse demasiado bien con la eficiencia econmica. Sin embargo, estn estrechamente conectados con la situacin de la sociedad, especialmente si
la perspectiva del enfoque incluye deseos de mejora33. ste es el caso
de los servicios de salud pblica, cuyo objetivo ltimo es mejorar la
salud de la poblacin y reducir las desigualdades34.
A. Garca-Alts y E. Navas han liderado la concepcin del artculo
y su escritura. Todas las autoras han participado en la escritura del
artculo y su revisin crtica, y han aprobado la versin final para su
publicacin.
Financiacin
(AGAUR SGR 2009-1345 y AGAUR SGR 2009-42).
Agradecimientos
Agradecemos a Carles Ariza la revisin crtica de este artculo y
sus aportaciones.
31
Las autoras declaran no tener ningn conflicto de intereses.
Bibliografa
1. Drummond MF, Sculpher MJ, Torrance GW, et al. Methods for the economic evaluation of health care programmes. 3rd ed. Oxford: Oxford University Press;
2005.
2. Gold MR, Siegel JE, Russell LB, et al. Cost-effectiveness in health and medicine.
New York: Oxford University Press; 1996.
3. Garca-Alts A, Oll JM, Antoanzas F, et al. The social cost of illegal drug consumption in Spain. Addiction. 2002;97:1145-53.
4. Torrance GW. Measurement of health state utilities for economic appraisal. J
Health Econ. 1986;5:1-30.
5. Liljas B. How to calculate indirect costs in economic evaluation. Pharmacoeconomics. 1998;13:1-7.
6. Briggs A, Sculpher M, Buxton M. Uncertainty in the economic evaluation of health
care technologies: the role of sensivity analysis. Health Econ. 1994;3:95-104.
7. Garca-Alts A, Prez K. The economic cost of road traffic crashes in an urban setting. Inj Prev. 2007;13:65-8.
8. Antoanzas F, Portillo F. Evaluacin econmica del empleo de terapias farmacolgicas para la cesacin en el hbito tabquico. Gac Sanit. 2003;17:393-403.
9. Navas E, Salleras L, Domnguez A, et al. Cost-effectiveness analysis of inactivated
virosomal subunit influenza vaccination in children aged 3-14 years from the provider and societal perspectives. Vaccine. 2007;25:3233-9.
10. Hormigo Amaro J, Garca-Alts A, Lpez MA, et al. Anlisis coste-beneficio de un
programa de prevencin del tabaquismo en escolares. Gac Sanit. 2009;23:311-4.
11. Garca-Alts A. Twenty years of health care economic analysis in Spain: are we
doing well? Health Econ. 2001;10:715-29.
12. Oliva J, Del Llano J, Sacristn JA. Analysis of economic evaluations of health technologies performed in Spain between 1990 and 2000. Gac Sanit. 2002;16:2-11.
13. Esperato A, Garca-Alts A. Health promotion: a profitable investment? Economic
efficiency of preventive interventions in Spain. Gac Sanit. 2007;21:150-61.
14. NICE. Updated guide to the methods of technology appraisal. London: National
Institute of Clinical Excellence; 2008.
15. Pharmacoeconomic Guidelines Around the World. Disponible en: http://www.ispor.org/PEguidelines/index.asp
16. Lpez J, Oliva J, Antoanzas F, et al. Propuesta de gua para la evaluacin econmica aplicada a las tecnologas sanitarias. Gac Sanit. 2010;24:154-70.
17. Drummond MF, Jefferson TO, for the BMJ Working Party on Guidelines for Authors
and Peer-Reviewers of Economic Submissions to the British Medical Journal. Guidelines for authors and peer-reviewers of economic submissions to the British
Medical Journal. BMJ. 1996;313:275-383.
18. Kassirer JP, Angel M. The journals policy on cost-effectiveness analyses. N Engl J
Med. 1994;331:669-70.
19. Antoanzas F. Artculos de evaluacin econmica en Gaceta Sanitaria: algunas reflexiones. Gac Sanit. 2003;17:351-2.
20. Catal F, lvarez E, Gnova R, et al. Relacin en Espaa entre la investigacin financiada por el Sistema Nacional de Salud y la carga de enfermedad en la comunidad.
Rev Esp Salud Pblica. 2009;83:137-51.
21. Cutler D, Miller G. The role of public health improvements in health advances: the
20th century United States. Demography. 2005;42:1-22.
22. Elixhauser A, Halpern M, Schmier J, et al. Health care CBA and CEA from 1991 to
1996: an updated bibliography. Med Care. 1998;36:MS1-MS9.
23. Elixhauser A, Luce BR, Taylor WR, et al. Health care CBA/CEA: an update on the
growth and composition of the literature. Med Care. 1993;31:JS1-JS11.
24. Rush B, Shiell A, Hawe P. A census of economic evaluations in health promotion.
Health Educ Res. 2004;19:707-19.
25. Neumann PJ, Rosen AB, Greenberg D, et al. Can we better prioritize resources for
cost-utility research? Med Decis Making. 2005;25:429-36.
26. Rodrguez M, Stoyanova A. Las cuentas de salud pblica en Catalua. Barcelona:
Departament de Salut, Generalitat de Catalunya; 2007.
27. Task Force on Community Preventive Services. Zaza S, Briss PA, Harris KW, editores. The guide to community preventive services. What works to promote health?
New York: Oxford University Press; 2005.
28. Kelly MP, McDaid D, Ludbrook A, et al. Economic appraisal of public health interventions. Briefing paper. London: NHS Health Development Agency; 2005.
29. NICE. Methods for development of NICE public health guidance, 2nd ed. London:
National Institute for Clinical Excellence; 2009.
30. Weatherly H, Drummond M, Claxton K, et al. Methods for assessing the cost-effectiveness of public health interventions: key challenges and recommendations.
Health Policy. 2009;93:85-92.
31. Weinstein MC, Siegel JE, Gold MR, et al. Recommendations of the panel on costeffectiveness in health and medicine. JAMA. 1996;276:1253-8.
32. Posicionamiento AES. Asociacin Economa de la Salud (AES). Posicin de la Asociacin de Economa de la Salud en relacin a la necesidad de un mayor uso de la
evaluacin econmica en las decisiones que afectan a la financiacin pblica de las
prestaciones y tecnologas en el Sistema Nacional de Salud. (Consultado el
26/11/2008.) Disponible en: http:/www.aes.es/Publicaciones/AESEE.pdf.
33. Gisbert R. Economia y salud. Barcelona: Masson; 2002.
34. Borrell C, Artazcoz L. Policies to reduce health inequalities. Gac Sanit. 2008;22:46573.
Gac Sanit. 2011;25(Supl 1):32-39
La evaluacin del proceso en relacin con la evaluacin de la efectividad:

experiencias de programas en el medio escolar
Carles Arizaa,b,c,*, Joan R. Villalba,b,c,d, Francesca Snchez-Martneza,b y Manel Nebota,b,c,d
Agncia de Salut Pblica de Barcelona, Espaa
c
Instituto de Investigaciones Biomdicas Sant Pau (IIB Sant Pau), Barcelona, Espaa
d
a
RESUMEN
Palabras clave:
Programas preventivos
Salud en la escuela
Evaluacin de programas
Evaluacin de proceso
Evaluacin de la efectividad
Estudios cuasiexperimentales
La evaluacin de las intervenciones de salud pblica suele centrarse en la calidad del diseo y de los mtodos
de investigacin, pero mucho menos en la calidad de la intervencin o la evaluacin del proceso. En la evaluacin del proceso de las intervenciones preventivas escolares, un aspecto clave es el grado de cumplimiento, o
dosis de la intervencin efectivamente realizada, as como la fidelidad con respecto al protocolo. Adems, es
muy til valorar las variables intermedias, como son las que influyen en la conducta que se quiere prevenir. En
este trabajo se presentan los conceptos bsicos sobre el tema, con ejemplos de evaluacin de la efectividad de
intervenciones preventivas realizadas en el medio escolar. Se describen principalmente estudios cuasiexperimentales de evaluacin de programas impulsados por los servicios de salud pblica de la ciudad de Barcelona.
Se presenta informacin de la evaluacin del proceso de programas de prevencin en la escuela secundaria
que han sido objeto de evaluacin formal de su efectividad, aportando datos de la evaluacin del proceso. Los
ejemplos proceden de programas de prevencin de la infeccin por el VIH y de las relaciones sexuales no
protegidas (programa PRESSEC), y de prevencin del consumo de sustancias adictivas (programas PASE, PASE.
bcn y xkpts). Estos ejemplos muestran cmo el proceso influye en los resultados y el impacto logrados. La
correcta planificacin de la evaluacin del proceso es fundamental para obtener indicadores vlidos que permitan determinar, en la evaluacin de la efectividad de la intervencin, las estrategias ms eficaces para obtener unos resultados positivos.
Process evaluation in relation to effectiveness assessment: experiences with

school-based programs
ABSTRACT
Keywords:
Preventive programmes
Health school
Programme evaluation
Process evaluation
Efectiveness evaluation
Quasi-experimental studies
Evaluation of public health interventions usually focusses on the quality of design and research methods, and
less on the quality of the intervention or process evaluation. In process evaluation of school-based
interventions, key issues are how completely the intervention is carried out and adherence to the protocol. In
addition, exploration of intermediate variables, such as those that influence (and often predict) preventable
behavior, is highly useful. This article describes the basic concepts in this topic, using examples of the
effectiveness of some preventive interventions carried out in schools. The interventions discussed were
mainly quasi-experimental studies, based on data from programs promoted by public health teams in the city
of Barcelona. Data from process evaluation of preventive programs in secondary schools that underwent
formal assessment of their effectiveness is provided. The examples are drawn from preventive programs of
HIV infection or unprotected sexual intercourse (PRESSEC program) and drug consumption prevention (the
PASE, PASE.bcn and xkpts programs). These examples show why the intervention process influences the
impact of the programs and their results. Thorough planning of process evaluation is essential to obtain valid
indicators that will identify, in the effectiveness evaluation of the intervention, the most efficacious strategies
to obtain positive outcomes.

Correo electrnico: cariza@aspb.cat (C. Ariza)
C. Ariza et al / Gac Sanit. 2011;25(Supl 1):32-39
Introduccin
La Carta de Ottawa para la Promocin de la Salud1 propugn un
nuevo enfoque de la salud pblica, segn el cual las intervenciones
de salud pblica se extienden como acciones dirigidas a mejorar el
propio control de las personas para modificar los determinantes de
la salud. Por otro lado, el anlisis epidemiolgico ha llevado con frecuencia a las intervenciones de salud pblica hacia la reduccin de
los factores de riesgo en los individuos. De esta manera han surgido
programas diferenciados para hacer frente a riesgos como el consumo de tabaco o a enfermedades como la enfermedad coronaria. Dichos programas tienden a tener sus propios objetivos, recursos y
estructura de trabajo e investigacin2. En los ltimos aos han aparecido, adems, programas integrados dirigidos a los determinantes
del entorno fsico, econmico y social, ms capaces de afrontar el
cambio poltico e institucional necesario3.
Aunque nadie discute la necesidad de evaluar los resultados de las
intervenciones preventivas, no hay un consenso claro en cuanto al
abordaje y la metodologa que deben emplearse. As, una gran parte
de las evaluaciones se centran en la calidad del diseo y de los mtodos de la investigacin, y menos en la calidad de la intervencin
(relevancia, factibilidad de la implementacin...)4. Ms all de atender a los estndares de calidad de las intervenciones de salud pblica
ya establecidos para temas concretos o grupos de poblacin5, es importante que las intervenciones se evalen sistemticamente. En
este esfuerzo, son importantes los aspectos de diseo evaluativo,
pero tambin del proceso de la intervencin.
Los diseos cuasiexperimentales como mejor opcin
El mejor diseo evaluativo ser el que permita aproximarse al
mximo a las condiciones experimentales, lo que habitualmente se
conoce como ensayos controlados aleatorizados6. stos son el
gold standard de los diseos de investigacin. Tienen la mayor validez interna, porque son menos vulnerables a los posibles sesgos
(amenazas a la validez interna), es decir, a otras explicaciones alternativas de los resultados. Son el nico diseo que garantiza grupos
comparables, ya que todos los posibles factores de confusin (incluso los no conocidos o no observables) se distribuyen por igual en
ambos grupos6.
En el mbito escolar, muchas veces no pueden implementarse
los ensayos controlados aleatorizados y deben sustituirse por otros
diseos. En el mbito comunitario, a menudo es imposible aleatorizar individuos, en ocasiones por cuestiones ticas y otras veces
porque no es posible evitar la contaminacin entre grupos. Esto
crea la necesidad de otro tipo de diseos para evaluar las intervenciones en salud pblica. El diseo ms comn en estas circunstancias es el de los estudios orientados a examinar la plausibilidad, es
decir, si los cambios observados se deben al programa o la intervencin. Se conocen normalmente como diseos cuasiexperimentales
y requieren extremar el control de los factores externos al estudio,
lo cual puede conseguirse en gran parte con la inclusin de un grupo control o de comparacin y con el ajuste por los factores confusores. Para asegurar la mxima difusin y utilidad de los resultados
aportados por estos estudios, se ha elaborado la gua Transparent
Reporting of Evaluations for Non-randomized Designs (TREND)7, que
asegura la comunicacin uniforme de los aspectos metodolgicos
ms destacados.
Diseos evaluativos de nuevos programas en nuestro mbito
En los ltimos aos hemos acumulado experiencias en la evaluacin de la efectividad de intervenciones preventivas en el medio escolar, siguiendo recomendaciones como las de la gua TREND o los
estndares mnimos para el diseo de un estudio de evaluacin propuestos por Windsor8 (tabla 1).
33
Tabla 1
Propuesta de estndares mnimos para la evaluacin de programas8
1.
Diseo con grupo control y aleatorizacin, siempre que sea posible.
2.
Representatividad de los participantes en el estudio.
3.
Tamao de la muestra, en funcin del efecto que quiere obtenerse (poder de

0,80, y un mnimo de 100 sujetos en cada grupo).
4.
Definicin completa de las variables y unos criterios mnimos de exclusin.
5.
Instrumentos de autodeclaracin y, si es posible, marcadores biolgicos.
6.
Tasa de seguimiento igual o superior al 80% en cada punto de observacin.
7.
Descripcin completa de la intervencin.
8.
Evaluacin del proceso para documentar la exposicin a la intervencin (tipo,

frecuencia y duracin de cada componente del programa).
El programa de PREvencin del Sida y las relaciones sexuales

no protegidas en la escuela SECundria (PRESSEC)
En 1994 se inici en Barcelona la evaluacin de la efectividad de
un programa de prevencin de las relaciones sexuales no protegidas
(PRESSEC) dirigido a escolares de secundaria (15-17 aos). Basado en
la teora cognitiva social, el programa promueve la modificacin favorable de los conocimientos, las actitudes, las intenciones y la conducta relacionados con la transmisin del virus de la inmunodeficiencia humana (VIH). Se plante un estudio cuasiexperimental con
medidas pretest y postest, y un grupo de comparacin. El programa
PRESSEC, compuesto de un mdulo informativo de 2 horas y otro de
estrategias conductuales para la reduccin del riesgo (de 5 horas), se
aplic en el grupo intervencin. Para evaluar su efectividad se compararon los resultados en este grupo con los de otros dos tomados
como referencia, uno al que slo se aplic el mdulo informativo
(grupo informacin) y otro en que no se aplicaron estrategias educativas especiales, que fue el grupo de comparacin. Las escuelas de los
grupos de informacin y de comparacin podan acceder al programa en el ao/curso siguiente. Las escuelas se asignaron aleatoriamente a las tres condiciones experimentales. Aceptaron participar 17
escuelas, que aportaron 220 escolares al grupo intervencin, 593 al
grupo de informacin y 402 al grupo control. En el postest, los escolares expuestos al PRESSEC fueron sexualmente menos activos, utilizaban ms el preservativo cuando iniciaban las relaciones sexuales,
proponan ms su uso a su pareja y declaraban con ms frecuencia la
intencin de rechazar el sexo no protegido9.
El programa de Prevencin del Abuso de Sustancias adictivas
en la Escuela (PASE)
El programa de Prevencin del Abuso de Sustancias Adictivas
(PASE) fue un encargo del Plan Municipal de Accin sobre Drogodependencias de Barcelona. Basado en un mdulo educativo a desarrollar en lo que hoy es el primer ciclo de Educacin Secundaria Obligatoria (ESO), se plante como un programa piloto para valorar la
efectividad de la intervencin en comparacin con un grupo de referencia, dada la inexistencia de otros programas evaluados en aquel
momento en el territorio espaol. Las 25 escuelas de la ciudad que
aceptaron participar se asignaron aleatoriamente al grupo de intervencin o al grupo control, estratificando la asignacin segn el tipo
y el tamao de la escuela. Durante el invierno de 1990 se realiz un
pretest, contestado por 2033 escolares. A continuacin se administr
un programa de 10 sesiones, basado en la teora cognitiva social, con
una sesin informativa en ambos grupos seguida, en el grupo de intervencin, de nueve sesiones dirigidas por el docente en el aula y
una sesin informativa para las familias. Tras la intervencin, inmediatamente antes del verano de 1990, se realiz un postest que contestaron 1904 escolares, y 1 ao despus un tercer test. Aunque el
programa no pareca frenar la experimentacin con el tabaco, s dis-
34
minuy el paso al consumo regular en el grupo de intervencin respecto al grupo de comparacin10.

El desarrollo del programa PASE.bcn en el marco del European Smoking
prevention Framework Approach (ESFA)
En 1998-1999 se actualiz el programa PASE, introduciendo modificaciones en el marco del proyecto europeo European Smoking
prevention Framework Approach (ESFA) 11. Los modelos tericos vigentes se haban ido completando a partir de la teora de la autoeficacia de Bandura12, el modelo de los estadios de cambio de Prochaska13 y la estrategia del entrenamiento de habilidades de Botvin (Life
Skill Training, 1980)14. A la vez, el proyecto ESFA situaba las estrategias individuales de prevencin en el aula en un mbito ms amplio
de acciones escolares y comunitarias15. As, el programa se actualiz
como PASE.bcn, y se evalu a medio y largo plazo16. Uno de los diez
distritos de la ciudad, Sant Mart, fue escogido para el grupo de intervencin. Todas las escuelas secundarias del distrito fueron invitadas
a participar, y 16 de las 24 aceptaron, con participacin de todas las
aulas (46) de primer curso de ESO (12-13 aos). El grupo control lo
integraron 37 escuelas de los otros distritos de la ciudad. En cada
escuela participaba un aula. Las escuelas fueron seleccionadas aleatoriamente, estratificando por el tipo de escuela (segn titularidad),
el tamao de la escuela, el nivel socioeconmico del distrito de residencia de los escolares y haber participado previamente en el PASE.
La estratificacin result en nueve estratos, asegurando que en cada
estrato todas las escuelas tenan la misma posibilidad de ser incluidas en la muestra. En otoo de 1998 se administr el pretest a 2015
escolares, con una tasa de respuesta del 96,9% (1083 en el grupo de
intervencin y 886 en el grupo control). Al inicio, las diferencias en
variables sociodemogrficas y consumo de tabaco u otras sustancias
adictivas entre ambos grupos del estudio no fueron estadsticamente
significativas. En 1999, 2000 y 2001, al final de cada ao de intervencin, se realizaron tres postests. Globalmente, 690 de un total de
1083 posibles escolares completaron las cuatro encuestas en el grupo
de intervencin y fueron seguidos hasta el final del proyecto, mientras que en el grupo control lo hicieron 603 de 886. La tasa de abandono al final del seguimiento de 3 aos fue del 36,3% en el grupo de
intervencin y del 32,0% en el grupo control.
La nueva versin del programa se compona de siete sesiones, de
las cuales dos se acompaaban de vdeos sobre influencias sociales y
toma de decisiones, y otras dos contenan propuestas de entrenamiento de habilidades para rechazar la presin social y las ofertas
para consumir tabaco. Se incorpor un nuevo cuaderno de trabajo
para los escolares y se someti a los docentes a dos talleres de formacin. El programa se completaba con una revisin de la poltica del
entorno escolar sobre consumo de tabaco, ofrecimiento de cesacin
tabquica a los docentes e informacin a travs de cartas y folletos
informativos a las familias. Los escolares del grupo de intervencin,
tanto despus del primer ao de la intervencin como al final del
estudio, 3 aos despus, se iniciaron en menor cantidad en el consumo de tabaco que los del grupo de comparacin, en ambos casos de
forma estadsticamente significativa16.
El programa de prevencin del consumo de cannabis en jvenes xkpts.
com (per qu petes?)
El programa de prevencin del consumo de cannabis xkpts.com
fue diseado en Barcelona, a partir de 2004, despus de que en 5
aos se doblara el consumo experimental de cannabis. Dirigido a escolares de tercer curso de ESO, esta intervencin aada dos actividades especficas de prevencin del consumo de cannabis de un programa preexistente de prevencin de drogodependencias, basado en
la toma de decisiones (T decides!), evaluado anteriormente y
muy bien aceptado por las escuelas de la ciudad17. Para evitar la contaminacin con otras acciones de prevencin de drogodependencias
ms difciles de controlar, se decidi evaluar el contenido del nuevo

programa en el grupo de escuelas que el curso anterior al comienzo
de la evaluacin hubieran realizado el programa de prevencin T
decides!. De esta manera, las 90 escuelas que cumplan esta condicin fueron clasificadas en seis estratos resultantes de combinar la
titularidad de la escuela (pblica o concertada/privada) con tres estratos de nivel socioeconmico, derivados del ndice de capacidad
econmica familiar18 del barrio donde estaba la escuela. A partir de
ah se asignaron escuelas de todos los estratos de forma aleatoria al
grupo de intervencin o al grupo control. En total 39 escuelas quedaron asignadas al grupo de intervencin y otras 40 al grupo control.
Para evitar al mximo la contaminacin entre los grupos, y debido a
que la tolerancia social del consumo de cannabis dificultaba conseguir una intervencin preventiva creble para los escolares, se decidi estudiar la evolucin del consumo del grupo control 1 ao antes
que en el grupo de intervencin, mientras se completaba el diseo de
la intervencin. Se trata, por tanto, de un control histrico, en el
cual los escolares pertenecen al mismo curso escolar y al mismo grupo de edad, pero son medidos para la conducta que se investiga 1 ao
antes que los del grupo de intervencin19. En enero de 2005 se inici
el pretest en el grupo control; entre enero y marzo de 2006 se realiz
el pretest en el grupo de intervencin, inmediatamente antes de que
empezara la aplicacin del programa, que dur hasta mayo de 2006.
Entre abril y junio de 2006, 15 meses despus del pretest, se practic
el postest en el grupo control. Finalmente, entre abril y junio de 2007,
15 meses despus del pretest y 1 ao despus de la intervencin, se
realiz el postest en el grupo de intervencin, para completar la recogida de datos de evaluacin. Los resultados del proyecto indicaron
que el programa no tena efecto sobre el inicio en el consumo experimental de cannabis, pero s en el paso del consumo de experimental a habitual (en los 30 ltimos das)20.
El proyecto de cesacin tabquica con jvenes ASCEPIS
Este ejemplo de diseo evaluativo con grupo de control no equivalente forma parte del proyecto europeo Adolescent Smoking CEssation
Project In Spain (ASCEPIS). El diseo original inclua la comparacin de
la efectividad de grupos teraputicos para dejar de fumar con la de un
programa informtico de autoayuda (Lo dejo ya) coordinado por un
monitor o facilitador, con un tercer grupo de control o referencia. En el
caso de la cesacin tabquica, para que los grupos sean totalmente
comparables, deben cumplir el requisito de que todos los individuos
asignados a cada grupo estn en el mismo o semejante estado de cambio de Prochaska, y, en concreto, en estado de preparacin o accin13.
Las dificultades propias en la adherencia de los jvenes a programas
de tratamiento precoz imposibilitaron conseguir un suficiente tamao
de muestra que permitiera la asignacin de un grupo control. Sin embargo, a posteriori, fue posible recuperar en el postest a adolescentes
que haban realizado el pretest, pero que luego no se haban incorporado a la intervencin21. Estos individuos fueron considerados como un
grupo control no equivalente: son semejantes a los intervenidos, pero
el hecho de no haberse incorporado a la intervencin da a entender
que son diferentes, al menos en la motivacin.
El control de la intervencin: la evaluacin del proceso
La correcta planificacin de la evaluacin del proceso es fundamental para obtener indicadores vlidos que, en la evaluacin de la efectividad de la intervencin, nos permitan determinar qu estrategias han
sido las ms eficaces para obtener unos resultados positivos.
Indicadores para la evaluacin del proceso
La evaluacin del proceso es la valoracin del proceso de aplicacin del programa. Los componentes de la evaluacin del proceso de
una intervencin se detallan en la tabla 222. De todas las dimensiones

Tabla 2
Elementos que pueden formar parte de la evaluacin del proceso de una
intervencin22
1.
Reclutamiento de los participantes y mantenimiento de la participacin

(tambin llamado alcance del programa).
2.
El contexto en el cual el programa es desarrollado y evaluado.
3.
Los recursos requeridos y utilizados.
4.
La implementacin del programa en relacin a lo planificado.
5.
Las barreras y problemas encontrados.
6.
La magnitud de la exposicin a los materiales y actividades.
7.
El uso inicial o vinculacin a las actividades del programa, al comienzo de

ste.
8.
El uso continuado de las actividades en el tiempo.
9.
El logro de los estndares de calidad.
previas, las menos y peor referenciadas son habitualmente las relacionadas con la implementacin y la magnitud de la exposicin a la
intervencin.
Hay diversos mtodos para valorar la implementacin, basados en
variables e indicadores del desarrollo de la intervencin en el aula.
Aportan informacin sobre las estrategias, los recursos y los componentes del programa que se han aplicado, el tiempo dedicado, el nmero de actividades preventivas realizadas, la aceptacin y la satisfaccin con el programa, as como el grado de seguimiento del diseo
inicial. Se han definido dos dimensiones de la implementacin:
cuantitativa y cualitativa23. La dimensin cuantitativa, tambin conocida como cumplimiento o dosis, aporta informacin sobre qu cantidad de la intervencin ha sido aplicada, y normalmente se expresa
como el porcentaje del total del contenido que ha sido efectivamente
implementado (p. ej., el porcentaje de sesiones realizadas). Por otro
lado, la dimensin cualitativa o fidelidad de implementacin se ha
descrito como el grado en que los profesores y otros profesionales
que aplican los programas los implementan tal y como seala su diseo y evaluacin-piloto23,24.
El cuestionario autocontestado por el profesorado (tambin llamado autoinforme) y la entrevista postimplementacin (en profundidad) son mtodos vlidos para medir el cumplimiento, mientras que para valorar la fidelidad suele utilizarse la observacin no
participante de las sesiones (fidelidad observada o fidelidad objetiva), aunque en ocasiones sta tambin puede valorarse a travs de
los cuestionarios a los participantes (fidelidad autodeclarada o fidelidad subjetiva). A modo de resumen, en la tabla 3 se muestran los
diversos mtodos de medicin de la implementacin ms reconocidos en la literatura23.
En los ltimos aos, gran nmero de estudios han sealado la importancia de evaluar la fidelidad de la implementacin de las interven-
35
ciones preventivas escolares25-27. Su conocimiento nos puede ayudar a

entender mejor el xito o el fracaso de un programa, ya que la obtencin de los resultados esperados est estrechamente vinculada a la
intensidad y la cualidad de la implementacin. Una intervencin con
un buen diseo metodolgico puede tener un reducido impacto si en
su aplicacin se produce una implementacin inadecuada28. De igual
modo, una pobre fidelidad de implementacin dificulta conocer qu
componentes contribuyen al xito de un programa, en caso de conseguir resultados positivos. No obstante, son escasos los programas preventivos que realizan una evaluacin del proceso tras su aplicacin, y
cuando se hace, generalmente carecen del rigor necesario para garantizar la correcta aplicacin de la intervencin en el aula.
Resultados de la evaluacin del proceso
Entre los datos que nos da la evaluacin del proceso hay que diferenciar, por un lado, la consecucin de los objetivos especficos del
programa o intervencin, y por otro los datos sobre las llamadas variables intermedias, que son aquellas que influyen y muchas veces
predicen la conducta.
Resultados de la implementacin de la intervencin
Usualmente los docentes o quienes implementan la intervencin
cumplimentan un cuestionario de evaluacin autocontestado (autoinforme) en el cual valoran cmo se ha desarrollado cada una de las
sesiones que componen el programa. As, el mtodo utilizado para
valorar la implementacin permite medir el cumplimiento y la fidelidad autodeclarados19. En este autoinforme se valoran algunos elementos importantes para juzgar la correcta aplicacin del programa.
Por un lado, se valoran caractersticas relativas a la implementacin
de las sesiones que componen el programa, tales como el tiempo
dedicado a cada una de las sesiones, las tcnicas aplicadas (discusin,
entrenamiento de habilidades y exposicin del tema en el aula), los
recursos utilizados (historietas del programa, DVD u otros elementos
grficos de la sesin didctica audiovisual) y las actividades preventivas realizadas. Por otro, se valora el desarrollo de las diferentes sesiones en el aula, solicitando informacin sobre la atencin de los
escolares, la comprensin del contenido de la sesin por parte de los
adolescentes, la facilidad para mantener la clase en calma, la satisfaccin y la familiaridad con los mtodos educativos, as como la satisfaccin con los materiales suministrados.
En la evaluacin del programa xkpts.com, de las 117 aulas en
que se aplic se recibi el informe de evaluacin de 76 (tasa de respuesta del 65%). Las 76 aulas de las cuales se recibi el informe pertenecan a 32 de las 39 escuelas participantes en el estudio19. El tiempo medio dedicado a la aplicacin de la intervencin en las aulas fue
de 5 horas y 40 minutos, disminuyendo el tiempo dedicado a cada
sesin a medida que se avanzaba en el programa. De las diversas
Tabla 3
Mtodos de medicin de la implementacin de un programa y dimensin de su aplicacin que evalan19
Mtodos de medicin de la implementacin
Dimensin de la implementacin
Qu permite evaluar?
Cuestionario autocontestado por el profesorado
Cumplimiento
Fidelidad (autodeclarada)
Si el profesorado ha realizado cada una de las actividades contenidas en las

distintas sesiones (cumplimiento)
Entrevista postimplementacin al profesorado
Cumplimiento
Fidelidad (autodeclarada)
En qu medida el profesorado declara que ha completado cada una de las

actividades principales, de acuerdo con las instrucciones propias del programa
(fidelidad autodeclarada)
Observacin no participante en el aula
Fidelidad (objetiva)
Compenetracin entre profesorado y
alumnado a partir de la observacin
(Rapport)
Si el profesorado implementa cada uno de los procedimientos contenidos en

las sesiones de acuerdo con la intensidad y la distribucin presentes en el
protocolo del programa (fidelidad objetiva)
Interaccin del profesorado y el alumnado:
- Capacidad del profesorado para involucrar al alumnado en las actividades y
discusin
- Rendimiento del profesorado en el desarrollo de determinadas estrategias
36
Tabla 4
Comparacin de las variables de la evaluacin del programa PRESSEC de prevencin de las relaciones sexuales no protegidas. Diferencias al inicio y al final del estudio, segn
grupos (Barcelona, 1994)9
Control
Inicio
Informacin
Final
Programa PRESSEC
Inicio
Final
Inicio
Final
Conocimientos (puntuacin media)
Sida
8.67
8.62
NS
8.40
9.02
<0.001
8.58
9.06
<0.001
Embarazo
8.58
8.84
NS
8.34
9.12
<0.001
8.67
9.45
<0.01
Contracepcin
8.76
9.09
<0.01
8.77
9.05
<0.01
8.87
9.30
<0.01
Actitudes (puntuacin media)a

Uso del preservativo
9.16
9.31
NS
9.25
9.43
<0.05
9.12
9.51
<0.001
Susceptibilidad percibida
9.17
8.99
NS
9.21
9.21
NS
9.50
9.40
NS
Uso del preservativo
8.60
8.93
NS
8.86
9.20
<0.05
9.18
9.54
NS
Rechazo de las relaciones sexuales protegidas
4.77
4.75
NS
4.63
5.33
<0.01
4.74
5.47
<0.05
Intencin de conducta (puntuacin media)
Conducta declarada (%)
Sexualidad activa
28%
33%
NS
24%
27%
NS
26%
31%
NS
Uso habitual del preservativo
26%
28%
NS
21%
22%
NS
22%
26%
<0.05
Puntuacin: 0-10.
tcnicas propuestas en el protocolo del programa para el desarrollo

de las sesiones, fue la discusin la que se aplic con mayor frecuencia, ya que en el 100% de las aulas se discuti sobre el tema en algn
momento de la intervencin. El entrenamiento de habilidades se
aplic en el 59,2% de las aulas en la tercera sesin, tal y como especificaba el protocolo, si bien un 13,2% lo aplicaron en una sesin distinta. De los recursos facilitados, el DVD fue el ms utilizado y se
proyect en el 93,4% de las aulas (aunque el 9,2% lo utilizaron en una
sesin diferente a la indicada segn el protocolo). En cuanto a las
actividades preventivas, la media de actividades realizadas fue de 9,2
de las 16 propuestas, siendo en la segunda y la tercera sesiones cuando se realiz una mayor proporcin de actividades, 2,2 de 3 y 2,2 de
3, respectivamente. De manera global, entre las actividades propuestas, el visionado del DVD y la posterior discusin fueron las realizadas con mayor frecuencia (84,2% de las aulas).
Otro de los objetivos de la evaluacin del proceso es la evaluacin
de la implantacin y de la diseminacin del programa. Tras la evaluacin de la prueba piloto del programa PASE de Barcelona, se intent
su implantacin generalizada y en 2 aos se lleg a 80 escuelas (17,9%
de todas las de Barcelona). Sin embargo, la aplicacin no fue uniforme en toda la ciudad, con una amplia variacin de unos distritos a
otros. Un anlisis ms detallado de este hecho revel que la actuacin
del agente intermediario, en este caso el equipo de salud del distrito,
era clave en la aplicacin del programa. En los distritos en que los
programas de educacin de la salud no eran una prioridad o en aquellos donde no haba un equipo estable de salud, la extensin del programa era muy inferior.
Resultados en las variables intermedias
Se puede discutir si es una evaluacin de resultados propiamente
dicha, ya que no son la variable conductual principal que queremos
modificar. Sin embargo, de acuerdo con los modelos tericos actualmente ms aceptados, sabemos que algunas variables, como el nivel
de conocimientos, las creencias, los valores y las actitudes, las expectativas de autoeficacia y la autoestima, median en la adquisicin de
la conducta.
En el programa PRESSEC, prcticamente todas las variables intermedias (los conocimientos sobre el sida, el embarazo y la contracepcin, las creencias sobre el uso del preservativo y las intenciones de
rechazar el sexo no protegido) mostraron cambios estadsticamente
significativos en el grupo de intervencin respecto al grupo de comparacin9 (tabla 4).

El conjunto de los indicadores de la evaluacin del proceso y los
indicadores de las variables intermedias, tambin llamados indicadores intermedios, se conoce como la caja negra (black box) de la
intervencin30, ya que permite explicar los mecanismos por los que
acta la intervencin, pero su contribucin a los resultados es en general poco visible y escasamente conocida.
Grado de cumplimiento de la intervencin
Una cuestin relevante de la evaluacin del proceso es poder conocer qu escuelas estn completando adecuadamente la intervencin. Por este motivo, es recomendable establecer indicadores que
puedan definir el grado aceptable de cumplimiento de una intervencin.
En la evaluacin del programa PASE.bcn, dentro del marco de ESFA,
de las 13 escuelas que completaron el proyecto, tres lo implementaron
adecuadamente el primer ao, irregularmente el segundo y prcticamente nada en el tercero. En este caso se consider estar expuesto a
la intervencin haber completado al menos el 50% de las actividades
planificadas en el protocolo (intervencin aceptable). De acuerdo con
ello, 10 de las 13 escuelas fueron incorporadas al anlisis para examinar el efecto de la intervencin. Independientemente de que el anlisis
global del estudio debe investigar si una intervencin que no es desarrollada por todas las escuelas es replicable ms all de la fase de evaluacin inicial, lo que est fuera de duda es que no es posible esperar
efecto de un programa que no se ha desarrollado adecuadamente. En
el caso que nos ocupa, si incluamos en el anlisis todas las escuelas,
los efectos de la intervencin eran estadsticamente significativos despus del primer ao (cuando se tena constancia de que todas las escuelas haban implementado correctamente la intervencin), pero el
efecto desapareca en el anlisis a los 3 aos de la intervencin. Contrariamente, si se exclua a las escuelas con un bajo grado de cumplimiento, el efecto se mantena tambin a los 3 aos16.
En la evaluacin del programa de prevencin del consumo de cannabis xkpts.com, para valorar de forma global la implementacin,
y de acuerdo con el buen rendimiento conseguido en el estudio ESFA,
se definieron operativamente dos indicadores de cumplimiento. Por
un lado, siguiendo un criterio cuantitativo a la hora de aplicar las
actividades en el aula, se defini como intervencin correcta o acep-
Prevalencia de fumadores regulares (consumo mnimo semanal)
Chicos n = 528
40
35
30
25
22
22,4
20
20,6
13,9
15
7,1
10
10,5
10,2
4,5
5
6,3
4,4
1,7
0
1998
2000
1999
Intervencin aceptable
Prevalencia de fumadores regulares (consumo mnimo semanal)
37
2001
Intervencin (todos)
Control
Chicas n = 552
40
38,2
35
34,1(*)
30
32,1
25
19,5
20
17,1
15
10,5
15
10
8,5
5
3,2
3,1
7.1
1,6
0
1998
1999
Intervencin aceptable
2000
Intervencin (todos)
2001
Control
*Diferencias significativas; p < 0,05

Figura 1. Evolucin de la prevalencia del tabaquismo en escolares, segn la aplicacin del programa PASE.bcn dentro del Proyecto ESFA. Barcelona, 1998-2001.
table aquella en que se haban realizado al menos ocho de las 16 actividades preventivas previstas. Por otro lado, siguiendo un criterio
cualitativo, se defini como intervencin cualificada aquella en que
se haba observado de forma rigurosa el protocolo de la intervencin,
realizando un mnimo de una actividad para cada una de las sesiones
generales y dos actividades para cada una de las sesiones especficas.
Se observ que 45 aulas de las 76 (59,2%) haban realizado la intervencin de forma aceptable, mientras que slo 29 de las 76 (38,2%)
haban realizado una intervencin cualificada y de acuerdo con el
protocolo19. Estos datos concuerdan con la evidencia cientfica que
muestra la dificultad de conseguir un cumplimiento adecuado en las
intervenciones preventivas escolares24,28.
El ltimo de los elementos importantes a tener en cuenta en la

evaluacin del proceso es la consideracin del contexto. Es importante que las intervenciones preventivas escolares puedan contar
con actividades y polticas de entorno que refuercen el mensaje que
transmiten las intervenciones individuales en el aula. Por ejemplo,
en el caso del proyecto PASE.bcn, la intervencin activa y guiada en
el entorno escolar increment el proceso de adopcin de cambios.
As, orientar a los centros sobre la regulacin del consumo de tabaco,
facilitar guas para la implementacin de cambios y ofrecer cesacin
al personal escolar se revelaron como medidas complementarias clave para cambiar el marco de la regulacin del consumo de tabaco en
la escuela31.
38
La interpretacin de los resultados: la evaluacin del efecto

El establecimiento de la efectividad de una intervencin a menudo suele incluir la evaluacin del impacto y de los resultados. Aunque
los trminos impacto y resultados se utilizan muchas veces con
significados distintos, para algunos autores la evaluacin del impacto
examina el efecto inicial del programa en los objetivos de cambio
ms prximos, como las polticas, las conductas y las actitudes. De
esta manera, la evaluacin del impacto se correspondera con la valoracin de los objetivos iniciales de la intervencin22. Con esta perspectiva, la evaluacin de los resultados se refiere al efecto consecuente de un programa o intervencin en los resultados de salud de
una poblacin, en correspondencia con la finalidad u objetivo principal del programa. La evaluacin de resultados se ha llamado con frecuencia evaluacin sumativa, porque el evaluador est en una posicin favorable para hacer una consideracin global sobre el valor
del programa. Esta consideracin asume el xito previo de la evaluacin del proceso y del impacto22.
Relacin entre la evaluacin del proceso y la evaluacin
de la efectividad
Una cuestin de particular inters en la interpretacin de los resultados de la evaluacin de una intervencin preventiva es la relacin
entre la evaluacin del proceso y la evaluacin del efecto o de los resultados. Es frecuente que en la planificacin de las intervenciones se
expliciten relativamente bien las actividades previstas; poco, en cambio, se suele decir respecto a cmo se ha desarrollado la intervencin
prevista, qu se ha llegado a hacer (o no) y cmo se considera que ha
funcionado. La descripcin precisa de todos estos aspectos propicia la
evaluacin del proceso, que con frecuencia es olvidada en estudios
muy centrados en la medicin de resultados de salud. Poco podemos
saber de por qu una determinada intervencin no ha funcionado si
no tenemos informacin de lo que se ha realizado. Nos parecera raro
evaluar el efecto de un frmaco que slo se ha administrado de forma
errtica, sin cumplir la posologa recomendada; sin embargo, esto no
es infrecuente en promocin de la salud. Adems, hay que tener en
cuenta la gran complejidad de estas intervenciones, en comparacin
con la simple administracin de un frmaco.
Cuando se dispone de informacin y nos podemos pronunciar sobre el nivel de realizacin de la intervencin, es til establecer un
grado de aceptabilidad de la intervencin. Ello posibilitar una doble
comparacin: intentar saber cules son los resultados en aquellos
que han realizado la intervencin de forma correcta respecto al grupo de comparacin (sobre los que no se ha desarrollado el programa),
y tambin saber si hay diferencias entre estos ltimos y los que han
estado expuestos parcialmente o de manera insuficiente a la intervencin. En la figura 1 se muestra la evolucin del consumo regular
de tabaco a lo largo de los 4 aos de duracin del proyecto ESFA de
evaluacin del programa PASE.bcn16, diferenciando por sexo. De entrada, puede observarse que para ambos sexos el consumo regular de
tabaco (como mnimo semanal) era menor en los escolares del grupo
control. Estas cuestiones son difciles de obviar en salud comunitaria.
En este caso, las diferencias no fueron significativas, pero podran ir
asociadas a que el distrito de la ciudad donde se emplaz el grupo de
intervencin tena unos indicadores de nivel socioeconmico ms
desfavorables que el resto de la ciudad. Al cabo de 1 ao e inmediatamente despus de haberse aplicado el programa en el aula, la evolucin del consumo regular del grupo control fue claramente superior en el grupo control en ambos sexos respecto al grupo de
intervencin. Entre los chicos, este consumo creci un 6% en el grupo
control, mientras que fue de tan slo un 1,9% en los que realizaron la
intervencin aceptablemente. En las chicas, estas diferencias fueron
del 8,9% y el 4%, respectivamente. Pero ya despus del primer ao era
posible comprobar las diferencias entre quienes haban realizado
mejor la intervencin y el conjunto de todos los intervenidos. Con
excepcin del segundo ao de intervencin para los chicos, a lo largo

del proyecto se siguieron observando diferencias en el grupo de intervencin, con mejores datos en el subgrupo que recibi la intervencin con una calidad aceptable. De este hecho se deducen dos mensajes importantes a diseminar tanto entre los docentes que
implementan los programas como entre los propios escolares, que se
ilustran en la figura 1 en relacin con la evaluacin del programa
PASE.bcn: en primer lugar, que una exposicin mnima a la intervencin puede tener un efecto (en la figura se ve en las chicas en los aos
2000 y 2001); y en segundo lugar, que hacer bien la intervencin
tiene un efecto aadido (en la figura es visible en ambos sexos con
los datos de 2001).
Otros estudios han reflejado resultados comparables. El estudio
de Wiborg et al32 para evaluar el Smoke-free Class Competition en Alemania permiti comprobar que cuando se comparaban los alumnos
que no haban realizado el programa con los que haban estado expuestos a l, sin haberlo completado (por transgredir las normas antes del final), haba diferencias en el consumo. No obstante, estas
diferencias en el consumo eran mayores cuando se comparaba a los
controles con los que haban mantenido el compromiso de no fumar
durante los 6 meses de intervencin.
En conclusin, aquellos grupos de escolares expuestos a un nivel
aceptable de una intervencin suelen presentar posteriormente resultados mejores en la conducta que se quiere prevenir, respecto a
los individuos expuestos con un cumplimiento insuficiente de la intervencin. Ello demanda una adecuada planificacin de la evaluacin del proceso de la intervencin, as como una documentacin e
informacin precisa tanto en informes como en publicaciones cientficas de la evaluacin de dicha intervencin.
C. Ariza ha realizado el borrador y la versin final. Todos los autores han participado en la discusin y revisin del manuscrito.
Financiacin
a Universitats i Recerca del DIUE de la Genaralitat de Catalunya
(AGAUR SGR 2009-1345).
Bibliografa
1. WHO (World Health Organization), Health and Welfare Canada, Canadian Public
Health Association. Otawa Charter for Health promotion. WHO Regional Office for
Europe. Copenhagen; 1986.
2. Nutbeam D. Achieving best practice in health promotion: improving the fit between research and practice. Health Educ Res. 1996;11:317-25.
3. Nutbeam D. Evaluating health promotion-progress, problems and solutions.
Health Promotion Int. 1998;13:27-44.
4. Speller V, Learmonth A, Harrison D. The search for evidence of effective health
promotion. BMJ. 1997;315:361-3.
5. Task Force on Community Preventive Services. Introducing the Guide to Community Preventive Services: methods, first recommendations and expert commentary. Am J Prev Med. 2000;18(1 Suppl):1-142.
6. West SG, Duan N, Pequegnat W, et al. Alternatives to the randomized controlled
trial. Am J Public Health. 2008;98:1359-66.
7. Des Jarlais DC, Lyles C, Crepaz N, and the TREND Group. Improving the reporting
quality of nonrandomized evaluations of behavioral and public health interventions: the TREND statement. Am J Public Health. 2004;94:361-6.
8. Windsor R, Baranowski T, Clark N, et al. Evaluation of health promotion, health
education, and disease prevention programs. Mountain View, California: Mayfield
Publishing Company; 1994.
9. Diez E, Jurez O, Nebot M, et al. Effects on attitudes, knowledge, intentions and
behaviour of an AIDS prevention programme targeting secondary school adolescents. Promotion & Education. 2000;7:17-22.

10. Villalb JR, Aub J, Garca-Gonzlez A. Evaluacin de un proyecto de prevencin
primaria del tabaquismo: el proyecto piloto PASE de Barcelona. Rev San Hig Pub.
1992;66:143-8.
11. De Vries H, Mudde A, Leijs I, et al. The European Smoking prevention Framework
Approach (ESFA): an example of integral prevention. Health Educ Res. 2003;18:61126.
12. Bandura A. Social foundations of thought and action: a social cognitive theory.
New York: Prentice Hall; 1986.
13. Prochaska JO, DiClemente CC. Stages and processes of self-change of smoking:
toward an integrative model of change. J Consult Clin Psychol. 1983;51:390404.
14. Botvin GJ, Eng A, Williams CL. Preventing the onset of cigarette smoking through
life skills training. Prev Med. 1980;9:135-43.
15. Ariza C, Nebot M, Jan M, et al. El proyecto ESFA en Barcelona: un programa comunitario de prevencin del tabaquismo en jvenes. Prev Tab. 2001;3:70-7.
16. Ariza C, Nebot M, Gimnez E, et al. Longitudinal effects of the European Smoking
prevention Framework Approach (ESFA) Project in Spanish adolescents. Eur J Public Health. 2008;18:491-7.
17. Calafat A, Amengual M, Mejias G, et al. Evaluacin del programa de prevencin T
decides. Adicciones. 1989;1:96-111.
18. Ventura A, Crcel C, Canals RM, et al. Index de capacitat econmica familiar II
[Family economic capacity index II]. Barcelona: Gabinet de Programaci. Publicacions de lAjuntament de Barcelona; 1999.
19. Snchez-Martnez F, Ariza C, Prez A, et al. Evaluacin de proceso del programa
escolar de prevencin del consumo de cannabis en adolescentes xkpts.com.
Adicciones. 2010;22:217-26.
20. Ariza C, Prez A, Snchez-Martnez F, et al. Efectividad de una intervencin preventiva sobre el consumo habitual de cannabis en escolares de Barcelona. Gac
Sanit. 2008;22:133.
39
21. Ariza C, Gonzlez I, Jurez O, et al., y Equipo de Coordinadores del Proyecto Adolescent Smoking Cessation en Espaa. Evaluacin de un programa de cesacin en
escolares del proyecto Adolescent Smoking Cessation (ASC) en Espaa. Prev Tab.
2005;7(Supl 1):139.
22. Rychetnik L, Hawe P, Waters E, et al. A glossary for evidence based public health. J
Epidemiol Community Health. 2004;58:538-45.
23. Resnicow K, Davis M, Smith M, et al. How best to measure implementation of school
health curricula: a comparison of three measures. Health Educ Res. 1998;13:239-50.
24. Dusenbury L, Brannigan R, Hansen WB, et al. Quality of implementation: developing measures crucial to understanding the diffusion of preventive interventions.
Health Educ Res. 2005;20:308-13.
25. Payne AA, Gottfredson DC, Gottfredson GD. School predictors of the intensity of
implementation of school-based prevention programs: results from a national
study. Prev Sci. 2006;7:225-37.
26. Pankratz MM, Jackson-Newsom J, Giles SM, et al. Implementation fidelity in a
teacher-led alcohol use prevention curriculum. J Drug Educ. 2006;36:317-33.
27. Snchez V, Steckler A, Nitriat P, et al. Fidelity of implementation in a treatment
effectiveness trial of Reconnecting Youth. Health Educ Res. 2007;22:95-107.
28. Resnicow K, Botvin G. School-based substance use prevention programs: why do
effects decay? Prev Med. 1993;22:484-90.
29. Villalb JR, Ballestn M, Nebot M, et al. The prevention of substance abuse in
schools: a process evaluation of the adoption of a standardised education module.
Promotion and Education. 1997;4:15-9.
30. Macdonald G, Veen C, Tones K. Evidence for success in health promotion: suggestions for improvement. Health Educ Res. 1996;11: 367-76.
31. Valmayor S, Ariza C, Toms Z, et al. Evaluacin de una intervencin de prevencin
del tabaquismo en el entorno escolar. Prev Tab. 2004; 6:18-25.
32. Wiborg, G, Hanewinkel, R. Effectiveness of the Smoke-Free Class Competition in
delaying the onset of smoking in adolescence. Prev Med. 2002;35:241-9.
Gac Sanit. 2011;25(Supl 1):40-48
La evaluacin de tecnologas sanitarias en intervenciones de salud pblica: ms

vale prevenir que curar?
Mireia Espallarguesa,b,*, Joan M.V. Ponsb,c, Caridad Almazna,b y Oriol de Sol-Moralesa,b
Agncia dInformaci, Avaluaci i Qualitat en Salut (AIAQS), Servei Catal de la Salut-CatSalut, Barcelona, Espaa
CIBER en Epidemiologa y Salud Pblica (CIBERESP), Espaa
c
Departament de Salut, Generalitat de Catalunya, Barcelona, Espaa
a
RESUMEN
Palabras clave:
Evaluacin de tecnologas sanitarias
Salud pblica
Medicina preventiva
Promocin de la salud
Intervenciones
Cada vez se llevan a cabo ms actuaciones de medicina clnica con fines preventivos, como parte de los programas comunitarios de prevencin secundaria, pero tambin de muchas actividades clnicas. Sin embargo,
se dispone de pocas evaluaciones de actividades preventivas y de promocin de la salud, y en general slo
valoran aspectos de eficacia/efectividad, con poca consideracin del coste y el coste-efectividad y menos de
los aspectos ticos, legales, sociales u organizativos. Dado el inters creciente por evaluar este tipo de intervenciones desde diferentes perspectivas, la evaluacin de tecnologas sanitarias se postula como una estrategia de anlisis multidisciplinario que con diferentes enfoques metodolgicos puede ser til a las administraciones sanitarias y a los decisores para la toma de decisiones a diferentes niveles (micro, meso y macro). Se
presentan aquellas caractersticas y aspectos diferenciales relacionados con la evaluacin de las actividades
preventivas y de promocin de la salud. Esto conlleva limitaciones, dificultades y desafos importantes que
deberan considerarse durante el proceso de evaluacin de tecnologas sanitarias. En el caso de la salud pblica hay retos adicionales, puesto que la evidencia debe satisfacer a una audiencia diversa, que incluye profesionales de la salud pblica, clnicos, polticos, gestores, economistas y consumidores. El reto es an mayor cuando se trata de evaluar intervenciones comunitarias complejas e integradas, en las cuales los aspectos locales y
contextuales tienen una relevancia enorme. Adems, la valoracin de los aspectos ticos cobra suma importancia puesto que su origen corresponde a los servicios sanitarios y se dirigen a poblaciones mayoritariamente sanas.
Health technology assessment in public health interventions: is prevention

better than cure?
ABSTRACT
Keywords:
Health technology assessment
Public health
Preventive medicine
Health promotion
Interventions
Medical activities are increasingly performed with preventive purposes, as part of community programs for
secondary prevention but also as part of many clinical activities. However, there are few evaluations of
preventive and health promotion activities and, in general, these evaluations only assess aspects of efficacy/
effectiveness with little consideration of cost and cost-effectiveness and even less of the ethical, legal, social
or organizational consequences. Given the growing interest in evaluation of these interventions from different
perspectives, health technology assessment (HTA) has emerged as a multidisciplinary analysis strategy with
distinct methodological approaches that may be useful to health administrations and policy-makers for
decision making at different levels (micro, meso and macro). This manuscript discusses the characteristics
and differential aspects related to assessment of preventive and health promotion activities. This type of
evaluation poses constraints, limitations and challenges that should be considered during the process of HTA.
In the case of public health there are additional challenges, because the evidence must satisfy a diverse
audience, including public health professionals, clinicians, politicians, managers, economists and consumers.
The challenge is even greater when evaluating complex, integrated community interventions in which local
and contextual aspects are of tremendous importance. In addition, assessment of ethical issues is of the
utmost importance since these issues comprise the origin of health services and the target populations are
usually healthy.

Correo electrnico: mespallargues@aatrm.catsalut.cat (M. Espallargues)
M. Espallargues et al / Gac Sanit. 2011;25(Supl 1):40-48
41
Introduccin
Aunque la evaluacin de tecnologas sanitarias ha sido en general
amplia en la definicin de las tecnologas que pueden ser evaluadas,
habitualmente se ha centrado en mtodos diagnsticos y teraputicos, en especial equipos, frmacos, dispositivos o procedimientos1.
As, las intervenciones en salud pblica y sobre todo los programas
preventivos (y de promocin de la salud) no suelen priorizarse para
su evaluacin2 y, en general, sta se ha centrado en aspectos de eficacia/efectividad, con poca consideracin del coste y del costeefectividad3,4, y menos de los aspectos ticos, sociales u organizativos5. Precisamente, en la actual situacin de contencin de costes,
este tipo de intervenciones preventivas pueden considerarse como
una potencial fuente de ahorro, por lo que los decisores deberan
disponer de forma sistemtica de informacin sobre el beneficio y las
consecuencias a estos distintos niveles.
Cada vez se llevan a cabo ms actuaciones de medicina clnica con
fines preventivos, como parte de los programas comunitarios de prevencin secundaria (p. ej., cribados poblacionales), pero tambin de
muchas actividades clnicas (p. ej., las continuas propuestas de actividades de diagnstico o deteccin precoz, incluidas las preenfermedades y los factores de riesgo, y las vacunas), con un balance entre
beneficios y riesgos de esta expansin en muchos casos incierto. De
hecho, el concepto de prevencin ha ido cambiando con el tiempo a
medida que se ha incrementado la responsabilidad sobre poblaciones especficas y el reconocimiento de los diversos determinantes de
la salud y factores influyentes en la ocurrencia y progresin de las
enfermedades6. Sin embargo, entre legisladores y pblico general
persiste un visin restringida de las actividades preventivas clsicas,
que parecen relacionarse slo con la realizacin de mamografas, citologas de cuello uterino, control de la presin arterial o deteccin
del antgeno prosttico especfico7.
Aun as, se observa un inters creciente por conocer los beneficios
y los perjuicios atribuibles a las intervenciones en salud pblica, y en
consecuencia por evaluar este tipo de intervenciones desde diferentes perspectivas. Como en cualquier otro campo de la atencin sanitaria, las buenas intenciones de las actividades preventivas y de promocin de la salud no son suficientes, y hay que demostrar resultados
favorables en trminos de efectividad, seguridad, eficiencia y equidad. Tampoco basta la mera observacin (estudios naturalsticos) de
los resultados, de manera que debe procederse a una valoracin rigurosa de las consecuencias que su aplicacin comporta y, especialmente, del impacto que tienen sobre la salud de las personas y sobre
la organizacin de los servicios sanitarios8. Esta evaluacin debera
ser sistemtica, igual que lo es para otro tipo de tecnologas, de modo
que las intervenciones pudieran adaptarse y corregirse segn las polticas vigentes.
En este sentido, la evaluacin de tecnologas sanitarias se presenta como una estrategia de anlisis que puede ser til a las administraciones sanitarias y a los decisores a diferentes niveles (micro,
meso y macro) para implementar las actividades/programas de prevencin y promocin de la salud, y para contribuir a modificar las
polticas de intervencin mejorando su efectividad y su eficiencia.
La evaluacin de las tecnologas sanitarias
El rpido incremento del gasto sanitario no acompaado de mejoras proporcionales en el nivel de salud, el alto grado de variabilidad no explicable en la prctica mdica y la incertidumbre acerca
del impacto real de muchos procedimientos mdicos han conducido a admitir la existencia de importantes lagunas en el conocimiento que dificultan la adopcin de decisiones juiciosas sobre asignacin y uso de recursos y aceptacin de prcticas mdicas. Esta
realidad es la que llev al nacimiento y al desarrollo del concepto
de evaluacin de tecnologas sanitarias9. sta se define como un
conjunto de actividades de investigacin evaluativa (dentro de la
M
ba edic
la sada ina
evi e
de n
nc
ia
Epidemiologa
y salud
pblica
Economa
de la salud
ETS
Investigacin
en resultados
de salud
Es
tad
ga
olo
oci
ca
ti dica
m
Investivacin
en servicios
sanitarios
st
ica
Figura 1. Disciplinas ms frecuentemente aplicadas en la evaluacin de tecnologas

sanitarias (ETS).
evaluacin de los servicios de salud) que, con un enfoque multimetodlogico y pluridisciplinario (fig. 1), pretende informar, basndose en el conocimiento cientfico y la realidad del contexto, las distintas decisiones que se toman dentro de un sistema de salud. Tales
decisiones pueden ser a nivel de poltica sanitaria y de investigacin, de planificacin, de compra o financiacin de servicios, o bien,
en su aspecto ms bsico, a nivel clnico y de los pacientes. Este tipo
de evaluacin examina los efectos de las intervenciones mdicas y
sanitarias, tanto los beneficiosos como los adversos, as como todos
aquellos factores influyentes (determinantes) en el resultado que se
pretende conseguir y en sus consecuencias, no slo clnicas sino
tambin organizativas, econmicas, ticas, legales y sociales10-13.
Para ello utiliza una amplia variedad de teoras, metodologas y
fuentes de informacin, segn la cuestin que se plantee o el problema que deba resolverse.
La diversidad de las tecnologas que pueden ser evaluadas es muy
amplia, tanto por lo que el trmino tecnologa sanitaria puede
abarcar, por las mltiples finalidades de esta tecnologa (preventiva,
diagnstica, teraputica, rehabilitadora y paliativa), como por las incertidumbres que puedan generarse en torno a ellas. As, la evaluacin de tecnologas sanitarias aplica procesos sistemticos de anlisis que pueden incluir diversas fases o etapas secuenciales12 (tabla 1,
fig. 2). Los procesos de evaluacin se describen como exhaustivos,
puesto que su finalidad es acceder a toda la informacin disponible;
como sistemticos y estructurados, ya que se siguen diferentes fases
o etapas predefinidas; y como explcitos, porque que identifican y
determinan las diferentes metodologas que constituyen cada una de
las fases.
La evaluacin de tecnologas sanitarias en intervenciones del mbito de la salud pblica tiene similitudes, pero tambin importantes
diferencias, con los procesos empleados en el caso de las tecnologas
clnicas. A continuacin se presentan las caractersticas y los aspectos diferenciales de las actividades preventivas y de promocin de la
salud, y se discuten las limitaciones, las dificultades y los desafos
ms importantes que deberan considerarse durante el proceso de
evaluacin de tecnologas sanitarias aplicado a stas.
42
Tabla 1
Fases de la evaluacin de tecnologas sanitarias y su descripcin
Fases
Descripcin
1. Identificacin y priorizacin de las tecnologas

sanitariasa o de los problemas que necesitan una
evaluacin
El proceso de evaluacin se inicia con la identificacin de las tecnologas o servicios mdicos sobre los que hay
cierta incertidumbre de sus beneficios y riesgos, y que, por tanto, requieren ser evaluados. La necesidad
(y propuesta) de evaluacin puede detectarse tanto a nivel individual (profesionales sanitarios, equipos
de investigadores) como institucional (entidades proveedoras de servicios sanitarios), y situarse en el
sector pblico (departamentos o ministerios de sanidad) o en el privado (industria biomdica, entidades
aseguradoras). Si hay varias tecnologas o servicios sanitarios candidatos a ser evaluados, deber realizarse
un ejercicio de priorizacin. La priorizacin se lleva a cabo atendiendo a diferentes criterios: grado de
incertidumbre existente, impacto epidemiolgico o econmico, variaciones en la prctica clnica, expectativas
sociales y directrices de poltica sanitaria o investigadora, entre otros.
2. Traduccin de los problemas de salud o sanitarios

en preguntas de investigacin: necesidad, eficacia,
seguridad, efectividad, adecuacin, equidad, eficiencia?
Una vez hecha la priorizacin, conviene interpretar la necesidad de evaluacin y traducirla a una pregunta de
investigacin. Es esta pregunta, reflejo de la incertidumbre que se desea resolver, la que desencadena el proceso
de evaluacin propiamente dicho.
3. Bsqueda, revisin, sntesis o produccin de evidencia

cientfica
La bsqueda de informacin se efecta en las bases de datos genricas, en las pertenecientes a disciplinas
especficas y en la llamada literatura gris. El objetivo de esta etapa es encontrar estudios diseados para
obtener evidencia cientfica directa (datos primarios) que responda a la cuestin que origin la revisin. Se
trata, siempre que sea posible, de identificar investigaciones que valoren el efecto del servicio, tecnologa o
programa en condiciones ideales (eficacia). En ocasiones, estos estudios se complementan con trabajos que
proporcionan evidencias indirectas, procedentes del anlisis de datos secundarios. Sin embargo, puede ocurrir
que no se halle evidencia cientfica, o que la disponible sea de baja calidad, para poder derivar conclusiones.
En esta situacin, debe fomentarse la produccin de datos primarios, es decir, el diseo de investigaciones
especficas orientadas a producir conocimiento nuevo sobre la pregunta que dio lugar a la bsqueda.
4. Anlisis del contexto: epidemiologa, efectividad,

eficiencia, adecuacin, equidad, aspectos legales, ticos,
organizativos y valores sociales
Consiste en integrar la evidencia cientfica directa e indirecta, y enmarcarla en el mbito de un sistema sanitario
o institucin concretos. Supone revisar (o realizar si no estn disponibles) estudios de efectividad (para medir
el efecto del servicio o tecnologa en condiciones reales), de coste-efectividad o de adecuacin, as como
dimensionar las connotaciones sociales, legales y ticas implcitas en el servicio o tecnologa sanitarios.
5. Conclusiones o recomendaciones para la prctica

profesional (estrategias sanitarias pblicas, guas de
prctica clnica, entre otras)
Con los anlisis anteriores finalizados, se procede a la elaboracin de conclusiones o recomendaciones que
pueden dirigirse a distintos destinatarios, cuya caracterstica comn es que debern tomar decisiones, por
supuesto de diferente ndole, relacionadas con la pregunta que motiv el proceso de evaluacin.
6. Difusin y diseminacin activa de los resultados
Los resultados del proceso de evaluacin han de proporcionar elementos para que todos los decisores, tanto en
el mbito asistencial como en el de la planificacin, la administracin y la gestin sanitarias, puedan tomar
decisiones informadas. Para ello, es preciso difundir y diseminar la informacin obtenida mediante formatos y
lenguajes adaptados a las caractersticas de los destinatarios.
6. Implementacin de los resultados
Se ha de procurar que la evaluacin tenga efecto, esto es, que trascienda en cambios sobre actuaciones
organizativas, compra de servicios o prcticas clnicas, por ejemplo
8. Anlisis del impacto de las recomendaciones
Finalmente, con el paso del tiempo, la implementacin debe ir seguida de una etapa evaluativa que incluye
el anlisis del impacto o la capacidad de induccin de cambios positivos que hayan podido tener las
recomendaciones efectuadas.
a
Tecnologas sanitarias: equipos, dispositivos, procedimientos mdicos y quirrgicos, medicamentos, diferentes formas de proporcionar la atencin sanitaria, sistemas de
informacin y su almacenamiento, y mtodos para generar y sintetizar el conocimiento.
Bsqueda de la evidencia
Aunque muchos de los principios para buscar y localizar literatura de intervenciones clnicas son aplicables para la identificacin
de evidencia en intervenciones de salud pblica, hay importantes
diferencias tericas y prcticas. Concretamente, el uso de criterios
de seleccin predeterminados puede ser inadecuado, dado que la
comprensin y el conocimiento del tema objeto de estudio se van
clarificando a medida que se obtienen los hallazgos iniciales, de
modo que la identificacin de cul es la evidencia relevante emerge
durante el proceso de evaluacin. Por otro lado, en la prctica muchos temas estn deficientemente indexados o sin indexar (p. ej.,
Medline slo tiene un trmino para los estudios cualitativos, Qualitative Research, introducido en 2003), mientras que no se utilizan
trminos del tesauro o se aplican de forma inconsistente (por ello
no se recomienda utilizar filtros por el tipo de diseo). As, la terminologa de los resmenes estructurados y de los ttulos se utiliza
de forma imprecisa y variable por parte de los autores (por ej. homosexual males o gay men en estudios de promocin de la salud en
hombres que tienen relaciones sexuales con hombres), lo que resulta en una falta de consistencia en el vocabulario que requiere estrategias de bsqueda sistemtica diferentes de las habituales en intervenciones clnicas14.
La gran diversidad de informacin y de fuentes de informacin
disponibles (se trata de literatura ampliamente diseminada) supone
desafos para la sensibilidad y la especificidad de las bsquedas bibliogrficas, aparte de tratarse en general de intervenciones complejas o de enfermedades complejas. Por otro lado, distintas fuentes de
informacin y en particular la masiva literatura gris de informes no
publicados o no disponibles en bases de datos bibliogrficas, que
puede ser de especial importancia en salud pblica, son ms difciles
de acceder fiablemente15. Ello requiere el uso de mtodos distintos a
la bsqueda en bases de datos habituales para la obtencin de los
estudios relevantes. El Manual de la Colaboracin Cochrane sobre revisiones sistemticas de intervenciones tiene un captulo dedicado a
las revisiones en salud pblica y promocin de la salud, en el cual
identifican bases de datos electrnicas relevantes en este mbito
(http://www.cochrane-handbook.org/). En http://library.umassmed.
edu/ebpph/dblist.cfm tambin puede encontrarse una lista de bases
de datos en salud pblica gratuitas.
Asimismo son bien conocidas las revisiones de las Preventive Services Task Force de Estados Unidos (http://www.ahrq.gov/clinic/uspstfix.htm) y de Canad (http://www.canadiantaskforce.ca/), en especial
sobre programas de cribado y asesoramiento. Tambin existen fuentes
de informacin valiosas sobre la efectividad y el coste-efectividad de
programas y polticas comunitarias dirigidos a promover la salud y
prevenir la enfermedad (http://www.thecommunityguide.org/index.
html), e igualmente son relevantes las revisiones del grupo de salud
pblica de la Colaboracin Cochrane (http://ph.cochrane.org/findingpublic-health-reviews).
43
Incertidumbre sobre una tecnologa

sanitaria o un resultado de salud
Priorizacin de los
servicios a evaluar
Pregunta de investigacin
Bsqueda, revisin y sntesis
de evidencia cientfica
Suficiente evidencia
cientfica
Anlisis del
contexto
Insuficiente evidencia
cientfica
Produccin de evidencia
cientfica
Conclusiones y
recomendaciones
Conclusiones
Diseminacin e
implementacin
Diseminacin
Anlisis del impacto en

la toma de decisiones
Promocin de la
investigacin
Priorizacin
Evaluacin ex-ante de las propuestas
de investigacin
Evaluacin ex-post de la investigacin

(retorno de la investigacin)
Figura 2. Etapas del proceso de evaluacin de tecnologas sanitarias56.
Evaluacin de la eficacia
En el mbito de las intervenciones preventivas, en especial en la
prevencin primaria que acta sobre las personas sanas, el grado de
exigencia en la robustez cientfica sobre las pruebas (evidencia) de su
eficacia/efectividad y seguridad debera ser (mucho) mayor que en
otro tipo de intervenciones. Todo ello se ha hecho ms notorio despus de realizar estudios que demostraron no slo la ineficacia, sino
tambin el riesgo aumentado, del uso de la terapia hormonal sustitutiva en las mujeres posmenopusicas para la prevencin de diversos riesgos16,17 (fig. 3).
En teora, la evaluacin de intervenciones como las que se realizan en el mbito de la salud pblica debera adoptar criterios y estndares similares a los de la evaluacin de cualquier otro tipo de
intervencin sanitaria. En la prctica, sin embargo, diversos condicionantes de carcter metodolgico, sobre todo relacionados con el
diseo del estudio evaluativo y contextual, contribuyen a dificultar o
limitar la posibilidad de realizar de forma adecuada la evaluacin de
este tipo de intervenciones. Dificultad aadida es que dentro del concepto de prevencin puede considerarse una amplia variedad de intervenciones, como el uso del cinturn de seguridad y del casco en la
conduccin de autos y motocicletas, las vacunas, el incremento de la
presin fiscal sobre el tabaco y las bebidas con alto contenido en alcohol restringiendo su venta a los menores, la reduccin de la exposicin ambiental y laboral a sustancias txicas, o los cribados para
cierto tipos de cncer.
Las intervenciones en salud pblica son de naturaleza compleja,
ya que suelen estar integradas por diversos componentes y ms intrincados que un principio activo farmacolgico, como sucede en el
caso de las polticas de salud o los programas dirigidos al cambio de
conducta. Por su carcter multicomponente, sus contenidos son difcilmente reproducibles (estandarizables) y su eficacia/efectividad
est en gran parte vinculada al contexto. Adems, siempre coexisten
factores endgenos y exgenos con la aplicacin de la intervencin,
que hacen muy difcil aislarla y casi imposible atribuir el efecto a un

componente particular del programa18.
Por otro lado, la dificultad de realizar una asignacin aleatoria de
la intervencin impide, en muchas ocasiones, la comparacin con un
grupo control adecuado (equivalente), como sucede en los programas o polticas a gran escala, o con los programas de tipo social o de
otro tipo en los cuales, por razones ticas, no sea posible dejar de
administrar la intervencin o sta se aplica uniformemente al conjunto de una poblacin. As, muchas veces las evaluaciones de intervenciones en salud pblica atribuyen los cambios favorables a una
intervencin o un programa sin compararlos con un grupo de control, y sin tratar de descartar las posibles explicaciones alternativas
que justifiquen los efectos de carcter preventivo observados19.
El resultado es que la experimentacin con intervenciones de este
tipo es una rareza, y que los diseos antes-despus sin grupo control
estn entre los ms utilizados en la evaluacin de las actividades preventivas. Se trata de un diseo de dbil validez interna que tiene
como problemas la posibilidad de confundirse con otras intervenciones concomitantes y de que surjan cambios derivados de la propia
maduracin de los individuos intervenidos. Incluso cuando hay
grupo control, el enmascaramiento es muy difcil y, por tanto, son
muy altas las posibilidades de contaminacin de los grupos, aparicin de sesgos de deseabilidad social y efecto Hawthorne, y sobre
todo de modificaciones del tipo o intensidad de la intervencin en
funcin de las caractersticas de cada grupo20.
Habitualmente tambin se trata de intervenciones implementadas
en el mbito de una organizacin o de un rea, de forma que la unidad
de intervencin es un cluster de individuos. En este caso su evaluacin
presenta dificultades porque a menudo para el estudio slo se dispone de pocas unidades (clusters) y de gran tamao, la evaluacin puede
ser tanto individual como del cluster, y las respuestas de los individuos pueden estar correlacionadas dentro de los clusters21.
Tambin hay que considerar que muchas de las enfermedades que
se pretende prevenir son de carcter crnico (cardiovasculares, cn-
44
Cribado oportunusta y de
alto riesgo frente a cribado
poblacional (poco eficiente)
Baja sensibilidad del
colesterol en la prediccin
del riesgo (solapamiento de
curvas de distribucin del
colesterol total entre
pacientes coronarios y
poblacin general)
Coste-efectividad de las
distintas
Prevencin
Primaria
Secundaria
Cribado de riesgo
cardiovascular y
prescripcin de
hipolipidemiantes
Cribado de cncer
de mama con
mamografa
peridica
Diversos estudios
controlados y
aleatorisadps de calidad
heterognea
Mortalidad total frente a
mortalidad por cncer de
mama
Riesgo de falsos positivos
Informacin fidedigna y
autonoma de las mujeres
Tratamiento
hormonal
sustitutivo
Estudios observacionales a favor

El Womens Health Initiative muestra que
con el tratiamiento hormonal sustitutivo los
riesgos son mayores que los beneficios
Riesgo aumentado en mujeres
podmenopusicas
Beneficios: fracturas seas cncer de
colon
Riesgo: coronario y accedente vascular
cerebral, cncer de mama, tromboembolia
Figura 3. Ejemplos referidos en el texto sobre actividades preventivas y de promocin de la salud.
cer, etc.), y su seguimiento en estudios experimentales es muy dificultoso. Requieren poblaciones de estudio muy grandes y dcadas de
seguimiento antes de que puedan demostrarse efectos con significacin estadstica y clnicamente relevantes. Por ejemplo, a pesar de
que el tabaquismo causa enfermedades graves y fatales, los ensayos
clnicos aleatorizados tuvieron grandes dificultades para demostrar
el impacto del cese del hbito tabquico sobre el cncer de pulmn o
la enfermedad pulmonar obstructiva crnica. Se necesitaron estudios de cohortes y otros observacionales para demostrar que el abandono del tabaquismo reduca la morbilidad y la mortalidad22.
Finalmente, en muchas ocasiones el problema estriba en disponer
de indicadores de medida de resultados adecuados, bien porque no
sean fcilmente visibles o detectables (p. ej., en las intervenciones
basadas en actividades culturales o mediticas, como las obras de
teatro, o en los recursos educativos de utilizacin annima, como los
programas o recursos informativos en Internet), o porque las consecuencias en salud (p. ej., los cambios en la morbimortalidad que pueden derivarse de una campaa para promover la alimentacin equilibrada) slo sean detectables a muy largo plazo y tengan que
utilizarse resultados intermedios (surrogate outcomes)19 (p. ej., el uso
de la densidad mineral sea como variable intermedia de las fracturas por fragilidad en programas de prevencin secundaria de la osteoporosis).
Estas limitaciones hacen muy difcil, y en ocasiones desaconsejable, la utilizacin de diseos experimentales en intervenciones de salud pblica, lo que implica tener en cuenta las evidencias de los llamados diseos evaluativos dbiles o de estudios observacionales19,23. Es
por ello que este tipo de estudios se sitan en los niveles ms inferiores de las clasificaciones de la evidencia cientfica, con un nivel de evidencia en general bajo y el grado de las recomendaciones que se derivan tambin. Sin embargo, su consideracin en el desarrollo de
recomendaciones puede proporcionar una fotografa mucho ms
completa de la evidencia existente y ayudar a fortalecer la prctica de
la salud pblica. La exclusin de informacin recogida mediante estos
diseos no aleatorizados sin duda sesgara la evidencia hacia interven-
ciones que son ms fciles de evaluar, pero no necesariamente ms

efectivas o coste-efectivas24; o hacia intervenciones con un enfoque
ms biomdico que social, dirigidas a individuos en lugar de comunidades o poblaciones; o hacia aquellas que se centran en determinantes
de la salud ms proximales que distales25. En este sentido puede
ser de ayuda la lista-gua del TREND statement, que propone 22 tems
para mejorar la presentacin y la redaccin de estudios no aleatorizados en la evaluacin de intervenciones en salud pblica24.
Evaluacin de la efectividad
Aunque la reduccin de la mortalidad y de la gravedad o la morbilidad observada en los estudios que se llevan a cabo para establecer
la eficacia de las intervenciones es necesaria, no es suficiente para
garantizar la efectividad y la seguridad de stas, que son extraordinariamente contingentes a los factores locales y contextuales. Adems,
las caractersticas del contexto que pueden ser relevantes varan con
el tipo de intervencin evaluada26, o intervenciones similares en mbitos diferentes pueden no tener los mismos efectos en la salud de la
poblacin. Por ejemplo, un mensaje de educacin sanitaria que es
altamente efectivo en una comunidad con aversin al riesgo (riskaverse) puede tener precisamente el efecto contrario en una que sea
tolerante al riesgo (risk-tolerant). El mbito afecta tanto a la forma en
que una intervencin opera como a los resultados15, de manera que
las recomendaciones basadas en la eficacia deben someterse a una
evaluacin de la efectividad. A diferencia del mbito anglosajn, donde ya hay un cuerpo de evidencia relativamente extenso, en nuestro
entorno la falta de tales experiencias obliga a menudo a confiar en
estudios basados en poblaciones social y culturalmente diferentes.
As, es probable que las dificultades ms importantes provengan
del propio mbito donde surgen y se establecen estas medidas27. Tanto si la evaluacin es prospectiva como retrospectiva, los condicionantes contextuales derivados de la poltica sanitaria pueden ser
importantes. En general, para establecer una intervencin es necesario tener un soporte social y profesional suficiente, pero ste puede
verse afectado si se propone una evaluacin concomitante (prospectiva) de su efectividad. En otros casos, la implantacin de una medida
se realiza con celeridad para dejar poco margen de reaccin a los
detractores, pero ello no encaja con los cronogramas necesarios para
la investigacin prospectiva. La evaluacin retrospectiva, por contra,
tiene escasa rentabilidad en trminos polticos y conlleva riesgos
para los polticos, los gestores o los colectivos que propusieron la
intervencin20.
Tampoco es despreciable el impacto que pueden tener el momento de la intervencin y las caractersticas de stas o de las personas
que la llevan a cabo26. Por ejemplo, los resultados de una intervencin pueden verse favorecidos por haber seleccionado un tipo de
medida que se cree ms efectiva para el mbito donde se va a implantar. Cuando hay relacin entre investigadores e individuos de
investigacin, los efectos pueden verse afectados por la posicin jerrquica, las relaciones previas con los individuos, la capacidad de
transmitir conocimientos o de empatizar, etc; o si hay perjudicados,
la respuesta de stos a la propia intervencin (que ocasionalmente
puede ser una contraintervencin)20.
En el extremo, el inters no se centra tanto en saber si una intervencin concreta sera eficaz en un mundo ideal, sino en ofrecer informacin sobre los condicionantes del xito o del fracaso de la intervencin en el mundo real. Y aqu, la descripcin de experiencias
locales de intervencin tiene un enorme valor28, as como la aplicacin de la investigacin cualitativa en la exploracin de cmo y por
qu las intervenciones en salud pblica pueden o no funcionar, de
qu manera y para quin, especialmente en las intervenciones complejas29.
Evaluacin de la seguridad
Como suele suponerse que las intervenciones preventivas tienen
pocos riesgos, la investigacin sobre sus efectos negativos es escasa.
Sin embargo, stas pueden ser causa de dao, pues no estn exentas
de efectos indeseables directos e indirectos. Los pocos estudios disponibles analizan efectos a corto plazo (como falsos positivos de los
cribados), pero no tratan los efectos a largo plazo de las medidas
poscribado (p. ej., frmacos preventivos) ni los efectos negativos ms
intangibles (como la medicalizacin)30. Por ejemplo, en los cribados,
la consideracin de sospecha puede provocar cierta ansiedad, y en el
caso de los falsos positivos exponerlos a problemas derivados de la
iatrogenia asociada a las pruebas de confirmacin del diagnstico o
a tratamientos innecesarios31,32; entre ellos el efecto etiqueta, reconocido como fuente de morbilidad en el caso de la hipertensin arterial y en los cribados del colesterol33,34.
Adems, los programas de cribado afectan a un nmero importante de personas en relacin al nmero de las que pueden beneficiarse. Un efecto adverso menor sobre la salud individual es posible
que tenga un impacto sobre la salud pblica (poblacin) que podra
exceder cualquier beneficio logrado por el cribado.
Por otro lado, si la atencin sanitaria evoluciona, como algunos ya
han apuntado35,36, hacia una actitud preventivista extrema, ello puede suponer una medicalizacin costosa de por vida, con efectos indeseables imprevisibles a largo plazo tan slo con el objetivo de reducir
en escasa medida una posibilidad remota de muerte, enfermedad o
incapacidad. Se trata del componente iatrognico de la prevencin, si
bien se espera que la actividad sanitaria ofrezca cuidados de baja
intensidad y gran calidad, con una actitud activa continua que evite
los daos por esas actividades, necesarias o innecesarias (lo que se
conoce como prevencin cuaternaria: conjunto de actividades sanitarias que atenan o evitan las consecuencias de las intervenciones
innecesarias o excesivas del sistema sanitario). La cuestin de fondo
es el umbral con que se decide hacer las cosas, adems de hacerlas
bien37. Una buena revisin y reflexin sobre los efectos negativos de
las intervenciones preventivas, especialmente las basadas en el individuo, ha sido publicada por Mrquez-Caldern30.
45
Evaluacin de la eficiencia
Aunque el debate sobre la eficiencia de los programas preventivos se ha centrado en si stos verdaderamente comportan un ahorro a ms largo plazo y en comparacin con las intervenciones teraputicas (ms vale prevenir que curar), lo cierto es que la cuestin
relevante est ms en determinar qu intervencin (teraputica o
preventiva) es ms coste-efectiva para la mejora de la salud de la
poblacin. Este debate es ms acentuado en la prevencin primaria,
en especial en las actividades de promocin de la salud dirigidas a
una poblacin con alto riesgo de desarrollar enfermedades, pero
que todava no estaran enfermas (p. ej., fumadores, hipertensos,
hipercolesterolmicos, hiperglucmicos, obesos, etc.). Las actividades preventivas dirigidas a estos grupos no suelen ahorrar dinero,
pero algunas ofrecen un gran valor en trminos de aadir aos de
vida ajustados por calidad (AVAC, en ingls QALY) a un coste relativamente bajo7. Por otro lado, las tasas de descuento o anualizacin
(para medir en trminos de valor presente los costes y los resultados producidos a lo largo del tiempo por los diferentes programas
analizados) de intervenciones muy dilatadas en el tiempo pueden
hacer modificar completamente el resultado percibido en la actualidad.
En el caso de la adopcin de la estrategia de los cribados de factores de riesgo en la prevencin primaria por parte de la asistencia,
normalmente en forma de diagnstico oportunista, tambin se plantean problemas de eficiencia. Hay una clara asociacin entre el factor
de riesgo y la enfermedad que se pretende prevenir, pero el rendimiento puede ser inadecuado, como ocurre en el caso del colesterol
plasmtico, que a pesar de la intensidad de los recursos empleados
produce pobres resultados38 (fig. 3).
Aspectos organizativos
Tambin deben analizarse las repercusiones sobre los servicios
sanitarios, en trminos de estructura (recursos y organizacin), funcionamiento (actividades y gestin), y productos y resultados de las
nuevas actividades o programas preventivos. Aunque los aspectos
organizativos tienen una gran importancia sobre el impacto de las
intervenciones en salud pblica26, stos pocas veces se consideran en
nuestro entorno. Las cargas asistenciales totales derivadas de la aplicacin de las actividades preventivas tienen un efecto mayor en la
organizacin sanitaria, en trminos de pruebas complementarias solicitadas, de derivaciones y, sobre todo, en cuanto al coste de la medicacin. En el caso de los cribados, por la propia naturaleza del procedimiento, sea mediante una prueba analtica o de imagen, una
exploracin fsica o una serie de preguntas, stos son inducidos desde el sistema sanitario y habitualmente generan un incremento en el
uso de recursos. Por ello, la oferta de cribados comporta una influencia sobre la demanda, con repercusiones en la organizacin y la gestin, sobre todo en el mbito de la asistencia8.
Aspectos ticos
Puesto que el origen de las actividades preventivas corresponde a
los servicios sanitarios y se dirigen a poblaciones mayoritariamente
sanas (sin sntomas de la enfermedad que queremos prevenir), los
aspectos ticos son de suma importancia. Las consideraciones ticas
aplicables a las intervenciones preventivas afectan tanto a las personas como a las poblaciones, y son las mismas que afectan a todas las
actividades sanitarias, bsicamente los principios de autonoma, no
maleficencia, de justicia y de beneficencia.
El principio de no maleficencia adquiere una dimensin particular en el caso de los cribados, ya sea en prevencin secundaria o primaria. El riesgo de empeorar la salud de las personas objeto de la
intervencin no es comparable a aqul a que se exponen las personas
con manifestaciones de enfermedad. La mera deteccin de una sos-
46
pecha comporta un posible quebranto de la salud de las personas

clasificadas como tales, slo moralmente justificado si se garantiza
que la confirmacin del diagnstico y la aplicacin del tratamiento
precoz se llevan a cabo. Por ello se ha propuesto que las personas
invitadas a participar en programas de prevencin secundaria, mayormente cribados de cncer, deberan ser adecuadamente informadas para poder decidir libremente si se exponen o no a los posibles
efectos adversos y, en su caso, asuman responsablemente la situacin39.
Otra cuestin tambin a tener en cuenta aqu es la medicalizacin. sta implica una disminucin de la autonoma, que interfiere
con algunas definiciones de salud y con la soberana (empowerment)
de la poblacin establecida en la carta de Ottawa. Estamos, pues,
frente a un potencial conflicto entre principios ticos: de un lado el
de beneficencia y de otro el de autonoma40.
Respetar el principio de beneficencia supone, ms all de seleccionar aquellas actividades que han demostrado su eficacia, una evaluacin sistemtica de la efectividad. Sin embargo, no slo debe plantearse respecto a las personas a las que individualmente se ofrecen
tales actividades preventivas, sino que la supuesta eficiencia justifica
la prctica de cribados cuyo propsito fundamental es proteger a terceros, como ocurre con las pruebas que se practican para las donaciones de sangre, plasma y rganos.
En cuanto al principio de justicia, destaca la importancia de la
equidad, tanto en lo que se refiere al acceso como a la calidad de las
intervenciones y los resultados obtenidos. En ocasiones, la probabilidad de padecer una enfermedad subclnica o estar expuesto a un
determinado factor de riesgo va asociada a determinantes sociales,
culturales y econmicos, de manera que la adhesin a las ofertas de
cribado resulta desproporcionada en favor de quienes tienen un riesgo menor25.
Sirva de ejemplo para ilustrar estos aspectos ticos en las intervenciones preventivas el debate, an persistente, sobre la eficacia y
la seguridad del cribado del cncer de mama mediante mamografa
peridica41,42, y la necesidad de proveer una informacin juiciosa y
entendible sobre los beneficios y riesgos de dicha intervencin en el
momento de ofrecer, que no de inducir, la participacin43-46 (fig. 3).
Aspectos sociales y legales
Si bien las intervenciones en salud pblica garantizan un bien
para la comunidad, no siempre lo hacen para el individuo concreto
(paradoja de Rose: el beneficio para una persona en particular puede
llegar a ser muy improbable47), por lo que deben buscar un equilibrio
que tenga en cuenta la beneficiencia, la autonoma y la justicia. Siguiendo con el ejemplo del cribado del cncer de mama, se antepone
el beneficio social por encima del individual, y se obvian la autonoma del individuo y su capacidad para decidir. As, en cualquier intervencin que suponga algn tipo de coercin sobre el individuo, con
tal de garantizar un bien social (proteger la comunidad de un riesgo),
el grado de intromisin en la esfera personal debera venir determinado por una valoracin escrupulosa (sera mejor decir objetiva, pero
no siempre podr ser as y tambin podra ser de aplicacin el principio de precaucin48) del riesgo para la salud. El grado de intrusin
en las libertades individuales debe ser proporcional al riesgo, y en
este sentido un buen ejemplo es la escala de intervenciones segn el
grado de intromisin en la esfera personal que recoge el documento
del Nuffield Council of Bioethics49.
Tambin hay que considerar las expectativas generadas en la poblacin. Como seala un estudio del Programa de Actividades Preventivas y de Promocin de la Salud (PAPPS) de la Sociedad Espaola
de Medicina de Familia y Comunitaria (semFYC), la mayora de los
usuarios consultados otorga gran importancia a las actividades preventivas, preferentemente si es su mdico quien las determina50, lo
que refleja la influencia que la oferta sanitaria tiene en las expectativas de la poblacin.
Reflexiones finales
La evaluacin de las actividades preventivas, y especialmente del
efecto de los cribados incluidos en la prctica clnica, la informacin
y la educacin, la prevencin de lesiones o la modificacin de los
estilos de vida, es una necesidad sanitaria de primera magnitud3. No
se ha hecho mucho esfuerzo por evaluar aquellas intervenciones que
precisamente pueden tener un gran impacto en la salud de la poblacin, y no slo en los servicios sanitarios, aunque de por s no tengan
tanto atractivo como un nuevo frmaco de diseo molecular o un
aparato diagnstico de alta tecnologa22. Problemas aadidos son la
existencia de un nmero excesivo de programas piloto que no terminan de evaluarse por no estar completados, la falta de dotacin de
fondos para realizar dicha evaluacin porque no se considera como
una parte integrada de estas actividades o programas, y la falta de
una cultura de evaluacin entre los gestores y las agencias que financian los programas2.
De ah que resulte imprescindible una evaluacin sistemtica de
los efectos de las intervenciones preventivas en la prctica, tanto
desde el punto de vista de la utilidad como de la tica y las repercusiones organizativas, entre otros, como se viene realizando en algunos pases51,52. Esta evaluacin debera poder distinguir entre la capacidad del proceso de evaluacin para detectar el xito o el fracaso de
la intervencin, y el xito o el fracaso de la intervencin propiamente dicha26.
La evaluacin de tecnologas sanitarias en intervenciones del mbito de la salud pblica tiene otros retos adicionales. La evidencia
debe satisfacer a una audiencia diversa, que incluye profesionales de
la salud pblica, clnicos, polticos, gestores, economistas y consumidores, por lo que es probable que ningn enfoque satisfaga totalmente a los distintos grupos interesados. El desafo es incluso mayor
cuando se trata de evaluar intervenciones comunitarias complejas e
integradas53, o cuando los ciclos de innovacin ocurren con tanta celeridad que mientras se estn implementando los programas o actividades ya est disponible una nueva tecnologa supuestamente mejor.
Es cierto que muchas veces vale ms prevenir que curar, pero
antes de aplicar los resultados de las nuevas tecnologas al diagnstico precoz de enfermedades, por ejemplo, deberan tenerse en
cuenta todos los factores que pueden influir en la efectividad de un
programa. Si no, se corre el riesgo de que el resultado del programa
preventivo no sea ms que el etiquetado de personas como enfermas. Y es que, frente a la evaluacin de caja negra tpica de los
ensayos clnicos con medicamentos, en la evaluacin de intervenciones en salud pblica los aspectos locales y contextuales tienen una
enorme importancia. De hecho, hay muchos problemas a la hora de
generalizar la evidencia a otros mbitos25.
Por otro lado, es obvio que tambin resulta necesario establecer
criterios ms claros y crticos para la evaluacin de las actividades
preventivas y de promocin de la salud (la adecuacin de los mtodos
para juzgar la evidencia sobre su utilidad y transferibilidad, as como
para poder sintetizarla). Muchos estaran de acuerdo en que preguntas diferentes requieren mtodos diferentes, y en que es insensato
considerar algn diseo de estudio como superior para todos los propsitos (el diseo del estudio a solas no es un buen indicador de la
calidad o nivel de evidencia en la evaluacin de este tipo intervenciones26). Adems, parece poco factible el desarrollo de jerarquas de la
evidencia que se apliquen a ms de un campo de la investigacin15,
sino que los distintos tipos de evidencia deberan ser juzgados dentro
de su propia disciplina. As, la evidencia procedente de distintos campos de investigacin puede dar respuesta a diferentes problemas o
retos en salud pblica (p. ej., la epidemiologa descriptiva y la sociologa pueden ayudar al diagnstico de un problema, o la sociologa y
las ciencias polticas en la identificacin de normas, valores o
preferencias)25. Tambin se han propuesto criterios, como los de plausibilidad y de adecuacin, para poder juzgar este tipo de intervencio-
nes cuando los ensayos clnicos aleatorizados no son factibles23. Es un

hecho que la salud pblica basada en la evidencia est menos desarrollada que la medicina basada en la evidencia, y probablemente se
necesitan mtodos y criterios diferentes y ms complejos.
Adems, como se ha visto, en la evaluacin de tecnologas sanitarias de actividades preventivas cobra suma importancia la valoracin
de los aspectos ticos, y se recomienda el anlisis de los principios
ticos de autonoma, beneficencia, no maleficencia y justicia. La salud pblica es la rama de la medicina ms poltica, la que tiene ms
atribuciones para limitar libertades, precisamente por el afn de proteger a la comunidad, el bien comn, por encima de algunos derechos y libertades individuales. Todo ello, sin embargo, debe hacerse
con mucho cuidado, informando al mximo y con total transparencia, sustentando las decisiones (que pueden llegar a ser coercitivas)
en razones cientficas de peso (riesgos reales y graves, o por incertidumbres manifiestas). Hay que favorecer siempre la persuasin a la
coaccin, y slo aplicar esta segunda por la autoridad legtima (democrtica), cuando las circunstancias as lo aconsejen (exijan). Dicho
de otra manera, puede haber situaciones en que la aplicacin de forma obligatoria de algunas medidas (coercitivas) sea la nica opcin
razonable, pero esto debe ser el ltimo recurso, cuando todas las
otras medidas de carcter voluntario hayan fallado54.
Generar un clima de miedo ante potenciales amenazas, cuando
los riesgos ni siquiera han sido propiamente evaluados, para facilitar
la implementacin de medidas coercitivas, no debera ser la mejor
opcin en sociedades (tericamente) maduras que esperan de sus
responsables polticos una informacin fidedigna (reconociendo incluso las incertidumbres o ignorancias) y una toma de decisiones
informada y transparente (no debe haber secretos de estado en salud pblica). Las medidas de salud pblica deben sustentarse en razones de carcter cientfico, no por climas de ansiedad y temores
generalizados, evitando caer en sesgos que a este nivel se llaman
ideolgicos.
No es vano que uno de los padres de la medicina basada en la
evidencia, refirindose a la medicina preventiva, afirmara que tiene
tres elementos de arrogancia: 1) es agresivamente enrgica en la
bsqueda de individuos asintomticos para decirles qu deben hacer
para mantenerse sanos, invocando ocasionalmente la fuerza de la ley
(vacunas, cinturones de seguridad), prescribiendo y proscribiendo a
nivel individual y colectivo y a cualquier edad; 2) es presuntuosa,
segura de que las intervenciones que recomienda, en promedio, hacen ms bien que mal en aquellas personas que las aceptan y se adhieren a ellas; 3) finalmente, es autoritaria, atacando a todo aquel
que cuestiona el valor de sus recomendaciones55. Es importante
mantener como principio, o por defecto contradiciendo algunos mitos muy extendidos, que no siempre es mejor prevenir que curar y
que en medicina ms no quiere decir mejor.
En conclusin, la evaluacin de las tecnologas sanitarias como
proceso de anlisis e investigacin evaluativa se dirige a estimar el
valor y la contribucin relativos de cada tecnologa sanitaria, en
este caso las de carcter preventivo y de promocin de la salud, a la
mejora de la salud individual y colectiva, teniendo adems en cuenta su impacto econmico, tico, organizativo, legal y social. Por ello,
debera fundamentarse principalmente en la evidencia cientfica,
en su evaluacin, para poder emitir recomendaciones de utilidad
para la toma de decisiones. De alguna manera, la evaluacin de tecnologas sanitarias aplicada a las decisiones en salud pblica, como
las que se han tratado, est ms cerca de la visin original de esta
evaluacin como instrumento de poltica pblica que cualquier otra
aplicacin en uso.
M. Espallargues y Joan MV Pons han escrito las distintas versiones
del manuscrito y los otros autores han revisado, discutido y aprobado
la versin final.
47
Financiacin
(AGAUR SGR 2009-1345).
Bibliografa
1. Moharra M, Espallargues M, Kubesch N, et al. Systems to support health technology assessment (HTA) in member states of the European union with limited institutionalization of HTA. Int J Technol Assess Health Care. 2009;25(Suppl 2):75-83.
2. Victora CG, Santos IS. Los siete pecados capitales de la evaluacin del impacto.
Informe SESPAS 2008. Gac Sanit. 2008;22(Supl 1):1-7.
3. Esperato A, Garca-Alts A. Prevencin en salud: inversin rentable? Eficiencia
econmica de las intervenciones preventivas en Espaa. Gac Sanit. 2007;21:15061.
4. Banta HD, de Wit GA. Public health services and cost-effectiveness analysis. Annu
Rev Public Health. 2008;29:383-97.
5. The ECHTA/ECAHI Project. Grant Agreement No. SI2.122594 (99CVF3-508). Stockholm (Sweden): The Swedish Council on Technology Assessment in Health Care
(SBU); 2000.
6. Grvas J, Starfield B, Heath I. Is clinical prevention better than cure? Lancet.
2008;372:1997-9.
7. Goetzel RZ. Do prevention or treatment services save money? The wrong debate.
Health Aff (Millwood). 2009;28:37-41.
8. Segura-Benedicto A. Induccin sanitaria de los cribados: impacto y consecuencias.
Aspectos ticos. Gac Sanit. 2006;20(Supl 1):88-95.
9. Gua para la elaboracin de informes de evaluacin de tecnologas sanitarias. Madrid: Agencia de Evaluacin de Tecnologas Sanitarias (AETS); 1999.
10. Pons JMV, Parada I, Rius E, et al. Lavaluaci de tecnologia mdica: una eina per a
la millora de la prctica assistencial i la poltica sanitria i cientfica. Pediatr Catalana. 2002;62:39-46.
11. Velasco-Garrido M, Busse R. Health technology assessment: an introduction to
objectives, role of evidence, and structure in Europe. Policy brief. Copenhagen
(Denmark): European Observatory on Health Systems and Policies. WHO Regional
Office for Europe; 2005.
12. Granados A. La evaluacin de las tecnologas mdicas. Med Clin (Barc).
1995;104:581-5.
13. Banta D. The development of health technology assessment. Health Policy.
2003;63:121-32.
14. Higgins JPT, Green S, editores. Cochrane handbook for systematic reviews of interventions. Version 5.0.2. Oxford (United Kingdom): The Cochrane Collaboration;
2009. [Actualizado en septiembre de 2009.] Disponible en: www.cochrane-handbook.org
15. Kemm J. The limitations of evidence-based public health. J Eval Clin Pract.
2006;12:319-24.
16. Roberts H. Managing the menopause. BMJ. 2007;334:736-41.
17. Vickers MR, MacLennan AH, Lawton B, et al. Main morbidities recorded in the
womens international study of long duration oestrogen after menopause (WISDOM): a randomised controlled trial of hormone replacement therapy in postmenopausal women. BMJ. 2007;335:239.
18. Nebot M. Speakers corner. Health promotion evaluation and the principle of prevention. J Epidemiol Community Health. 2006;60:5-6.
20. Peir S. Comentario: complejidades en la evaluacin de intervenciones complejas.
Gac Sanit. 2005;19:234-7.
21. Ukoumunne OC, Gulliford MC, Chinn S, et al. Methods in health service research.
Evaluation of health interventions at area and organisation level. BMJ.
1999;319:376-9.
22. Holland WW. Health technology assessment and public health: a commentary. Int
J Technol Assess Health Care. 2004;20:77-80.
23. Victora CG, Habicht JP, Bryce J. Evidence-based public health: moving beyond randomized trials. Am J Public Health. 2004;94:400-5.
24. Des J, Lyles C, Crepaz N. Improving the reporting quality of nonrandomized evaluations of behavioral and public health interventions: the TREND statement. Am
J Public Health. 2004;94:361-6.
25. Banta HD. Considerations in defining evidence for public health: the European
Advisory Committee on Health Research World Health Organization Regional Office for Europe. Int J Technol Assess Health Care. 2003;19:559-72.
26. Rychetnik L, Frommer M, Hawe P, et al. Criteria for evaluating evidence on public
health interventions. J Epidemiol Community Health. 2002;56:119-27.
27. Ray WA. Policy and program analysis using administrative databases. Ann Intern
Med. 1997;127:712-8.
28. Sackett DL, Wennberg JE. Choosing the best research design for each question.
BMJ. 1997;315:1636.
29. Campbell M, Fitzpatrick R, Haines A, et al. Framework for design and evaluation of
complex interventions to improve health. BMJ. 2000;321:694-6.
30. Mrquez-Caldern S. Los efectos negativos de las intervenciones preventivas basadas en el individuo. Informe SESPAS 2008. Gac Sanit. 2008;22(Supl 1):205-15.
48
31. Stewart-Brown S, Farmer A. Screening could seriously damage your health. BMJ.
1997;314:533-4.
32. Gray JA. New concepts in screening. Br J Gen Pract. 2004;54:292-8.
33. Haynes RB, Sackett DL, Taylor DW, et al. Increased absenteeism from work after
detection and labeling of hypertensive patients. N Engl J Med. 1978;299:741-4.
34. Jennings D, Netsky MG. Essential hypertension: a sign in search of a disease. CMAJ.
1991;144:973-9.
35. Callahan D. El bien individual y el bien comn en biotica. Barcelona: Cuadernos
de la Fundaci Vctor Grfols i Lucas. 2009;23-4.
36. Permanyer G. Son valores antagnicos la prevencin y la compasin? Med Clin
(Barc). 2010;135:650-2.
37. Grvas J. Moderacin en la actividad mdica preventiva y curativa. Cuatro ejemplos de
necesidad de prevencin cuaternaria en Espaa. Gac Sanit. 2006;20(Supl 1):127-34.
38. Marrugat J, Sala J, Elosua R, et al. Prevencin cardiovascular: avances y el largo
camino por recorrer. Rev Esp Cardiol. 2010;63(Supl 2):49-54.
39. Wilson RM. Screening for breast and cervical cancer as a common cause for litigation. A false negative result may be one of an irreducible minimum of errors. BMJ.
2000;320:1352-3.
40. Getz L, Sigurdsson JA, Hetlevik I. Is opportunistic disease prevention in the consultation ethically justifiable? BMJ. 2003;327:498-500.
41. Quanstrum KH, Hayward RA. Lessons from the mammography wars. N Engl J Med.
2010;363:1076-9.
42. Welch HG. Screening mammography -- a long run for a short slide? N Engl J Med.
2010;363:1276-8.
43. Jorgensen KJ, Brodersen J, Hartling OJ, et al. Informed choice requires information
about both benefits and harms. J Med Ethics. 2009;35:268-9.
44. Gotzsche PC, Hartling OJ, Nielsen M, et al. Breast screening: the facts -- or maybe
not. BMJ. 2009;338:b86.
45. Brodersen J, Jorgensen KJ, Gtzsche PC. The benefits and harms of screening for
cancer with a focus on breast screening. Pol Arch Med Wewn. 2010;120:8994.
46. Gtzsche PC, Nielsen M. Screening for breast cancer with mammography. Cochrane Database of Systematic Reviews 2011, Issue 1. Art. No.: CD001877. DOI:
10.1002/14651858.CD001877.pub4.
47. Rose G. Sick individuals and sick populations. Int J Epidemiol. 1985;14:32-8.
48. Snchez E. El principio de precaucin: implicaciones para la salud pblica. Gac
Sanit. 2002;16:371-3.
49. Public health: ethical issues. London (United Kingdom): Nuffield Council on
Bioethics; 2007.
50. Subas PJ, Perula L, Moreno J, et al. Encuesta a la poblacin para valoracin y conocimiento de su percepcin sobre actividades preventivas. Aten Primaria.
2003;32:5-14.
51. U.S. Preventive Services Task Force (USPSTF) [pgina en Internet]. Rockville, MD
(US): Agency for Healthcare Research and Quality. Disponible en: www.ahrq.gov/
clinic/uspstfix.htm
52. Canadian Task Force on Preventive Health Care [pgina en Internet]. Ottawa, ON
(Canada): Canadian Task Force on Preventive Health Care. Disponible en: www.
canadiantaskforce.ca
53. Chaulk CP, Kazandjian VA, Vallejo P. Evaluacin en salud pblica: lecciones aprendidas de la gestin de la tuberculosis pulmonar. Gac Sanit. 2008;22:362-70.
54. Kurth R. Public health and civil liberties. Introduction to the talking point on public health versus civil liberties. EMBO Rep. 2007;8:1091-2.
55. Sackett DL. The arrogance of preventive medicine. CMAJ. 2002;167:363-4.
56. De Sol-Morales O, Granados A. Health technology assessment in Catalonia: an
overview of past and future perspectives. Int J Technol Assess Health Care.
2009;25(Suppl 1):88-93.
Gac Sanit. 2011;25(Supl 1):49-55
Evaluacin de la efectividad de los programas de vacunacin

Eva Borrsa,b,c,*, ngela Domnguezb,c y Lluis Sallerasb,c
Direccin General de Salud Pblica, Departamento de Salud, Generalitat de Catalunya, Barcelona, Espaa
Departamento de Salud Pblica, Universidad de Barcelona, Barcelona, Espaa
c
a
RESUMEN
Palabras clave:
Eficacia
Efectividad
Vacuna
Programa de vacunacin
Las vacunas han contribuido enormemente a la reduccin de la incidencia de muchas enfermedades transmisibles. La eficacia protectora de una vacuna se refiere a los efectos sanitarios de la vacuna aplicada en condiciones ptimas e ideales, mientras que la efectividad de un programa de vacunacin evala los efectos sanitarios en los individuos vacunados, cuando las condiciones de aplicacin son las habituales de la prctica clnica
o de los programas de salud pblica, distantes de las ptimas. La eficacia de la vacuna se estima en ensayos
clnicos aleatorizados. Por su parte, la efectividad puede estimarse mediante diversos tipos de estudios epidemiolgicos: ensayos comunitarios aleatorizados, en los que se asigna aleatoriamente la vacuna objeto de estudio a un grupo como unidad de aleatorizacin y se compara la incidencia de la enfermedad en dicho grupo
con la del otro grupo que no se ha vacunado; estudios de cohortes, tipo de estudio epidemiolgico observacional en que se parte del antecedente de la vacunacin en sujetos sanos vacunados (cohorte vacunada) y no
vacunados (cohorte no vacunada), y se investiga la aparicin de la enfermedad en ambos grupos; y estudios
de casos y controles, tambin observacionales, en los cuales se seleccionan dos grupos, uno con presencia
(casos) y otro con ausencia (controles) de la enfermedad que se desea prevenir, y se retrocede al pasado en
busca de los antecedentes de vacunacin en ambos grupos. Tambin puede estimarse comparando las tasas
de ataque en los brotes epidmicos, o las tasas de ataque secundario en el mbito familiar, o mediante el mtodo de cribado.
Assessing the effectiveness of vaccination programs

ABSTRACT
Keywords:
Efficacy
Effectiveness
Vaccine
Vaccination programme
Vaccines have contributed enormously to reducing the incidence of many communicable diseases. The
protective efficacy of a vaccine refers to the health effects of the vaccine applied in optimal, ideal conditions,
whereas the effectiveness of a vaccination program refers to the health effects of vaccination in the vaccinated
individuals in clinical practice or within public health programs, which may differ widely from optimal
conditions. Vaccine efficacy is estimated by randomized clinical trials. In contrast, effectiveness can be
measured by various types of epidemiological studies: randomized community trials, in which the target
vaccine is randomly assigned to a group and disease incidence in this group is compared with that of an
unvaccinated group; cohort studies, which are observational epidemiological studies in which the vaccination
status is known in healthy vaccinated (vaccinated cohort) and unvaccinated (unvaccinated cohort) people
and the occurrence of the disease in the two groups is studied; and observational case-control studies, in
which two groups are selected; one with the disease under investigation (cases) and the other without
(controls), and vaccination histories are investigated in the two groups. Vaccine effectiveness may also be
estimated by comparing attack rates in epidemic outbreaks or secondary attack rates in the home, or by
screening.

Correo electrnico: eva.borras@gencat.cat (E. Borrs)
50
E. Borrs et al / Gac Sanit. 2011;25(Supl 1):49-55
Introduccin
La vacunacin constituye una de las estrategias preventivas ms
efectivas en salud pblica, que tiene como resultado una disminucin importante de la incidencia de muchas enfermedades transmisibles, llegando incluso a erradicarlas, como en el caso de la viruela,
o a eliminarlas en determinadas reas geogrficas, como es el caso de
poliomielitis y el sarampin.
En el campo de las vacunaciones es importante distinguir entre
eficacia protectora de las vacunas y efectividad de los programas de
vacunacin. La eficacia evala los efectos sanitarios de la vacuna
aplicada en condiciones ptimas e ideales, distantes de las cotidianas, basndose en las ventajas que proporciona a los individuos a
quienes realmente se aplica. Por su parte, la efectividad de un programa de vacunacin evala los efectos sanitarios de la intervencin
en los individuos vacunados, cuando las condiciones de aplicacin
son las habituales de la prctica clnica o de los programas de salud
pblica, distantes de las ptimas. Su evaluacin slo debera hacerse
cuando la vacuna haya demostrado previamente en un ensayo clnico
controlado que es eficaz1.
Lo habitual es que para cualquier intervencin de salud pblica la
eficacia sea superior a la efectividad, y por ello el objetivo de cualquier poltica de salud es lograr que la efectividad de la intervencin
tienda a ser tan alta como su eficacia.
La inmunidad de grupo se define como la resistencia de un grupo
o poblacin a la invasin y la difusin de un agente infeccioso, gracias
a la resistencia a la infeccin de una elevada proporcin de los miembros individuales del grupo o poblacin. Esta resistencia es el producto del nmero de susceptibles por la probabilidad de que los susceptibles puedan entrar en contacto con personas infectadas2. La
inmunidad indirecta conferida por la vacunacin se debe a la reduccin de la exposicin al agente causal, a la existencia de inmunidad
adquirida pasivamente o a la vacunacin subrepticia o inaparente, y
tiene importantes implicaciones en las polticas vacunales3.
El objetivo del presente artculo es describir la metodologa y la
utilidad de la evaluacin de la efectividad de los programas de vacunacin.
Eficacia vacunal
Habitualmente la eficacia protectora de las vacunas se estima en
ensayos clnicos aleatorizados, en los cuales un grupo de sujetos recibe la vacuna estudiada y otro recibe un placebo u otra vacuna de
eficacia conocida. Ambos grupos son seguidos en el tiempo y se contabiliza el nmero de casos de enfermedad que aparecen en cada uno
de ellos, como se explica ms adelante.
El ensayo clnico aleatorizado es un estudio epidemiolgico experimental con asignacin de la intervencin (en este caso la vacunacin) controlada, y la asignacin de los sujetos participantes se
realiza al azar, de modo que unos reciben la vacuna de inters y
otros un placebo u otra vacuna distinta de la que es objeto de estudio. Este tipo de estudio es el ms adecuado para demostrar que
hay una asociacin causal entre la intervencin y el beneficio de
salud. Las caractersticas ms importantes de este tipo de estudio
son la aleatorizacin y el enmascaramiento. Tambin es importante
tener en cuenta el clculo del nmero de sujetos necesarios para
asegurar un poder suficiente que permita estimar la eficacia y la
seguridad de la vacuna. El nmero de sujetos necesarios depender
de las variables a estimar y de la incidencia de la enfermedad en
ausencia de vacunacin4.
Las fases para realizar un ensayo clnico aleatorizado son las siguientes:
1) Seleccin de los sujetos participantes segn los criterios de inclusin y exclusin, previamente formulados para responder al objetivo del estudio. Los criterios de exclusin se establecen teniendo en
cuenta aspectos ticos y siguiendo el principio de no maleficencia,
por lo que no deben incluirse posibles participantes con alto riesgo

de presentar eventos adversos (p. ej., sujetos con anafilaxia a algn
componente de la vacuna) ni para mejorar la viabilidad del estudio
(p. ej., sujetos con un riesgo incrementado de fallecer por otras causas, con lo cual se perderan participantes).
2) Determinacin de las variables basales: a medida que se van
reclutando los sujetos deben medirse las variables relevantes, especialmente las que pueden ser variables de confusin o influir en la
implementacin posterior de la vacuna.
3) Aleatorizacin: consiste en asignar, de forma aleatoria, los participantes a dos o ms grupos de intervencin. En esta etapa ser
necesario comprobar que las variables predictoras del resultado presentan una distribucin similar en los dos grupos de estudio.
4) Aplicacin de la intervencin: en primer lugar, la intervencin
debe ser enmascarada. El enmascaramiento puede ser simple ciego,
cuando el paciente desconoce el grupo de intervencin al cual ha
sido asignado; doble ciego, cuando los sujetos participantes y los investigadores ignoran el grupo a que han sido asignados los pacientes;
y triple ciego, cuando la persona que realiza el anlisis estadstico
tampoco sabe si se trata de un sujeto que ha recibido la intervencin
o no. En el grupo control es preferible administrar otra vacuna u otra
intervencin eficaz; la utilizacin de placebo debe justificarse explcitamente. En caso de no realizar enmascaramiento, el ensayo se dice
que es abierto o no ciego.
5) Seguimiento de las cohortes: su finalidad es evitar la prdida
de participantes en el transcurso del estudio, y asegurarse de que
reciben las dosis establecidas.
6) Medicin de las variables de resultado.
7) Anlisis de los datos.
En la fase de prealeatorizacin es importante excluir a los sujetos
no cumplidores, pues la eficacia evala los efectos en aquellos que
han recibido la intervencin y se han adherido a ella, es decir, los
cumplidores1. Los ensayos clnicos son costosos y consumen mucho
tiempo. Adems, no pueden realizarse para confirmar los efectos de
posibles factores de riego, pues no sera tico someter a nadie a dichos factores. Recientemente se han publicado guas con el fin de
homogeneizar criterios a seguir en la realizacin de ensayos clnicos,
como la CONSORT 2010 Statement (Consolidated Standards of Reporting Trials) (fig. 1)5.
En relacin a las etapas de desarrollo y evaluacin de una vacuna,
Basch6 sugiere considerar las siguientes:
a) Fase de ciencia bsica: se realizan investigaciones preliminares
sobre la vacuna en el laboratorio, su necesidad como tcnica preventiva y la factibilidad de aplicacin en la poblacin de riesgo.
b) Fase de ciencia posbsica: se desarrollan la vacuna y los procedimientos de fabricacin.
c) Fase de ensayos preclnicos en modelos animales: evalan la
seguridad, la toxicidad y la inmunidad en animales de experimentacin.
d) Estudios clnicos en fase I: evalan la seguridad, la tolerabilidad
y la inmunogenicidad de la vacuna en voluntarios humanos no inmunes en reas no endmicas.
e) Estudios clnicos en fase II: con ellos se realiza el seguimiento
de la seguridad y la tolerabilidad en un nmero mayor de individuos
(fase IIa), y se valora preliminarmente la eficacia protectora (fase
IIb).
f) Estudios clnicos en fase III (ensayos clnicos controlados): se
evala la eficacia protectora en un rea endmica.
g) Estudios en fase IV: se evalan la efectividad y la seguridad
despus de haber sido autorizada la vacuna.
Los ensayos clnicos controlados forman parte de los ensayos clnicos de fase III antes de la comercializacin de una vacuna, y permiten determinar la eficacia vacunal. Con anterioridad, las vacunas ya
experimentadas en animales habrn confirmado su seguridad, tole-
51
Reclutamiento
Evaluacin de la elegibilidad (n = )
Excluidos (n = )
No cumplen los criterios de inclusin (n = )
Declinaron participar (n = )
Otras razones (n = )
Aleatorizacin (n = )
Asignacin
Asignados a la intervencin (n = )
Asignados a la intervencin (n = )
Recibieron la intervencin asignada (n = )
Recibieron la intervencin asignada (n = )
No recibieron la intervencin asignada
No recibieron la intervencin asignada
(motivos) (n = )
(motivos) (n = )
Seguimiento
Prdidos durante la intervencin
(motivos) (n = )
Prdidos durante la intervencin

(motivos) (n = )
Suspensin de la intervencin asignada

(motivos) (n = )
Suspensin de la intervencin asignada

(motivos) (n = )
Anlisis
Figura 1. Diagrama de flujo del proceso de las

fases de un ensayo clnico aleatorizado de dos
grupos5.
Analizados (n = )
Analizados (n = )
Excluidos del anlisis (motivos) (n = )
Excluidos del anlisis (motivos) (n = )
rabilidad e inmunogenicidad en reas no endmicas y en un nmero

pequeo de voluntarios humanos no inmunes (estudios clnicos de
fase I); y habrn mostrado en un mayor nmero de individuos su
seguridad y tolerabilidad (estudios clnicos de fase IIa), y una eficacia
protectora preliminar (fase IIb).
Una vez conocida la distribucin de enfermos y no enfermos en el
grupo de vacunados y en el de no vacunados, hay que comprobar si
la tasa de incidencia de la enfermedad en los vacunados es inferior a
la de los no vacunados, estimando el riesgo relativo (RR) como medida que relaciona ambas tasas de incidencia.
Si la incidencia en el grupo vacunado es Iv y en el no vacunado es
Inv, la eficacia vacunal (E) se estima mediante cualquiera de las siguientes frmulas:
E= (Inv - Iv / Inv ) x 100
E= (1 - RR) x 100
La eficacia vacunal es el porcentaje de reduccin de la incidencia
de la enfermedad en los vacunados respecto a los no vacunados.
En caso de que la vacuna proporcionara proteccin total no se habran dado casos en el grupo de vacunados, la tasa de incidencia en
los vacunados sera igual a cero y la eficacia resultante sera del 100%.
Si la vacuna no protegiera, la incidencia en ambos grupos sera la
misma y la eficacia sera cero.
Efectividad vacunal
A diferencia de la evaluacin de la eficacia, al evaluar la efectividad de un programa de vacunacin es preciso considerar a todos los
posibles usuarios del programa, independientemente de si son o no
cumplidores. Aunque en teora es posible evaluar la efectividad de la
vacunacin con estudios epidemiolgicos experimentales (aleatorizacin de los individuos sin la exclusin previa de los no cumplidores, o aleatorizacin por agrupaciones o clusters), hoy da, por motivos ticos, prcticos y de costes, la efectividad se suele evaluar en
estudios analticos observacionales de cohortes y de casos y controles.
Estos estudios slo pueden llevarse a cabo cuando la vacuna en
estudio ya se est administrando a la poblacin en las condiciones
habituales de la prctica clnica o de la implementacin de los programas de vacunacin. A diferencia de los estudios experimentales,
en los estudios analticos observacionales no es posible controlar todas las caractersticas o los factores distintos de la exposicin que se
estudia (la vacunacin) por la falta de aleatorizacin, y en consecuencia la evidencia epidemiolgica que proporcionan es mucho menor que la de los estudios experimentales1. Con el objetivo de incrementar la calidad y la fuerza de este tipo de estudios epidemiolgicos,
52
Tabla 1
Efectividad de la vacuna de subunidades virosmica en la prevencin de enfermedades relacionadas con la gripe en nios de 3 a 14 aos de edad10
Prevencin de
Incidencia en cohorte vacunada (n = 966)
Incidencia en cohorte no vacunada (n = 985)
Efectividad vacunal ajustada
n (tasa por 1000 nios)
n (tasa por 1000 nios)
% (IC95%)
Episodio respiratorio febril agudo
228 (233)
423 (429,4)
45,0 (35,44-53,21)
Sndrome gripal
26 (26,9)
102 (102,0)
74,0 (60,0-83,1)
2 (2,1)
18 (18,3)
88,7 (51,2-97,4)
Casos confirmados de gripe por PCR
IC95%: intervalo de confianza del 95%; PCR: reaccin en cadena de la polimerasa.
se ha desarrollado una gua con recomendaciones, la Strengthening

the Reporting of Observational Studies in Epidemiology (STROBE)7.
La evaluacin de la efectividad forma parte de los estudios de fase
IV o estudios postautorizacin.
Seguidamente se comentan diferentes mtodos para determinar
la efectividad vacunal.
Ensayo comunitario aleatorizado
El ensayo comunitario aleatorizado consiste en la asignacin aleatoria de la vacuna y del placebo cuando la unidad de aleatorizacin
es un grupo (la comunidad o la escuela, por ejemplo). Este mtodo,
por ejemplo, se utiliz en Noruega8 con el fin de evaluar la efectividad de la vacunacin antimeningoccica B, en 1335 escuelas de secundaria con alumnos de 14-16 aos. Cada escuela se aleatoriz para
que se administrara la vacuna o un placebo a todos sus alumnos, y
tanto los investigadores como las enfermeras escolares y los estudiantes desconocan cul era el contenido de lote de cada escuela.
Puesto que la unidad de asignacin al azar fue la escuela, los casos
individuales no se contaron, sino que se contabilizaron los brotes en
cada escuela. Hubo 11 brotes en los 690 centros escolares vacunados,
frente a 24 brotes en 645 escuelas que recibieron placebo. La incidencia de brotes en las escuelas fue de 11/690 (0,016) frente a 24/645
(0,037), y la estimacin de la efectividad vacunal fue del 57% (1
0,016/0,037), con una diferencia estadsticamente significativa (p =
0,012). Esta efectividad es limitada para justificar la vacunacin si se
tiene en cuenta que la tasa de incidencia de la enfermedad en Noruega es baja.
Otro ejemplo es el de la vacuna antitifoidea oral en Indonesia9. Se
estim una efectividad del alrededor del 50%, pero la incidencia de la
fiebre tifoidea en ese pas es muy alta, y aun con la efectividad estimada, con un programa de vacunacin que tuviera una buena cobertura vacunal podran prevenirse numerosos casos de enfermedad.
Una de las ventajas de los ensayos comunitarios aleatorizados por
grupos es que permiten estimar la proteccin total conferida por la
vacunacin (proteccin directa en los vacunados y proteccin indirecta en los no vacunados por la inmunidad del grupo).
Estudios de cohortes
Los estudios de cohortes son estudios epidemiolgicos observacionales que parten del conocimiento de la exposicin a la intervencin (vacuna) en sujetos sanos para investigar la aparicin de la enfermedad, y se efecta un seguimiento a lo largo del tiempo. Los
sujetos se clasifican en dos cohortes, una expuesta (vacunados) y
otra no expuesta (no vacunados), y se comparan las incidencias de
ambos grupos. Si el riesgo de la enfermedad en los vacunados es menor que en los no vacunados, y las diferencias son estadsticamente
significativas (p <0,05), se concluye que hay una asociacin entre la
vacunacin preventiva y la enfermedad. Despus se calcula la razn
de riesgo o riesgo relativo. El efecto protector de la intervencin o
efectividad vacunal (expresado en porcentaje) se estima mediante la
frmula:
EV = (1 RR) 100
Un ejemplo de este tipo de estudio es el de Salleras et al10, en el

cual se evalu la vacunacin antigripal virosmica en la prevencin
de enfermedades relacionadas con la gripe en nios de 3 a 14 aos
de edad durante la temporada gripal 2004-2005. Se seleccionaron
los sujetos participantes de 11 clnicas privadas del rea metropolitana de Barcelona, y los dos grupos fueron similares. De la cohorte de
vacunados (966), 228 presentaron un episodio respiratorio febril
agudo, 26 sndrome gripal y 2 gripe confirmada por reaccin en cadena de la polimerasa (PCR), mientras que en la cohorte de no vacunados (985) se produjeron 423, 102 y 18 episodios, respectivamente.
Se estim la efectividad vacunal para la prevencin de los episodios
respiratorios febriles agudos, para la prevencin de los casos con sndrome gripal y para la prevencin de los casos confirmados de gripe
por PCR (tabla 1).Tambin se estim la efectividad de la vacuna para
reducir el uso de antibiticos en estos pacientes, que result ser del
18,6% (IC95%: 4,2-3,64).
Otro ejemplo de este tipo de estudios es el realizado por Black et
al11 para evaluar la efectividad de la vacuna contra Haemophilus influenzae de tipo b (Hib) en Estados Unidos. Entre 1988 y 1990 se reclut en California una cohorte de nios que hubieran ido como mnimo una vez a un centro sanitario antes de los 6 meses de vida.
Estos nios fueron vacunados con tres dosis de vacuna Hib durante
el primer ao de vida. La cohorte control la formaron los nios que
nacieron la primera semana de cada mes y aquellos cuyos padres
declinaron la vacunacin ofrecida. El nmero de personas-ao en los
dos grupos fue de 12.949 y 11.335, respectivamente. Hubo 12 casos
de enfermedad grave por Hib entre los nios no vacunados, y ninguno en el grupo vacunado. De esta forma, la Inv fue de 12/11.335 y la Iv
de 0/12.949, con una efectividad vacunal estimada del 100% (lmite
inferior de confianza al 95%: 68%).
En los estudios sin aleatorizacin hay que contemplar los posibles
sesgos, para evitarlos. Si por alguna razn los nios vacunados hubieran presentado un menor riesgo de infeccin por Hib que los no vacunados, la efectividad vacunal estara sobrestimada. ste no es el
caso del estudio Black et al11 pues la incidencia de la cohorte control
no fue superior a la incidencia global de todos los centros participantes estimada en aos anteriores al estudio, y tampoco fue menor que
la incidencia entre los nios de reas que no participaban en el estudio12.
Un ejemplo reciente de estudio de cohortes es el realizado por
Wang et al13 para conocer la efectividad de la vacuna pentavalente
frente al rotavirus (VR5) en la poblacin infantil estadounidense. Se
siguieron dos cohortes entre 2007 y 2008, una vacunada con VR5 y
otra con DTPa. Los nios de ambos grupos tenan el mismo tipo de
plan de salud y similares caractersticas socioeconmicas. La captacin y el seguimiento de los sujetos incluidos en el estudio no fue de
forma activa, sino que la informacin se obtuvo de diversos registros
de salud de mbito nacional. Los resultados del estudio mostraron
una efectividad vacunal del 100% (intervalo de confianza del 95%
[IC95%]: 87-100%) para la hospitalizacin y las visitas a urgencias
hospitalarias por gastroenteritis producida por rotavirus (GER), y de
un 59% (IC95%: 46-69%) para la hospitalizacin y las visitas a urgencias hospitalarias por gastroenteritis agudas (GEA). Una de las limitaciones de este estudio fue la ausencia de confirmacin por labora-
torio de las GER, pero esta limitacin se corrigi por el hecho que el
52% de los nios menores de 5 aos con diagnstico de GEA presentaron un test positivo frente a rotavirus, y tambin porque se evalu
la GEA solamente durante la poca estacional de circulacin de este
virus, con lo cual la concordancia entre el diagnstico de GEA y el de
GER fue alta.
En estos estudios hay que tener en cuenta diversos factores que
pueden estar asociados a la vacunacin y que no se hayan considerado, porque pueden producir estimaciones sesgadas. Ejemplos de posibles sesgos en estudios de cohortes seran las diferencias en las
cohortes comparadas debidas a la falta de vacunas, a la no gratuidad
de stas o a las caractersticas de los sujetos a vacunar.
Los estudios de cohortes solo miden la proteccin directa conferida por la vacuna porque los vacunados y los no vacunados tienen la
misma posibilidad de beneficiarse de la inmunidad del grupo. Lo
mismo ocurre con los estudios de casos y controles que se describen
a continuacin.
Estudios de casos y controles
Los estudios de casos y controles son estudios analticos observacionales en los cuales los sujetos se seleccionan por la presencia (casos) o ausencia (controles) de la enfermedad que se desea prevenir.
Se retrocede al pasado en busca de los antecedentes de exposicin a
la intervencin preventiva (la vacunacin) en ambos grupos. La frecuencia de la vacunacin en los casos que presentan la enfermedad
se compara con la frecuencia de la vacunacin en el grupo de controles con caractersticas semejantes a los casos. Si el antecedente de
vacunacin est presente con mayor frecuencia en los casos que en
los controles, y las diferencias son estadsticamente significativas (p
<0,05), puede concluirse que hay una asociacin entre la vacunacin
y la enfermedad.
En el estudio de casos y controles, la efectividad (expresada en
porcentaje) se calcula mediante la Odds Ratio (OR) con la siguiente
frmula:
EV = (1 OR) 100
Los estudios de casos y controles proporcionan una evidencia de
efectividad de menor calidad que los de cohortes, debido a una mayor posibilidad de que se produzcan sesgos y a que no permiten
calcular la razn de riesgo directamente, por lo que es necesario utilizar la OR, que es una estimacin indirecta del RR1.
Un ejemplo de este tipo de estudios es el de Domnguez et al14, en
el cual se estima la efectividad de la vacuna antineumoccica polisacrida 23 valente en la prevencin de la enfermedad neumoccica
invasiva en las personas mayores de 65 aos. Para cada caso se seleccionaron tres controles emparejados por edad, fecha de hospitalizacin y condiciones basales mdicas. El emparejamiento es una tcnica que se utiliza en los estudios de casos y controles para que los
grupos que se comparan sean similares en cuanto a posibles variables confusoras15. En este estudio, los dos grupos eran similares excepto en las proporciones de insuficiencia renal, enfermedad pulmonar obstructiva crnica y hbito tabquico, por lo que se calcularon
las OR ajustadas por dichas variables. Se reclutaron 149 casos, de
ellos 31 vacunados y 447 controles, con 183 vacunados. Se estim
una efectividad de la vacunacin para prevenir la enfermedad invasiva por cualquier serotipo de neumococo del 70% (IC95%: 48-82%).
Tambin se estim la efectividad vacunal segn el estado inmunitario de los participantes (tabla 2).
Otro ejemplo de este tipo de estudio es el que se realiz en Brasil16
para evaluar la efectividad de la vacuna antimeningoccica B en los
nios menores de 83 meses. Para cada caso confirmado de meningitis por Neisseria meningitidis del serogrupo B se seleccionaron cuatro
controles emparejados por edad y vecindario. Se determin el estado
vacunal mediante el carn vacunal. En total, 112 casos fueron emparejados con 409 controles; 68 de los casos (61%) haban sido vacunados, en comparacin con 260 de los controles (64%). Se estim una
53
Tabla 2
Efectividad de la vacuna neumoccica polisacrida 23-valente frente a la enfermedad
neumoccica invasiva obtenida en un estudio de casos y controles14
Estado inmunitario
ORa (IC95%)
Efectividad vacunal
ajustada % (IC95%)
Inmunocompetentes
0,24 (0,12-0,49)
76 (51-88)
Inmunodeprimidos
0,50 (0,18-1,44)
50 (-44-82)
IC95%: intervalo de confianza del 95%; ORa: odds ratio ajustada.
OR de 0,89, y la efectividad estimada de la vacuna fue de (1 - 0,89) x

100 = 11%. Sin embargo, en los nios vacunados mayores de 4 aos la
efectividad alcanz el 73%. Esto corrobor que la edad de vacunacin
es una variable importante para la efectividad de las vacunas.
En los estudios de casos y controles pueden producirse sesgos con
facilidad, por ejemplo al recoger los datos de vacunacin (sesgo de
informacin), o el sesgo de seleccin, cuando la probabilidad de haber estado expuesto al agente causal no es la misma en los casos que
en los controles.
Boom et al17 evaluaron la efectividad de la VR5 en un estudio de
casos y controles. Participaron 79 casos (nios de 15 das a 23 meses
de edad con sntomas de GEA y prueba de laboratorio positiva para
rotavirus) y 108 controles con GEA (nios de 15 das a 23 meses de
edad con sntomas de GEA y prueba de laboratorio negativa para rotavirus). Estimaron una efectividad vacunal para las tres dosis en
cuanto a hospitalizaciones y visitas a urgencias por GER respecto a
GEA no producidas por rotavirus del 89% (IC95%: 70-96%). La inclusin de un control con los mismos sntomas, pero con negatividad
frente al rotavirus, se ha demostrado que proporciona resultados similares a los obtenidos con un control clsico.
Algunos estudios estiman la efectividad de la vacunacin en situacin de pauta incompleta o administrada en edades distintas a
las del esquema vacunal, es decir, en caso de proteccin parcial. En
el estudio anterior17, la efectividad de dos dosis para prevenir la hospitalizacin y las visitas a urgencias fue del 82% (IC95%: 15-96%). El
estudio de Whitney et al18 valor la efectividad de la vacuna antineumoccica conjugada heptavalente en los nios de 3 a 59 meses
de edad en Estados Unidos, segn distintos esquemas vacunales. Se
reclutaron 782 casos y 2512 controles emparejados por edad y cdigo postal. La efectividad de una o ms dosis frente a la enfermedad
invasiva producida por los serotipos incluidos en la vacuna fue del
96% (IC95%: 93-98%) en los nios sanos y del 81% (IC95%: 57-92%)
en los que presentaban otras enfermedades. Para el esquema vacunal con una primera dosis administrada a los 7 meses de edad o
antes, una segunda dosis a los 8-11 meses de edad y una tercera a
los 12-16 meses de edad fue del 100% (IC95%: 88-100%), y para la
pauta de tres dosis administradas a los 7 meses de edad o antes result ser del 95% (IC95%: 88-98%). En caso de haber recibido una
sola dosis a los 7 meses de edad o menos, la efectividad fue del 73%
(IC95%: 43-87%).
Comparacin de tasas de ataque en brotes epidmicos
Otra forma de estimar la efectividad de la vacunacin es mediante los datos obtenidos ante una situacin de brote, circunstancia en
que se obtiene un gran nmero de casos para la investigacin. La
frmula que se aplica, descrita por Orenstein et al19, es la siguiente:
EV = TAn TAv / TAn = 1 - TAv / TAn ,
donde TAn es la tasa de ataque en los no vacunados y TAv la tasa de
ataque en los vacunados.
Segn Haber et al20, en situaciones de brote la efectividad de un
programa de vacunacin puede estimarse mediante cuatro medidas
distintas: la efectividad directa, la efectividad indirecta, la efectividad total y la efectividad media.
54
Tabla 3
Proporcin de poblacin vacunada, nmero de casos vacunados y efectividad vacunal de las cohortes de 1995 a 2005 con una dosis de vacuna triple vrica23
Cohorte de nacimiento
Porcentaje de vacunados
Nmero de casos vacunados (%)
Efectividad vacunal (IC95%)
1995a
98,09
2 (4,3)
94,1 (43,8-99,4)
1996 a
97,66
9 (19,2)
76,1 (0-96,9) b
1997
94,38
6 (12,8)
62,8 (41,2-99,1)
95,56
2 (4,3)
86,2 (0-98,6) b
1999
99,08
3 (6,4)
96,3 (66,7-99,6)
2000
99,48
3 (6,4)
98,4 (85,1-99,8)
1998
2001
98,30
7 (14,9)
88,3 (4,6-98,6)
2002
98,38
5 (10,6)
90,1 (17,8-98,8)
2003
99,15
2 (4,3)
99,2 (94,7-99,9)
2004
98,83
1 (2,1)
99,4 (93,5-99,9)
2005
97,97
0 (0,0)
99,7 (97,5-99,9)
Total
98,02
40 (85,1)
IC95%: intervalo de confianza del 95%.

a
Cohortes de nacimiento que recibieron la primera dosis de triple vrica con componente parotidtico de la cepa Rubini.
b
Intervalos de confianza negativos cambiados por 0%.
La efectividad directa (Ed) estima el beneficio que se obtiene con

la vacunacin en la colectividad en que se ha producido el brote, reflejando el beneficio debido a la vacunacin:
Ed= 1 - TAv / TAn
La efectividad indirecta (Ei) estima el beneficio que se obtiene con
la vacunacin en la poblacin no vacunada del colectivo en que se ha
producido el brote, al compararla con una poblacin en la cual no hay
ninguna persona vacunada (poblacin control):
Ei = 1- TAn / TAc
donde Tac es la tasa de ataque en la poblacin de control.
La efectividad total (Et) estima el beneficio que se obtiene con la
vacunacin en la poblacin vacunada que forma parte del colectivo
en que se ha producido el brote, en comparacin con una poblacin
en la cual no haya ninguna persona vacunada (poblacin control):
Et= 1- TAv / TAc
La efectividad media (Em) estima el beneficio que se obtiene en la
poblacin en que ha aparecido el brote, en comparacin con una poblacin control (no hay ninguna persona vacunada):
Em = 1- TAt / TAc
donde TAt es la tasa de ataque global en la poblacin expuesta al
brote.
La Ei, la Em y la Et reflejan los beneficios globales que se obtienen
en los vacunados y no vacunados con el programa de vacunacin.
Estos beneficios globales, superiores a los beneficios observados slo
en los vacunados, pueden explicarse porque se tienen en cuenta los
beneficios indirectos cuando la vacunacin reduce la exposicin en
los no vacunados, porque los no vacunados reciben pasivamente (va
materno-fetal) anticuerpos protectores o porque se produce una vacunacin subrepticia en quienes no reciben la vacuna. Un ejemplo de
vacunacin subrepticia sera la que se produce en sujetos que no han
sido vacunados con la vacuna antipoliomieltica oral, pero que se han
expuesto al virus vacunal excretado por los vacunados3.
Otros mtodos de evaluacin de la efectividad vacunal
Adems de los mtodos descritos, en ocasiones se utiliza la comparacin de tasas de ataque secundario en el mbito familiar21. Se
trata de un mtodo que evala la efectividad vacunal en situacin de
brote mediante las tasas de ataque secundario en los miembros de la
familia de los casos ndice. La frmula para su clculo es:
EV= TASn TASv / TASn x 10
donde TASn es la tasa de ataque secundario en los no vacunados
(total de casos vacunados casos primarios no vacunados/total no
vacunados casos primarios no vacunados) y TASv es la tasa de ataque secundario en los vacunados (total casos vacunados casos primarios vacunados/vacunados - casos primarios vacunados)19.
Otro mtodo que puede utilizarse para estimar la efectividad en
situaciones en que se tienen pocos datos sobre la poblacin, o si no
se dispone de controles, es el del cribado21, en el cual se usan dos tipos de datos: la proporcin de vacunacin entre los casos (PVC) y la
proporcin de vacunacin en la poblacin (cobertura vacunal) (PPV),
de acuerdo con la frmula propuesta por Farrington22:
EV = 1 [(PVC / 1 - PVC) x (1 - PPV / PPV)]
Al ser un mtodo rpido y que precisa poca informacin, cabe el
riesgo de que se produzcan sesgos, que pueden minimizarse si se
realiza un anlisis estratificado por las posibles variables confusoras21.
Un ejemplo de clculo de la efectividad mediante este mtodo es
el estudio de Domnguez et al23, en el cual se estim la efectividad del
componente parotdico de la vacuna triple vrica en dos comunidades con altas coberturas vacunales (Catalua y Navarra), durante los
brotes ocurridos entre 2005 y 2007, en las cohortes de nacimiento
posteriores a 1995 (tabla 3). En los 28 brotes con 1778 casos registrados en los servicios de vigilancia de salud pblica, la efectividad vacunal global fue del 85,4% (IC95%: 67,3-93,4%) para una dosis y del
88,5% (IC95%: 78,1-93,9%) para dos dosis.
Un posible sesgo de este tipo de estudios es que los clusters de
nios sin vacunar tengan una mayor probabilidad de exposicin al
virus respecto a los nios vacunados, lo cual podra suponer una sobrestimacin de la efectividad24.
Este mtodo tambin se aplic en un brote de sarampin en Nger25, con 1199 casos notificados en el grupo de 9 a 11 meses de edad,
en el cual la cobertura vacunal anterior al brote era del 63%. Se hall
que, de 1057 casos, 198 haban sido vacunados, y suponiendo que la
distribucin de vacunados/no vacunados fuera similar en los desconocidos se estimo un PCV del 18,7%. Al aplicar la frmula, la efectividad vacunal estimada fue (0,63 - 0,187) / [0,63 (1 0,187)] = 0,865, es
decir, del 87%.
Conclusiones
Los resultados que producen los programas de vacunacin en la
comunidad, al igual que cualquier otra intervencin de salud pblica,
deben evaluarse. La efectividad evala los efectos sanitarios de la vacunacin en los sujetos vacunados en situaciones de cotidianidad,
administrada habitualmente. Por el contrario, la eficacia evala los
efectos sanitarios de la vacuna administrada en condiciones ideales.

E. Borrs y A. Domnguez revisaron el tema y redactaron el manuscrito. L. Salleras hizo una revisin crtica del manuscrito e hizo
aportaciones para clarificar los conceptos fundamentales.
Financiacin
(AGAUR SGR 2009-1345 y AGAUR SGR 2009-42).
Conflictos de intereses
E. Borrs y A. Domnguez declaran no tener ningn conflicto de
intereses. L. Salleras ha recibido subvenciones para viajes y honorarios por hablar en reuniones cientficas organizadas por Sanofi Pasteur MSD, GSK, Novartis vaccines, Pfizer, Crucell y Esteve.
Bibliografa
1. Salleras L, Domnguez A, Navas E, et al. Evaluacin de la eficacia y la efectividad de
las intervenciones preventivas y de los programas de salud. En: Pidrola Gil.
Medicina preventiva y salud pblica. 11 ed. Barcelona: Elsevier Masson; 2008. p.
1209-16.
2. Last JM, Porta M, editores. A dictionary of epidemiology. 5th ed. Oxford: Oxford
University Press; 2008.
3. Fine PEM, Mulholland K. Community immunity. En: Plotking S, Orenstein W, Offit
P, editores. Vaccines. 5th ed. Philadelphia: Saunders; 2008. p. 1573-92.
4. Glanz SA. Bioestadstica. 6 ed. Mxico: McGraw-Hill-Interamericana; 2001.
5. Schulz KF, Altman DG, Moher D, the CONSORT Group. CONSORT 2010 Statement:
updated guidelines for reporting parallel group randomised trials. BMC Med.
2010;8:18.
6. Basch PF. Vaccines and the world health. Science policy and practice. New York:
Oxford University Press; 1994. p. 95-122.
55
7. Vandenbroucke JP, Von Elm E, Altman DG, et al. Strengthening the Reporting of
Observational Studies in Epidemiology (STROBE): Explanation and Elaboration.
PLoS Med. 2007;4:e297.
8. Bjune G, Hiby EA, Grnnesby JK, et al. Effect of outer membrane vesicle vacccine
against group B meningococcal disease in Norway. Lancet. 1991;338:1093-6.
9. Simanjuntak CH, Paleologo Fp, Punjabi NH, et al. Oral immunisation against typhoid fever in Indonesia with Ty21 a vaccine. Lancet. 1991;338:1055-9.
10. Salleras L, Domnguez A, Pumarola T, et al. Effectiveness of virosomal subunit influenza vaccine in preventing influenza-related illnesses and its social and economic consequences in children aged 3-14 years: a prospective cohort study. Vaccine. 2006;24:6638-42.
11. Black SB, Shinefield HR, Fireman B, et al. Efficacy in infancy of oligosaccharide
conjugate Haemophilus influenzae type b (HbOC) vaccine in a United States population of 61 080 children. Pediatr Infect Dis J. 1991;10:97-104.
12. Giesecke J. Modern infectious disease epidemiology. The epidemiology of vaccination. 2nd ed. London: Arnold; 2002.
13. Wang FT, Mast TC, Glass RJ, et al. Effectiveness of the pentavalent rotavirus vaccine
in preventing gastronteritis in the United States. Pediatrics. 2010;125:e208-e13.
14. Domnguez A, Salleras L, Fedson DS, et al. Effectiveness of pneumococcal vaccination for elderly people in Catalonia (Spain). A case-control study. Clin Infect Dis.
2005;40:1250-7.
15. Gordis L. Epidemiology. 4th ed. Philadelphia: Saunders; 2009.
16. De Moraes JC, Perkins BA, Camargo MCC, et al. Protective efficacy of a serogroup B
meningococcal vaccine in Sao Paulo, Brazil. Lancet. 1992;340:1074-8.
17. Boom JA, Tate JE, Sahni LC, et al. Effectiveness of pentavalent rotavirus vaccine in
a large urban population in the United States. Pediatrics. 2010;125:e199-e207.
18. Whitney CG, Pilishvili T, Farley MM, et al. Effectiveness of seven-valent pneumococcal conjugate vaccine against invasive pneumococcal disease: a matched casecontrol study. Lancet. 2006;368:1495-502.
19. Orenstein WA, Bernier RH, Dondero TJ, et al. Field evaluation of vaccine efficacy.
Bull World Health Organ. 1985;63:1055-68.
20. Haber M, Longini IM, Halloran E. Measures of the effects of vaccination in a randomly mixing population. Int J Epidemiol. 1991;20:300-10.
21. Salleras L, Domnguez A. Evaluacin de la eficacia de las vacunas y de la efectividad
de los programas de vacunaciones. En: Salleras L, editor. Vacunaciones preventivas. Principios y aplicaciones. 2 ed. Barcelona: Masson; 2003. p. 781-99.
22. Farrington CP. Estimation of vaccine effectiveness using the screening method. Int
J Epidemiol. 1993;22:742-6.
23. Domnguez A, Torner N, Castilla J, et al. Mumps vaccine effectiveness in highly
immunized populations. Vaccine. 2010;28:3567-70.
24. Cohen C, White JM, Savage EJ, et al. Vaccine effectiveness estimates, 2004-2005
mumps outbreak, England. Emerg Infect Dis. 2007;13:12-7.
25. Malfait P, Jataou M, Joliet MC, et al. Measles epidemic in the urban community of
Niamey: transmission patterns, vaccine efficacy and immunization strategies, Niger, 1990 to 1991. Pediatr Infect Dis J. 1994;13:38-45.

Evaluacion de La Salud Publica

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Evaluacion de La Salud Publica

Transféré par

Droits d'auteur :

Formats disponibles

GACETA SANITARIA

Vol. 25 - Monogrfico 1 - Junio 2011

EVALUACIN EN SALUD PBLICA

Junio 2011 - Volumen 25 - Monogrfico 1 - Pginas 1-55

Revista Fundada en 1888 como Gaceta Sanitaria de Barcelona

Marta Durn (Madrid)

Andreu Nolasco (Alicante)

Entidades que patrocinan Gaceta Sanitaria mediante suscripciones institucionales

Revista Fundada en 1888 como Gaceta Sanitaria de Barcelona

Suscripciones y atencin al cliente:

Precios vlidos slo para Espaa

Los socios de SESPAS o de Sociedades federadas incluyen Gaceta

Proteccin de datos: Elsevier Espaa, S.L., declara cumplir lo dispuesto

Reservados todos los derechos.

Travesera de Gracia, 17-21. 08021 Barcelona

Sociedades Federadas a SESPAS (www.sespas.es)

Red Espaola de Atencin Primaria

Sociedad Espaola de Epidemiologa Psiquitrica

Junta Directiva SESPAS

Presidentes y representantes de Sociedades

Andreu Segura (Presidente)

Consejo Directivo SESPAS

Monogrfico 1 Vol. 25 Junio 2011

EVALUACIN EN SALUD PBLICA

3 Evaluacin de la efectividad en salud pblica: fundamentos conceptuales y metodolgicos

9 Diseos evaluativos en salud pblica: aspectos metodolgicos

17 Evaluacin de polticas y planes de salud

25 Evaluacin econmica de intervenciones de salud pblica

32 La evaluacin del proceso en relacin con la evaluacin de la efectividad: experiencias

40 La evaluacin de tecnologas sanitarias en intervenciones de salud pblica: ms vale prevenir

49 Evaluacin de la efectividad de los programas de vacunacin

Vol. 25 Supplement 1 June 2011

PUBLIC HEALTH EVALUATION

3 Effectiveness assessment in public health: conceptual and methodological foundations

9 Evaluative designs in public health: methodological considerations

17 Evaluation of health policies and plans

25 Economic evaluation of public health interventions

32 Process evaluation in relation to effectiveness assessment: experiences with school-based

49 Assessing the effectiveness of vaccination programs

Gac Sanit. 2011;25(Supl 1):1-2

Valorando la efectividad de las intervenciones en salud pblica: la fuerza

pero debemos ser muy conscientes de las limitaciones a la inferencia

M. Nebot y C. Victoria / Gac Sanit. 2011;25(Supl 1):1-2

M. Nebot escribi el borrador y C. Victora lo revis y edit.

Los autores declaran no tener ningn conflicto de intereses.

1. Nebot M. Evaluacin en salud pblica: todo vale? Gac Sanit. 2007;21:95-6.

Gac Sanit. 2011;25(Supl 1):3-8

Evaluacin de la efectividad en salud pblica:

Effectiveness assessment in public health: conceptual and methodological

*Autor para correspondencia.

M. Nebot et al / Gac Sanit. 2011;25(Supl 1):3-8

Cumplimiento (dosis, exhaustividad)

Efectos o resultados de una intervencin en relacin a los recursos empleados

Evaluacin de impacto en salud

Evaluacin diseada para determinar si el programa ha alcanzado los objetivos previstos

Viabilidad prctica de un estudio, programa o intervencin

Monitorizacin (del programa)

Poblacin diana (poblacin objetivo)

Elaboracin propia a partir de: Rossi et al1, Last et al7 y Porta8.

M. Nebot et al / Gac Sanit. 2011;25(Supl 1):3-8

Adecuacin de los recursos a las necesidades

Adecuacin de las actividades y de los servicios a los objetivos y al protocolo

Consecucin de los objetivos del programa

Evaluacin de los objetivos (son pertinentes?)