Vous êtes sur la page 1sur 23

Notas sobre la Evaluacin de Impacto

N. 1. marzo de 2012

INTRODUCCIN A LA EVALUACIN DE IMPACTO


Por Patricia J. Rogers Universidad RMIT (Australia) y BetterEvaluation

Esta es la primera gua de orientacin de una serie de cuatro partes de guas relacionadas con la evaluacin de impacto desarrolladas por InterAction y con el apoyo financiero de la Fundacin Rockefeller. Las otras guas de esta serie son: Relacin entre el Monitoreo y la Evaluacin con la Evaluacin de Impacto; Introduccin a los Mtodos Mixtos de la Evaluacin de Impacto; y Uso de los Resultados de la Evaluacin de Impacto. Puede encontrar la serie completa en el sitio web de InterAction: http://www.interaction.org/impact-evaluation-notes.

AGRADECIMIENTOS
Han beneficiado a esta gua de orientacin los comentarios proporcionados por los miembros del Grupo de Trabajo de Efectividad del Programa y de la Evaluacin de InterAction. La informacin sobre los mtodos de evaluacin que se encuentra en la Gua de orientacin 1 ha sido extrada de BetterEvaluation, una colaboracin internacional para la puesta en comn de informacin con el fin de mejorar la evaluacin. Puede obtener ms informacin acerca de cada uno de los mtodos en la pgina web www.betterevaluation.org. Foto: David Darg

Contenidos

Introduccin 1. Qu se entiende por evaluacin de impacto? 2. Por qu debemos realizar una evaluacin de impacto? 3. Qu preguntas intenta contestar la evaluacin de impacto? 4. Quin debe conducir la evaluacin de impacto? 5. Cmo deberamos elegir los mtodos para la evaluacin de impacto? 6. Aclaracin de los valores para una evaluacin de impacto 7. Desarrollo de una teora o modelo de cmo se supone que funcione la intervencin 8. Medicin o descripcin de los impactos (y otras variables importantes) 9. Explicacin del alcance que obtuvo la intervencin al producir los resultados observados 10. Sntesis de la evidencia 11. Informe de los hallazgos y respaldo del uso 12. Cundo se debe realizar una evaluacin de impacto? 13. Qu se necesita para la evaluacin de impacto de calidad? 14. Desafos comunes en la evaluacin de impacto en desarrollo Resumen Referencias y otros recursos tiles 19

1 2 3 3 3 5 6 7 8 10 14 14 15 15 17 19

| Introduccin a la Evaluacin de Impacto |

INTRODUCCIN
Una evaluacin creble y adecuada de impacto puede mejorar considerablemente la eficacia del desarrollo. El nfasis cada vez mayor que se pone en la evaluacin de impacto en desarrollo ha generado muchas preguntas. Qu constituye una evaluacin creble y adecuada de impacto? Cmo se deben manejar las evaluaciones de impacto? Qu medidas y fuentes de datos son adecuadas? Cmo se pueden combinar eficazmente los datos cualitativos y cuantitativos en la evaluacin de impacto? Qu se debe hacer para respaldar el uso adecuado de las evaluaciones de impacto? Cules son las repercusiones del foco cada vez mayor sobre la evaluacin de impacto para otros tipos de monitoreo y evaluacin (M&E)?
InterAction ha creado una serie de guas de orientacin que abordan estas preguntas para respaldar al personal de administracin, del programa y de M&E en ONG internacionales para planificar, disear, administrar, conducir y utilizar evaluaciones de impacto. Estas guas tambin pueden proporcionar informacin sobre sus debates con evaluadores externos, socios y donantes. La primera gua de orientacin, Introduccin a la Evaluacin de Impacto, brinda una visin general de la evaluacin de impacto, explica cmo se diferencia de (y complementa a) otros tipos de evaluaciones, por qu se debe realizar la evaluacin de impacto, cundo y por quin. En ella se describen diferentes mtodos, enfoques y diseos que se pueden utilizar para los distintos aspectos de la evaluacin de impacto: aclaracin de los valores para la evaluacin, desarrollo de una teora sobre cmo se entiende que funciona la intervencin, medicin o descripcin de los impactos y otras variables importantes, explicacin de la incidencia de los impactos, sntesis de los resultados, e informe y respaldo del uso. La gua desarrolla qu se considera una buena evaluacin de impacto (la evaluacin que alcanza un equilibrio entre los imperativos competitivos de ser til, riguroso, tico y prctico) y cmo lograrla. Las notas a pie de pgina que se encuentran a lo largo del documento contienen referencias para obtener material de lectura adicional sobre reas especficas.

| Introduccin a la Evaluacin de Impacto |

| 1 |

1. Qu se entiende por evaluacin de impacto?

La evaluacin de impacto investiga los cambios que provoca una intervencin. Se puede emprender una evaluacin de impacto en intervenciones a cualquier escala: un proyecto pequeo y local sobre VIH/SIDA; un programa completo de fortalecimiento de sociedad civil de una ONG; una secuencia de proyectos de administracin de recursos naturales ejecutada en un rea geogrfica; o un conjunto de actividades concurrentes realizadas por diferentes organizaciones con el fin de mejorar la capacidad de una comunidad. Los resultados esperados de una intervencin son una parte importante de una evaluacin de impacto, pero tambin es importante investigar los resultados inesperados. En esta gua de orientacin, los impactos se definen como: los efectos positivos y negativos, deseados y no deseados, directos e indirectos, primarios y secundarios, que produce una intervencin. (Definicin del Comit de Asistencia 1 para el Desarrollo de la OECD) Normalmente, se entiende que los impactos ocurren despus, y como consecuencia, de resultados intermedios. Por ejemplo, lograr los resultados intermedios de un acceso mejorado a la tierra y mayores niveles de participacin en la toma de decisiones de la comunidad puede ocurrir antes
1 A veces, los impactos se definen de manera muy diferente. Por ejemplo, la gua de la Fundacin W.K.Kellogg Logic Model Development Guide (www.wkkf.org/knowledge-center/resources/2006/02/WK-Kellogg-Foundation-Logic-Model-DevelopmentGuide.aspx) distingue al impacto en lo que respecta a su difusin ms all de aquellos involucrados inmediatamente en el programa. Los cambios especficos en el comportamiento, el conocimiento, las habilidades, el estado y el nivel de funcionamiento de los participantes del programa se denominan resultados, y solo se describen como impactos los cambios en las organizaciones, comunidades o sistemas como resultado de las actividades del programa dentro de siete a 10 aos.

del, y contribuir al, impacto final deseado de un mejoramiento en la salud y el bienestar de las mujeres. La diferencia entre resultados e impactos puede ser relativa, y depende de los objetivos establecidos de una intervencin. En la prctica, a veces es til que una evaluacin incluya tanto los resultados como los impactos. Esto permite indicar de manera pronta si una intervencin est funcionando o no; y si no est funcionando, ayuda a identificar dnde y, quizs, por qu. En esta gua de orientacin, una evaluacin de impacto incluye cualquier evaluacin que investigue de manera sistemtica y emprica los impactos que una intervencin produce. Algunas personas y organizaciones utilizan una definicin ms reducida de la evaluacin de impacto, y solo incluyen evaluaciones que contienen un contrafactual de algn tipo (un clculo de lo que habra pasado si la intervencin no hubiese ocurrido) o una clase particular de contrafactual (por ejemplo, comparaciones con un grupo que no recibi la intervencin). USAID, por ejemplo, utiliza la siguiente definicin: Las evaluaciones de impacto miden el cambio en un resultado de desarrollo que se puede atribuir a una intervencin definida; las evaluaciones de impacto se basan en modelos de causa y efecto y requieren un contrafactual creble y definido rigurosamente para controlar factores distintos a la intervencin que podran explicar el cambio observado. Estas diferentes definiciones son importantes cuando se deciden los mtodos o diseos de investigacin que los usuarios potenciales de la evaluacin o los socios o donantes considerarn crebles. La evaluacin de impacto no es, por supuesto, el nico tipo de evaluacin que respalda el desarrollo eficaz. Es importante asegurarse de que

| Introduccin a la Evaluacin de Impacto |

| 2 |

las inversiones en la evaluacin de impacto (en trminos de tiempo y dinero) no se realicen a costa del monitoreo o de otros tipos de evaluacin (como la evaluacin de necesidades, la evaluacin del proceso y la evaluacin de costo-beneficio) que tambin se precisan para informar las decisiones acerca de la prctica y la poltica. La Gua de orientacin 2 desarrolla cmo se pueden realizar la evaluacin de impacto y estos otros tipos de monitoreo y evaluacin de manera que se respalden mutuamente. Por ejemplo, datos de monitoreo pueden proporcionar una buena base para la evaluacin de impacto y una evaluacin de impacto puede guiar el desarrollo de los sistemas de monitoreo. La evaluacin de impacto proporciona la informacin necesaria para las evaluaciones de costo-beneficio y costo-eficacia.
2. Por qu debemos realizar una evaluacin de impacto?

que la organizacin est aprendiendo lo que funciona y lo que no, y est utilizando esta informacin para mejorar las futuras decisiones de inversin e implementacin. Informarles a las comunidades y beneficiarios propuestos (responsabilidad descendente) sobre si un programa est beneficiando a la comunidad o no y en caso de as serlo, en qu maneras lo est haciendo. La Gua de orientacin 4 desarrolla con ms detalle cmo respaldar estas diferentes maneras de utilizar la evaluacin de impacto.
3. Qu preguntas intenta contestar la evaluacin de impacto?

La mejor manera de emprender una evaluacin de impacto en particular depende, en parte, de su objetivo y de quines son sus usuarios potenciales primarios. Algunas razones comunes para realizar una evaluacin de impacto incluyen: Decidir si financiar una intervencin o no: una evaluacin ex-ante se lleva a cabo antes de que se implemente una intervencin, para calcular sus posibles impactos e informar decisiones de financiacin. Decidir si continuar o ampliar una intervencin o no. Aprender cmo replicar o aumentar un piloto. Aprender cmo adaptar satisfactoriamente una intervencin exitosa para otro contexto. Asegurarles a los financiadores, incluyendo los donantes y los contribuyentes (responsabilidad ascendente), que el dinero se est invirtiendo con prudencia: lo que incluye

Una evaluacin de impacto se debe concentrar en una pequea cantidad (cinco a siete) de preguntas clave especficas de evaluacin. Estas son las preguntas de alto nivel que una evaluacin aborda; no son preguntas especficas que se pueden realizar en una entrevista o en un cuestionario. Es mejor concentrarse en un pequeo nmero de preguntas que estn directamente relacionadas al objetivo en lugar de distribuir los recursos de la evaluacin, y la atencin de los usuarios, entre una gran cantidad de preguntas. (vea los ejemplos de preguntas clave de evaluacin para la evaluacin de impacto en la pgina siguiente).
4. Quin debe conducir la evaluacin de impacto?

La evaluacin de impacto puede ser llevada a cabo por: un evaluador o un equipo de evaluacin externo; una unidad interna pero separada de la organizacin de implementacin; aquellos involucrados en una intervencin (incluyendo los miembros de la comunidad); o un equipo combinado de evaluadores internos y externos.

| Introduccin a la Evaluacin de Impacto |

| 3 |

Ejemplos de preguntas clave de evaluacin para la evaluacin de impacto


Impacto general
Funcion? Produjo [la intervencin] [los impactos deseados] a corto, mediano y largo plazo? Para quin, de qu maneras y en qu circunstancias funcion [la intervencin]? Qu impactos no buscados (positivos y negativos) produjo [la intervencin]? Qu ayud o dificult el logro de estos impactos por parte de [la intervencin]? Cmo contribuy [la intervencin] a los [impactos deseados]? Cules fueron las caractersticas particulares de [la intervencin] que marcaron la diferencia? Qu variaciones hubo en la implementacin? Cul ha sido la calidad de la implementacin en diferentes sitios? Hasta qu punto las variaciones de la implementacin explican las diferencias en el impacto?

Cmo funciona

Naturaleza de los impactos y su distribucin


Es probable que los impactos sean sustentables? Estos impactos alcanzaron a todos los beneficiarios deseados?

Influencia de otros factores en los impactos


Cmo funcion [la intervencin] en conjunto con otras intervenciones, programas o servicios para lograr los resultados?

Relacin de los impactos deseados con las necesidades


En qu medida los impactos coinciden con las necesidades de los beneficiarios deseados?

Un evaluador externo puede proporcionar un rango de especializacin y experiencia que posiblemente no est disponible dentro de la organizacin, y puede tener mayor independencia y credibilidad que un evaluador interno. Por ejemplo, la Poltica de Evaluacin de USAID exige que la mayora de las evaluaciones sean realizadas por un evaluador externo. Sin embargo, para algunas partes interesadas, los evaluadores externos no siempre son considerados imparciales, ya que su recoleccin de datos e interpretaciones pueden ser afectadas por la falta de familiaridad con el contexto. En algunos casos, involucrar a las partes interesadas del programa y/o los miembros de la comunidad en la realizacin de una evaluacin puede agregar rigor

y credibilidad al respaldar un mejor acceso a los datos (especialmente informantes clave) y una interpretacin ms adecuada de los datos. Tres prcticas en particular pueden, a menudo, producir la evaluacin de mejor calidad: establecer un equipo de evaluadores con perspectivas internas y externas, asegurar la transparencia en respecto al tipo de datos que se utiliza en la evaluacin y cmo se utiliza, y aplicar la triangulacin: el uso de diferentes fuentes de evidencia (que tengan fuerzas complementarias) y varias perspectivas en el anlisis y en la interpretacin. Es particularmente til incluir en el equipo expertos locales en evaluacin que conozcan el contexto, la historia y las intervenciones comparativas de otras agencias.

| Introduccin a la Evaluacin de Impacto |

| 4 |

Una evaluacin puede ser administrada por un grupo interno (quizs un comit directivo interno, orientado por un grupo asesor con membresa externa) o por un grupo combinado. Los enfoques participativos para administrar evaluaciones normalmente incluyen al personal del programa, miembros de la comunidad y socios de desarrollo. Participan no solo en la recopilacin de datos, sino tambin en la negociacin del objetivo de la evaluacin de impacto, desarrollando las preguntas clave de la evaluacin, diseando una evaluacin para contestarlas y 2 llevando a cabo los resultados.
5. Cmo deberamos elegir los mtodos para la evaluacin de impacto?

los tipos de preguntas de evaluacin que se realizan, la disponibilidad de recursos y la naturaleza de la intervencin; particularmente si es estandarizada o adaptable, y si las intervenciones funcionan de la misma manera en todos lados y para todos o si se ven afectadas en gran medida por el contexto. Cuando se eligen los mtodos, es importante abordar cada uno de los seis diferentes aspectos de una evaluacin de impacto: Aclarar los valores que respaldarn la evaluacin: qu se considerarn procesos, impactos y distribucin de costos y beneficios deseables e indeseables? Desarrollar y/o probar una teora sobre cmo se supone que funcione la intervencin: a veces, se las denomina teoras de cambio, modelos lgicos o teoras de programa. Medir o describir estos impactos y otras variables importantes, incluyendo los procesos y el contexto. Explicar si la intervencin fue la causa de los impactos observados. Sintetizar evidencia en un juicio evaluativo general. Informar hallazgos y respaldar su uso. Esta gua de orientacin desarrolla cada uno de estos aspectos y brinda informacin acerca de un rango de mtodos que se pueden utilizar para ellos. Se proporcionan vnculos a fuentes adicionales de informacin. La Gua de orientacin 3 desarrolla la manera en que el enfoque de mtodos mixtos, que combina datos cuantitativos y cualitativos de maneras complementarias, puede ser tanto la medida/descripcin como la explicacin.

Ha habido un debate importante sobre la evaluacin de desarrollo y, ms ampliamente, acerca de los mtodos que son mejores para la evaluacin de impacto. Estos debates reflejan diferentes vistas sobre qu constituye evidencia creble, rigurosa y til, y quin debe estar involucrado en la realizacin y control de las evaluaciones. Algunas organizaciones y evaluadores han sostenido que se deben utilizar mtodos o diseos de investigaciones particulares cuando sea posible; por ejemplo, pruebas aleatorias controladas o mtodos participativos. Otros han defendido la adecuacin situacional. Esto significa elegir mtodos que se adapten al objetivo de la evaluacin,

2 Algunas fuentes adicionales sobre mtodos participativos pueden ser: Marisol Estrella et al. (eds), Learning from Change: Issues and Experiences in Participatory Monitoring and Evaluation (Brighton: Instituto de Estudios de Desarrollo, 2000), http://www. idrc.ca/EN/Resources/Publications/Pages/IDRCBookDetails. aspx?PublicationID=348; Andrew Catley et al., Participatory Impact Assessment,, Centro Internacional Feinstein, Universidad Tufts: octubre de 2008, http://sites.tufts.edu/feinstein/2008/ participatory-impact-assessment; Robert Chambers, Who Counts? The Quiet Revolution of Participation and Numbers, Documento de trabajo n. 296 (diciembre de 2007), Brighton: Instituto de Estudios de Desarrollo, http://www.ids.ac.uk/files/Wp296.pdf.

| Introduccin a la Evaluacin de Impacto |

| 5 |

6. Aclaracin de los valores para una evaluacin de impacto

El primer paso es aclarar los valores que respaldarn la evaluacin. La evaluacin de impacto facilita conclusiones acerca del grado de xito (o fracaso) de una intervencin, por lo tanto es importante aclarar a qu se parece el xito en respecto a: Lograr impactos deseables y evitar (o por lo menos minimizar) impactos negativos. Por ejemplo, el xito de un proyecto de desarrollo de carreteras ser juzgado en trminos de un mayor acceso a los mercados o un mejor acceso a hospitales de maternidad? Qu nivel de prdida del hbitat y de la biodiversidad sera considerado un costo razonable para la carretera? Qu nivel no sera un intercambio aceptable? Lograr una distribucin deseable de los beneficios. Por ejemplo, deberamos juzgar el xito en trminos del resultado educacional promedio, mejoras para los ms desfavorecidos o colocar un grupo vulnerable o desfavorecido (como nias) en el mismo nivel que sus contrapartes ms favorecidas? Los objetivos formales establecidos (incluyendo los Objetivos de Desarrollo del Milenio) y las polticas organizacionales son un inicio importante para aclarar los valores, pero normalmente no son suficientes por s mismos. Diferentes partes interesadas pueden tener diferentes puntos de vista acerca de los valores que se deben utilizar en una evaluacin. Algunos mtodos para aclarar los valores para una evaluacin de impacto son: Mtodos que ayudan a que las personas expresen valores tcitos

Indagacin apreciativa: las partes interesadas clave (incluyendo el personal del programa) recuerdan momentos en los que el programa funcion particularmente bien, luego identifican los valores que se 3 demostraban durante dichos momentos. Encuestas en la comunidad: Los individuos de la comunidad designan o califican los problemas que consideran ms importantes para tratar. Cambio ms significativo: Un proceso estructurado para generar y seleccionar historias de cambio que identifiquen qu ven las diferentes personas y grupos como los 4 resultados o impactos ms importantes. Mtodos que ayudan a negociar entre diferentes conjuntos de valores Delphi: proceso que funciona a travs de una serie de interacciones por escrito sin contexto cara a cara, donde las partes interesadas clave proporcionan sus opiniones acerca de lo que consideran importante y luego responden a los resultados 5 agregados. Votacin de punto adhesivo: en una reunin cara a cara, los individuos

3 Material de lectura adicional: Hallie Preskill, Using Appreciative Inquiry in Evaluation Practice, http://www.eval.org/summerinstitute07/handouts/si07.preskillf.pdf. 4 Material de lectura adicional: Most Significant Change (MSC), http://mande.co.uk/special-issues/most-significant-change-msc/. 5 Material de lectura adicional: Delphi Method, http://www. unido.org/fileadmin/import/16959_DelphiMethod.pdf; The Delphi Method: Techniques and Applications, http://is.njit.edu/ pubs/delphibook/; Delphi Survey Europa, http://ec.europa.eu/ regional_policy/sources/docgener/evaluation/evalsed/downloads/ sb2_delphi_survey.doc.

| Introduccin a la Evaluacin de Impacto |

| 6 |

distribuyen sus distintos votos (en forma de puntos adhesivos) en todas las 6 opciones.
7. Desarrollo de una teora o modelo de cmo se supone que funcione la intervencin

Las teoras de cambio pueden mejorar la evaluacin de impacto al ayudar a: Identificar los resultados intermedios o impactos que se pueden observar dentro del plazo de la evaluacin y que son precursores de los impactos a largo plazo que se pretende alcanzar con la intervencin. Identificar, si una intervencin no fue exitosa, en qu partes del proceso dej de funcionar o fracas. Distinguir entre el fallo de implementacin (donde no se han logrado los impactos porque la intervencin no se implement correctamente) y el fallo de teora (donde la intervencin no lleva al impacto deseado an habiendo sido implementada correctamente). Identificar los aspectos de la intervencin que la hizo funcionar y son, por lo tanto, crticos y necesitan ser continuados cuando se adapta una intervencin para otros entornos. Identificar variables importantes de comportamiento y de contexto que se deben abordar en la recopilacin de datos, en el anlisis y en los informes para comprender variaciones en los impactos. Proporcionar un marco conceptual para reunir diferentes evidencias sobre un programa que involucra un gran nmero de diversas intervenciones. Algunos mtodos para representar una teora de cambio son: Enfoque de marco lgico (marco lgico): el formato clsico utilizado en diversas organizaciones de desarrollo, que utiliza una matriz de 4x4. Las cuatro filas son actividades, productos, propsito y objetivo general, y las cuatro columnas son una descripcin narrativa,

A menudo, es til basar una evaluacin de impacto en una teora o en un modelo de cmo se entiende que la intervencin produce sus impactos deseados. Esto se podra llamar una teora de programa, una teora de cambio (ToC), una cadena de resultados o un modelo lgico. Es mejor desarrollar la teora de cambio como parte de la planificacin de una intervencin, y luego examinarla y revisarla segn sea necesario mientras se planifica una evaluacin de impacto. Si esto no se ha realizado antes del inicio de la intervencin, es posible desarrollar retroactivamente una teora de cambio acordada. Segn cundo se desarrolla la teora de cambio, puede basarse en una combinacin de fuentes: documentos oficiales y objetivos establecidos; investigacin de intervenciones similares; observaciones de la intervencin o intervenciones similares; o preguntarle a las diferentes partes interesadas (incluyendo los planificadores, el personal y los beneficiaros deseados) cmo piensan que funciona (o debera funcionar). Puede haber diversas teoras de cambio: diferentes teoras que muestran cmo funciona la intervencin en las diferentes etapas, en diferentes contextos (reconociendo efectos de influencias externas) y para diferentes impactos, y diferentes teoras que se desarrollan con el tiempo mientras se desarrolla un mejor conocimiento.

6 Material de lectura adicional: NRCOI Quick Tip, http://centerforchildwelfare.fmhi.usf.edu/kb/bpam/NRCOI-StickyDotTechnique. pdf.

| Introduccin a la Evaluacin de Impacto |

| 7 |

indicadores objetivamente identificables (OVI), medios 7 de verificacin (MoV) y suposiciones. Cadena de resultados: la intervencin se representa como una serie de cuadros en una secuencia de insumos, actividades, productos, resultados a 8 corto plazo, resultados a largo plazo e impactos. Cadena de resultados/jerarqua de resultados/ teora de cambio: la teora est representada como una serie de resultados intermedios que conducen a los impactos deseados finales. Este formato centra la atencin en cmo se produce el cambio, y es til para representar programas donde ocurren diferentes actividades a lo largo de la cadena causal, 9 no solo por anticipado. Mapeo de resultados: se centra en identificar los socios de lmites (organizaciones o grupos cuyas acciones estn ms all del control de la intervencin, pero que son esenciales para que se logre el impacto) y, luego, en enunciar aquello que necesitan realizar estos socios y cmo la interven10 cin puede buscar influenciarlos.

Puede encontrar otros recursos tiles para el desarrollo de una teora de cambio en Desarrollar un 11 Modelo Lgico o Teora de Cambio. Tambin se puede utilizar una teora de cambio para administrar posibles impactos negativos, o para planificar una evaluacin de impacto que los mida. Por ejemplo, un programa destinado a mejorar la productividad agrcola que aliente a los agricultores a que apliquen fertilizante en sus campos puede llevar a un mayor escurrimiento de fosfato y a un dao medioambiental de las vas fluviales. Una evaluacin de impacto equilibrada investigar este posible impacto adems del impacto deseado de la productividad mejorada. Se puede desarrollar una teora de cambio para examinar cmo una intervencin podra producir impactos negativos. Esto se puede utilizar para adaptar la intervencin con el fin de minimizar o evitar tales impactos negativos, para desarrollar indicadores de alerta temprana para propsitos de monitoreo, y para asegurarse de que se incluyan en el plan de la evaluacin de impacto.
8. Medicin o descripcin de los impactos (y otras variables importantes)

7 Material de lectura adicional: The Logical Framework Approach, http://www.ausaid.gov.au/ausguide/pdf/ausguideline3.3.pdf; http://www.gdrc.org/ngo/logical-fa.pdf; Logical Framework Analysis, http://www.gdrc.org/ngo/logical-fa.pdf; Beyond Lograme: Critique, Variations and Alternatives: http://www.fasid.or.jp/shuppan/ hokokusho/pdf/h21-3.pdf. 8 Material de lectura adicional: Results Chain: Enhancing Program Performance with Logic Models Guide, http://www.uwex.edu/ces/ lmcourse/; W.K. Kellogg Foundation Logic Model Development Guide, http://www.evaluationtoolsforracialequity.org/evaluation/ tool/doc/pub3669.pdf. 9 Material de lectura adicional: Theories of Change and Logic Models: Telling Them Apart, 10 Material de lectura adicional: Outcome Mapping, http:// publicwebsite.idrc.ca/EN/Programs/Evaluation/Pages/IDRCBookDetails.aspx?PublicationID=121; Outcome Mapping: ILAC Brief 7, http://www.outcomemapping.ca/download.php?file=/resource/ files/csette_en_ILAC_Brief07_mapping.pdf.

Una evaluacin de impacto necesita evidencia creble, y no solo de los impactos. Asimismo, se necesita buena informacin acerca de cun bien se ha implementado una intervencin para distinguir entre una falla de implementacin y una falla de teora. Tambin es necesaria la informacin acerca del contexto para comprender si una intervencin funciona solo en situaciones particulares.

11 The Community Toolbox, Developing a Logic Model or Theory of Change, http://ctb.ku.edu/en/tablecontents/sub_section_ main_1877.aspx.

| Introduccin a la Evaluacin de Impacto |

| 8 |

Es til identificar cualquier dato que ya est disponible en fuentes existentes (como estadsticas oficiales, documentacin del programa, Sistemas de Informacin Geogrfica (GIS) y proyectos anteriores de investigacin y de evaluacin) acerca de los impactos, la implementacin y el contexto. Se pueden reunir datos adicionales para completar los vacos o mejorar la calidad de datos existentes mediante el uso de mtodos como entrevistas (individuales y grupales; estructuradas, semi estructuradas o desestructuradas), cuestionarios (pueden ser cuestionarios basados en la web y recopilacin de datos por medio del telfono celular), observacin (estructurada, semi estructurada o desestructurada) y medidas directas (por ejemplo, calidad del agua frente a un estndar internacional). Las descripciones de los impactos no deben informar solo acerca del promedio, sino tambin acerca de la variedad de los resultados, y en particular informar sobre los patrones. Howard White habla de la importancia de mirar la heterogeneidad en su artculo del 2010: Es probable que un estudio que presenta una estimacin de impacto nico (el efecto promedio de tratamiento12) sea de menor uso para los formuladores de polticas que un estudio que examina en qu contexto las intervenciones son ms eficaces, qu grupos meta se benefician ms y qu entornos medioambientales son tiles o perjudiciales para lograr el impacto. Por lo tanto, se podra mostrar que una intervencin educativa, como los rotafolios, funciona pero solo si los maestros mismos tienen un cierto nivel de educacin, o solo si la escuela ya est bien equipada con materiales de lectura,
12 El efecto promedio de tratamiento es un clculo de la diferencia promedio que realiza una intervencin. Por ejemplo, los estudiantes del programa permanecieron en la escuela un promedio de 2,5 aos ms (comparados con el grupo de control).

o si los padres mismos de los estudiantes 13 tienen educacin. Algunas fuentes para medidas e indicadores en sectores particulares pueden ser: Catlogo de cuestionarios de encuesta: Red Internacional de Encuestas en Hogares. Ms de 2.000 cuestionarios que se pueden buscar por 14 pas, fecha y tipo de encuesta. Gobernanza democrtica: Centro de Oslo para la 15 Gobernanza del PNUD. ndice de pobreza humana: Tres indicadores que se relacionan con la supervivencia, el conocimien16 to y la provisin econmica del PNUD. Objetivos de desarrollo del milenio: 48 indicado17 res tcnicos y 18 metas para los 8 objetivos. Desarrollo sostenible: 130 indicadores de aspectos sociales, econmicos, medioambientales e institucionales del desarrollo sostenible, propiedad de la Comisin sobre el Desarrollo Sostenible de la 18 ONU. Indicadores del desarrollo mundial: El Banco mundial posee datos sobre ms de 200 pases en 19 lo que respecta a ms de 1000 indicadores.

13 Howard White, A Contribution to Current Debates in Impact Evaluation, Evaluation (abril de 2010, vol. 16 n. 2): 160. 14 http://www.ihsn.org/home/index.php?q=country_questionnaires 15 http://www.undp.org/oslocentre/flagship/democratic_governance_assessments.html 16 http://hdr.undp.org/en/statistics/indices/hpi/ 17 Millennium Project: http://www.unmillenniumproject.org/ goals/gti.htm 18 http://www.un.org/esa/sustdev/natlinfo/indicators/methodology_sheets.pdf 19 http://data.worldbank.org/data-catalog/world-developmentindicators

| Introduccin a la Evaluacin de Impacto |

| 9 |

La Gua de orientacin 3 proporciona ms detalles sobre mtodos especficos para medir y describir impactos, el uso de mtodos mixtos (datos cuantitativos y cualitativos utilizados de maneras complementarias) y formas de abordar desafos en la medida y descripcin de impactos.
9. Explicacin del alcance que obtuvo la intervencin al producir los resultados observados

Una de las caractersticas importantes de una evaluacin de impacto es que no solo rene evidencia de que han ocurrido impactos, sino que intenta comprender la funcin que tuvo la intervencin al producir dichos impactos. Rara vez una intervencin es la nica causa de cambios. Normalmente, una intervencin funciona en combinacin con otros programas, con un contexto favorable o con otros factores. A menudo, un grupo colabora para producir un impacto conjunto, como cuando las ONG internacionales se asocian con gobiernos o comunidades locales. Por lo tanto, la atribucin causal no se refiere normalmente a la atribucin total (es decir, la intervencin fue la nica causa), sino a la atribucin parcial o al anlisis de la contribucin de la intervencin. A veces se las llama posibles contribuciones. Por ejemplo, en la investigacin agrcola, los impactos en trminos de productividad mejorada pueden ser causa de una larga cadena de investigacin bsica y aplicada, y desarrollo del producto y comunicacin. Una inversin en cualquiera de estos puede reclamar razonablemente que fue esencial en la produccin de impactos, pero no podra haberlo hecho sin las otras intervenciones. En otras palabras, pudo haber sido una intervencin necesaria pero no suficiente para generar el impacto en s.

Puede ser til investigar la atribucin causal o la posible contribucin en lo referente a tres componentes. El punto de partida es lo factual: comparar los resultados actuales con aquellos esperados si la teora de cambio fuera cierta. Cundo, dnde y para quin ocurrieron los impactos? Los resultados son coherentes con la teora que la intervencin caus o contribuy a los resultados? El segundo componente es el contrafactual: un clculo de lo que habra sucedido en ausencia de la intervencin. El tercer componente es investigar y descartar explicaciones alternativas. En algunos casos, es posible incluir los tres componentes en una evaluacin de impacto. En situaciones complejas, es probable que no sea posible calcular un contrafactual, y el anlisis causal tendr que depender de los otros componentes. Mtodos posibles para examinar lo factual (en qu medida los resultados reales coincidieron con lo que se esperaba): Estudios de caso comparativos: Produjo la intervencin resultados solo en los casos en que los dems elementos necesarios ocupaban su lugar? Dosis-respuesta: Hubo mejores resultados para los participantes que recibieron ms de la intervencin (por ejemplo, asistieron a ms talleres o recibieron mayor respaldo)? Atribucin del beneficiario/experto: Creyeron los participantes/informantes clave que la intervencin hizo una diferencia y pudieron proporcionar una posible explicacin de por qu esto fue as? Predicciones: Lograron estos participantes o sitios previstos para alcanzar los

| Introduccin a la Evaluacin de Impacto |

| 10 |

mejores impactos (debido a la calidad de la implementacin y/o contexto favorable) realizarlo? Cmo se pueden explicar las anomalas? Temporalidad: Ocurrieron estos impactos en un momento coherente con la teora de cambio; no antes de que se haya implementado la intervencin? Mtodos posibles para examinar el contrafactual (un clculo de lo que habra sucedido en ausencia de la intervencin) pueden ser: Diferencia en diferencia: La diferencia antes y despus para el grupo que recibe la intervencin (donde no hayan sido asignados aleatoriamente) se compara con la diferencia antes y despus para aquellos 20 que no la recibieron. Contrafactual construido lgicamente: En algunos casos es creble utilizar la lnea de base como un clculo del contrafactual. Por ejemplo, donde se instal una bomba de agua, puede ser razonable medir el impacto comparando el tiempo invertido en obtener agua desde una bomba lejana, antes y despus de la intervencin, ya que no hay una razn creble que indique que el tiempo invertido habra disminuido sin la intervencin (White, 2007). El seguimiento de procesos puede respaldar este anlisis en cada paso de la teora de 21 cambio.

Comparaciones pareadas: Cada uno de los participantes (individuos, organizaciones o comunidades) se parea con alguien que no es participante en variables que se consideran relevantes. Puede ser difcil coincidir adecuadamente con todos los 22 criterios importantes. Diversas lneas de base o lneas de base cambiantes: La implementacin de una intervencin se presenta de manera escalonada a travs del tiempo y en las poblaciones de la intervencin. El anlisis busca en cada comunidad un patrn repetido de un cambio en el resultado medido luego de haber implementado la intervencin, junto con una ausencia de fluctuaciones sustanciales en los datos en otros puntos de tiempo. Tiene un uso cada vez mayor en las intervenciones de salud a nivel de la 23 poblacin. Puntuaciones de la propensin: Esta tcnica crea estadsticamente grupos comparables segn un anlisis de los factores que influenciaron la propensin de las personas para participar en el programa; es particularmente til cuando la participacin es voluntaria (por ejemplo, mirar un programa de televisin con mensajes 24 de promocin de la salud).

22 Material de lectura adicional: Techniques for Improving Constructed Matched Comparison Group Impact/Outcome Evaluation Designs, http://knol.google.com/k/techniques-for-improving-constructed-matched-comparison-group-impact-outcome. 23 Material de lectura adicional: The Multiple Baseline Design for Evaluating Population-Based Research, http://rds.epi-ucsf.org/ticr/ syllabus/courses/23/2011/06/02/Lecture/readings/Hawkins.pdf. 24 Material de lectura adicional: Propensity Scores: What Do They Do, How Should I Use Them, and Why Should I Care?, http:// www.chrp.org/love/ASACleveland2003Propensity.pdf; A Practical Guide to Propensity Score Models, http://www.academyhealth. org/files/2009/monday/HebertP.pdf.

20 Material de lectura adicional: Difference-in-differences, http:// ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/method_techniques/counterfactual_impact_evaluation/difference-in-differences/difference-in-differences_en.htm. 21 Material de lectura adicional: Process Tracing in Case Study Research, http://users.polisci.wisc.edu/kritzer/teaching/ps816/ ProcessTracing.htm.

| Introduccin a la Evaluacin de Impacto |

| 11 |

Prueba aleatoria controlada (RCT): Los participantes (o comunidades u hogares) potenciales se asignan aleatoriamente para recibir la intervencin o para pertenecer a un grupo de control (sin intervencin o con la intervencin normal) y se comparan los resultados promedio de los 25 distintos grupos. Regresin discontinua: En los casos en que una intervencin est disponible solo para los participantes que se encuentran por encima o por debajo de un punto lmite (por ejemplo, ingresos), este enfoque compara los resultados de los individuos por debajo del punto lmite con aquellos 26 por encima del punto lmite. Contrafactual creado estadsticamente: Un modelo estadstico, como un anlisis de regresin, se utiliza para desarrollar un clculo de lo que podra haber sucedido en ausencia de una intervencin. Esto se puede utilizar cuando la intervencin ya est en escala; por ejemplo, una evaluacin del impacto de la privatizacin de los servicios nacionales de suministro de agua. Desarrollar un contrafactual creble puede ser difcil en la prctica. A menudo es difcil parear individuos o comunidades en las variables que realmente marcan una diferencia. Las pruebas aleatorias controladas pueden crear grupos que no resulten equivalentes de manera aleatoria. Otros mtodos dependen de diversas suposiciones que podran no ser alcanzadas. En situaciones de

cambios rpidos e impredecibles, desarrollar un contrafactual creble podra ser imposible. Se podra desarrollar un caso slido y emprico en el que una intervencin produjo ciertos impactos, pero sin tener la seguridad de lo que habra sucedido si no se hubiese implementado la intervencin. Por ejemplo, puede ser posible mostrar que el desarrollo de la infraestructura de una comunidad destinada a la cra de pescado para su consumo o venta fue directamente debido al proyecto local, sin poder declarar con seguridad que esto no habra sucedido en ausencia del proyecto (quizs a travs de un proyecto alternativo que otra organizacin haya implementado). La evaluacin de impacto se puede centrar en los otros dos elementos del anlisis causal: lo factual y descartar las alternativas. El tercer componente para comprender los vnculos causales es investigar y descartar las explicaciones alternativas. Los impactos aparentes (o la falta de estos) puede reflejar problemas metodolgicos, como el sesgo de seleccin (donde los participantes son sistemticamente diferentes de aquellos que no participan), y los efectos de contaminacin (donde quienes no participan tambin se benefician de la intervencin, lo que reduce la diferencia entre ellos y los que participan en respecto a los impactos). Pueden reflejar la influencia de otros factores, incluyendo otras intervenciones o movimientos de la poblacin entre las reas asignadas para recibir una intervencin y las que no lo han sido. Mtodos posibles para identificar y descartar explicaciones alternativas posibles incluyen: Metodologa de eliminacin general: Se identifican las explicaciones alternativas posibles y luego se investigan para ver si 27 se pueden descartar.
27 Material de lectura adicional: Can We Infer Causation from Cross-Sectional Data?, http://www7.national-academies.org/ BOTA/School-Level%20Data_Michael%20Scriven-Paper.pdf

25 Material de lectura adicional: Using Randomization in Development Economics Research: A Toolkit, http://www.povertyactionlab. org/sites/default/files/documents/Using%20Randomization%20 in%20Development%20Economics.pdf. 26 Material de lectura adicional: Impact Evaluation: Regression Discontinuity, http://www.urban.org/toolkit/data-methods/regression.cfm.

| Introduccin a la Evaluacin de Impacto |

| 12 |

Bsqueda de evidencia refutatoria/ 28 Seguimiento de las excepciones

Una evaluacin de impacto de la legislacin para utilizar cascos de bicicletas obligatorios descubri que hubo una disminucin significante en el nmero de lesiones en la cabeza en los ciclistas. Aunque esto era coherente con la teora de cambio, una explicacin alternativa era que el nivel general de las heridas disminuy debido a la mayor cantidad de construcciones de carriles para bicicletas durante el mismo periodo. El examen de heridas graves mostr que, mientras que el nivel de las lesiones en la cabeza disminuy en este periodo, el nmero de otros tipos de heridas se mantuvo estable, lo que respalda la teora que fueron los cascos los que produjeron el cambio. (Walter et al., 2011)

la evidencia para una relacin causal entre una intervencin y los impactos observados en lo referente a su fortaleza, consistencia, especificidad, temporalidad, coherencia con otra evidencia aceptada, viabilidad y analoga con intervenciones 29 similares. Anlisis de contribucin: Un enfoque sistemtico que implica desarrollar una teora de cambio, mapear datos existentes, identificar desafos a la teora (incluyendo los vacos en la evidencia y los vnculos causales impugnados) y reunir evidencia adicional de manera iterativa para abordarlos. La Gua de orientacin 2 proporciona informacin adicional sobre 30 el anlisis de contribucin. Informe de resultados colaborativos: Este nuevo enfoque combina el anlisis de contribucin con las MLLE. Traza datos existentes contra la teora de cambio y completa vacos importantes en la evidencia a travs de la recopilacin enfocada de datos adicionales. Luego, se utiliza una combinacin de examinacin experta y de consulta comunitaria para verificar la credibilidad de la evidencia respecto a los impactos que han ocurrido y en qu medida se pueden atribuir de manera realista a 31 la intervencin.
29 Material de lectura adicional: Patricia Rogers, Matching Impact Evaluation Design to the Nature of the Intervention and the Purpose of the Evaluation, Journal of Development Effectiveness, 1 (2009): 217-226. La versin el documento de trabajo est disponible en: http://www.3ieimpact.org/admin/pdfs_papers/50.pdf. 30 Material de lectura adicional: Contribution Analysis: ILAC Guide Brief 16, http://www.cgiar-ilac.org/files/publications/briefs/ILAC_ Brief16_Contribution_Analysis.pdf; Contribution Analysis, http:// www.scotland.gov.uk/Resource/Doc/175356/0116687.pdf.

Algunos enfoques que combinan estos diferentes elementos de explicacin pueden ser: Diversas lneas y niveles de evidencia (MLLE): Un panel de expertos crebles que abarcan un rango de disciplinas relevantes examinan un amplio rango de evidencia de diferentes fuentes. El panel identifica una coherencia con la teora de cambio mientras que tambin identifica y explica las excepciones. Las MLLE examinan

28 Material de lectura adicional: Matthew B. Miles and A. Michael Huberman, Qualitative Data Analysis: An Expanded Sourcebook. 2nd Edition (Thousand Oaks, California: Sage Publications, 1994).

31 Material de lectura adicional: Collaborative Outcomes Reporting Technique, http://www.aes.asn.au/regions/vic/2010/COR%20 AES%202010.pdf.

| Introduccin a la Evaluacin de Impacto |

| 13 |

Una evaluacin del impacto de un programa de desarrollo de liderazgo del gobierno no pudo utilizar un grupo de control aleatorio porque fue imposible asignar personas de manera aleatoria para estar en un grupo de control (o incluso para participar en el programa). La evaluacin tampoco pudo utilizar un grupo de comparacin porque la naturaleza del programa era tal que aquellos aceptados eran sistemticamente diferentes de aquellos que no fueron aceptados. En cambio, la evaluacin utiliz otras estrategias para la explicacin causal, incluyendo la atribucin por parte de los beneficiarios, la temporalidad y la especificidad (los cambios se produjeron en las reas especficas abordadas por el programa). (Davidson, 2006)

Una alternativa es desarrollar una escala (o rbrica) de evaluacin global con usuarios deseados que puede ser utilizada para sintetizar la evidencia de manera transparente. La escala incluye una etiqueta para cada punto (por ejemplo, sin xito, con un poco de xito, muy exitoso) y una des33 cripcin de cmo se presenta cada uno.
11. Informe de los hallazgos y respaldo del uso

El formato del informe de la evaluacin se debe acordar cuando se planea la evaluacin de impacto. Algunas organizaciones tienen formatos de informe estndar, incluyendo los requisitos de extensin, que se deben cumplir. En otros casos, es importante acordar un informe bsico de los ttulos y subttulos antes de que se escriba el informe. Los informes de la evaluacin de impacto son ms accesibles cuando estn organizados en torno a las preguntas clave de la evaluacin, en lugar de informar de manera separada los datos de diferen34 tes componentes de la recopilacin de datos. Se puede mejorar la calidad de los informes de evaluacin involucrando las partes interesadas adecuadas. An en los casos en que un evaluador externo independiente est realizando una evaluacin, se pueden involucrar las partes interesadas al proporcionar respuestas formales sobre los hallazgos y comentar sobre los datos y cmo se han interpretado.

10. Sntesis de la evidencia

Es poco comn basar el juicio evaluativo general de una intervencin en una sola medida de rendimiento. Normalmente, se requiere sintetizar evidencia sobre el rendimiento en diferentes dimensiones. Una manera comn de hacerlo es desarrollar una escala ponderada, donde un porcentaje de la calificacin del rendimiento general se basa en cada dimensin. Sin embargo, una escala ponderada numrica a veces tiene problemas, como los pesos arbitrarios y la falta de atencin a elementos 32 esenciales, entre otros.

33 Material de lectura adicional: The Rubric Revolution, http:// kinnect.co.nz/wp-content/uploads/2011/09/AES-2011-RubricRevolution-Davidson-Wehipeihana-McKegg-xx.pdf. 34 E. Jane Davidson, Improving Evaluation Questions and Answers: Getting Actionable Answers for Real-World Decision Makers (sesin de demostracin en la Conferencia de la Asociacin Americana de Evaluacin, Orlando, FL, 18 de noviembre de 2009), http://comm.eval.org/resources/viewdocument/?Documen tKey=e5bac388-f1e6-45ab-9e78-10e60cea0666.

32 Material de lectura adicional: The Synthesis Problem: Issues and Methods in the Combination of Evaluation Results Into Overall Evaluative Conclusions, http://realevaluation.com/pres/ SynthHNL.pdf.

| Introduccin a la Evaluacin de Impacto |

| 14 |

En los casos en que las recomendaciones se incluyen en los informes de evaluacin, estas deben ser respaldadas con evidencia de los hallazgos de la evaluacin y sobre la viabilidad y adecuacin de las recomendaciones. Involucrar a las partes interesadas importantes en el desarrollo de las recomendaciones no solo mejora la viabilidad de las recomendaciones, sino que tambin puede lograr que las partes interesadas se apropien de ellas y se comprometan a implementarlas. El uso de los informes de evaluacin de impacto se puede mejorar mediante formatos de informes creativos, presentaciones verbales, oportunidades para participar con otros en el debate sobre las implicaciones de las evaluaciones de impacto, y al asegurarse de que los informes permanezcan accesibles para los usuarios potenciales. La Gua de orientacin 4 aborda la necesidad de comunicar bien los hallazgos a las audiencias deseadas.
12. Cundo se debe realizar una evaluacin de impacto?

entendimiento de sus impactos y es necesaria una mejor evidencia para informar las decisiones acerca de su financiacin; si se debe continuar o dirigirla a otras intervenciones. Las evaluaciones peridicas del impacto de una cartera de intervenciones en un sector o una regin para orientar polticas, el diseo de intervencin futura y las decisiones de financiacin. Intervenciones con un mayor perfil de riesgos, como una gran inversin (actual o futura), un alto potencial para impactos negativos importantes o problemas delicados de polticas. Intervenciones en donde las partes interesadas necesitan comprender de mejor manera las contribuciones y perspectivas de cada uno. El momento de una evaluacin de impacto es importante. Si se realiza demasiado pronto, la evidencia de los impactos que han ocurrido o estn en curso pueden resultar insuficientes. Si se realiza demasiado tarde, puede ser difcil realizar un seguimiento de los participantes y demasiado tarde para influenciar las decisiones acerca de la futura direccin de la intervencin. En cualquier caso, es mejor planificar la evaluacin de impacto, en lo posible, desde el inicio de la intervencin. Esto permite que se rena la evidencia a lo largo de toda la intervencin, incluyendo los datos de base, y permite utilizar mtodos como las pruebas aleatorias controladas, que requieren la creacin de un grupo de control asignado aleatoriamente desde el inicio de la implementacin.
13. Qu se necesita para la evaluacin de impacto de calidad?

Las evaluaciones de impacto se deben realizar cuando haya necesidad e intenciones claras de utilizar los hallazgos. Si todas las intervenciones precisaran tener una evaluacin de impacto, los evaluadores correran el riesgo de necesitar un exceso de recursos o de dispersar tanto los recursos que las evaluaciones resultaran superficiales. Una estrategia ms eficaz es centrar los recursos de evaluacin de impacto en las intervenciones en las que pueden ser ms tiles: Las intervenciones y los programas piloto innovadores que, si se prueban de manera exitosa, se pueden ampliar o reproducir. Intervenciones en donde no hay un buen

Puede ser til pensar acerca de la evaluacin de calidad en trminos de cinco imperativos competitivos: utilidad, precisin, tica, funcionalidad y

| Introduccin a la Evaluacin de Impacto |

| 15 |

responsabilidad. Estos cinco estndares estn, a menudo, en conflicto. Por ejemplo, una evaluacin ms exhaustiva de impacto que sera ms precisa, podra no ser prctica en respecto a los recursos disponibles, podra ser intrusiva en los datos reunidos, o podra llevar demasiado tiempo para completarse para que pueda informar decisiones clave acerca del futuro de la intervencin. Utilidad: Una buena evaluacin de impacto es til. La posible utilidad de una evaluacin se puede mejorar planificando cmo sera utilizada desde el comienzo, lo que incluye relacionarla con el tiempo y los procesos de toma de decisiones organizativas, ser claros acerca del motivo por el que se est realizando y acerca de quin la utilizar, contratar partes interesadas clave en el proceso y luego elegir diseos y mtodos para lograr este objetivo. Precisin: Una buena evaluacin de impacto es minuciosa. Le presta atencin a todos los impactos importantes y observa si hay alguno indeseado. Le presta atencin a la distribucin de impactos y observa si solo algunos se benefician, y quines son esas personas. La precisin requiere el uso de evidencia adecuada, que incluye los datos cuantitativos y cualitativos, la interpretacin adecuada y la transparencia acerca de las fuentes de datos que se han utilizado y sus limitaciones. Las estrategias para lograr la precisin incluyen sistemas para verificar la calidad de los datos en el punto de la recopilacin y durante el procesamiento, y que los hallazgos se hayan informado de manera justa, completa y clara.

35

Propiedad (tica): Los problemas ticos se deben abordar de manera adecuada; es decir, en confidencialidad y anonimato, as como tambin se deben abordar los posibles efectos nocivos de estar involucrados en la evaluacin. Algunos problemas ticos, como la necesidad de cumplir con las promesas que se realizan acerca de la privacidad y de la confidencialidad, son comunes en diferentes tipos de evaluaciones e investigaciones. Hay otros problemas que son particulares de la evaluacin de impacto. A veces se formulan inquietudes acerca de la tica de utilizar un diseo RCT, ya que implica retener una intervencin de ciertas personas (el grupo de control). Hay una preocupacin tica menor cuando el acceso a la intervencin se raciona en cualquier caso, y se puede abordar asignando el grupo de control a la cola para que reciban la intervencin despus de que se haya finalizado la evaluacin de la primera fase (si muestra ser eficaz). Sin embargo, esta estrategia es factible solo cuando los impactos (o indicadores crebles de ellos) son evidentes de manera temprana y cuando la intervencin an es relevante para el grupo de control al momento que finaliza la evaluacin. Tambin hay problemas ticos potenciales en respecto a los intereses de quines abordan una evaluacin. La Asociacin Americana de Evaluacin debate esto en sus Principios rectores en trminos de Responsabilidades para el bienestar general y pblico: Los evaluadores expresan y toman en cuenta la diversidad de los intereses y valores generales y pblicos, y por lo tanto deben: 1. Incluir perspectivas e intereses importantes de la gama completa de las partes interesadas.

35 Joint Committee Standards for Educational Evaluation http:// www.jcsee.org/program-evaluation-standards/program-evaluationstandards-statements. Estos fueron originalmente desarrollados para evaluaciones educativas pero, a veces, se los usa de manera ms amplia.

| Introduccin a la Evaluacin de Impacto |

| 16 |

2. Considerar no solo las operaciones y los resultados inmediatos de la evaluacin, sino tambin los supuestos generales, las implicaciones y los posibles efectos secundarios. 3. Permitir que las partes interesadas accedan a la informacin evaluativa y que puedan divulgarla activamente, y presentar los resultados en formas entendibles que respeten a las personas y cumplan las promesas de confidencialidad. 4. Mantener un equilibrio entre las necesidades e intereses del cliente y de las dems partes interesadas. 5. Tener en cuenta el inters y el bienestar pblico; ir ms all del anlisis de los intereses particulares de la parte interesada para considerar el bienestar de la sociedad como un todo. Normalmente se necesita una aprobacin formal realizada por la junta de revisin institucional adecuada para realizar una evaluacin de impacto. Las solicitudes para la aprobacin necesitan seguir el formato obligatorio y abordar problemas de 36 beneficencia, justicia y respeto. Funcionalidad: Las evaluaciones de impacto deben ser prcticas. Deben tener en cuenta los recursos disponibles (tiempo, dinero, experiencia y datos existentes) y cundo se necesitan los resultados de la evaluacin para informar las decisiones. Asociarse con uno o ms profesionales de evaluacin, organizaciones de investigacin,

universidades y organizaciones de sociedad civil puede impulsar los recursos necesarios. Responsabilidad: las evaluaciones necesitan aclarar la evidencia y los criterios en los cuales se basaron las conclusiones, y reconocer sus limitaciones. La transparencia sobre las fuentes de datos es importante; por ejemplo, mostrar las fuentes que se utilizaron para cada pregunta de evaluacin. Un proceso formal de metaevaluacion (hacer que se evale su propia evaluacin aprobando un plan de evaluacin y luego un informe de evaluacin) realizado por un revisor experto o un comit de individuos con integridad e independencia respetadas, puede mejorar la responsabilidad de una evaluacin de impacto.
14. Desafos comunes en la evaluacin de impacto en desarrollo

A continuacin se describe un nmero de desafos comunes en la evaluacin de desarrollo, junto con algunas sugerencias para abordarlos. Variacin en la implementacin y en el entorno en diferentes sitios Es posible que se haya implementado una intervencin de distintas maneras para adaptarla a los diferentes contextos en las diferentes oficinas nacionalesen todo el mundo, o en diferentes reas geogrficas dentro de un pas. Puede ser til comparar las teoras de cambio para cada sitio. En particular, identificar si los diferentes sitios utilizan la misma teora acerca de cmo suceden los cambios (por ejemplo, al aumentar el conocimiento de las personas acerca de sus derechos a los servicios) pero diferentes teoras de accin (por ejemplo, folletos impresos en comparacin con teatro comunitario),

36 Material de lectura adicional: Evaluation Consent and the Institutional Review Board Process, http://meera.snre.umich.edu/ plan-an-evaluation/plonearticlemultipage.2007-10-30.3630902539/ evaluation-consent-and-the-institutional-review-board-process.

| Introduccin a la Evaluacin de Impacto |

| 17 |

o si estn utilizando teoras de cambio completamente diferentes (por ejemplo, aumentar el conocimiento de las personas acerca de sus derechos a los servicios en un sitio en comparacin con reducir barreras para el acceso a los servicios, como cuotas de usuarios, mediante la promocin en otras). Impactos heterogneos A menudo, las intervenciones de desarrollo solo funcionan para algunas personas, y pueden ser ineficaces o hasta perjudiciales para otras. Adems, el xito de una intervencin en cuanto al logro de los impactos deseables, a veces, se ve afectado por la calidad de la implementacin. Por lo tanto, es importante no solo calcular e informar el efecto promedio, sino tambin buscar diferentes efectos. Esto requiere reunir evidencia donde sea posible acerca de la calidad de la implementacin y recopilar datos acerca de los factores contextuales que podran afectar a los impactos, incluyendo las caractersticas de los participantes y el entorno de la implementacin. Componentes diversos Un programa podra abarcar un rango diverso de proyectos, y an as se necesitara una evaluacin general del impacto del programa entero. Puede ser til desarrollar una teora general de cambio para el programa, reuniendo diferentes componentes. A veces, es posible hacer esto en la etapa de planificacin, pero, especialmente en los casos en que los proyectos y componentes varan con el tiempo, podra ser necesario realizarlo de manera retroactiva.

Plazos largos A menudo, los impactos buscados no son evidentes por muchos aos, pero se necesita la evidencia para informar las decisiones antes de ese momento (por ejemplo, si se debe o no ejecutar una fase posterior o replicar un modelo en otro lugar). Una teora de cambio puede identificar resultados intermedios que podran ser evidentes en la vida de una evaluacin. En algunos casos, la evidencia de la investigacin se puede utilizar para completar vnculos posteriores y calcular posibles impactos segn el logro de los resultados inmediatos. Tambin se debe dar consideracin a la trayectoria esperada de cambio; cuando es posible que los 37 impactos sean evidentes. Influencia de otros programas y factores Los impactos de las intervenciones de desarrollo estn muy influenciados por las actividades de otros programas y otros factores contextuales que podran respaldar o prevenir dichos impactos. Por ejemplo, las transferencias de dinero que dependen de la asistencia escolar solo conducen a un logro estudiantil mejorado en situaciones en donde las escuelas les ensean a los estudiantes de manera adecuada. Es posible identificar estos otros programas y factores contextuales como parte del desarrollo de una teora de cambio, para reunir evidencia acerca de ellos y para buscar patrones en los datos.

37 Material de lectura adicional: Michael Woolcock sobre la Importancia del Tiempo y las Trayectorias en la Comprensin de la Eficacia del Proyecto, http://blogs.worldbank.org/impactevaluations/guest-post-michael-woolcock-on-the-importance-of-time-andtrajectories-in-understanding-project-effe.

| Introduccin a la Evaluacin de Impacto |

| 18 |

Limitaciones de los recursos La evidencia existente (en la forma de documentacin del programa, datos de base y estadsticas oficiales) puede tener vacos y es posible que hayan pocos recursos (en trminos de la financiacin, el tiempo del personal o el acceso a los conocimientos tcnicos especializados) para reunir los tipos de evidencia necesarios para una evaluacin de impacto de calidad. Para una evaluacin especfica, cuando la evidencia existente es escasa y hay pocos recursos para reunir evidencia adicional, las entrevistas de informantes clave de diversos informantes pueden proporcionar suficientes datos, inclusive reconstruir datos de base. Planificar con anticipacin para la evaluacin de impacto puede reducir las limitaciones de los recursos al desarrollar suficientes recursos en la etapa de diseo y presupuesto, y/o asignar estratgicamente recursos de evaluacin en todas las intervenciones para que estn concentradas en mayor medida en un nmero ms pequeo de evaluaciones ms exhaustivas de intervenciones estratgicamente importantes.
Resumen

posibilidad de producir una evaluacin de impacto de alta calidad que se utilice realmente.
Referencias y otros recursos tiles

Alton-Lee, A. (2003) Quality Teaching for Diverse Students in Schooling: Best Evidence Synthesis. Wellington, New Zealand: Ministry of Education. http://www.educationcounts.govt.nz/publications/series/2515/5959 Un ejemplo de sntesis de evidencia de diversas fuentes para comprender qu funciona para quin. Catley A., Burns, J., Abebe, D., Sufi, O. Participatory Impact Assessment: A Guide for Practitioners. Boston: Tufts University. http://www.preventionweb.net/english/professional/publications/v. php?id=9679 Chambers R. (2007) Who Counts? The Quiet Revolution of Participation and Numbers Working Paper No. 296, Brighton: Institute of Development Studies. http://www.ids.ac.uk/ files/Wp296.pdf Davidson, E. J. (2006) Causal Inference Nuts and Bolts. Sesin de demostracin en la Conferencia de la Asociacin Americana de Evaluacin de 2006, Portland, Ore., Nov. 2006 http://realevaluation.com/pres/causation-anzea09.pdf. Davidson, E. J. (2009) Improving Evaluation Questions and Answers: Getting Actionable Answers for Real-World Decision Makers. Sesin de demostracin en la Conferencia de la Asociacin Americana de Evaluacin de 2009, Orlando, Fla., Nov. 2009. http://comm.eval.org/ resources/viewdocument/?DocumentKey=e5b ac388-f1e6-45ab-9e78-10e60cea0666.

Una evaluacin de impacto debe comenzar con un plan que aclare los objetivos que pretende alcanzar, lo que incluye identificar a los usuarios previstos, las preguntas de evaluacin clave que intenta responder y cmo abordar los seis componentes de la evaluacin de impacto: clarificar valores, desarrollar una teora de cambio, medir o describir variables importantes, explicar qu ha producido los impactos, sintetizar evidencia e informar y respaldar el uso. Que se revise este plan (puede ser por los usuarios previstos) aumentar la

| Introduccin a la Evaluacin de Impacto |

| 19 |

Funnell S. and Rogers, P. (2011) Purposeful Program Theory: Effective Use of Theories of Change and Logic Models. San Francisco: Jossey-Bass/Wiley. Guijt, I. (1999) Participatory Monitoring and Evaluation for Natural Resource Management and Research. Socio-economic Methodologies for Natural Resources Research. Chatham, UK: Natural Resources Institute. http://www.nri.org/ publications/bpg/bpg04.pdf Miles, M. and Huberman, M. (1994) Qualitative Data Analysis: An Expanded Sourcebook (2nd ed.) Thousand Oaks California; Sage Publications. Bosquejo de estrategias para verificar explicaciones causales, como la bsqueda de evidencia refutatoria, el seguimiento de excepciones y la realizacin y prueba de las predicciones. Patton, MQ (2008) State of the Art in Measuring Development Assistance. Debate sobre la importancia de la interpretacin y el manejo de la incertidumbre en una administracin eficaz. Paz R., Dorward A., Douthwaite B. (2006). Methodological Guide for Evaluation of Pro-Poor Impact of Small-Scale Agricultural Projects. Centre for Development and Poverty Reduction. Imperial College, London. http:// boru.pbworks.com/f/modulosjan07.pdf Descripcin de 22 mtodos y herramientas para la

evaluacin de los impactos directos e indirectos de la adopcin de innovacin. Roche, C. (1999) Impact Assessment for Development Agencies: Learning to Value Change Oxford: OXFAM, Novib Rogers, Patricia J. (2009) Matching Impact Evaluation Design to the Nature of the Intervention and the Purpose of the Evaluation, Journal of Development Effectiveness, 1(3): 217-226. La hoja de trabajo est disponible en: http://www.3ieimpact.org/admin/pdfs_papers/50.pdf. Walter, S., Olivier, J., Churches, T. and Grzebieta, R. (2011). The impact of compulsory cycle helmet legislation on cyclist helmet head injuries in New South Wales, Australia, Accident Analysis and Prevention, 43 : 2064-2071. White, S. and J. Petit (2004) Participatory Methods and the Measurement of Wellbeing Participatory Learning and Action 50, London: IIED www.betterevaluation.org informacin sobre mtodos de evaluacin para el desarrollo, que incluye ejemplos y comentarios que el usuario aporta www.mymande.org informacin, videos y vnculos a informacin sobre los mtodos de evaluacin

| Introduccin a la Evaluacin de Impacto |

| 20 |

Vous aimerez peut-être aussi