Evaluacion e Iniciativas OK

02
Guas metodolgicas URB-AL III
Evaluacin de iniciativas de cooperacin descentralizada pblica
Giorgio Mosangini
Licenciado en Ciencias Polticas por la Universit Libre de Bruxelles (ULB) y Mster en Estudios para el Desarrollo. Cuenta con 12 aos de experiencia en el mbito de la identificacin, formulacin, seguimiento y evaluacin de proyectos de cooperacin internacional en Amrica Latina y el Mediterrneo, incluyendo proyectos de cooperacin descentralizada. Mosangini ha elaborado diferentes guas metodolgicas, en concreto, sobre evaluacin en la cooperacin internacional; tambin ha escrito artculos y ha realizado cursos sobre la evaluacin de proyectos. Respecto a la cooperacin descentralizada pblica, ha elaborado un mdulo de formacin especfico para la Agencia Catalana de Cooperacin al Desarrollo y el Fondo Cataln de Cooperacin, entre otras actividades.
Agradecimiento a Beatriz Sanz por su asesoramiento en la elaboracin de esta gua Este documento ha sido elaborado en el marco de una subvencin de la Unin Europea. El contenido de este documento es responsabilidad exclusiva del autor y en modo alguno se debe considerar que refleja la posicin de la Unin Europea. Edita: Programa URB-AL III Travessera de les Corts 139-151. Pavell Mestral, 4 08028 Barcelona Tel. +34 934 049 470 Fax +34 934 022 473 E-mail info@urb-al3.eu www.urb-al3.eu Edicin: Diputacin de Barcelona (Oficina de Coordinacin y Orientacin del Programa URB-AL III) Consejo Editorial: Jordi Castells, Octavi de la Varga, Eduardo Feldman, Sara Sotillos, Carla Cors y Vernica Sanz Edicin: Direccin de Comunicacin de la Diputacin de Barcelona Diseo: Estudi Josep Bag DL: B.19.382-2012
02

Giorgio Mosangini
ndice
9 Prlogo 11 Introduccin 13 1. Antecedentes y contexto de la gua 13 1.1. Los gobiernos locales en la escena internacional 14 1.2. La nueva agenda internacional de cooperacin: la eficacia de la ayuda 16 1.3. La importancia de la evaluacin de la cooperacin descentralizada 17 2. Conceptos y enfoques de evaluacin 17 2.1. Definicin y finalidades de la evaluacin 19 2.2. Las tipologas de evaluacin 22 2.3. Evoluciones y tendencias en el mbito de la evaluacin 24 2.4. Ms all de tipologas y enfoques: una perspectiva flexible en funcin de los objetivos y preguntas de evaluacin 29 3. Modelo de evaluacin 29 3.1. Los criterios clsicos de evaluacin: el modelo CAD 39 3.2. La seleccin de criterios propios: algunas propuestas para evaluar la CD 44 3.3. Ms all de los criterios: modelos flexibles centrados en los objetivos y preguntas de evaluacin 47 4. Gestin de la evaluacin 51 Anexos metodolgicos 53 Anexo 1. El debate entre metodologas cuantitativas y cualitativas 55 Anexo 2. Descripcin de algunas herramientas de evaluacin 59 Bibliografa 64 Algunos enlaces web donde encontrar informacin sobre evaluacin ndice de cuadros 20 Cuadro 1: Principales tipologas de evaluacin 22 Cuadro 2: Las generaciones de evaluacin 25 Cuadro 3: Tipologas de evaluacin priorizadas para valorar la CD 26 Cuadro 4: Algunas limitaciones y dificultades que enfrenta la evaluacin 30 Cuadro 5: Algunas consideraciones sobre indicadores de evaluacin 36 Cuadro 6: Tipos de efectos analizados por el criterio de impacto 42 Cuadro 7: La perspectiva de gnero en la evaluacin 48 Cuadro 8: Ejemplo de contenidos de trminos de referencia 49 Cuadro 9: Ejemplo de matriz de evaluacin 49 Cuadro 10: Ejemplo de ndice de informe final de evaluacin 55 Cuadro 11: Ejemplos de herramientas de evaluacin
Prlogo
La Oficina de Coordinacin y Orientacin del Programa URB-AL III (OCO) tiene el agrado de presentar una serie de guas metodolgicas que son el producto del trabajo e intercambio con los proyectos y las lecciones aprendidas a lo largo de la ejecucin del programa. Estas guas abarcan gran diversidad de temas como son: el seguimiento, la evaluacin y la comunicacin de proyectos, la construccin de polticas pblicas locales en Amrica Latina, la incidencia de esas polticas en la cohesin social y la definicin de estrategias de ciudad que incorporen la visin de cohesin social. La idea de elaborar una gua de evaluacin de iniciativas de cooperacin descentralizada pblica es fruto del trabajo de asistencia tcnica llevado a cabo por la OCO con los proyectos de URB-AL III, y de una necesidad detectada por parte de los actores involucrados en la prctica de la gestin pblica local. Se trata de una herramienta conceptual, pero, sobre todo, prctica, que en primer lugar contextualiza la ubicacin de los gobiernos locales en el sistema internacional y en la cooperacin, y pone de manifiesto la importancia de la evaluacin para responder a los principios de eficacia de la ayuda en el marco de la cooperacin descentralizada. Adems, esta gua proporciona a los gobiernos locales pautas para demostrar resultados, elementos para facilitar la transparencia y la rendicin de cuentas en la gestin entendiendo que la evaluacin puede ayudar a encontrar respuestas y visibilizar los logros.
La herramienta que presentamos permite evaluar la contribucin de una iniciativa o un conjunto de iniciativas de cooperacin descentralizada a las polticas pblicas locales de cohesin social, analizando en qu medida las intervenciones han generado, transformado y/o apoyado las polticas pblicas subnacionales que velan por ella. Cada vez ms los gobiernos locales gestionan iniciativas en la esfera internacional, con presencia en espacios que antes solo ocupaban los estados y las organizaciones internacionales. Y en este sentido, la evaluacin es un elemento esencial para desarrollar nuevos proyectos y fortalecer, generar o innovar polticas pblicas locales en los diferentes territorios. Por esta razn, la gua ofrece tambin una amplia visin sobre los diferentes enfoques y tendencias de la evaluacin, para fundamentar posteriormente de forma clara y precisa los cinco criterios de evaluacin del Comit de Ayuda al Desarrollo (CAD) de la Organizacin para la Cooperacin y el Desarrollo Econmico (OCDE), as como tres criterios complementarios que completan el ciclo. Desde la OCO, esperamos que disfruten de la lectura y de la aplicacin prctica de las pautas que nos brinda esta gua, y que se convierta en su herramienta de trabajo tanto para proyectos presentes como futuros.
Jordi Castells, Director de Relaciones Internacionales de la Diputacin de Barcelona y coordinador general de la Oficina de Coordinacin y Orientacin del Programa URB-AL III
10
Introduccin
La presente gua, Evaluacin de iniciativas de cooperacin descentralizada pblica, es una herramienta del Programa URB-AL III y una iniciativa de su Oficina de Coordinacin y Orientacin (OCO). URB-AL es un programa de cooperacin descentralizada entre autoridades subnacionales europeas y latinoamericanas de la Comisin Europea que responde a la prioridad poltica e inters de ambas regiones de promocionar la cohesin social. La metodologa tiene como destinatarios los equipos tcnicos y polticos de cualquier gobierno local latinoamericano o europeo que busque fortalecer las polticas pblicas locales de cohesin social mediante su participacin en iniciativas de cooperacin descentralizada. Consecuentemente, la gua persigue un doble objetivo: / Apoyar a las autoridades subnacionales en la rendicin de cuentas y evaluacin de sus iniciativas de cooperacin descentralizada, as como de los impactos de estas en las polticas pblicas locales de cohesin social. / Promover el aprendizaje colectivo de los gobiernos locales facilitando la identificacin y difusin de modelos de referencia de polticas pblicas locales de cohesin social. Los contenidos de la metodologa pretenden ofrecer a los responsables de las autoridades subnacionales conocimientos generales sobre enfoques y modelos de evaluacin que les permitan definir los objetivos y preguntas evaluativas
acertados para llevar a cabo evaluaciones (por lo general externas) de sus iniciativas de cooperacin. Por otra parte, la gua tambin tiene como destinatarios los dems actores involucrados en el ciclo de evaluacin (evaluadores externos, poblacin meta de las iniciativas de cooperacin u otros). Los contenidos se estructuran en cuatro captulos. El primero aborda los antecedentes y el contexto de la gua, sealando la importancia y relevancia de disponer de una metodologa de evaluacin adaptada a la cooperacin descentralizada. El segundo captulo ilustra las principales tipologas, enfoques y tendencias de la evaluacin, situndolos respecto a la cooperacin protagonizada por los gobiernos locales. El tercer captulo define el modelo de evaluacin de la gua, estableciendo los criterios y otros elementos aplicables a la valoracin de iniciativas de cooperacin descentralizada y de sus impactos en las polticas pblicas, as como destacando la centralidad de los objetivos y preguntas de evaluacin. El cuarto captulo resume las principales fases e instrumentos de gestin del ciclo de evaluacin. Finalmente, en los anexos se abordan aspectos metodolgicos y se presentan algunos ejemplos de herramientas de evaluacin. Esperamos que la gua sea una herramienta til para acompaar a los gobiernos locales en la mejora de la calidad de sus iniciativas de cooperacin, as como para afianzar una cultura de aprendizaje en sus estructuras.
11
12
1. Antecedentes y contexto de la gua
En este captulo, describiremos brevemente dos fenmenos que profundizan la relevancia de disponer de metodologas de evaluacin adaptadas a la cooperacin descentralizada (CD): la presencia creciente de los gobiernos locales (GL)1 en la escena global y en la cooperacin, por un lado, y la agenda internacional de desarrollo centrada en la eficacia de la ayuda y sus efectos en el sistema de cooperacin, por otro. Tambin recordaremos la importancia de la evaluacin de la CD como herramienta de mejora de la calidad y aprendizaje para consolidar la aportacin de las intervenciones de cooperacin a las polticas pblicas locales.
han impulsado la participacin de los gobiernos subestatales en el sistema internacional. La globalizacin del sistema capitalista se ha acelerado en los ltimos tiempos y, trascendiendo fronteras, ha reconfigurado e incorporado a las realidades locales. Ante la interdependencia global creciente, los GL intervienen en la esfera internacional para intentar influir en las dinmicas que les afectan. Diferentes transformaciones de carcter institucional tambin han impulsado la internacionalizacin de los GL, tales como la erosin del papel tradicional del Estado-Nacin o la transferencia de competencia hacia niveles supraestatales y subestatales. En el mbito de la cooperacin internacional, tambin se han multiplicado los GL activos y la diversidad de iniciativas descentralizadas, desde intervenciones de ayuda y asistencia de corte ms clsico hasta iniciativas de cooperacin ms horizontales y recprocas sustentadas en las especificidades de los GL. En definitiva, las autoridades subnacionales se han afianzado como actores en el sistema internacional y en el mbito de la cooperacin. Por ello, hoy en da, se ha consolidado en gran medida el reconocimiento de su papel en el desarrollo y la gobernanza por parte de los estados y de los organismos multilaterales.
1.1. Los gobiernos locales en la escena internacional

Un primer elemento que hace cada vez ms necesarias metodologas de evaluacin de la CD es el creciente papel de los GL en la escena global en las ltimas dos dcadas. Si las relaciones internacionales eran un mbito de participacin exclusiva de los estados y de las organizaciones internacionales hasta este momento, de manera progresiva, los GL se han convertido en actores habituales de la gobernanza a escala global. Muy diversas dinmicas
1 A lo largo del texto, utilizaremos el trmino gobierno local (GL) para referirnos a autoridades subestatales muy diversas, tales como municipios, ciudades, provincias o regiones.
13
1.2. La nueva agenda internacional de cooperacin: la eficacia de la ayuda

La emergencia de los GL en la cooperacin acontece en un contexto de profundos cambios en la agenda y el sistema de cooperacin internacional para el desarrollo. Desde mediados de los aos 1990, en un proceso liderado por el Comit de Ayuda al Desarrollo (CAD) de la Organizacin de Cooperacin y Desarrollo Econmico (OCDE), los gobiernos y los organismos multilaterales activos en el sistema de cooperacin han elaborado una agenda de cooperacin internacional para el desarrollo centrada en incrementar la eficacia de la ayuda. Esta evolucin respondi a un entorno predominante de profundos debates sobre el impacto real de la cooperacin. La nueva agenda centrada en la eficacia de la ayuda se ha ido conformando a lo largo de ms de una dcada, principalmente en el marco de diversos foros internacionales que han aprobado acuerdos y planes de accin que concretan las estrategias e instrumentos para elevar la calidad y eficacia del sistema.2 Entre los distintos encuentros
y acuerdos, destaca el Foro de 2005, en cuyo marco se aprob la Declaracin de Pars sobre la Eficacia de la Ayuda. Suscrita por los pases miembros de la OCDE, las agencias multilaterales de desarrollo, as como por ms de cincuenta pases receptores de ayuda, la Declaracin de Pars es un acuerdo internacional que establece los principios esenciales para incrementar la eficacia y la calidad de la ayuda al desarrollo. El texto establece cinco compromisos que marcan la agenda de la eficacia de la ayuda (OECD 2008): / Apropiacin: los pases socios ejercen autoridad sobre sus polticas y estrategias de desarrollo. / Alineacin: los donantes basan su apoyo en las estrategias de desarrollo de los pases socios. / Armonizacin: las acciones de los donantes son ms armonizadas, transparentes y eficaces. / Gestin orientada a resultados: administrar los recursos y mejorar las tomas de decisiones orientadas a resultados. / Mutua responsabilidad: donantes y socios son responsables de los resultados del desarrollo. La gestin para resultados de desarrollo (GpRD) es uno de los conceptos clave asociados a la bsqueda de una mayor eficacia. Ante las crticas por falta de impactos al sistema de ayuda, el GpRD
2 2002: Conferencia sobre Financiacin Internacio nal para el Desarrollo (Monterrey); 2003: Foro de Alto Nivel sobre Armonizacin (Roma); 2004: Mesa Redonda sobre la Gestin Orientada a los Resultados (Marrakech); 2005: Foro de Alto Nivel sobre la Eficacia de la Ayuda al Desarrollo (Pars); 2008: Foro de Alto Nivel sobre la Eficacia de la Ayuda al Desarrollo (Accra); 2011: Foro de Alto Nivel sobre la Eficacia de la Ayuda al Desarrollo (Busn).
14
es una estrategia general de gestin enfocada a lograr un mejor desempeo y resultados concretos y demostrables (para ms informacin ver, por ejemplo, PNUD 2009). Se requiere que los sistemas de gestin sean capaces de mostrar resultados medibles y significativos en las condiciones de desarrollo de las poblaciones meta para justificar el uso de los fondos. La GpRD tambin influye en la evaluacin, enfocndola, en lugar de en insumos, actividades, procesos o productos, en los resultados e impactos que las intervenciones pretenden alcanzar. La agenda internacional de cooperacin centrada en la eficacia y sus principios han ido conformando una nueva arquitectura de la ayuda internacional. Esta ha conllevado importantes cambios en las prioridades as como en los mecanismos e instrumentos de gestin; por ejemplo, con la aparicin de modalidades de ayuda centradas en estrategias pas: Estrategias de Reduccin de la Pobreza (PRS), Programas Sectoriales de Apoyo Presupuestario (SWAP), etc. La agenda de la eficacia tampoco ha estado exenta de crticas. Sealamos dos de sus limitaciones por sus implicaciones en las temticas abordadas en esta gua. Por un lado, a la nueva agenda se le reprocha considerar a los estados protagonistas exclusivos del sistema de cooperacin, as como acordar una atencin insuficiente a los actores subestatales (y a la sociedad civil). La aplicacin de la agenda de la eficacia estara contribuyendo, por tanto, a reforzar las capacidades de decisin
de los gobiernos centrales mientras se marginalizara el rol de los GL y se correra el riesgo de debilitar procesos de descentralizacin en marcha (CGLU 2009). Sin embargo, los esfuerzos de los actores subnacionales por localizar y reinterpretar la agenda de la eficacia tambin se han ido traduciendo en progresos en las cumbres y acuerdos internacionales. As, a partir del Foro de Accra, se han producido avances y ha crecido el reconocimiento del papel especfico de los GL. Por otro lado, a la agenda de la eficacia tambin se le reprocha un enfoque excesivamente tcnico que no aborda adecuadamente los factores estructurales del desarrollo y de las desigualdades globales. Probablemente, la no eficacia de la cooperacin dependa menos de las debilidades del sistema de ayuda (cuantitativamente marginal) cuanto de otras dinmicas fundamentales del sistema global y sus consecuencias en las condiciones de vida de las poblaciones: flujos financieros, inversin extranjera, comercio internacional, polticas arancelarias, flujos migratorios, deuda externa, intervenciones militares, entre otros. Si dinmicas fundamentales del sistema global siguen obstaculizando los objetivos de reduccin de la pobreza y de las desigualdades, difcilmente el sistema de cooperacin puede mejorar su eficacia.
15
1.3. La importancia de la evaluacin de la cooperacin descentralizada

En el nuevo contexto, la evaluacin se vuelve esencial ya que es la principal herramienta que permite responder a las preguntas sobre la eficacia de las intervenciones de desarrollo. As, el papel de la evaluacin se ha destacado en los distintos foros internacionales que han conformado la agenda de la eficacia de la ayuda. La declaracin final de Busn establece, entre los principios esenciales del sistema de cooperacin, la transparencia y la rendicin de cuentas. Por otra parte, la crisis econmica y los recortes en los presupuestos de cooperacin tambin presionan hacia una mayor rendicin de cuentas y la obtencin de resultados contrastables. En el nuevo contexto, la CD no puede dejar de lado la cuestin de la evaluacin. La agenda de la eficacia exige a los GL y a la CD que sean capaces de demostrar sus resultados, su valor aadido, su aporte especfico y ventajas comparativas. La evaluacin puede ayudar a la CD a encontrar respuestas a estas exigencias y visibilizar sus aportes y especificidades. Por otra parte, la CD no se debe limitar solamente a demostrar resultados, sino que tiene mucho que decir y aportar acerca de la propia agenda de la eficacia de la ayuda. En este sentido, los GL defienden un enfoque especfico en la aplicacin de los principios de la agenda de la eficacia, que promuevan la apropiacin y la alineacin no solamente
respecto a los planes de los gobiernos centrales, sino sustentndose en las estrategias de los GL, as como en procesos de descentralizacin, democratizacin y participacin de la ciudadana (ver, por ejemplo, CGLU 2009 y VV. AA. 2011). En este proceso, la evaluacin tambin puede ser una herramienta que facilite la visibilidad de las estrategias y aportes especficos de la CD. Ms all de las renovadas exigencias hacia la rendicin de cuentas, la CD y los GL pueden encontrar en la evaluacin una herramienta clave de aprendizaje y mejora de la calidad. Siendo actores y modalidades de cooperacin relativamente recientes en el sistema, necesitan an ms valorar adecuadamente la calidad de sus estrategias e intervenciones para poder mejorar iniciativas futuras. Finalmente, la evaluacin tambin puede ser una fuente de legitimidad del enfoque de CD que subyace a la gua, es decir, la CD como herramienta de fortalecimiento de polticas pblicas locales de cohesin social, sustentadas en relaciones horizontales y duraderas entre actores subestatales. Disponer de un enfoque claro facilita que la evaluacin pueda reforzarlo y darle visibilidad y, por tanto, cumpla la funcin de potenciar la legitimidad de los GL y de la CD en las polticas de desarrollo.
16
2. Conceptos y enfoques de evaluacin
A lo largo del captulo, abordaremos una definicin de la evaluacin y researemos las vocaciones y finalidades que se marca, as como las principales tipologas de evaluaciones existentes. Asimismo, sealaremos las principales evoluciones y tendencias que han caracterizado el mbito de la evaluacin. Por otro lado, presentaremos la perspectiva de la gua, detallando qu enfoques y tipologas se consideran ms adaptados para la evaluacin de la cooperacin descentralizada para la mejora de polticas pblicas locales. Aunque tambin insistiremos en que los elementos centrales de cualquier evaluacin son sus objetivos y las preguntas que la guan. Por ello, tipologas y enfoques siempre debern moldearse de la manera ms adecuada para responder a los fines perseguidos con la evaluacin. Finalmente, sealaremos algunas dificultades y limitaciones que afectan a la tarea evaluativa.
por la comunidad evaluadora y acordes a estndares internacionales de calidad. La evaluacin tambin es imparcial e independiente respecto a intereses vinculados a la gestin o control poltico de la intervencin que valora. Por ltimo, la evaluacin debe tener utilidad para los actores involucrados en la cooperacin. Todo ello otorga credibilidad y legitimidad al conjunto del proceso evaluativo y, por tanto, a sus hallazgos y conclusiones. En estas condiciones, la evaluacin permite responder a preguntas relacionadas con el valor o la importancia de las intervenciones de desarrollo y sus impactos en las poblaciones. El propsito esencial de la evaluacin es la mejora de la calidad de la cooperacin. Para ello, la evaluacin se atribuye dos vocaciones esenciales: la rendicin de cuentas y el aprendizaje. Veamos brevemente en qu consisten ambas finalidades. Rendicin de cuentas. La evaluacin aporta informacin acerca del desempeo general de las intervenciones, divulgando los resultados que se han alcanzado, tanto en trminos cuantitativos como cualitativos. Aunque muy a menudo las demandas de justificacin de la utilizacin de los recursos y consecucin de resultados provienen de los donantes, los actores destinatarios de la rendicin de cuentas pueden ser muy diversos (organismos financiadores, entidades ejecutoras, organismos receptores y socios, poblacin participante, la ciudadana en general tanto en los pases donantes como receptores, decisores
2.1. Definicin y finalidades de la evaluacin

En el mbito de la cooperacin, se entiende por evaluacin la valoracin sistemtica y objetiva del diseo y ejecucin de una intervencin, as como de sus consecuencias en la vida de las personas con las que se ha llevado a cabo. Se define como un proceso sistemtico y objetivo en la medida en que obedece a enfoques y mtodos transparentes, reconocidos y validados
17
polticos, otros actores del mbito de la cooperacin, etc.). En este sentido, la evaluacin puede facilitar a los GL dar a conocer a la ciudadana los impactos de las relaciones de cooperacin, informando si estas han contribuido a mejorar las polticas pblicas locales y de qu manera. La rendicin de cuentas permite una mayor transparencia de la cooperacin y de las polticas locales que ha apoyado y, por tanto, incrementa su credibilidad y legitimidad. Aprendizaje. La vocacin de aprendizaje de la evaluacin es su finalidad ms estrechamente vinculada a la mejora de la calidad. Al valorar qu funciona y qu no, permite tomar decisiones enfocadas al mejoramiento. Por una parte, impulsa la mejora de las intervenciones y polticas de cooperacin, reorientando determinados aspectos de las mismas o perfeccionando iniciativas de continuidad o similares. Por otra parte, favorece la mejora institucional y de las capacidades de los actores participantes, desde mecanismos de gestin hasta elementos de planificacin estratgica. As, apoyndose en procesos evaluativos, los GL pueden mejorar la calidad de sus iniciativas de cooperacin, su impacto en las polticas locales, al tiempo que fortalecen sus capacidades institucionales para implementarlas. Ms all de los anlisis centrados en una intervencin o un actor concreto, las evaluaciones de vocacin comparativa, centradas por ejemplo en una temtica especfica o un sector determinado, permiten llegar a conclusiones y recomendaciones de sntesis ms fcilmente generalizables, que pueden
favorecer el aprendizaje de un gran nmero de actores, promoviendo, por ejemplo, la difusin de modelos de referencia de polticas pblicas de cohesin social. Finalmente, cabe sealar que la finalidad de aprendizaje de la evaluacin est estrechamente vinculada a su utilidad, en la medida en que es capaz de generar conclusiones y recomendaciones que se incorporen eficazmente a las prcticas y realidades institucionales de los actores a los que se destina. En consonancia con las dos finalidades de la evaluacin en el mbito de la cooperacin que se han analizado brevemente, la presente gua persigue, por tanto, un doble objetivo: / Apoyar a los GL en la rendicin de cuentas y evaluacin de sus iniciativas de CD Para ello, la gua facilita una metodologa para evaluar intervenciones de CD pblica, as como la contribucin de estas a las polticas pblicas locales de cohesin social. / Promover el aprendizaje colectivo La metodologa tambin quiere facilitar el intercambio de experiencias y la difusin de buenas prcticas de CD pblica, como medios para la mejora de la calidad y el aprendizaje colectivo de los actores de la cooperacin local.
18
2.2. Las tipologas de evaluacin

Se han establecido diversas tipologas de evaluacin de acuerdo con variados criterios de clasificacin (propsito, momento temporal, actores participantes, objeto, agentes promotores, etc.). En el cuadro 1 se resumen las principales tipologas de evaluacin resultantes. En el cuadro 3 del punto 2.4 se explicitar qu tipologas se consideran ms o menos adecuadas a las necesidades de la CD.
19
Cuadro 1: Principales tipologas de evaluacin

Criterio de clasificacin Tipo de evaluacin Formativa Propsito Sumativa Evolutiva (developmental ) Ex ante o previa Intermedia Momento temporal Final Ex post De evaluabilidad
Principales caractersticas Evaluacin de una intervencin a lo largo de su proceso de ejecucin enfocada al aprendizaje y a la mejora del diseo y desempeo de las acciones o de iniciativas futuras. Evaluacin realizada al finalizar la intervencin enfocada a la rendicin de cuentas, a la apreciacin de los resultados e impactos finales alcanzados y a la toma de decisiones respecto a iniciativas de continuidad. Evaluacin continua (el evaluador es un miembro ms del equipo) enfocada a acompaar procesos de innovacin en organizaciones e intervenciones en el marco de entornos complejos. Evaluacin del diseo de una intervencin antes de iniciar su implementacin. Evaluacin realizada durante la ejecucin de una intervencin y enfocada a mejorar su puesta en marcha. Evaluacin realizada al terminar la intervencin para valorar sus resultados. Evaluacin realizada pasado un tiempo despus de la finalizacin de la intervencin para valorar su impacto. Evaluacin realizada para determinar la factibilidad y pertinencia de una evaluacin antes de ejecutarla. La evaluacin es realizada por personas involucradas en la ejecucin de la intervencin. Tiene la ventaja de que las personas que realizan la evaluacin conocen bien la intervencin y a los actores participantes. En cambio, tiene ms dificultad para demostrar imparcialidad e independencia, lo que puede afectar a la credibilidad de la evaluacin o incluso presentar riesgos de conflictos de intereses. Por ltimo, las personas involucradas en la ejecucin de una intervencin no necesariamente disponen de conocimientos y experiencia sobre evaluacin. La evaluacin se encarga a actores externos, que no estn implicados en la ejecucin de la intervencin. Tiene las ventajas de ofrecer imparcialidad e independencia, as como conocimiento especializado y experiencia previa en el mbito de la evaluacin. Ambos elementos otorgan mayor credibilidad y legitimidad a los hallazgos y conclusiones de la evaluacin. La evaluacin es responsabilidad de un equipo mixto que integra a representantes de la entidad ejecutora y evaluadores externos. El equipo evaluador integra a representantes de las comunidades donde se ejecuta la intervencin. El personal evaluador acta como facilitador del proceso. Las metodologas empleadas garantizan que la poblacin meta participe en todas las fases del proceso de evaluacin y que sus resultados les sean tiles. As, los grupos locales consensan tanto las finalidades y preguntas de evaluacin como el uso dado a las conclusiones y recomendaciones. Por su naturaleza, las evaluaciones participativas suelen centrarse ms en el anlisis de los procesos y de los cambios en los actores que en los resultados alcanzados. La evaluacin responde a las necesidades y los intereses de las comunidades donde se ejecuta la intervencin. Con el acompaamiento de los evaluadores, la poblacin local establece sus objetivos, metodologas y usos.
Interna
Participantes que la realizan
Externa
La evaluacin responde a las necesidades y los intereses de los actores de la intervencin: donantes y/o ejecutores. Sus pautas marcan el trabajo de los equipos de evaluacin a la hora de establecer objetivos, metodologas y usos de la evaluacin.
Mixta
Participativa
20

De diseo De resultados De intervencin Se centra en evaluar la calidad del diseo de la intervencin, analizando su pertinencia, si la lgica de intervencin se ajusta a los resultados y objetivos previstos, etc. Se centra en evaluar los resultados previstos por la intervencin. Se centra en la evaluacin de un proyecto, programa o polticas de cooperacin especficos, valorando su calidad de conjunto de acuerdo con los diversos criterios de valoracin. Se centra en evaluar un instrumento especfico (por ejemplo, valorando en el marco de distintas intervenciones herramientas de asistencia tcnica, apoyo a lneas presupuestarias, redes temticas de intercambio, etc.). Se centra en evaluar el impacto de una o varias intervenciones, es decir, en determinar el conjunto de sus efectos y resultados en el contexto, sean estos previstos o no, positivos o negativos. Se centra en evaluar el proceso que ha implicado la ejecucin de la intervencin, enfatizando los impactos sobre los actores y los cambios institucionales. Para ello, analiza elementos tales como las relaciones personales e institucionales, los procedimientos de toma de decisiones, la mejora de capacidades, los mecanismos de gestin o las percepciones de los actores acerca de las experiencias. Las evaluaciones temticas se caracterizan por su vocacin comparativa. Se centran en evaluar temas especficos respecto a diferentes intervenciones. El contenido de las evaluaciones comparativas puede ser muy diverso: evaluacin geogrfica (de pas, regional o mundial), transversal, institucional, de estrategias, de sectores de intervencin, etc. En el caso que nos ocupa en la presente gua, podramos imaginar evaluaciones conjuntas sobre el impacto de un grupo de intervenciones de CD que analicen, entre otros ejemplos: la autonoma financiera y fiscal de los GL; la participacin ciudadana en la gestin de las polticas pblicas locales; el apoyo, por parte de los gobiernos centrales, a la descentralizacin y la autonoma de los GL; o el fortalecimiento del enfoque de gnero en las polticas pblicas locales. Las evaluaciones temticas comparativas ayudan a responder al reto que representa la multiplicacin de informacin generada por la evaluacin y favorecen el aprendizaje de una gran diversidad de actores, ya que ofrecen conclusiones y recomendaciones de sntesis, aplicables a organizaciones y contextos diferentes. Se centra en la evaluacin de las propias evaluaciones y en el sistema evaluativo. Generalmente, las metaevaluaciones analizan un gran nmero de evaluaciones, valorando su calidad respecto a aspectos determinados (pertinencia, rigor metodolgico, utilidad y aplicacin, etc.). Adems de difundir de manera sinttica el conocimiento acumulado por las evaluaciones, las metaevaluaciones tambin generan transparencia acerca del propio sistema de evaluacin, evidenciando sus limitaciones y reforzando su credibilidad y legitimidad. Se refiere a evaluaciones promovidas por el donante o el organismo ejecutor. Se refiere a evaluaciones promovidas conjuntamente por un grupo de donantes u organismos ejecutores. En los ltimos aos, las evaluaciones conjuntas se han incrementado bajo la influencia de los principios de la agenda de la eficacia de la ayuda. Puede reducir los costes y aumentar la imparcialidad, y facilita realizar evaluaciones ms complejas y ambiciosas.
De instrumento
De impacto
De procesos Objeto/contenido Temtica
Metaevaluacin
Individual Agentes promotores
Conjunta
21
2.3. Evoluciones y tendencias en el mbito de la evaluacin

Como cualquier otro mbito, la evaluacin es dinmica y ha pasado por cambios y evoluciones a lo largo del tiempo. En los textos sobre evaluacin, a menudo se hace referencia a cuatro generaciones esenciales de evaluacin para dar cuenta de la evolucin en los enfoques y perspectivas predominantes. Aunque en la prctica las generaciones
Generacin 1 generacin (1900-1970) La evaluacin como medicin 2 generacin (1980 en adelante) La evaluacin como descripcin Principales caractersticas
se solapan en muchos aspectos, el esquema ayuda a entender los procesos de cambio que se han dado a lo largo del tiempo. El resultado actual de la influencia de sucesivas generaciones es la convivencia de mltiples enfoques y perspectivas de evaluacin. Los cambios en las orientaciones de la evaluacin reflejan tambin la evolucin a lo largo del tiempo de los paradigmas cientficos dominantes
Cuadro 2: Las generaciones de evaluacin
La evaluacin se enfoca, prioritariamente, hacia la medicin cuantitativa de productos y resultados de las intervenciones que justifiquen la inversin. Responde a los intereses y perspectivas de los donantes y de quienes la encargan. El rol del equipo evaluador es eminentemente tcnico y se centra en aportar mtodos e instrumentos cuantitativos de medicin. La evaluacin se orienta hacia la medicin de la eficacia de las intervenciones y se centra en el anlisis de los resultados y objetivos esperados. Se evala el desempeo de las iniciativas de cooperacin con un propsito esencial de rendicin de cuentas y de transparencia, as como de mejora de las intervenciones. La evaluacin sigue respondiendo prioritariamente a los intereses y perspectivas de los donantes. El rol del equipo evaluador es describir lo que ha ocurrido en el proyecto o programa respecto a la previsin inicial. Ya no se evalan solamente los resultados y objetivos esperados, sino tambin la propia intervencin (finalidades, pertinencia, relevancia, diseo, lgica de intervencin, etc.), los impactos no esperados o negativos y los procesos. El juicio se convierte en un elemento central de la evaluacin. Las herramientas cualitativas se aaden a las cuantitativas y se intenta incorporar la perspectiva de las poblaciones metas. La vocacin de la evaluacin es esencialmente de aprendizaje. Las conclusiones y recomendaciones producidas por las evaluaciones permiten mejorar los procesos e intervenciones, sustentando la toma de decisiones. Las evaluaciones siguen respondiendo, principalmente, a los intereses de los donantes, pero la imparcialidad de los equipos evaluadores se vuelve clave. El equipo evaluador ya no aporta nicamente mtodos de medicin y anlisis, sino un juicio independiente y legtimo sobre la intervencin, su impacto y sus procesos. Los enfoques de evaluacin se sustentan en la participacin de todos los actores, en la incorporacin de sus mltiples perspectivas y en su aprendizaje. La evaluacin no se limita a analizar las intervenciones y sus resultados y objetivos, sino que estudia sobre todo los procesos (cmo se consiguen o no los objetivos?, por qu?). Las poblaciones toman las decisiones respecto al proceso evaluativo y participan en todas sus fases (desde la definicin de objetivos hasta la aplicacin y socializacin de las recomendaciones). Metodolgicamente, exige una mayor flexibilidad y articula mtodos cualitativos y cuantitativos. La evaluacin ya no responde nicamente a los intereses de los donantes, sino que debe orientarse en funcin de los intereses y perspectivas de las poblaciones meta. La denominada 4 generacin de enfoques de evaluacin incluye una gran diversidad de propuestas, terminologas y corrientes (evaluacin participativa, enfocada a la utilizacin, empoderadora, democrtica, etc.). El equipo evaluador se convierte en un actor facilitador cuyo rol esencial es asegurar que se incorporen mltiples perspectivas y valores, as como que participe la mayor diversidad de actores posibles, conciliando y negociando sus necesidades e intereses.
3 generacin (1990 en adelante) La evaluacin como juicio
4 generacin (1990 en adelante) La participacin en la evaluacin
Elaboracin propia a partir de: UNICEF 2006, MAE-SECIPI 1998, Cordobs y Sanz 2009, Gonzlez 2005, Izquierdo 2008, y W. K. Kellogg Foundation 2004.
22
en diversas disciplinas (ver, por ejemplo, Izquierdo 2008).3 En los ltimos aos, tambin podemos observar varias evoluciones coexistentes en el mbito de la evaluacin. Una primera tendencia es el paso progresivo desde la evaluacin de intervenciones puntuales hacia la realizacin de evaluaciones temticas y comparativas. Cada vez ms agencias bilaterales y multilaterales se focalizan en evaluaciones temticas, por pases, de polticas o estrategias, mientras disminuye el nmero de actores que se centran en evaluar proyectos o programas concretos (Foresti 2007). Otra tendencia paralela, impulsada por los principios de alineacin y armonizacin es el crecimiento de las evaluaciones conjuntas que facilitan la realizacin de evaluaciones temticas de vocacin comparativa y la valoracin de los nuevos instrumentos de cooperacin (apoyo a lneas
presupuestarias, a polticas sectoriales, a estrategias por pases, etc.). La evolucin desde una evaluacin enfocada a analizar proyectos y programas concretos hacia una evaluacin centrada en los procesos, en los cambios institucionales y sistmicos, encaja bien con las necesidades de la CD considerada en esta gua que tiene como objetivo fortalecer y generar polticas pblicas locales. As, las evaluaciones temticas y comparativas responden ms adecuadamente que el anlisis de intervenciones concretas a las necesidades metodolgicas e intereses analticos que conlleva el estudio de las polticas pblicas. Como ya hemos mencionado, las evaluaciones que tratan temas transversales permiten alcanzar conclusiones, recomendaciones y lecciones aprendidas consolidadas, que facilitan significativamente el aprendizaje colectivo de los GL. En consonancia con el propsito de la gua de facilitar la identificacin y difusin de modelos de referencia, las evaluaciones de vocacin comparativa y conjuntas pueden sistematizar buenas prcticas que faciliten la mejora de las polticas pblicas locales que contribuyen a la cohesin social. Por ello, la metodologa aqu expuesta aboga por priorizar procesos de evaluacin conjuntos entre diversos GL centrados en evaluaciones temticas comparativas de la CD que permitan promover la mejora y el aprendizaje colectivo de los actores subestatales en torno a las polticas pblicas locales. Otra tendencia que se puede observar en los ltimos aos es la emergencia de
3 As, vemos cmo los enfoques filosficos del positivismo y mecanicismo provenientes de la fsica y de la matemtica impulsan una prctica evaluativa centrada en reflejar la realidad, de manera exacta, a travs de mtodos cuantitativos rigurosos (modelos experimentales o cuasiexperimentales). El realismo (Westhorp 2011), en cambio, cuestiona la posibilidad de alcanzar evidencias y certidumbres, y lleva a valorar, a travs de mtodos cualitativos y cuantitativos, qu funciona en qu contextos y para quin. Por ltimo, el constructivismo sustenta un enfoque de evaluacin alimentado por disciplinas como la antropologa o la sociologa que otorga centralidad a las mltiples perspectivas y puntos de vista acerca de la realidad y los refleja, sobre todo, por medio de tcnicas cualitativas de investigacin.
23
iniciativas y esfuerzos de articulacin entre actores institucionales y armonizacin de metodologas en el campo de la evaluacin. Observamos, por ejemplo, la multiplicacin de espacios de coordinacin y trabajo en red de los principales actores del sistema de cooperacin internacional: el DAC Network on Development Evaluation, promovido por la OCDE; el Evaluation Coordination Grup (ECG), establecido por los bancos multilaterales de desarrollo; el United Nations Evaluation Grup (UNEG), que articula los actores del sistema de las NNUU; as como redes de coordinacin internacional centradas en la evaluacin de impacto, como la International Iniciative on Impact Evaluation (3ie) y el Network of Networks on Impact Evaluation (NONIE). Todas estas iniciativas facilitan la armonizacin de enfoques y metodologas y promueven las iniciativas de evaluacin. Finalmente, hay que sealar que las tendencias no son unvocas y a veces pueden parecer contradictorias. Por ello, hay que relativizar la emergencia de un enfoque sustentado en evaluaciones temticas, de procesos y centradas en elementos ms cualitativos y el declive de evaluaciones ex post de intervenciones concretas apoyadas en metodologas cuantitativas. En efecto, tambin se observa en los ltimos aos un renovado inters por las evaluaciones de impacto sustentadas en modelos experimentales y cuasi-experimentales. Esta tendencia reciente se ve fuertemente apoyada por redes internacionales, como 3ie y NONIE, que acabamos de mencionar, y puede
implicar que los resultados e impactos vuelvan a priorizarse ante los procesos, producto quizs de la nueva agenda de la eficacia de la ayuda. Asimismo, se ha de indicar que, aunque desde hace dcadas la importancia de la participacin, de los elementos cualitativos y de la incorporacin de mltiples perspectivas ha ido ganando fuerza en los discursos y metodologas de evaluacin, en la prctica, las evaluaciones participativas no se han generalizado y siguen siendo minoritarias.
2.4. Ms all de tipologas y enfoques: una perspectiva flexible en funcin de los objetivos y preguntas de evaluacin
Al trmino del recorrido por tipologas y enfoques de evaluacin, debemos preguntarnos: qu opciones resultan ms adecuadas para evaluar la CD y sus contribuciones a las polticas pblicas locales? Qu enfoque concreto de evaluacin adopta la gua? De manera general, podemos considerar que valorar el impacto de la CD en las polticas pblicas locales aconseja no limitarse a la rendicin de cuentas y exige superar enfoques de la evaluacin como medicin o descripcin (las generaciones 1 y 2 que hemos descrito brevemente). As, para evaluar adecuadamente la evolucin de las polticas pblicas, es necesario ir ms all de los resultados esperados por las intervenciones de cooperacin, y evaluar el conjunto de efectos (previstos y no previstos) de
24
las iniciativas en las polticas, as como analizar los procesos en marcha en la realidad local y no solamente los proyectos y programas concretos. La evaluacin
Cuadro 3: Tipologas de evaluacin priorizadas para valorar la CD
Criterio de clasificacin
debera enfocarse, principalmente, al aprendizaje y a la mejora de la calidad, garantizando la participacin de los diversos grupos sociales y la inclusin
Tipo de evaluacin Intermedia y final
Pertinencia en evaluacin de la cd Se desaconsejaran debido a sus limitaciones para valorar los efectos de las iniciativas de cooperacin en las polticas pblicas. Debido a que los resultados e impactos de las iniciativas de CD en las polticas pblicas locales suelen producirse a largo plazo, se prioriza realizar las evaluaciones pasado un tiempo despus de la finalizacin de las intervenciones, para valorar ms adecuadamente sus efectos. Se desaconsejara debido a la complejidad de la evaluacin de impactos en polticas pblicas. Debido a la complejidad que conlleva evaluar el impacto de iniciativas de cooperacin en polticas pblicas locales (tanto en cuanto a contenidos como desde el punto de vista metodolgico), se aconseja realizar evaluaciones externas que permitan contar con evaluadores con conocimientos especializados y experiencia previa. La participacin ciudadana permite que las polticas pblicas locales sean legtimas y transparentes y se adecen a las necesidades e intereses de los diversos colectivos. Evaluar los contenidos de cohesin social territorial asociados a la CD y a las polticas pblicas locales hace necesaria la participacin de mltiples actores y la inclusin de las perspectivas de variados grupos sociales, haciendo uso de metodologas cualitativas. Por ello, se aconseja fomentar en todas las evaluaciones el mayor nivel posible de participacin. Sin descartar otras tipologas de contenido que puedan resultar necesarias para los objetivos planteados a la hora de evaluar una iniciativa y su impacto en las polticas pblicas locales, se prioriza la realizacin de evaluaciones temticas de vocacin comparativa. As, ya hemos sealado reiteradamente su potencial para reforzar el aprendizaje colectivo de los GL a travs de la generacin de conclusiones y recomendaciones de sntesis, que faciliten la identificacin y difusin de modelos de referencia de polticas pblicas locales de cohesin social. Se recomienda que los GL intenten realizar evaluaciones conjuntas. Ello facilitara aunar esfuerzos y recursos para enfrentar preguntas de evaluacin complejas, realizar evaluaciones temticas comparativas y generar conclusiones de sntesis que beneficien al mayor nmero de GL y el aprendizaje colectivo. En este sentido, para la difusin de buenas prcticas y lecciones aprendidas coherentes con el enfoque de CD aqu expuesto, podra ser muy til poner en marcha un fondo comn de evaluacin entre GL.
Momento temporal Ex post
Interna
Externa Participantes que la realizan
Participativa
Objeto/contenido
Temtica
Agentes promotores
Conjunta
25
de sus perspectivas, haciendo uso tanto de metodologas cuantitativas como cualitativas (3 y 4 generacin). Por otro lado, analizando las distintas tipologas de evaluacin descritas en el cuadro 1, podemos apreciar que las caractersticas de la CD aconsejaran recurrir, preferentemente, a determinados
tipos de evaluaciones ms que a otros. En el cuadro 3 abordamos las principales tipologas que resultan ms adecuadas para evaluar las iniciativas de CD y su impacto en las polticas pblicas locales de cohesin social. Ms all de estas orientaciones generales acerca de los enfoques y tipologas que
La viabilidad y evaluabilidad de las evaluaciones Los lmites metodolgicos El problema de la atribucin
Como no es posible evaluarlo todo (por lmites de tiempo, recursos, capacidades para asimilar resultados, etc.), es necesario elegir evaluaciones segn relevancia, factibilidad y utilidad. Ante la diversidad de experiencias de la CD (multiplicidad de actores, escalas de intervencin, temticas, sectores, objetivos, etc.), es difcil establecer metodologas de validez general. Por ello, los contenidos de la gua deben utilizarse como pautas, enfoques y mtodos de carcter general que necesitan adaptarse a los objetivos y preguntas de cada evaluacin especfica. Una de las principales dificultades que enfrenta el mbito de la evaluacin, y que trataremos en los captulos 3 y 5, es determinar si un resultado o impacto es fruto o no de la intervencin. Adems del problema de la atribucin, podemos considerar otras dificultades especficas de la evaluacin de la CD y sus influencias en las polticas pblicas locales. Por un lado, la evaluacin en la cooperacin internacional se ha centrado mayoritariamente en valorar proyectos o programas. El estudio centrado en los impactos en las polticas pblicas es menos comn y plantea retos metodolgicos mayores. Por otra parte, evaluar el efecto de las intervenciones de CD en las polticas pblicas locales nos sita en una escala temporal de medio y largo plazo, ya que, en buena parte de los casos, es probable que las influencias de las intervenciones se manifiesten aos despus de finalizada la ejecucin. Por ejemplo, en el caso de iniciativas de cooperacin que han acompaado procesos de descentralizacin, se ha observado que en contextos de inestabilidad financiera o poltica las intervenciones eficaces lo han sido despus de ms de una dcada de trabajo (OECD 2004). Estas escalas temporales generan importantes problemas de atribucin ante causas que se diluyen en el tiempo. Aconsejaran recurrir a evaluaciones de impacto, las ms complejas y demandantes en trminos de recursos humanos y econmicos, as como de tiempo. Una ltima dificultad relativa a la CD se relaciona con la ausencia de consenso acerca de las finalidades y especificidades de esta modalidad de cooperacin. En el caso de la gua, dicha dificultad es superada por el enfoque adaptado por el Programa URB-AL III, que moldea los objetivos de aquellas: la CD tiene como objetivo la mejora y generacin de polticas pblicas locales que contribuyen a la cohesin social y se sustenta en mecanismos de cooperacin horizontales y en el inters mutuo de los GL. El hecho de disponer de una perspectiva clara sobre la CD y sus objetivos facilita, muy significativamente, el uso de la evaluacin y mejora su utilidad. Al analizar los resultados e impactos de las intervenciones de cooperacin, a menudo las evaluaciones no prestan atencin a factores estructurales que condicionan la eficacia y viabilidad de la cooperacin, como son el resto de polticas y relaciones internacionales. Los estudios se centran en las intervenciones, pero se han evaluado muy poco las polticas globales de cooperacin, su relacin con el resto de polticas, as como la coherencia de estas ltimas con los objetivos de reduccin de la pobreza y la desigualdad (Unceta 2011, Izquierdo 2008).
Cuadro 4: Algunas limitaciones y dificultades que enfrenta la evaluacin
Dificultades especficas en la evaluacin de la CD y su impacto en las polticas pblicas
El mbito de la evaluacin y la coherencia de polticas
26
son ms susceptibles de resultar adecuados y pertinentes, es importante destacar que los elementos esenciales de cualquier evaluacin son los objetivos y las preguntas que deben orientarla. Qu finalidades perseguimos con la evaluacin? Qu preguntas queremos que nos elucide? Por qu? Qu actores van a utilizar los conocimientos producidos? De qu manera los van a aplicar? Para qu? Las tipologas y enfoques de evaluacin se articularn en funcin de dichas preocupaciones de aprendizaje y mejora de la calidad de los GL. Por tanto, aunque la gua orienta hacia enfoques o tipos concretos de evaluacin ms adecuados, defiende sobre todo la centralidad de los objetivos y de las preguntas de evaluacin. La finalidad que se marcan los GL a la hora de evaluar condicionar todos los dems componentes de la evaluacin: enfoque, tipologa, metodologa, mecanismos organizativos, estrategias de aplicacin y socializacin de recomendaciones, etc. Esta visin de la evaluacin tambin implica la consolidacin de una cultura de la evaluacin. Es decir, que los GL integren la evaluacin y el aprendizaje en sus mecanismos y estructuras y utilicen el conocimiento producido por las evaluaciones para la mejora de la calidad.
27
28
3. Modelo de evaluacin
En este captulo describiremos diversos criterios de evaluacin (los cinco propuestos por el modelo CAD y tres criterios adicionales), as como su aplicacin a la CD. Por otra parte, reiteraremos la centralidad de los objetivos y preguntas de evaluacin que deben orientar la seleccin de los criterios y la definicin de los dems elementos que caracterizan el modelo evaluativo escogido. Por tanto, al abordar los criterios, hay que tener presente siempre que son unas pautas generales de reflexin que deben concretarse para responder adecuadamente a las preguntas especficas de cada evaluacin.
3.1. Los criterios clsicos de evaluacin: el modelo CAD4

En el captulo anterior, hemos remarcado que el elemento esencial de una evaluacin son las preguntas que la orientan. La evaluacin se ha definido, en la misma seccin, como un instrumento que permite responder a dichas preguntas valorando sistemticamente una intervencin y sus consecuencias en la vida de las personas con las que se ha llevado a cabo. Recordar estos elementos nos ayudar a entender en qu consisten los criterios de evaluacin. Los criterios son conceptos que se han definido para organizar y contestar
las preguntas de cualquier tipo de evaluacin. Podramos decir que constituyen las dimensiones de la calidad comnmente aceptadas en el mbito de la cooperacin internacional, o, dicho de otra manera, son puntos de vista a partir de los cuales es posible valorar la calidad de las iniciativas de cooperacin. Los criterios tambin estn estrechamente relacionados con el carcter de sistematicidad que define a la evaluacin. A diferencia de un juicio o una opinin, hemos visto en el captulo anterior que la evaluacin aporta una valoracin sistemtica, es decir, sustentada en enfoques y metodologas validados internacionalmente. Los criterios de evaluacin son uno de los elementos que permiten que la valoracin que realiza la evaluacin se lleve a cabo de manera sistemtica y transparente, y, por tanto, aportan credibilidad y legitimidad a los hallazgos, conclusiones y recomendaciones. Los criterios adoptados y utilizados por la mayora de organismos pblicos y entidades privadas del sistema de cooperacin son los que ha propuesto el CAD de la OCDE. Se trata de cinco criterios que articulan el consenso y estndar internacional de calidad en materia de evaluacin: pertinencia, eficiencia, eficacia, impacto y sostenibilidad. Aunque los organismos internacionales de desarrollo y las agencias bilaterales de cooperacin no adoptan una metodologa uniforme de evaluacin, s incorporan los cinco criterios CAD como aspecto central de sus modelos evaluativos. Ms all de este
4 Algunos contenidos de este apartado han sido adaptados de Gascn y Mosangini 2009.
29
Se suele distinguir entre indicadores cuantitativos (expresados cuantitativa y numricamente) e indicadores cualitativos (expresados por valoraciones y descripciones), as como entre indicadores directos (expresan la variable a medir) e indicadores indirectos (expresan el comportamiento de una variable mediante la medicin de otra menos compleja o costosa de medir). Para ser considerado de calidad, un indicador debe reunir una serie de caractersticas tales como: ser especfico, medible, alcanzable, relevante, definido temporalmente o econmico. A veces, se categorizan los indicadores de acuerdo con su finalidad en la evaluacin (en funcin del objeto evaluado: indicadores de proceso, resultado, impacto, etc.; en funcin de la temtica evaluada: indicadores sociales, de gnero, sectoriales, geogrficos, etc.).
Cuadro 5: Algunas consideraciones sobre indicadores de evaluacin
consenso mnimo, la concrecin de las metodologas depende de cada actor y de las propuestas realizadas por los equipos evaluadores (generalmente externos) para responder a los objetivos y preguntas de las evaluaciones. A continuacin, detallaremos el contenido de cada uno de los cinco criterios. En el marco de cada apartado, se sugerirn algunos ejemplos de indicadores para valorar las intervenciones de CD y su impacto en las polticas pblicas locales. Los indicadores se utilizan para hacer operativos los criterios. Si los criterios permiten sistematizar y organizar las preguntas de evaluacin, los indicadores, a su vez, concretan para cada criterio los contenidos de las respuestas que es preciso buscar y orientan hacia las fuentes de informacin necesarias. Los ejemplos de indicadores que aqu se aportan son de carcter general para ayudar a la comprensin de los contenidos. Por tanto, no renen los requisitos de calidad que deben cumplir los indicadores (ver cuadro 5) y no son directamente aplicables. La definicin de indicadores concretos deber realizarse para cada evaluacin especfica.
Pertinencia
Definicin: La pertinencia evala la relevancia de la intervencin de acuerdo con las necesidades, capacidades y prioridades de los actores locales, as como en funcin de las polticas de los donantes. Preguntas clave: / La intervencin responde a las necesidades, capacidades y prioridades locales y de los donantes? / En el caso de cambios en las necesidades y prioridades, cmo se ha adaptado la intervencin? La pertinencia analiza la calidad de las intervenciones en funcin de su grado de adecuacin al contexto en el que opera. Para ello, confronta la iniciativa de cooperacin con su entorno: diversidad de actores, perspectivas, necesidades e intereses, polticas, instituciones, etc. Dichos elementos influyen en la legitimidad de la intervencin, en las poblaciones meta, en las problemticas abordadas y en las posibilidades de
30
alcanzar los resultados y objetivos planteados. La pertinencia de una intervencin mide su adecuacin a: las necesidades, prioridades, perspectivas y formas de vida de las poblaciones de los territorios donde se ejecuta; las polticas y estrategias de las instituciones locales, regionales y estatales; y las polticas y estrategias de los donantes. Si no es til ni coherente para dichos actores, una iniciativa de cooperacin no debera llevarse a cabo. La pertinencia tambin analiza si las soluciones tcnicas propuestas son adecuadas a los problemas identificados y a las capacidades de los actores locales
Ejemplos de indicadores genricos de pertinencia
y/o ejecutantes. Por su naturaleza, el criterio centrar su atencin de manera privilegiada en los aspectos y fases de planificacin, identificacin y diseo de las intervenciones. Dicho esto, debido a que el contexto cambia continuamente, el anlisis de la pertinencia debe ser dinmico y valorar las capacidades de adaptacin de las intervenciones. Un elemento que queremos destacar es que la pertinencia presenta distintas dimensiones que pueden ser contradictorias sin afectar, necesariamente, a la pertinencia global de la intervencin. Por ejemplo, la pertinencia de una iniciativa no implica siempre que se adece a las polticas
Los objetivos de la intervencin se han definido incorporando las necesidades e intereses de los distintos grupos sociales. Los mecanismos de ejecucin se han diseado en funcin de las realidades y capacidades institucionales del GL. Para evaluar las intervenciones de CD La iniciativa y las polticas locales que apoya son pertinentes con las polticas estatales o, en caso contrario, el diseo de la intervencin ha incorporado estrategias para enfrentar posibles contraposiciones. La iniciativa de cooperacin responde a intereses compartidos y recprocos de las autoridades latinoamericanas y europeas participantes sustentados en relaciones de colaboracin a medio y largo plazo. La intervencin se ha alineado con los principales instrumentos locales, nacionales e internacionales de promocin de la equidad de gnero (CEDAW, etc.). Las polticas pblicas impulsadas por la intervencin se adecan a las competencias institucionales del GL. Las polticas pblicas que la iniciativa de cooperacin ha contribuido a generar responden a la agenda de gobierno del GL. Las polticas pblicas locales apoyadas incorporan necesidades e intereses de colectivos sociales discriminados (por razones de sexo, condicin socioeconmica, pertenencia a minoras tnicas, capacidades, etc.). La intervencin ha contribuido a que el GL proporcione servicios pblicos adecuados a las necesidades y requerimientos de la ciudadana.
Para evaluar la contribucin a las polticas pblicas locales
31
estatales, sino que las haya tomado en consideracin para disear sus estrategias de intervencin. Podemos imaginar un GL que decide fortalecer su autonoma y capacidades a travs de la participacin en una iniciativa de CD pero que el gobierno central del Estado sea reticente ante procesos de descentralizacin. En este caso, la pertinencia de la intervencin no radica en la adecuacin a las polticas estatales, sino en evaluar si la concepcin de la iniciativa ha tenido en cuenta dichas tensiones y si ha elaborado estrategias adecuadas para enfrentar la situacin.
Eficiencia
Definicin: La eficiencia evala la relacin entre los recursos invertidos (econmicos, humanos, tcnicos, materiales y temporales) y los resultados obtenidos. Preguntas clave: / Se podran haber alcanzado los resultados utilizando menos recursos o en menos tiempo? / Los recursos utilizados podran haber alcanzado mayores y/o mejores resultados? La eficiencia es un anlisis de carcter esencialmente econmico que valora si los recursos invertidos por la intervencin se han utilizado de la manera ms ptima y priorizando las opciones menos costosas.
Analiza los procesos a travs de los cuales los distintos tipos de recursos movilizados por la iniciativa (financieros, humanos, materiales, tcnicos, de tiempo, etc.) se han transformado en resultados. Estudia si los mismos resultados (tanto cuantitativos como cualitativos) se podran haber alcanzado con menos recursos, una mayor optimizacin o en menos tiempo. Tambin analiza si un uso alternativo de los distintos recursos destinados a la ejecucin de la intervencin podra haber generado resultados ms significativos en trminos cuantitativos o cualitativos. El grado de eficiencia mxima de una intervencin se alcanzara, por tanto, cuando el valor de sus resultados superara cualquier uso alternativo de los recursos. Por su naturaleza, el criterio lleva a centrar la atencin en determinados elementos de las intervenciones, tales como las actividades, el presupuesto, el cronograma de ejecucin, los procedimientos de gestin y los resultados. El grado de eficiencia nunca es absoluto, siempre se establece en comparacin con asignaciones alternativas de recursos u otras opciones de obtencin de resultados. El criterio se suele medir con herramientas procedentes de la ciencia econmica (por ejemplo, los anlisis coste-beneficio), aunque tambin necesitar anlisis de tipo ms cualitativo (valorar si la intervencin ha recurrido a personal local y a recursos adquiridos localmente, por ejemplo) o poltico (podemos imaginar que una intervencin decida adquirir bienes locales aunque sean ms caros para favorecer el empleo local).
32
Ejemplos de indicadores genricos de eficiencia
Para evaluar las intervenciones de CD
Los procedimientos administrativos y los mecanismos reguladores de la intervencin han facilitado su flexibilidad y adaptacin al contexto. La intervencin no ha sufrido desviaciones presupuestarias o de plazo de ejecucin significativas. Los medios materiales y humanos de los que dispone el GL son suficientes y adecuados para sostener las polticas pblicas fortalecidas.
Los instrumentos implementados por las polticas pblicas apoyadas son los menos costosos en recursos para alcanzar los servicios y productos requeridos. La intervencin ha contribuido a que el GL disponga de mejores sistemas de informacin (sistemas estadsticos desagregados por sexo, etc.). La intervencin ha contribuido a incrementar la cantidad y calidad de los servicios pblicos proporcionados a la poblacin local utilizando de manera ptima los recursos.
Terminaremos sealando algunas limitaciones del criterio que hay que tener presentes a la hora de aplicarlo. Por un lado, hay que considerar que la eficiencia depende de la eficacia. Lo esencial es que una intervencin sea eficaz, o sea, que alcance los objetivos y resultados que se propone, y luego establecer si lo ha sido de la manera ms eficiente posible. Por otro lado, hay que tener en cuenta que la utilizacin de herramientas como el anlisis coste-beneficio puede introducir sesgos respecto a las futuras generaciones y la sostenibilidad ambiental, ya que no suelen incorporar adecuadamente los intereses de las poblaciones futuras ni los costes reales en trminos ecolgicos. Por ltimo, un anlisis positivo de la eficiencia, en el incremento de un servicio, por ejemplo, puede esconder desigualdades de acceso (de acuerdo con criterios de sexo o diferenciaciones sociales, etc.).
Eficacia
Definicin: La eficacia evala en qu medida la intervencin ha alcanzado sus objetivos y resultados. Preguntas clave: / Se han alcanzado los objetivos y resultados previstos? Por qu razones? / Los distintos grupos que conforman la poblacin meta acceden a los resultados de la intervencin? La eficacia mide el grado en que la intervencin ha alcanzado o va a alcanzar sus objetivos y resultados. Ms concretamente, siguiendo la lgica vertical de las intervenciones, determina si la iniciativa ha alcanzado sus resultados esperados y, como consecuencia de ello, ha cumplido su objetivo especfico. Tambin evala las principales razones
33
La intervencin ha alcanzado los resultados y objetivos previstos. La poblacin meta accede de manera igualitaria a los resultados de la intervencin. La iniciativa ha contribuido a mejorar e incrementar las capacidades y competencias institucionales del GL, para elaborar e implementar polticas y servicios pblicos de mbito local.
Ejemplos de indicadores genricos de eficacia
La intervencin ha fortalecido polticas pblicas locales que favorecen la cohesin social. La intervencin ha contribuido al diseo e implementacin de nuevas polticas pblicas e instrumentos enfocados a mejorar la cohesin social. La intervencin ha acompaado procesos de transformacin e innovacin de las polticas pblicas locales para mejorar su contribucin a la cohesin social territorial.
que explican cmo y por qu se han alcanzado o no los resultados y objetivos. Para ello, la evaluacin tiene que medir resultados y objetivos aplicando herramientas cuantitativas y cualitativas, as como valindose de los instrumentos producidos por la propia intervencin (diagnsticos, lnea base, indicadores, fuentes de verificacin, etc.). Una vez comprobado el grado de alcance de resultados y objetivos, la evaluacin de la eficacia tiene que atribuir los efectos a causas internas de la propia intervencin y/o a causas externas para poder emitir un juicio sobre la calidad de la iniciativa en alcanzar lo que se haba propuesto. Cabe destacar que el anlisis de la eficacia se ve muy condicionado por la calidad del diseo de las intervenciones. Limitaciones en la concepcin de una iniciativa pueden afectar seriamente la posibilidad de medir su eficacia. Sealamos algunos ejemplos de debilidades de la concepcin de la intervencin que hipotecan la posibilidad de evaluar la eficacia: la iniciativa no tiene resultados y/u objetivos claros;
no dispone de indicadores y fuentes de verificacin de calidad; no estableci una lnea base o diagnsticos para reflejar la situacin inicial; su lgica de intervencin es incorrecta, pues las actividades previstas no permiten alcanzar adecuadamente los resultados, ni estos garantizan el cumplimiento del objetivo especfico. Ante estas dificultades, el equipo evaluador se ver forzado a generar informacin a posteriori o incluso a reformular resultados y objetivos operativos para el proceso evaluativo. Por ltimo, sealamos que, al medir la eficacia, es importante mantener a la poblacin meta en el centro de las preocupaciones, ya que los resultados y objetivos deben enfocarse a mejorar sus condiciones de vida. Para ello, es crucial tener presente las diferenciaciones existentes en el seno de la poblacin considerada (disgregando la informacin por sexo, condicin socioeconmica, edad o grupo tnico de pertenencia) para detectar cualquier sesgo en el acceso a los resultados de la intervencin. La implicacin de los diversos grupos, desde
34
la concepcin de la iniciativa y en todas las fases del ciclo de la intervencin, es un elemento que condiciona la eficacia.
Impacto
Definicin: El impacto es el conjunto de los efectos (positivos o negativos, previstos o no) producidos por la intervencin sobre la poblacin y el entorno. Preguntas clave: / Qu efectos ha tenido la intervencin sobre la poblacin y el contexto? Han sido positivos o negativos, previstos o no? / Los efectos se pueden atribuir a otras causas? / Qu habra ocurrido de no realizarse la intervencin? Como seala su definicin, el impacto engloba la totalidad de efectos de una intervencin sobre la poblacin y el contexto en general. Por efectos se entienden todos los cambios producidos por una iniciativa. El criterio es muy amplio e implica considerar todas las posibles consecuencias de la intervencin. En el cuadro 6, se resumen las principales tipologas de efectos que puede tener una intervencin. El anlisis de impacto, en un primer momento, tiene que identificar todos
los cambios que han ocurrido en la realidad considerada respecto a la situacin previa a la intervencin. La informacin proporcionada por la propia iniciativa puede ayudar en la tarea (lnea base, diagnsticos iniciales, indicadores, etc.), aunque, como hemos sealado anteriormente, no siempre estar disponible. Por otro lado, las herramientas de las intervenciones suelen estar enfocadas a medir los resultados previstos, aunque no ayudarn mucho a apreciar efectos no previstos o indeseados. En un segundo momento, una vez determinados los principales cambios producidos en la poblacin y el entorno, la evaluacin deber atribuirles o no vnculos de causalidad con la intervencin. Excluyendo los efectos producidos por causas externas y sistematizando los cambios atribuibles a la intervencin, se evidenciar su impacto. Establecer indiscutiblemente que la intervencin ha producido determinados cambios y efectos puede ser muy complejo, ya que los fenmenos suelen ser producto de una gran variedad de causas y factores. Separar los efectos de una intervencin de los efectos externos a ella no siempre es posible. Como se explica en el anexo metodolgico 1, muchos autores defienden que, para superar las dificultades de atribucin y para que las evaluaciones se puedan considerar realmente evaluaciones de impacto, necesitan realizarse bajo condiciones experimentales de aleatorizacin. Los modelos experimentales o cuasiexperimentales permiten comparar dos grupos poblacionales: uno ha sido objeto de la intervencin y otro, no. El hecho
35
Tipo de efecto Previstos y no previstos Positivos y negativos
Principales caractersticas El impacto no solamente valora resultados y objetivos previstos, sino tambin efectos no contemplados por la lgica de intervencin. Por ello, analiza las consecuencias e implicaciones no intencionales que ha tenido la iniciativa. El impacto no se limita a evaluar los efectos positivos; tambin analiza las consecuencias negativas no deseadas o los efectos perversos que puede haber tenido una intervencin. El impacto no estudia nicamente los efectos de la intervencin sobre la poblacin meta, sino que analiza sus consecuencias sobre el conjunto de la poblacin y evala cualquier sesgo y posible diferenciacin en los impactos relacionados con el sexo, la condicin socioeconmica, la edad, la pertenencia a minoras tnicas, o cualquier otra especificidad de un grupo considerado. El impacto analiza los efectos sobre el entorno y el contexto entendidos en sentido amplio: contexto poltico, social, econmico, cultural, ambiental, institucional, etc. Generalmente, el impacto de una intervencin se aprecia a medio o largo plazo (por ello, a veces los trminos evaluacin de impacto y ex post se utilizan como sinnimos); la evaluacin de impacto analiza efectos en todas las escalas temporales posibles. El impacto no se limita a abordar los efectos de la intervencin ms aparentes y claros, sino que tiene que analizar posibles efectos indirectos o secundarios. El impacto analiza los efectos de la intervencin que se hayan podido producir en cualquier escala geogrfica o territorial, en el mbito local, regional, nacional o internacional, a nivel micro (en las condiciones de vida de las personas) o a nivel macro (en polticas sectoriales).
Cuadro 6: Tipos de efectos analizados por el criterio de impacto
Sobre la poblacin
Sobre el contexto A corto, medio y largo plazo Directos e indirectos
En el mbito local, nacional o regional
de contar con un grupo de control con caractersticas similares a la poblacin meta que no ha participado en la iniciativa (contrafactual) debera permitir separar, con seguridad, los efectos atribuibles a la intervencin de los que obedecen a otras causas. Sin embargo, bajo estas exigencias metodolgicas, pocas evaluaciones en el mbito de la cooperacin se pueden considerar de impacto. En la mayora de situaciones, las evaluaciones optan por combinar pragmticamente mtodos cuantitativos no experimentales y mtodos cualitativos, buscando la comprensin multidimensional del impacto y de los procesos.
A las incertidumbres que genera la atribucin se aaden las exigencias de tiempo, de conocimientos, metodolgicas y de recursos econmicos y materiales para llevar a cabo evaluaciones de impacto. Esta situacin convierte al criterio en lo ms complejo de valorar. Su dificultad desaconseja realizar evaluaciones sobre el impacto general de una intervencin que aborden el conjunto de sus efectos, por ser excesivamente ambiciosas. Suele ser ms til y viable hacer evaluaciones de impacto vinculadas a una temtica especfica alrededor de la cual queremos aprender y mejorar. As, se podra evaluar el impacto de un grupo de intervenciones de CD en procesos de descentralizacin, en el establecimiento de
36
Ejemplos de indicadores genricos de impacto
La intervencin ha obtenido efectos positivos en las capacidades, competencias y estructuras del GL. La iniciativa ha generado efectos positivos en las condiciones de vida y acceso a servicios pblicos de la ciudadana. El impacto positivo de la intervencin en las polticas pblicas locales ha sido posible gracias a la especificidad y valor aadido del enfoque de CD aplicado. Los efectos de la intervencin en las polticas pblicas locales se traducen en impactos positivos para la ciudadana y los distintos grupos sociales que la componen.
mecanismos de participacin ciudadana, en la generacin de mecanismos de transversalizacin de las polticas pblicas apoyadas entre diversos departamentos o reas temticas, en la participacin poltica de las mujeres, o en la reduccin de desigualdades territoriales, entre otros ejemplos.
Sostenibilidad
Definicin: La sostenibilidad evala las posibilidades de que se mantengan los efectos positivos de una intervencin una vez terminada. Preguntas clave: / Qu efectos positivos de la intervencin tienen potencial para mantenerse a largo plazo y cules no? Por qu? / Las capacidades y el contexto de la poblacin meta y de las instituciones locales permiten que se apropien de los resultados de la intervencin?
La sostenibilidad analiza las probabilidades de que los efectos positivos de una intervencin de cooperacin permanezcan despus de su finalizacin. Se relaciona, esencialmente, con las capacidades de las poblaciones meta y de las instituciones locales para asumir, de manera autnoma, la continuidad de los impactos deseados (actividades, resultados, servicios, infraestructuras, cambios culturales, beneficios intangibles, etc.). Como la responsabilidad de la continuidad de los efectos recae en los actores locales, su anlisis deber centrarse, prioritariamente, en la poblacin e instituciones vinculadas a la intervencin, analizando aspectos como: la adecuacin de la estrategia de intervencin a las realidades locales; la participacin de los actores locales en todas las fases de la iniciativa; los mecanismos de participacin ciudadana previstos para sostener los resultados; las capacidades tcnicas y humanas de los actores locales; etc. El diseo de la intervencin tambin influye en la sostenibilidad. Por ello, habr que analizar en qu medida se previeron, en el momento de la concepcin de la iniciativa y en colaboracin con los actores locales, una estrategia de salida y unos
37
La intervencin ha previsto, desde su diseo, estrategias para la institucionalizacin de las polticas locales fomentadas. Las polticas pblicas locales responden a la agenda de gobierno y compromisos asumidos por el GL ante la ciudadana.
Ejemplos de indicadores genricos de sostenibilidad
Se han implementado medidas para favorecer el apoyo de las polticas estatales a las polticas locales fortalecidas. Las polticas pblicas locales apoyadas contemplan mecanismos de participacin ciudadana para su revisin, seguimiento y evaluacin. Se han fortalecido las capacidades, competencias y autonoma econmica del GL para que sostenga las polticas locales apoyadas.
mecanismos de transferencia viables y eficaces. En el mbito de la evaluacin de la cooperacin, como la sostenibilidad depende en gran medida del contexto, se han intentado sistematizar los elementos ms significativos del entorno de una intervencin que influyen en su viabilidad. En este sentido, se han definido los siguientes factores de desarrollo: polticas de apoyo (las polticas locales, regionales y nacionales facilitan la continuidad de los impactos?); aspectos institucionales (los actores locales tienen capacidad para mantener los efectos positivos y estos responden a sus prioridades?); factores socioculturales (la intervencin y sus efectos se adecan a las caractersticas de los sistemas socioculturales locales?); factores econmicos (los ingresos necesarios para mantener los efectos positivos estn garantizados?); factores tecnolgicos (las tecnologas aplicadas son apropiadas a las condiciones y capacidades locales?); factores ecolgicos (la intervencin y la continuidad de sus efectos positivos respetan la sostenibilidad ambiental?);
factores de gnero (para asegurar la viabilidad de la intervencin, se han tenido en cuenta desigualdades entre sexos y mecanismos para equilibrar poder y distribucin de beneficios entre hombres y mujeres?). En muchos casos, la sostenibilidad es el taln de Aquiles de las iniciativas de cooperacin. El caso de la CD no es una excepcin, y las evaluaciones tambin suelen reflejar importantes dificultades al respecto (OECD 2004). Desde el punto de vista de la gua, que contempla una CD enfocada a apoyar polticas pblicas locales, la cuestin de la sostenibilidad se vuelve an ms estratgica si cabe. De acuerdo con la visin que subyace al texto, la sostenibilidad en la CD consiste en dar el paso desde los elementos que componen una intervencin (actividades, resultados, productos, servicios, enfoques, beneficios, cambios en valores o procedimientos, etc.) hacia la consolidacin de polticas pblicas locales. Si las intervenciones de CD, que, por definicin, estn enfocadas a mejorar las polticas de los GL, no alcanzan la sostenibilidad, pierden su razn de ser.
38
Por ello, la viabilidad de las polticas impulsadas debe ser un elemento central de las evaluaciones de la CD.
estratgicas para los objetivos de la gua: la coherencia, la cobertura y la innovacin.
3.2. La seleccin de criterios propios: algunas propuestas para evaluar la CD

Los cinco criterios que dan cuerpo al modelo de evaluacin propuesto por el CAD, y adoptado por el sistema de cooperacin, permiten sistematizar gran parte de las preguntas y necesidades de informacin requeridas para evaluar una intervencin con calidad. Sin embargo, los criterios CAD no deben considerarse ni exhaustivos ni exclusivos. A la hora de plantearnos llevar a cabo una evaluacin, nuestras perspectivas y nuestras necesidades de informacin pueden requerir la utilizacin de criterios suplementarios. Hay elementos que los criterios clsicos no toman en consideracin de manera suficiente y que, por tanto, pueden quedar sin ser evaluados y analizados. Por otra parte, el uso de unos criterios no impide la utilizacin de otros. Es por ello que, en este apartado, hemos querido sugerir algunos criterios complementarios que consideramos tiles para evaluar ms en profundidad aspectos especficos de las intervenciones de CD y sus impactos en las polticas pblicas locales. A continuacin, describimos muy brevemente tres criterios que entendemos responden a necesidades de informacin
Coherencia
Definicin: La coherencia evala en qu medida las polticas del entorno favorecen la consecucin y la sostenibilidad de los efectos positivos de una intervencin. Preguntas clave: / Las polticas ms significativas que inciden en el entorno son complementarias o contrapuestas a los efectos positivos de la intervencin? Por qu? Por coherencia, entendemos la evaluacin de la relacin entre las polticas del contexto y los resultados y objetivos de la intervencin. Dicha relacin puede afectar de muy diversas maneras el logro y la continuidad de los resultados esperados, desde reforzarlos o sostenerlos en el tiempo hasta imposibilitarlos o revertirlos. Se contempla aqu cualquier tipo de poltica (a escala local, regional, estatal o multilateral), no solamente de desarrollo (otras iniciativas de cooperacin, por ejemplo), sino el conjunto de polticas existentes: econmicas, comerciales, industriales, financieras, ambientales, diplomticas, militares, migratorias, etc. Poltica tampoco debe entenderse aqu,
39
La intervencin se inscribe en los planes estratgicos del GL (plan de desarrollo municipal o similares). Para evaluar las intervenciones de CD La ejecucin de la intervencin es respaldada por la actuacin coordinada de diversos departamentos y reas temticas del GL. La intervencin ha elaborado estrategias para enfrentar contradicciones existentes entre las polticas pblicas locales apoyadas y otras polticas que afectan a la poblacin meta. La intervencin ha contribuido a que otros actores modifiquen polticas o acciones que generan desequilibrios y obstculos (polticos, econmicos, ecolgicos, etc.) para la puesta en marcha de las polticas pblicas del GL. Para evaluar la contribucin a las polticas pblicas locales La iniciativa ha fortalecido polticas que fomentan un marco de reparticin de competencias institucionales basado en la subsidiariedad. La intervencin ha contribuido a formular propuestas polticas que trascienden el mbito territorial del GL y apoyan el reconocimiento del rol y las especificidades de las autoridades subestatales.
Ejemplos de indicadores genricos de coherencia
exclusivamente, en referencia al mbito pblico, ya que podramos considerar tambin, por ejemplo, estrategias empresariales que afectan el logro o sostenibilidad de los efectos positivos de la intervencin en el territorio. El criterio nos lleva a analizar, entre otros elementos, los niveles de transversalizacin alcanzados por los enfoques y efectos positivos de la intervencin. Ello implica valorar las sinergias, los espacios de coordinacin y las articulaciones generadas, entre las distintas reas institucionales del GL, con otros gobiernos subnacionales, o con actores regionales, estatales o multilaterales. Por ltimo, la coherencia tambin implica la evaluacin de la congruencia de la intervencin y de las polticas del entorno con conceptos que refuerzan la autonoma local, tales como la descentralizacin (poltica, administrativa, fiscal), la
subsidiariedad (las polticas pblicas son asumidas por las autoridades ms prximas) y la participacin ciudadana (la poblacin es parte activa en la definicin y gestin de las estrategias locales de desarrollo).
Cobertura
Definicin: La cobertura evala si una intervencin ha alcanzado a todos los colectivos destinatarios y las razones que explican eventuales brechas de acceso. Preguntas clave: / Hay diferencias entre los colectivos meta previstos inicialmente y los que han accedido a los efectos positivos de la intervencin? Por qu razones?
40
La cobertura evala si determinados colectivos de la ciudadana objeto de la intervencin han sufrido sesgos o barreras de acceso. Brechas en el acceso a efectos positivos de la iniciativa pueden afectar a grupos debido a elementos de diferenciacin y marginacin tan diversos como el sexo, la condicin socioeconmica, la edad, el grupo tnico de pertenencia, la ubicacin geogrfica, las capacidades, la religin, la ideologa, la actividad laboral o las redes de relaciones sociales. Colectivos incluidos inicialmente pueden quedar excluidos, y grupos que no estaban previstos como poblacin meta pueden verse beneficiados por la intervencin. Los sesgos en el acceso pueden afectar a los beneficios de la intervencin de CD y/o a las polticas y servicios pblicos locales apoyados por esta. La desigualdad en el acceso puede explicarse por el hecho de que las diferenciaciones existentes no se han tenido en cuenta en el diseo de la
Ejemplos de indicadores genricos de cobertura
intervencin, considerando a la poblacin como un todo homogneo, o porque la iniciativa de cooperacin y/o los actores participantes reproducen pautas de marginacin. El criterio de cobertura estudia elementos tales como la tasa de cobertura (porcentaje de la poblacin meta que ha tenido acceso a los beneficios de la intervencin), los sesgos de cobertura (caractersticas comunes de los colectivos incluidos y excluidos por la intervencin) o la accesibilidad (elementos internos o externos a la intervencin que explican las desigualdades en el acceso). Una manera de sistematizar el anlisis es establecer listados de colectivos locales y de efectos positivos y resultados de la intervencin, confrontando el acceso de cada uno de los grupos para cada categora de impacto y poner en evidencia eventuales brechas de acceso.
Los efectos positivos de la iniciativa han alcanzado todos los colectivos meta previstos. La intervencin contaba con mecanismos de participacin de los diversos colectivos sociales en sus distintas fases (diseo, ejecucin, seguimiento, evaluacin, etc.). La iniciativa de CD ha alcanzado a los colectivos sociales ms desfavorecidos (por ejemplo, intervenciones centradas en la generacin de empleo han incidido en colectivos ms afectados por el desempleo, como las mujeres o los jvenes; proyectos que mejoraban servicios sociales bsicos han priorizado segmentos de la poblacin que no se beneficiaban con la cobertura de dichos servicios; etc.). La intervencin ha mejorado el acceso de colectivos marginados y desfavorecidos (por razones de sexo, condicin socioeconmica, edad, grupo tnico de pertenencia, etc.) a polticas y servicios pblicos locales. Las polticas pblicas locales apoyadas contribuyen a disminuir desigualdades territoriales. Se han creado y consolidado mecanismos de participacin ciudadana que reflejan las necesidades e intereses de los diversos colectivos que componen la ciudadana local.
41
Para evaluar las intervenciones de CD Para evaluar la contribucin a las polticas pblicas locales
La iniciativa ha generado lecciones aprendidas y modelos de referencia innovadores para su rplica y aplicacin por GL de otros territorios. La intervencin ha contribuido a la concepcin y aplicacin de nuevas polticas pblicas locales, as como de los instrumentos, servicios o programas asociados a ellas. La intervencin ha introducido innovaciones en las polticas pblicas locales tendientes a mejorar su impacto en la cohesin social
Ejemplos de indicadores genricos de innovacin
Se considera que el criterio de cobertura es determinante para una metodologa de evaluacin centrada en analizar las polticas pblicas locales, ya que el acceso de la ciudadana y la eliminacin de brechas son elementos centrales de la gestin pblica.
cmo afectan a la valoracin de su calidad y su potencial de rplica. Preguntas clave: / La intervencin tiene elementos experimentales e innovadores? Cmo han influido en su desempeo y calidad? / La intervencin ha generado nuevas herramientas o estrategias? Tienen potencial para replicarse? Como tendencia general, podemos considerar que los criterios de evaluacin
Cuadro 7: La perspectiva de gnero en la evaluacin
Innovacin
Definicin: La innovacin evala si una intervencin presenta elementos experimentales y
La incorporacin del gnero como un criterio de evaluacin es pertinente en cualquier tipo de evaluacin. En efecto, debe ser una cuestin que el modelo de evaluacin atienda tanto de manera transversal (en todos los criterios) como especfica (evaluando el conjunto de la intervencin desde una perspectiva de gnero). Sin embargo, debido a las limitaciones de espacio de la gua, se opta nicamente por sealar aqu algunas preguntas generales que pueden facilitar la incorporacin de la perspectiva de gnero en la evaluacin. / El diagnstico y diseo de la intervencin han incorporado una perspectiva de gnero y la participacin de las mujeres? / El presupuesto contempla recursos destinados a reducir las desigualdades entre hombres y mujeres? / La intervencin ha generado cambios en la posicin de las mujeres respecto a los hombres (en el mbito econmico, poltico, cultural, etc.)? / La intervencin ha incrementado las capacidades de toma de decisin de las mujeres? / Las necesidades y los intereses de las mujeres han sido atendidos por la iniciativa? / Los objetivos y los resultados han tenido en cuenta las desigualdades de recursos y poder entre hombres y mujeres? / Cules han sido los aportes de mujeres y hombres a los xitos de la intervencin? / Cmo benefician a mujeres y hombres los productos y resultados de la iniciativa? / El contexto ha dificultado la participacin de las mujeres? / Qu impacto ha tenido la intervencin en las relaciones de poder y desigualdades entre mujeres y hombres? Ha tenido impactos no previstos o indeseados sobre las mujeres?
Elaboracin propia a partir de: Murguialday et al. 2008 y UNEG 2011.
42
suelen penalizar intervenciones innovadoras y premiar intervenciones ms tradicionales.5 Sin embargo, la innovacin es un elemento importante para el cambio y, por tanto, para generar procesos de mejora de la calidad. Es el caso tambin en el marco de la CD. Las intervenciones que buscan mejorar o transformar polticas pblicas locales de cohesin social muchas veces necesitarn incorporar elementos innovadores. Incluso se puede defender la idea de que la innovacin debera ser una de las caractersticas de la CD. As, es un elemento que permite explorar nuevas estrategias y herramientas y posteriormente generalizar las polticas pblicas experimentales exitosas para mejorar los servicios destinados a la ciudadana.
Para compensar el sesgo negativo hacia la evaluacin de la innovacin y rescatar su papel en la mejora de la calidad, es necesario equilibrar las valoraciones negativas que comportan los riesgos y la imprevisibilidad que la caracterizan con sus elementos positivos para las finalidades de la cooperacin. Por ello, la aplicacin de los criterios a intervenciones experimentales se realizar de manera ponderada y especfica. Por otra parte, ante caractersticas de innovacin, tendremos que prestar atencin a las intervenciones o elementos de estas que s han tenido impacto, aunque sean una parte menor, y no valorar negativamente los errores, ya que tambin permiten nutrir el proceso de aprendizaje (Perrin 2002). En algunos contextos, la innovacin puede ser un aspecto central. Por ejemplo, porque una intervencin quiera generar nuevas formas de polticas pblicas locales, debido a que cambios en el contexto hayan vuelto ineficaces enfoques tradicionales o por el hecho de que exista mucha incertidumbre respecto al camino a seguir. En estos casos, los actores se pueden plantear aplicar una forma emergente de evaluacin, el enfoque de evaluacin evolutiva (developmental evaluation). Se trata de un tipo de evaluacin continua que aplica los procesos y lgicas de la evaluacin para apoyar iniciativas y actores centrados en la innovacin social en entornos y sistemas complejos e imprevisibles (ver Quinn Patton 2011 y Gamble 2008). En este caso, la persona evaluadora es parte del equipo y
5 Podemos corroborar esta propensin a travs del ejemplo de los cinco criterios CAD: / Los actores de una iniciativa de cooperacin tienden a fomentar estrategias contrastadas y a rechazar el riesgo de apostar por soluciones innovadoras (pertinencia). / Una intervencin tradicional dispone de ms informacin acumulada para formular presupuestos y actividades que utilizan los recursos de manera ptima respecto a otra no contrastada previamente (eficiencia). / Una iniciativa sustentada en lgicas de intervencin aplicadas reiteradamente tiene ms probabilidades de alcanzar sus resultados y objetivos (eficacia). / La incertidumbre vinculada a la innovacin hace que las iniciativas experimentales sean ms propensas a no alcanzar los impactos previstos o a generar impactos no deseados (impacto). / Las intervenciones experimentales incurren en ms riesgos en cuanto a su viabilidad y sostenibilidad respecto a otras que disponen de estrategias de intervencin y de salida validadas por la prctica (sostenibilidad).
43
acompaa los procesos desde la concepcin y planificacin, fomentando la evaluacin continua de las iniciativas impulsadas para favorecer la mejora y la adaptacin de las iniciativas y actores.
sistematizar y organizar la evaluacin. Lo mismo ocurre con las herramientas metodolgicas. La evaluacin debe ser guiada por las finalidades y no por las metodologas. nicamente, cuando disponemos de objetivos claros podremos determinar el enfoque metodolgico ms apropiado (DANIDA 2012: 16). En este sentido, la gua apuesta por un modelo de evaluacin centrado en la siguiente categorizacin de prioridades: Objetivos
3.3. Ms all de los criterios: modelos flexibles centrados en los objetivos y preguntas de evaluacin
Los criterios establecen pautas generales de reflexin para responder a las preguntas de evaluacin. Son dimensiones generales de la calidad que deben concretarse de manera flexible para cada evaluacin. Segn los casos se pueden aplicar todos, solamente algunos o ponderar su importancia. Los criterios no son exclusivos ni exhaustivos, sino complementarios, y su utilidad depende de los objetivos y preguntas de evaluacin. En este sentido, la gua no propone los criterios reseados como un modelo de evaluacin rgido y cerrado. No existe un mtodo de evaluacin que sea el mejor ni recetas metodolgicas de aplicacin generalizada. El elemento central y la razn de ser de cualquier modelo deben ser los objetivos y preguntas que motivan la evaluacin. Qu finalidades tiene la evaluacin? A qu preguntas quiere responder? En funcin de las preguntas de evaluacin, algunos criterios se volvern ms significativos que otros. Algunos sern particularmente eficaces para
Preguntas
Criterios
Metodologa En esta lgica, los criterios y herramientas metodolgicas se definen y se adoptan para sistematizar y organizar las preguntas y orientar la bsqueda de informacin y el anlisis de los datos. Si se considera ms til y provechoso, una evaluacin tambin se puede estructurar de otra manera alternativa a los criterios, optando por categoras o conceptos diferentes que permitan valorar las preguntas planteadas. De hecho, cada vez se encuentran ms ejemplos de evaluaciones que no necesariamente han
44
seguido la lgica de los criterios CAD como elementos centrales del modelo. Pueden ser evaluaciones participativas que no tenan ningn criterio previo definido o estudios en los que los criterios se han utilizado de manera implcita, aunque no para estructurar el anlisis o el informe de evaluacin (ver, por ejemplo, Fujita 2010 y ODI 2008).6 La naturaleza de la CD analizada en esta gua, enfocada a la generacin de polticas pblicas locales, tambin puede sugerir orientarse hacia modelos de evaluacin ms centrados en procesos que en resultados. Los elementos clave a evaluar se desplazaran, por tanto, de los productos y resultados obtenidos por la intervencin hacia los cambios y mejoras de las capacidades que han experimentado los diversos actores y poblaciones participantes. Asumiendo que la intervencin es una influencia ms en el entorno de las polticas y servicios pblicos locales, la evaluacin no buscara tanto atribuir con seguridad los impactos a las iniciativas de CD estudiadas, sino entender y acompaar los procesos generales de mejora de las polticas locales que contribuyen a la cohesin social. En definitiva, lo esencial que queremos destacar aqu es que cada evaluacin tendr un diseo y una metodologa
especficos, acordes a las finalidades y preguntas de evaluacin. La centralidad de los objetivos y de las preguntas de evaluacin no implica, sin embargo, que el equipo evaluador los asuma de manera acrtica. La lgica evaluadora tambin lleva a plantearse preguntas sobre las preguntas (W. K. Kellogg Foundation 2004). As, es importante analizar si las preguntas reflejan nicamente las necesidades e intereses de los donantes (u otros clientes) y/o si asumen enfoques ideolgicos o polticos exclusivos. El equipo evaluador deber preguntarse qu perspectivas e intereses pueden faltar e intentar incorporar a actores clave que han sido excluidos de la perspectiva de evaluacin. La preocupacin por la diversidad de actores y perspectivas es acorde con tendencias que resaltan cada vez ms el impacto de las evaluaciones sobre la mejora de las capacidades de los actores. La evaluacin no se limita a aportar hallazgos y recomendaciones aplicables a las intervenciones analizadas, sino que facilita que los participantes adquieran nuevos conocimientos y habilidades para que mejoren su calidad y evolucionen sus instituciones, sistemas, ideas o valores (Quinn Patton 2008).
6 Tambin se ha propuesto aplicar un enfoque sistmico para disponer de variables alternativas y/o complementarias a los criterios para orientar una evaluacin (para ms informacin, Fujita 2010: cap. 3).
45
46
4. Gestin de la evaluacin
En este captulo final, abordaremos brevemente las distintas fases del ciclo de gestin de la evaluacin, as como instrumentos centrales de esta, como son los trminos de referencia, la matriz de evaluacin o el informe final. Podemos esquematizar las tareas de gestin vinculadas a la evaluacin en cuatro fases esenciales: planificacin, diseo, realizacin y aplicacin, y socializacin de los resultados. Alrededor de las distintas fases y sus necesidades, un GL puede establecer un protocolo de evaluacin sencillo. Este, al contemplar los actores involucrados en el ciclo de evaluacin y en cada fase, las actividades necesarias, los costes, los procedimientos establecidos, los productos esperados, etc., permitira al GL tener en cuenta, de manera sistemtica, todos los elementos esenciales que deber garantizar para llevar a cabo una evaluacin. Un protocolo de evaluacin que sistematice las fases consentira adaptar la planificacin del ciclo evaluativo a las caractersticas concretas de las estructuras de funcionamiento del GL. La primera fase del ciclo de evaluacin, la planificacin, establecer necesidades e intereses de los actores involucrados y, por tanto, las finalidades y objetivos de la evaluacin. Por ello, se considerarn tambin los usos previstos de los resultados y aprendizajes de la evaluacin. El GL deber formular los fines y la utilidad prevista de la evaluacin que se presta a llevar a cabo. En esta fase, se determinarn elementos bsicos como los
recursos destinados a la evaluacin o si esta ser interna o externa. La fase de diseo de la evaluacin contemplar, como elemento central, la formulacin de las preguntas de evaluacin que, como hemos visto, determinarn el conjunto de enfoques y modelos de evaluacin que se aplicarn. Aqu adquieren una importancia central los actores y perspectivas que se incorporan para elaborar las preguntas. En el caso de una evaluacin participativa, establecern las preguntas grupos representativos de la poblacin meta. En los otros casos (interna, mixta, externa), los actores que encargan la evaluacin establecern las preguntas, incorporando a los actores cuyas perspectivas prioricen. Cuanto mayor sea el grado de participacin de la poblacin meta en la formulacin de las preguntas, mayor ser el grado de legitimidad y transparencia de la evaluacin. Al formular las preguntas, tambin habr que tener en cuenta la utilidad de la evaluacin y la aplicacin de sus resultados (cmo se garantizar la incorporacin de las lecciones aprendidas en el trabajo?; quines son los responsables?; cules son los mecanismos?). En la mayora de los casos, las evaluaciones en el mbito de la cooperacin son externas (en el caso de la CD de los GL tambin, y se recomienda que sea as debido a las competencias requeridas para evaluar impactos en polticas pblicas) y pasan por la redaccin de unos trminos de referencia (TdR) que establecen los elementos
47
esenciales de la evaluacin: preguntas, productos esperados, caractersticas del equipo evaluador, recursos destinados, tiempo disponible, etc. Al formular las preguntas, es importante ser lo ms especfico y sinttico posible. De la concrecin y delimitacin de las preguntas depender, en gran parte, la calidad de las conclusiones y recomendaciones, as como su utilidad y aplicabilidad. Finalmente, siempre en el caso de evaluaciones
externas, se proceder a la licitacin para seleccin de la persona o equipo encargados de la evaluacin. La fase de ejecucin ser responsabilidad, esencialmente, de la persona o equipo que lleva a cabo la evaluacin, Para ello, elaborar un plan de trabajo (que contemple un cronograma de ejecucin, la descripcin de las metodologas propuestas y la operativizacin de las
Cuadro 8: Ejemplo de contenidos de trminos de referencia
Antecedentes y justificacin de la evaluacin
Informacin bsica de la o las intervenciones a evaluar: ttulo; descripcin resumida; lgica de intervencin: actividades, resultados y objetivos esperados, etc.; organismos donantes y ejecutores; poblacin meta; tiempo de ejecucin; cambios ocurridos durante la ejecucin y situacin actual; documentacin disponible; etc. Otro elemento central es explicar los antecedentes y la justificacin de la evaluacin: finalidades y objetivos de la evaluacin, actores que planifican y encargan la evaluacin, etc. Definicin de los objetivos de la evaluacin. Qu objetivos de rendicin de cuentas y aprendizaje se marca el GL con la evaluacin? De qu manera la evaluacin debe permitir mejorar la calidad de las iniciativas de CD y de las estructuras y polticas pblicas del GL? Asimismo, se detallarn las preguntas de evaluacin que concretan los objetivos y centrarn la atencin del trabajo evaluativo en los aspectos priorizados por el GL. Descripcin de los distintos actores participantes en las distintas fases de evaluacin y sus roles. Aunque la responsabilidad sobre las metodologas de evaluacin utilizadas es esencialmente del equipo evaluador, el GL puede aportar orientaciones que considere oportunas al respecto para que la evaluacin se ajuste a sus necesidades. Descripcin de los productos esperados de la evaluacin que el equipo evaluador deber presentar al GL: informe preliminar, informe definitivo, resumen ejecutivo, as como sus contenidos (ndice bsico), estilos de redaccin y extensin. De acuerdo con los objetivos y caractersticas de la evaluacin, se definirn las caractersticas del equipo evaluador: nmero de integrantes, conocimientos y experiencia previa en evaluacin, en CD, en el mbito especfico de intervencin, respecto al contexto geogrfico, etc. Tambin se definirn los mecanismos de seleccin. Descripcin de las actividades de difusin y socializacin de los productos esperados y de sus conclusiones, as como de las responsabilidades del equipo evaluador al respecto. Fechas de ejecucin de la evaluacin y de presentacin de los productos esperados. Presupuesto disponible para la contratacin.
Objetivos y preguntas de evaluacin
Actores participantes Consideraciones y requisitos metodolgicos Descripcin de los productos esperados
Caractersticas del equipo evaluador Mecanismos de aplicacin y difusin de resultados y recomendaciones Calendario y plan de trabajo Presupuesto disponible
48
Cuadro 9: Ejemplo de matriz de evaluacin
Dimensin de la calidad (criterios u otros)
Preguntas de evaluacin
Indicadores
Fuentes de informacin
Metodologa de recopilacin de datos
Metodologa de anlisis de datos
Preguntas principales
Preguntas secundarias
Elaboracin propia a partir de: JICA 2004, PNUD 2009, PNUD 2010, Rodrguez 2007 y ACDI 2004.
preguntas de evaluacin). Generalmente, el trabajo del equipo se distribuir entre una etapa de trabajo previo (estudio de documentacin y entrevistas, elaboracin de indicadores e hiptesis), trabajo de campo (recopilacin de informacin a travs de entrevistas, talleres, observacin participante, etc.) y de anlisis de la informacin y redaccin de informe (anlisis de los datos y elaboracin de conclusiones y recomendaciones). Una herramienta clave de la fase de ejecucin es la matriz de evaluacin que sistematiza los principales contenidos de la evaluacin: elementos a evaluar / preguntas de evaluacin, criterios u otras dimensiones que permitan estructurar el trabajo, indicadores, metodologas propuestas, fuentes de informacin, etc. Elaborada por el equipo evaluador, la matriz es una herramienta que permite concretar y afinar las preguntas de
Cuadro 10: Ejemplo de ndice de informe final de evaluacin
/ Resumen ejecutivo / Introduccin y antecedentes / Descripcin de la intervencin y de la informacin obtenida / Valoracin de la intervencin y de la informacin obtenida / Conclusiones y lecciones aprendidas / Recomendaciones / Anexos
evaluacin. Los evaluadores proponen el contenido al GL, que deber valorar si la matriz responde y concretiza, adecuadamente, los fines de la evaluacin y las preguntas generales que la animan. Al terminar la fase de ejecucin, el borrador del informe de evaluacin se presentar para que el GL y el resto de actores implicados realicen comentarios que el equipo evaluador incorporar, o no, de acuerdo con sus criterios, en la versin final del informe de evaluacin. Finalmente, la ltima fase prev la aplicacin de las recomendaciones, as como la socializacin de los resultados de la evaluacin. Esta fase condiciona sobremanera que la evaluacin cumpla con su finalidad de aprendizaje y mejora de la calidad. Si la evaluacin no permite mejorar ni compartir conocimientos sobre lecciones aprendidas, pierde su pertinencia. Los resultados de las evaluaciones deberan ser tenidos en cuenta, por ejemplo, en futuras fases de planificacin de nuevas iniciativas de CD. Tambin puede ser til establecer mecanismos de participacin ciudadana para el seguimiento de la implementacin de las recomendaciones, por ejemplo, estableciendo un comit de seguimiento
49
y de aplicacin de resultados de la evaluacin integrado por representantes de la ciudadana y grupos meta de la intervencin. En cuanto a la difusin de lecciones aprendidas para un pblico ms amplio, pueden concretarse en una gran diversidad de mecanismos tales como: publicacin de resmenes, presentaciones y seminarios, talleres de reflexin o formacin, difusin por Internet, bases de datos de resultados de evaluaciones, publicaciones en revistas, distribucin a los actores locales, conferencias de prensa, etc. Las estrategias y productos de comunicacin dependen de las finalidades de la socializacin y de las caractersticas de los actores a los que se quiere llegar. El GL que quiera fomentar el uso de la evaluacin y una cultura de evaluacin en sus estructuras deber prestar atencin a los elementos institucionales, elaborando una poltica de evaluacin que contemple metodologas, presupuestos, roles y responsabilidades, mecanismos de planificacin y de aplicacin de resultados, etc. Una estrategia para mejorar La modalidad concreta para institucionalizar una poltica de evaluacin puede variar, aunque la mayora de las agencias y organismos multilaterales de cooperacin disponen de departamentos o unidades de evaluacin independientes que rinden cuentas a los responsables polticos (el sistema de cooperacin que ms ha desarrollado la independencia es el sueco, ya que el organismo encargado de la evaluacin, SADEV, es completamente autnomo
de la agencia de cooperacin, SIDA). En el caso que nos ocupa en la gua, dependiendo de las capacidades humanas y presupuestarias de cada GL, se podr establecer una unidad de evaluacin o simplemente designar una persona responsable. La institucionalizacin de los procesos evaluativos tambin deber realizarse de conformidad con el objetivo general de la CD de reforzar las polticas pblicas locales. En este sentido, la evaluacin debe entenderse como una herramienta ms que permite aprender para mejorar la calidad de las iniciativas y polticas implementadas, mejorando los ciclos de planificacin de polticas locales, y as alcanzar mejores impactos en la cohesin social del territorio.
50
Anexos metodolgicos
A continuacin, se ofrecen dos anexos metodolgicos. Debido a que se trata de contenidos eminentemente tcnicos que no necesariamente sern de inters de los equipos tcnicos y polticos del GL encargados de llevar a cabo procesos evaluativos, no se han incorporado en el cuerpo de la gua. Sin embargo, se recomienda su consulta, tanto para encargar evaluaciones externas como para llevar a cabo evaluaciones internas. En caso de evaluaciones externas (probablemente, lo ms usual), su consulta facilitar a los GL entender los aspectos esenciales vinculados a la eleccin de las metodologas e instrumentos de evaluacin. As, ayudar la comprensin y valoracin de las propuestas metodolgicas que realicen los equipos evaluadores externos. Tambin puede permitir a los GL orientar a dichos equipos externos en la formulacin de propuestas metodolgicas para garantizar que tomen en consideracin sus intereses y enfoques. Finalmente, los contenidos aqu expuestos sern tiles para que los GL puedan dar un seguimiento metodolgico a las evaluaciones que encarguen. En el caso de evaluaciones internas, la consulta de los anexos ser imprescindible aunque no suficiente. De este modo, deber complementarse con textos recogidos en la bibliografa u otros que permitan a los equipos responsables de la evaluacin en las estructuras del GL articular una propuesta metodolgica adecuada y rigurosa, la cual asegure que la evaluacin cumpla con sus objetivos de rendicin de cuentas y mejora de la calidad.
51
52
Anexo 1. El debate entre metodologas cuantitativas y cualitativas
El uso de las herramientas metodolgicas, en el mbito de la evaluacin, est marcado por un debate prolongado y persistente que contrapone las tcnicas cuantitativas y cualitativas. El enfoque positivista defiende perspectivas y herramientas cuantitativas: tcnicas cientficas, metodologas hipotticodeductivas y modelos estadsticos experimentales o cuasi-experimentales que permiten describir y explicar los hechos con objetividad. El enfoque constructivista, en cambio, intenta ms entender que explicar, aboga por una perspectiva cualitativa que analiza la multidimensionalidad de los fenmenos (socioeconmicos, polticos, culturales, etc.) y centra su atencin en la diversidad de perspectivas y valores que influyen en los hallazgos y conclusiones de las evaluaciones. Los defensores de los modelos experimentales y cuasi-experimentales7 argumentan que son la nica manera de atribuir efectos a una intervencin evaluada. Los modelos no experimentales
(cualitativos), en cambio, al no disponer de un contrafactual (un grupo de control que permita apreciar la situacin en la que se encontrara la poblacin meta de no haberse realizado la intervencin), seran incapaces de separar los efectos causados por la intervencin de aquellos generados por factores exgenos. Al no poder descartar efectos del contexto, no seran capaces de determinar si los efectos estudiados son atribuibles o no a la intervencin evaluada. Las evaluaciones de impacto experimentales o cuasiexperimentales seran, por tanto, las nicas formas de evaluaciones rigurosas y objetivas. Est posicin es reflejada por diversos actores del sistema de cooperacin, tales como las ya mencionadas NONIE y 3ie o el Center for Global Development (CGD), que impulsan iniciativas para generalizar mtodos experimentales rigurosos en el mbito de la evaluacin de intervenciones de cooperacin (USAID 2009, CGD 2005). Los defensores de los enfoques cualitativos, en cambio, contestaran que la objetividad no se puede alcanzar, que los hallazgos y conclusiones dependen de las perspectivas adoptadas. Preguntaran: qu se entiende por rigor? Evaluaciones rigurosas para quin y para qu? Desde este punto de vista, las metodologas experimentales no seran las nicas que pueden aspirar a rigor y objetividad, y la evaluacin mediante contrafactual nicamente sera una forma adecuada de analizar la causalidad en menos de una cuarta parte de las reas de las polticas (Jones 2009). Por ello, los mtodos cualitativos analizan procesos complejos
7 Los modelos experimentales establecen, de manera aleatoria, dos muestras de poblaciones de caractersticas similares, con la nica diferencia que una ha sido objeto de la intervencin y otra, no (grupo de control o contrafactual). Los modelos cuasiexperimentales no son estrictamente aleatorios, sino que establecen las muestras en funcin de criterios de seleccin que les otorguen representatividad. Finalmente, por modelos no experimentales se entiende mtodos de evaluacin que no comparan la situacin de la poblacin meta con un grupo de control que no ha sido objeto de la intervencin.
53
y multidimensionales fijndose en los cambios en comportamientos y valores de los actores involucrados, mientras que los modelos experimentales correran el riesgo de centrarse en efectos cuantificables y predecibles, dejando de lado el anlisis de impactos no esperados y transformaciones en el entorno que resultan fundamentales para entender los procesos de desarrollo. El rechazo a considerar los modelos experimentales como superiores y la defensa de la diversidad de enfoques metodolgicos, en funcin de las necesidades de las evaluaciones (incluso en las de impacto), es una posicin defendida por actores tales como la American Evaluation Association (AEA) o la European Evaluation Society (EES). Ms all de los debates tericos, a la hora de afrontar un proceso de evaluacin, es importante no oponer metodologas, sino intentar integrar y triangular herramientas diversas que respondan a los objetivos y preguntas de evaluacin. Combinar mtodos cuantitativos y cualitativos permite complementarlos, potenciando sus ventajas y limitando sus inconvenientes A la hora de elegir instrumentos, tambin hay que considerar factores tales como la disponibilidad de presupuesto, tiempo e informacin, la experiencia del equipo evaluador, el contexto geogrfico y cultural de la intervencin o el tipo de iniciativa de cooperacin (temtica, sector, etc.). A modo de conclusin, en consonancia con el enfoque defendido a lo largo de la gua, abogaramos aqu por una perspectiva que considera que la mejor
metodologa es la metodologa adecuada a cada evaluacin y sus preguntas (Quinn Patton 2011). No existen mtodos superiores a otros, sino mtodos ms apropiados para determinados contextos, objetivos y preguntas de evaluacin. La habilidad del equipo evaluador consistir en identificar y aplicar las metodologas ms oportunas y acertadas.
54
Anexo 2. Descripcin de algunas herramientas de evaluacin
Cuadro 11: Ejemplos de herramientas de evaluacin
A continuacin, presentamos algunas herramientas de evaluacin. El espacio del texto no permite desarrollarlas exhaustivamente o presentar un mayor nmero de ellas. Para ms informacin, remitimos a la bibliografa. Un elemento
importante, a la hora de aplicar cualquier herramienta, es prever la inclusin de la perspectiva especfica de las mujeres (adaptndose a sus tiempos y necesidades, previendo obstculos a su participacin, etc.).
Herramienta
Breve descripcin La tcnica permite obtener informacin a travs de dilogos con personas o grupos. Intenta superar las limitaciones de los cuestionarios o encuestas (temas cerrados, no se incorporan las temticas que propondran las personas participantes, etc.) generando un intercambio con las personas que proporcionan la informacin. Para ello, la herramienta nicamente prev la elaboracin previa de una lista de temas que la evaluacin requiere abordar (5-15, por ejemplo). Su aplicacin ser flexible, en funcin del intercambio que se genere con las personas o grupos. La lista ayudar a tener presente, durante el dilogo, los temas bsicos que la evaluacin analiza, pero no debe aplicarse de manera rgida, sino adaptarse a los cambios y temticas inesperadas que surjan del intercambio. Habr que respetar a las personas, escuchando con atencin las temticas que quieran tratar aunque se desven de las cuestiones elegidas inicialmente. La seleccin de las personas y grupos que se entrevistarn es un elemento central. La eleccin responder a los objetivos y necesidades de la evaluacin y deber tener especial cuidado en evitar sesgos (seleccionar a las personas con ms poder, las ms accesibles geogrficamente, mayoritariamente hombres, no reflejar la diversidad de grupos y actores, etc.). Despus de la entrevista, se tienen que analizar los datos, valorando el grado de confiabilidad y veracidad segn diversos criterios. La herramienta se puede aplicar con una gran diversidad de sujetos en funcin de las necesidades de la evaluacin: informantes clave (de acuerdo con su representatividad, conocimientos tcnicos, responsabilidades, etc.), grupos seleccionados, familias, etc. Si se realiza con grupos, es til recurrir a herramientas que permitan visualizar las temticas tratadas (en una pizarra, en pancartas, etc.) para facilitar el dilogo y la reflexin. La tcnica de observacin participante proviene de la antropologa, que la utiliza como herramienta para intentar comprender a las comunidades insertndose durante perodos largos en sus sistemas de vida. En el marco de procesos de evaluacin, se aplica de manera ms sencilla, buscando entender los procesos estudiados a travs de la participacin regular y continuada en determinados espacios o actividades de la poblacin meta de la intervencin evaluada. Permite aprehender ms eficazmente que otros mtodos las perspectivas de las personas y grupos participantes sobre los resultados e impactos de la intervencin. Los espacios o actividades en las que participar se seleccionan de acuerdo con los objetivos de la evaluacin, con las informaciones que se necesita obtener o en funcin de hiptesis que requieren ser contrastadas. Las informaciones
Cundo aplicarla?
Ventajas
Limitaciones
Permite comprobar informacin recogida de otras fuentes. Facilita la visibilidad de las perspectivas de las personas y grupos participantes. Facilita la identificacin de cambios inesperados. Permite obtener informacin ms profunda mediante confidencialidad. El dilogo puede correr el riesgo de aportar nicamente opiniones que no podemos contrastar con otras fuentes. Requiere generar un clima de confianza.
Dilogo semiestructurado
Es una tcnica de aplicacin general.
Observacin participante
Es una tcnica que permite enriquecer cualitativamente la informacin recogida a travs de otras herramientas.
Facilita la comprensin de las perspectivas y valores de las personas y grupos participantes. Facilita el anlisis de fenmenos ocultos.
Requiere tiempo.
55

e ideas surgidas de la observacin participante se sistematizan segn las necesidades de la evaluacin. El mapeo de alcances (OM por sus siglas en ingls) es una metodologa creada en el ao 2000 por el International Development Research Centre (IDRC) para documentar alcances de intervenciones de desarrollo poniendo el acento en modificaciones de comportamientos de los principales actores involucrados. Por alcance se entiende un tipo especfico de resultado: las modificaciones en las prcticas de personas y grupos. El enfoque terico de la metodologa cuestiona la centralidad de la atribucin del impacto en la evaluacin. Considera que la atribucin es un problema de difcil solucin debido a la convergencia de actores y causas que explican los cambios y porque estos se producen a menudo en el largo plazo. Por ello, se centra en analizar y evaluar las contribuciones de intervenciones u organizaciones a los alcances deseados. En lugar de evaluar el impacto de una intervencin de desarrollo, analiza los cambios en las prcticas de los actores implicados en la accin. Dicho enfoque pretende situar al aprendizaje como el elemento central del seguimiento y la evaluacin, orientndolos hacia la transformacin en las personas y los grupos y su apropiacin real de las intervenciones. La tcnica prev tres etapas fundamentales: Outcome mapping (OM) Mapeo de alcances / Diseo intencional A travs de distintas dinmicas y talleres, esta etapa permite definir de manera participativa diversos elementos relativos a la intervencin y su contexto: la visin de futuro, la misin de la intervencin, los socios directos, los alcances deseados, las seales de progreso, el mapa de estrategias y las prcticas de la organizacin. / Diseo del seguimiento En esta etapa, se elaboran de manera participativa las prioridades del seguimiento, as como sus principales herramientas: diarios de alcances, estrategias y desempeo. Las herramientas reflejan los tres componentes de las intervenciones sobre las que centra el seguimiento del OM: cambios en las prcticas, estrategias de la intervencin para promover dichos cambios, y el funcionamiento organizacional de la intervencin. / Planificacin de la evaluacin La ltima etapa define el plan de evaluacin. Presentar el uso de la metodologa excede el espacio de la gua. Para ms informacin: Outcome Mapping: Building Learning and Reflection into Development Programs. http://idl-bnc.idrc.ca/dspace/bitstream/10625/32122/1/117218.pdf Mapeando alcances. Un manual prctico para el uso de mapeo de alcances en procesos de desarrollo en comunidad. http://iifac.org/downloads/Comunidades.pdf La tcnica del cambio ms significativo (MSC por sus siglas en ingls) es una forma de monitorizacin y evaluacin participativa elaborada por Rick Davies en 1996. El propsito del proceso es identificar la narracin del cambio ms relevante que ha producido una intervencin y/o una organizacin. Para ello, los principales pasos de la tcnica son:
Evaluaciones enfocadas al aprendizaje. Intervenciones de gran envergadura. Se trata ms de un enfoque de evaluacin que de una herramienta concreta. Su aplicacin moldea y orienta todo el diseo evaluativo. Permite identificar y analizar cambios en los diversos actores implicados. Permite valorar las capacidades de adaptacin de las intervenciones.
No atribuye resultados e impactos a las intervenciones.
56

/ La recopilacin de las narraciones de cambios significativos (SC por sus siglas en ingls) Se recopilan las narraciones entre la poblacin meta de una intervencin partiendo de una pregunta simple que se realiza a las personas o grupos participantes del tipo: Si damos marcha atrs al mes pasado, cul cree que fue el cambio ms significativo en la calidad de vida de la gente de esta comunidad?. La recoleccin de las narraciones de SC se puede realizar por medio de diversos instrumentos (encuestas, entrevistas, grupos de discusin, redaccin directa por parte de las personas o por parte del personal de la intervencin, etc.). La informacin bsica de cada SC se recopila en un formato de una pgina o menos, que tambin seala quin recopila la narracin y por qu la persona la considera importante. Las narraciones de SC se pueden ordenar por dominios de cambio (entre 3 y 5), unas categoras amplias que facilitan su elaboracin, clasificacin y procesamiento. / Seleccin de las narraciones de SC ms importantes Grupos de actores locales discuten las narraciones de SC y presentan las que consideran ms significativas a un nivel superior de la estructura organizativa. Esta, a su vez, selecciona las SC ms relevantes y las transmite a un nivel superior. El esquema se repite hasta seleccionar el cambio ms significativo (MSC) entre todas las narraciones. Para el proceso de seleccin, se puede aprovechar la estructura de las organizaciones o establecer una estructura especfica para seleccionar las narraciones de SC. Los mtodos de seleccin pueden ser varios (votacin, consenso, puntuacin, etc.). Las razones de las selecciones deben quedar documentadas. / Retroalimentacin y verificacin Los resultados del proceso se socializan entre los grupos participantes y otros actores, explicando qu SC se seleccionaron y por qu razones. Tambin se procede a una verificacin para garantizar que el MSC resultante refleja adecuadamente la realidad. Manual disponible en: www.mande.co.uk/docs/MSCGuide.pdf La tcnica de diagramas de redes permite analizar, con diferentes participantes, las relaciones y contactos entre actores y los impactos de la intervencin sobre estos. Trabajando con diversos grupos se elaboran diagramas donde se visualizan las relaciones entre actores. Por ejemplo, si evaluamos el impacto de una intervencin en los mecanismos de coordinacin entre distintos departamentos de un gobierno local, trabajaremos con cada uno de ellos para elaborar un diagrama donde los principales departamentos representados en una cartulina de papel o en una pizarra se unan con flechas que caracterizan los diversos tipos de relaciones. Flechas de varias formas o colores permitirn reflejar las relaciones de acuerdo con los criterios que se requiere analizar, tales como: flujo de decisiones, coordinaciones temticas, responsabilidades compartidas, naturaleza o calidad de las relaciones, frecuencia de los contactos, etc. Adems de los departamentos, podemos repetir el ejercicio con grupos especficos cuya perspectiva queremos incorporar (mujeres, subgrupos conformados segn la capacidad de decisin e influencia, participantes y no participantes en la intervencin, etc.). Los diagramas nos permiten evaluar los impactos, as como las diferencias Facilita la comprensin del impacto de una intervencin en las relaciones entre actores. Ilustra las perspectivas sobre los cambios de los diversos actores y grupos. Facilita la identificacin de cambios inesperados.
Evaluaciones enfocadas al aprendizaje. Intervenciones complejas, con resultados diversos y emergentes, cambios inesperados, con grandes estructuras organizativas. Se trata ms de un enfoque de evaluacin que de una herramienta concreta. Su aplicacin moldea y orienta todo el diseo evaluativo.
Facilita la identificacin de cambios inesperados. Facilita la participacin, es adecuada para diversos contextos culturales y niveles educativos, no necesita conocimientos tcnicos por parte de los participantes. Puede proveer abundante material para sustentar los anlisis de la evaluacin.
Requiere tiempo. Tiene un sesgo hacia las narraciones exitosas. El proceso de seleccin de los CMS es subjetivo y jerrquico.
Most significant change (MSC) Cambio ms significativo
Diagramas de redes
Es una herramienta til en intervenciones con importantes componentes de relaciones entre actores.
57

de percepciones acerca de los cambios entre los diferentes actores. Siempre hay que prever espacios para la devolucin de los resultados. Un ejemplo muy esquemtico (en el que cada crculo es un actor y cada lnea un tipo de relacin) del tipo de diagrama resultante podra ser el siguiente:
Elaboracin propia a partir de: Geilfus 2002, Gallego 1999, Jackson 1998, Estrella 2000, ACT 2008, Earl 2001, CLAMA 2009, Davies 2005, Ramalingam 2006, MAE-SECIPI 2001.
58
Bibliografa
ACDI (2004): Guide de lvaluation lACDI, Agence Canadienne de Dveloppement International, Ottawa. ACT Development (2008): Gua para apreciar nuestra contribucin al cambio, ACT Development, Ginebra. AFD (2011): Bilan des valuations de projets ralises par lAFD entre 2007 et 2009, Srie valuation et Capitalisation (Dpartement de la Recherche, Division valuation et Capitalisation, Agence Franaise de Dveloppement), n 45. AFD (2009): Les valuations sontelles utiles? Revue de littrature sur connaissances et dcisions, Srie Notes Mthodologiques (Dpartement de la Recherche, Division valuation et Capitalisation, Agence Franaise de Dveloppement), n 3. ASOCAM (2009): Monitoreo y evaluacin de acciones de desarrollo orientadas al impacto, ASOCAM, Quito. ASOCAM (2009): Monitoreo y evaluacin de acciones de desarrollo orientadas al impacto. Anexos, ASOCAM, Quito. BANCO MUNDIAL (2004), Seguimiento y evaluacin: instrumentos, mtodos y enfoques, Banco Mundial, Washington D.C. BECK, T. (2007): Evaluacin de la accin humanitaria. Utilizando los criterios del CAD-OCDE. Gua de ALNAP para agencias humanitarias, ALNAP & IECAH, Madrid.
CGD (2005): When Will We Ever Learn? Recommendations to Improve Social Development through Enhanced Impact Evaluation, Center for Global Development (CGD), Washington. CEPAL (1998): Formulacin, evaluacin y monitoreo de proyectos sociales, CEPAL, Santiago de Chile. CGLU (2009): Documento de posicin de CGLU sobre la eficacia de la ayuda y los gobiernos locales, CGLU. CLAMA (2009): Mapeando Alcances. Un manual prctico para el uso de Mapeo de Alcances en procesos de Desarrollo en Comunidad, Centro Latinoamericano para el Mapeo de Alcances CLAMA. CORDOBS, M., SANZ, B. (2009): Repensando el seguimiento y la evaluacin en las ONGD espaolas. Retos y tendencias de futuro en un entorno cambiante, Obra Social Fundaci La Caixa, Barcelona. COMISIN DE LAS COMUNIDADES EUROPEAS (2008): Autoridades locales: agentes de desarrollo, Comunicacin de la Comisin al Consejo, al Parlamento, al Comit Econmico y Social Europeo y al Comit de las Regiones. COMISIN DE LAS COMUNIDADES EUROPEAS (2006): Metodologa de evaluacin de la ayuda exterior de la Comisin Europea, Oficina de Publicaciones Oficiales de las Comunidades Europeas, Luxemburgo.
59
DAHLER-LARSEN, P. (2007): Debemos evaluarlo todo? O de la estimacin de la evaluabilidad a la cultura de la evaluacin, Evaluacin de Polticas Pblicas, n 836. DANIDA (2012): Danida Evaluation Guidelines, Ministry of Foreign Affairs of Denmark, Copenhague. DANIDA (2006): Danidas Evaluation Policy, Ministry of Foreign Affairs of Denmark, Copenhague. DAVIES, R., DART, J. (2005): The Most Significant Change (MSC) Technique. A Guide to Its Use, CARE y otros. DDC (2000): valuation externe. Faisonsnous ce quil faut? Comme il le faut?, Direction du Dveloppement et de la coopration (DDC), Berna. DELOG (2011): Busan and Beyond: Localising Paris Principles for More Effective Support to Decentralisation and Local Governance Reforms, Development Partners Working Group on Decentralisation & Local Governance (DeLoG), Bonn. DEZ, M. (2001): Propuestas para evaluar las nuevas polticas regionales, Ekonomiaz, n 47. DFID (2009): Building the evidence to reduce poverty. The UKs policy on evaluation for international development, UK Department for International Development (DFID), Londres.
DFID (2005): Guidance on Evaluation and Review for DFID Staff, UK Department for International Development (DFID), Londres. EARL, S. et al. (2001): Outcome Mapping: Building Learning and Reflection into Development Programs, International Development Research Centre (IDRC), Ottawa. EGUIZBAL, I. (2010): La cooperacin descentralizada en un contexto de crisis. Un enfoque desde las ONGD, Ponencia presentada en el 8 encuentro de Coordinadoras Autonmicas (27 de noviembre de 2010). ESTRELLA, M. (ed.) (2000): Learning from Change: Issues and Experiences in Participatory Monitoring and Evaluation, International Development Research Centre (ITDG), Ottawa. FEINSTEIN, O. (2007): Evaluacin pragmtica de polticas pblicas, Evaluacin de Polticas Pblicas, n 836. FORESTI, M. et al. (2007): A Comparative Study of Evaluation Policies and Practices in Development Agencies, Srie Notes Mthodologiques (Dpartement de la Recherche, Division valuation et Capitalisation, Agence Franaise de Dveloppement), n 1. FUJITA, N. (ed.) (2010): Beyond Logframe; Using Systems Concepts in Evaluation, FASID, Tokyo.
60
GASCN, J., MOSANGINI, G. (2009): Evaluacin en cooperacin internacional. Una propuesta metodolgica para una cooperacin transformadora, Collectiu dEstudis sobre Cooperaci i Desenvolupament, www.portal-dbts.org. GALLEGO, I. (1999): El enfoque del monitoreo y la evaluacin participativa (MEP). Batera de herramientas metodolgicas, Revista Espaola de Desarrollo y Cooperacin, n 4. GAMBLE, J. (2008): A Developmental Evaluation Primer, A Developmental Evaluation Primer, Montreal. GEILFUS, F. (2002): 80 herramientas para el desarrollo participativo. Diagnstico, planificacin monitoreo y evaluacin, Instituto Interamericano de Cooperacin para la Agricultura (IICA), San Jos. GONZLEZ, L. (2005): La evaluacin en la gestin de proyectos y programas de desarrollo. Una propuesta integradora en agentes, modelos y herramientas, Servicio Central de Publicaciones del Gobierno Vasco, Vitoria-Gasteiz. GONZLEZ, M. (2008): Qu dice la agenda de la eficacia de la ayuda a la cooperacin descentralizada?, www.fride. org. GTZ (2007): Capacity WORKS. El modelo de gestin de la GTZ para el desarrollo sostenible, GTZ, Eschborn. GUANZIROLI, C. et al. (2007): Metodologa de evaluacin del impacto y de los
resultados de los proyectos de cooperacin tcnica, Instituto Interamericano de Cooperacin para la Agricultura IICA, Brasilia. GUDIO, F. (1996), La evaluacin de la cooperacin al desarrollo en Espaa. Un anlisis de metodologas y organizacin institucional, Serie Avances de Investigacin, n 1. ILPES-CEPAL (2005): Indicadores de desempeo en el sector pblico, Naciones Unidas, Santiago de Chile. IZQUIERDO, B. (2008): De la evaluacin clsica a la evaluacin pluralista. Criterios para clasificar los distintos tipos de evaluacin, EMPIRIA - Revista de Metodologa de Ciencias Sociales, n 16. JACKSON, E., KASSAM, Y. (eds.) (1998): Knowledge Shared: Participatory Evaluation in Development Cooperation, International Development Research Centre (IDRC), Ottawa. JICA (2004): Lineamientos de la JICA para la Evaluacin de Proyectos. Mtodos Prcticos para la Evaluacin de Proyectos, Oficina de Evaluacin, Departamento de Planeacin y Coordinacin Agencia de Cooperacin Internacional del Japn (JICA). JONES, H. (2009): The gold standard is not a silver bullet for evaluation, ODI Opinions, n 127. LARR, J. M. (2007): Impact Assessment and Evaluation: What it is it, how can
61
it be measured and what it is adding to the development of international cooperation, MPRA, n 6.928. LARR, J. M. (2005): Anlisis de los resultados y metaevaluacin del sistema de evaluaciones de Europeaid, CECOD, www.cecod.net. MAEC-SECI (2007): Manual de gestin de evaluaciones de la cooperacin espaola, Ministerio de Auntos Exteriores y de Cooperacin, Madrid. MAE-SECIPI (2001): Metodologa de Evaluacin de la Cooperacin Espaola II, Ministerio de Asuntos Exteriores, Madrid. MAE-SECIPI (1998): Metodologa de Evaluacin de la Cooperacin Espaola, Ministerio de Asuntos Exteriores, Madrid. MARTNEZ, I., SANAHUJA, J. A. (2009): La agenda internacional de eficacia de la ayuda y la cooperacin descentralizada de Espaa, Fundacin Carolina CeALCI, Madrid. MURGUIALDAY, C. et al. (2008): Un paso ms: evaluacin del impacto de gnero, Cooperacci, Barcelona. NONIE (2009): Impact Evaluations and Development. Nonie Guidance on Impact Evaluation, The Network of Networks on Impact Evaluation (NONIE), Washington. OECD (2011a): Asociacin de Busn para una eficaz cooperacin para el desarrollo, Cuarto Foro de Alto Nivel sobre la Eficacia de la Ayuda, Busn, Repblica de Corea.
OECD (2011b): valuer la coopration pour le dveloppement. Rcapitulatif des normes et standards de rfrence, OECD, Pars. OECD (2010a): DAC Guidelines and Reference Series. Quality Standards for Development Evaluation, OECD, Pars. OECD (2010b): Glosario de los principales trminos sobre evaluacin y gestin basada en resultados, OECD, Pars. OECD (2008): Declaracin de Pars sobre la eficacia de la ayuda al desarrollo y programa de accin de Accra, OECD, Pars. OECD (2006): Libro de Consulta de Buenas Prcticas Recientemente identificadas en la Gestin para Resultados de desarrollo, OECD, Pars. OECD (2004): Lessons Learned on Donor Support to Decentralisation and Local Governance, OECD, Pars. OECD (1991): DAC Principles for Evaluation of Development Assistance, OECD, Pars. OSUNA, J., MRQUEZ, C. (dirs.) (2000): Gua para la evaluacin de polticas pblicas, Instituto de Desarrollo Regional Fundacin Universitaria, Sevilla. PERRIN, B. (2002): How to and How Not to Evaluate Innovation, Evaluation, vol. 8 (1). PICCIOTTO, R. (2003): International Trends and Development Evaluation:
62
The Need for Ideas, American Journal of Evaluation, n 2. PNUD (2010): Evaluation of UNDP Contribution to Strengthening Local Governance, Programa de las Naciones Unidas para el Desarrollo (PNUD), Nueva York. PNUD (2009): Manual de planificacin, seguimiento y evaluacin de los resultados de desarrollo, Programa de las Naciones Unidas para el Desarrollo (PNUD), Nueva York. PNUD (2002): Manual de seguimiento y evaluacin de resultados, Oficina de Evaluacin del Programa de las Naciones Unidas para el Desarrollo (PNUD), Nueva York. QUINN PATTON, M. (2011): Developmental Evaluation: Applying Complexity Concepts to Enhance Innovation and Use, The Guilford Press, Nueva York. QUINN PATTON, M. (2008): UtilizationFocused Evaluation, Sage Publications, Thousand Oaks. RAMALINGAM, B. (2006): Herramientas de Conocimiento y Aprendizaje. Una Gua para Organizaciones Humanitarias y de Desarrollo, Overseas Development Institute (ODI), Londres. RODRGUEZ SOSA, J., ZEBALLOS, M. (2007): Evaluacin de proyectos de desarrollo local. Enfoques, mtodos y procedimientos, Desco, Lima.
SANZ CORELLA, B. (2008): Gua para la accin exterior de los gobiernos locales y la cooperacin descentralizada Unin Europea-Amrica Latina. Volumen 2: Elementos para la construccin de una poltica pblica local de cooperacin descentralizada, Observatorio de Cooperacin Descentralizada UE-AL, Barcelona. SDC (2011): Planificacin y monitoreo en la gestin basada en resultados de proyectos y programas, Agencia Suiza para el Desarrollo y la Cooperacin, Berna. SDC (2007): Decentralisation in SDCs Bilateral Cooperation Relevance, Effectiveness, Sustainability and Comparative Advantage, Swiss Agency for Development and Cooperation (SDC), Berna. SIDA (2008): Are Sida Evaluations Good Enough? An Assessment of 34 Evaluation Reports, Department for Evaluation Swedish International Development Cooperation Agency (SIDA), Estocolmo. SIDA (2007a): Looking Back, Moving Forward. Sida Evaluation Manual, Department for Evaluation Swedish International Development Cooperation Agency (SIDA), Estocolmo. SIDA (2007b): Glossary of Key Terms in Evaluation and Results Based Management, Department for Evaluation Swedish International Development Cooperation Agency (SIDA), Estocolmo.
63
UNCETA, K. (dir.) (2011): La cooperacin al desarrollo descentralizada: una propuesta metodolgica para su anlisis y evaluacin, UPV/EHU, Bilbao. UNCETA, K. et al. (s.f.): Objetivos del milenio, financiacin del desarrollo, y eficacia de la ayuda 2000-2010: necesidad de un anlisis integrado y de un enfoque alternativo, UPV/EHU, XIII Reunin de Economa Mundial. UNEG (2011): Integrating Human Rights and Gender Equality in Evaluation. Towards UNEG Guidance, United Nations Evaluation Group (UNEG), Nueva York. UNEG (2005): Standards for Evaluation in the UN System, United Nations Evaluation Group (UNEG), Nueva York. UNICEF (2006): New Trends in Development Evaluation, UNICEF, Ginebra. USAID (2009): Trends in International Development Evaluation. Theory, Policy and Practices, United States Agency for International Development (USAID), Washington. VV. AA. (2011): Proceso consultivo sobre la eficacia de la ayuda a nivel local. WESTHORP, G. (ed.) (2011): Realist Evaluation: an overview. Report from an Expert Seminar with Dr. Gill Westhorp, Centre for Development Innovation, Wageningen University & Research Centre - Context, international cooperation Learning by Design, Wageningen.
W. K. KELLOGG FOUNDATION (2004), W. K. Kellogg Foundation Evaluation Handbook. Philosophy and Expectations, W. K. Kellogg Foundation, Battle Creek. WOOD, B. et al. (2011): Informe final sobre la evaluacin de la aplicacin de la Declaracin de Pars. Fase 2, Instituto Dans de Estudios Internacionales, Copenhague.
Algunos enlaces web donde encontrar informacin sobre evaluacin

Development Co-operation Directorate (DCD) OECD www.oecd.org/dac/evaluation United Nations Evaluation Group (UNEG) www.uneval.org Evaluation Website EU External Relations ec.europa.eu/europeaid/how/evaluation/ Independent Evaluation Group (IEG) World Bank www.worldbank.org/oed/ Network of Networks for Impact Evaluation www.worldbank.org/ieg/nonie International Iniciative for Impact Evaluation www.3ieimpact.org
64
United Nations Development Programme (PNUD) web.undp.org/evaluation/index.html Plataforma Regional de Desarrollo de Capacidades en Evaluacin y Sistematizacin de Amrica Latina y el Caribe www.preval.org International Development Research Center www.idrc.ca Foundation for Advanced Studies on International Development (FASID) www.fasid.or.jp/english/ Plataforma Latinoamericana de Gestin de Conocimientos www.monitoreoyevaluacion.info Institute of Development Studies www.eldis.org Center for Global Development www.cgdev.org/ European Evaluation Society www.europeanevaluation.org/ American Evaluation Association www.eval.org/ Red de seguimiento, evaluacin y sistematizacin en Amrica Latina y el Caribe (ReLAC) www.relacweb.org/ Outcome Mapping Learning Community www.outcomemapping.ca/
Overseas Development Institute (ODI) www.odi.org.uk Swedish International Development Cooperation Agency www.sida.se/English Agence canadienne de dveloppement international www.acdi-cida.gc.ca/ Agencia Espaola de Cooperacin Internacional para el Desarrollo (AECID) www.aecid.es Agence Franaise de Dveloppement www.afd.fr Danish International Development Agency www.um.dk/en Japan International Cooperation Agency www.jica.go.jp/english/ Swiss Agency for Development and Cooperation www.sdc.admin.ch/En cach - Similares Red Latinoamericana y Caribe de Evaluacin y Monitoreo redlacme.org/ Plataforma Latinoamericana de Gestin de Conocimientos para el Desarrollo Local en reas Rurales www.asocam.org Red de Monitoreo y Evaluacin de Poltica Pblica en Colombia redcolme.ning.com/
65
Rede Brasileira de Monitoramento e Avaliao redebrasileirademea.ning.com/ UNICEF www.unicef.org/spanish/evaluation/ The Evaluation Center - Western Michigan University www.wmich.edu/evalctr/ Program Development and Evaluation University of Wisconsin www.uwex.edu/ces/pdande/evaluation/ Monitoring and Evaluation NEWS mande.co.uk Community Sustainability Engagement Evaluation Toolbox evaluationtoolbox.net.au/ Resources for Program Evaluation gsociology.icaap.org/methods Evaluation Capacity Development Group www.ecdg.net Impact Alliance www.impactalliance.org The Active Learning Network for Accountability and Performance in Humanitarian Action www.alnap.org
Centre Europen dExpertise et dvaluation www.eureval-c3e.fr Participatory Planning Monitoring & Evaluation portals.wi.wur.nl/ppme/content.php Evaluateca evaluateca.wordpress.com/ Portal debates sobre desarrollo www.portal-dbts.org/31_evaluacion_cast. html
66
02
URB-AL III es un programa de cooperacin regional descentralizada de la Comisin Europea cuyo objetivo es contribuir a incrementar el grado de cohesin social en el seno de la colectividades subnacionales y regionales de Amrica Latina. Liderada por la Diputacin de Barcelona, la Oficina de Coordinacin y Orientacin de URB-AL III tiene la misin de apoyar la ejecucin del programa prestando asistencia tcnica y acompaamiento a los diferentes proyectos para contribuir a hacer realidad sus objetivos.

Evaluacion e Iniciativas OK

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Evaluacion e Iniciativas OK

Transféré par

Droits d'auteur :

Formats disponibles

02

Guas metodolgicas URB-AL III

Evaluacin de iniciativas de cooperacin descentralizada pblica

Evaluacin de iniciativas de cooperacin descentralizada pblica

Guas metodolgicas URB-AL III

Evaluacin de iniciativas de cooperacin descentralizada pblica

1. Antecedentes y contexto de la gua

1.1. Los gobiernos locales en la escena internacional

1.2. La nueva agenda internacional de cooperacin: la eficacia de la ayuda

1.3. La importancia de la evaluacin de la cooperacin descentralizada

2. Conceptos y enfoques de evaluacin

2.1. Definicin y finalidades de la evaluacin

2.2. Las tipologas de evaluacin

Cuadro 1: Principales tipologas de evaluacin

Participantes que la realizan

De procesos Objeto/contenido Temtica

Individual Agentes promotores

2.3. Evoluciones y tendencias en el mbito de la evaluacin

Cuadro 2: Las generaciones de evaluacin

3 generacin (1990 en adelante) La evaluacin como juicio

4 generacin (1990 en adelante) La participacin en la evaluacin

Tipo de evaluacin Intermedia y final

Momento temporal Ex post

Externa Participantes que la realizan

La viabilidad y evaluabilidad de las evaluaciones Los lmites metodolgicos El problema de la atribucin

Cuadro 4: Algunas limitaciones y dificultades que enfrenta la evaluacin

Dificultades especficas en la evaluacin de la CD y su impacto en las polticas pblicas

El mbito de la evaluacin y la coherencia de polticas

3.1. Los criterios clsicos de evaluacin: el modelo CAD4

Cuadro 5: Algunas consideraciones sobre indicadores de evaluacin

Para evaluar la contribucin a las polticas pblicas locales

Ejemplos de indicadores genricos de eficiencia

Para evaluar las intervenciones de CD

Para evaluar la contribucin a las polticas pblicas locales

Para evaluar las intervenciones de CD

Ejemplos de indicadores genricos de eficacia

Para evaluar la contribucin a las polticas pblicas locales

Tipo de efecto Previstos y no previstos Positivos y negativos

Cuadro 6: Tipos de efectos analizados por el criterio de impacto

Sobre el contexto A corto, medio y largo plazo Directos e indirectos

En el mbito local, nacional o regional

Ejemplos de indicadores genricos de impacto

Para evaluar las intervenciones de CD

Para evaluar la contribucin a las polticas pblicas locales

Para evaluar las intervenciones de CD

Ejemplos de indicadores genricos de sostenibilidad

Para evaluar la contribucin a las polticas pblicas locales

estratgicas para los objetivos de la gua: la coherencia, la cobertura y la innovacin.

3.2. La seleccin de criterios propios: algunas propuestas para evaluar la CD

Ejemplos de indicadores genricos de coherencia

Para evaluar la contribucin a las polticas pblicas locales

Ejemplos de indicadores genricos de innovacin

Antecedentes y justificacin de la evaluacin

Objetivos y preguntas de evaluacin

Actores participantes Consideraciones y requisitos metodolgicos Descripcin de los productos esperados

Cuadro 9: Ejemplo de matriz de evaluacin

Dimensin de la calidad (criterios u otros)

Metodologa de recopilacin de datos

Metodologa de anlisis de datos

Anexo 1. El debate entre metodologas cuantitativas y cualitativas

Anexo 2. Descripcin de algunas herramientas de evaluacin

Cuadro 11: Ejemplos de herramientas de evaluacin

Es una tcnica de aplicacin general.

No atribuye resultados e impactos a las intervenciones.