Académique Documents
Professionnel Documents
Culture Documents
3333333333333333333333333333333333333333
Lima, Per.
2 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
ndice
Introduccin .................................................................................................................... 5
4 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Introduccin
Hay evaluaciones de diferente tipo, as Baker J (2000) precisa que una evaluacin global
se define como una evaluacin que incluye la supervisin, la evaluacin de los procesos,
la evaluacin de costos-beneficios y la evaluacin de impacto y que todas ellas son
totalmente distintas, sern ms slidas las evaluaciones finales, las evaluaciones de
impacto, que las otras modalidades? En realidad todas las evaluaciones, las parciales y
las finales, las de iniciativas locales o nacionales, las pblicas y las privadas tienen una
importancia gravitante para los actores directamente involucrados en toda la cadena de la
ayuda al desarrollo, estn los que confiaron los recursos, los que administraron y
ejecutaron los programas y proyectos, las personas, familias y/o asociaciones u
organizaciones que participaron en la iniciativa y las redes sociales que estn a la
expectativa de los resultados conseguidos. Todos ellos esperan de las evaluaciones una
respuesta clara y propia de cules elementos de la propuesta puesta en marcha, estuvo
bien diseada e implementada y logr motivar la participacin real de la poblacin, de
cul iniciativa fue reconocida como una apuesta propia por el cambio y cul no, cual
apuesta e intervencin confirm que las hiptesis de cambio que se tenan al momento
inicial eran vlidas y cules estando seguros de la teora y de evidencias, no alcanzaron
los resultados previstos y en todos estos procesos reflexivos y evaluativos se busca
conocer el por qu.
Definitivamente tanto los Estados y el sector privado vinculado al desarrollo, han asumido
la gestin para resultados buscando mejorar la eficiencia y eficacia de las intervenciones
y en esa perspectiva no se cuestiona el gran poder e influencia de los resultados de las
evaluaciones, pero an la cultura de la evaluacin es un proceso en construccin. El
paradigma de la evaluacin est relacionado al empoderamiento de los ciudadanos y
ciudadanas de verificar los resultados conseguidos con mltiples intervenciones pblicas
y privadas, y tiene que ver con la transparencia, con la rendicin de cuentas y la vigilancia
social.
6 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
empresas, las poblaciones destinatarias organizadas, las ONG y las redes de la sociedad
civil.
El perfil de una o un evaluador es sumamente complejo de cara a los retos
contemporneos y requiere de diversas calificaciones, tales como conocimiento
organizacional, competencias en mtodos de investigacin, tcnicas de moderacin y
facilitacin as como, gestin de proyectos, entre otros y de actitudes y comportamientos
vinculados a la transparencia y a la justicia social.
Entre los principales tpicos que se trabajarn a lo largo del ciclo estn:
Conceptos bsicos y contexto de la evaluacin en proceso de cambio social.
Metodologas de evaluacin.
Valorar si los cambios producidos por las acciones de los proyectos son
consistentes con lo previsto, en sentido y en dimensin. Lo que tambin
supone ver si como resultado de esas acciones han emergido cambios
no previstos y si son o no favorables a lo que se busca.
10 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Cuadro 1.1
Primera generacin
Medicin / comparacin Resultados
1950 - 1970
Transparencia /
Segunda generacin
responsabilidad Resultados
1980
(accountability)
Comprensin /
aprendizaje / toma de
Tercera generacin Resultados / proceso /
decisiones /
1990 utilizacin
responsabilidad positiva
self-accountability
Fuente: SEGONE (1998: 12)
Tambin los objetivos de la evaluacin han variado. Segone (1998: 17) enfatiza
algunos de estos cambios: de un medir y juzgar se ha pasado a un
mejoramiento del desempeo de un programa o proyecto, como
responsabilidad positiva en nombre de los actores y beneficiarios, suministrando a
quienes toman decisiones la informacin requerida para tomar decisiones
pertinentes para resolver problemas y construir un conocimiento para el aprendizaje
institucional e individual.
12 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Estas redes se han ampliado y mantienen una vida orgnica, que busca contribuir a
la institucionalizacin y profesionalizacin de la funcin de evaluacin.
Grfico 1.1
Redes Regionales
1
Tomado del Manual de planificacin, seguimiento y evaluacin de los resultados de desarrollo
elaborado por el PNUD en el ao 2009.
Redes internacionales:
14 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Descubrir la lgica del pensamiento de los actores sociales nos permite mejorar
nuestras propuestas de desarrollo. Citando a Edgar Morn (1990), l seala lo
siguiente: Necesitamos archipilagos de certeza para navegar en este ocano de
incertidumbres. El enfoque de pensamiento-accin de la teora de cambio busca
identificar esos archipilagos de certeza a partir de los cuales podamos nutrir una
lgica de pensamiento-accin que nos permita navegar por el complejo ocano del
cambio social.
Idea importante
La teora del cambio est muchas veces explcita o implcita en los proyectos de
desarrollo. Debiera considerar el territorio, considerado como el espacio donde se
concentran las intervenciones y donde ha sido posible construir una visin de
desarrollo comn entre los principales actores; el rol e intereses de los actores; sus
capacidades, sus organizaciones y sus redes sociales; y detectar las palancas de
cambio y los cambios emergentes. Adems, es importante sealar que los
propsitos de los proyectos tambin pasan por la generacin del conocimiento que
producen.
16 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Grfico 1.2
Actividad sugerida
Sntesis
Una teora del cambio es una descripcin de cmo se supone que una intervencin
conseguir los resultados deseados. Describe la lgica causal de cmo y por qu um
proyecto, un programa o una poltica lograrn los resultados deseados o previstos.
La teora del cambio es fundamental para cualquier evaluacin de impacto, ya que esta
se basa en relaciones de causalidad. Al tratarse de uno de los primeros pasos en el
diseo de la evaluacin, formular una teora del cambio puede ayudar a especificar las
preguntas de investigacin.
18 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Grfico 1.3
Ejemplo: Posible teora de un programa de capacitacin laboral de jvenes
desempleados
Hay numerosos enfoques en la evaluacin. Y ellos son los que orientan el proceso
evaluativo, poniendo el nfasis en aquellos aspectos centrales del enfoque que
estamos asumiendo.
Cuadro 1.2
Cambios de enfoque en la evaluacin para trabajar con derechos
20 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
La participacin crea condiciones para que los actores locales se involucren en los
procesos evaluativos, incorporando sus intereses, valores y valoraciones desde una
perspectiva intercultural.
Este nfasis en una mirada crtica sobre la accin en el marco de los proyectos es
funcional no slo para garantizar que se est avanzando hacia el logro de los
cambios previstos, privilegiando las orientaciones hacia el impacto, sino para
aprender cmo hacer mejor las cosas (mejorar la gestin), y aprender tambin del
proceso de evaluacin como tal. Se persigue un proceso formativo por el cual los
usuarios de los proyectos y otros actores locales no slo adquieren capacidades,
sino y fundamentalmente desarrollan actitudes vinculadas al uso sistemtico de
la informacin y la reflexin crtica colectiva como herramientas para la toma de
decisiones y el mejoramiento permanente de sus propias prcticas.
Seleccin de lecturas
22 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Los juicios establecidos en una evaluacin estn basados en los criterios y escalas
de valores de los evaluadores, o las instituciones o personas que encargan la
evaluacin. Para evitar que una evaluacin, por este hecho, sea criticada por
subjetiva y pueda convertirse en un factor de conflicto, es importante que esta
explicite sus criterios, estndares y cdigo de tica.
Las preguntas clsicas en una evaluacin tienen que establecerse en funcin de las
necesidades de informacin de los actores ejecutores o financiadores del proyecto
acerca de
Sin embargo, es conveniente recordar lo que seala Karen Mokate (2001: 5-6) al
respecto: La eficacia, eficiencia, equidad y sostenibilidad constituyen un conjunto
prioritario de criterios para el anlisis y evaluacin de polticas y programas, por
relacionarse con la relevancia e impactos de los mismos y por haber logrado un uso
convencional bastante generalizado. Son criterios particularmente relevantes para
el anlisis de iniciativas apoyadas con recursos pblicos. Estos cuatro trminos
forman parte de la jerga cotidiana de los que participan en la formacin, la gestin y
la evaluacin de las polticas y programas.
Por ello, para responder de manera objetiva a estas interrogantes, los evaluadores
recurren a mediciones sobre la base de criterios establecidos a modo de
estndares internacionales. Independientemente del tipo de evaluacin que se
realice, debemos aplicar los siguientes criterios no necesariamente en su totalidad:
Pertinencia
Eficacia
Eficiencia
Impacto
Sostenibilidad (llamada tambin perdurabilidad)
Equidad
Grfico 2.1
24 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Grfico 2.2
Criterios de evaluacin y lgica de intervencin
Pertinencia
Impacto
Eficacia
Idea importante
Eficacia es una medida del grado o nivel de alcance del objetivo y resultados de
una actividad en una poblacin beneficiaria y en un perodo temporal determinado,
sin considerar los costos en lo que se incurre para obtenerlos (Ministerio de
Asuntos Exteriores 1988: 46).
26 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Cuadro 2.1
Cumplimiento de metas Fsicas del Proyecto
A tomar en cuenta
Otro problema serio es encontrar que las metas o indicadores metas de los
resultados no son tales, sino que son indicadores de actividades y resulta
difcil escalar hacia el nivel de resultados y, a su vez, cuando es difcil escalar
desde los resultados hacia el logro de los objetivos.
Eficiencia
Es la relacin que existe entre los productos y los costos que la ejecucin del
proyecto implica, el grado en que una actividad produce resultados al menor costo
(Horton et l. 1994: 222). Con el concepto de eficiencia, se trata de determinar de
qu manera un proyecto hace uso de los medios disponibles, cmo se realizan las
actividades y de qu modo se alcanzan los resultados previstos. La eficiencia valora
la forma en la que se utilizan los recursos que se consumen durante la ejecucin y
si estos conducen adecuadamente al logro de los resultados esperados.
28 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Para medir la eficiencia, debemos contar con los presupuestos del proyecto a nivel
desagregado, por lo menos, a nivel de resultados y gastos operativos, y, de
preferencia, en los principales componentes del proyecto, capacitacin, asistencia
tcnica entre otros.
Idea importante
Eficiencia es una medida del logro de los resultados en relacin con los
recursos que se consumen; esto es, la bsqueda de una combinacin ptima de
recursos financieros, materiales, tcnicos, naturales y humanos para maximizar
los resultados (Ministerio de Asuntos Exteriores 1988: 48).
()
VAN = Io + =1 (1+)
RBC = VAB/VAC
Ejemplo
Un proyecto agrcola busc incrementar rendimientos para mejorar ingresos,
se le evala comparando beneficios sin no se hubiera desarrollado el
proyecto utilizando el anlisis costo beneficio.
30 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Con proyecto 0 1 2
Area (ha) 2000 2000
Rendimientos (kg/ha) 1800 1800
precios (s/kg) 1 1
a) Beneficios (nuevos soles ) 3,600,000 3,600,000
Sin proyecto 0 1 2
Area (ha) 1500 1500
Rendimientos (kg/ha) 900 900
precios (s/kg) 1 1
b) Beneficios (nuevos soles ) 1,350,000 1,350,000
Costos proyecto 0 1 2
Inversin 500,000
Costos 300,000 300,000
Total Costos (tc) 500,000 300,000 300,000
Beneficios netos 0 1 2
(c)- (tc) (500,000) 1,950,000 1,950,000
300,000 300,000
VAC = 500,000 + + = 1,007, 015
(1+0.12)1 (1+0.12)2
1,950,000 1,950,000
VAN = - 500,000 + + = 2,795,599
(1+0.12)1 (1+0.12)2
La RCI estima el costo promedio por unidad de impacto generado. La decisin entre
dos o ms programas sociales es seleccionar el RCI menor, es decir, el de menor
costo de inversin.
32 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
conocidos tambin como AVISA, que el proyecto que se evala logra generar.
La gran ventaja de este mtodo es que proporciona una medida homognea
del efecto de un proyecto de salud, haciendo ms fcil su comparacin con
otras alternativas de inversin que se analicen en dicho sector. AVISA es un
indicador de efectividad compuesto que ofrece una medida integral del efecto
de un proyecto sobre las poblaciones beneficiarias expresada a travs de su
impacto sobre las muertes prematuras o las incapacidades fsicas o mentales
(sean temporales o permanentes) que producen las enfermedades.
Sostenibilidad
Equidad
34 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Criterios CAD
adaptados a
Posibles preguntas para evaluaciones centradas en la
evaluaciones
equidad
centradas en la
equidad
Eficiencia: Utiliza el programa los recursos de la manera ms
econmica para lograr los resultados esperados centrados
Una medida sobre en la equidad?
la forma en que
los
recursos/aportes Existen otras alternativas econmicas viables?
(fondos,
conocimientos Cun rentables son los sistemas pblicos en llegar a los
especializados, grupos ms desfavorecidos?
tiempo, equipo, Cmo se comparan los costos en llegar a los grupos ms
etc.) se convierten desfavorecidos con el promedio de los costos de los
en resultados servicios pblicos?
equitativos. Cmo se comparan los costos en llegar a los grupos ms
desfavorecidos con los de los sistemas alternativos para
ofrecer servicios a los grupos ms desfavorecidos?
Criterios CAD
adaptados a
evaluaciones Posibles preguntas para evaluaciones centradas en la
centradas en la equidad
equidad
Sostenibilidad: Es probable que se pueda continuar con la intervencin y su
impacto en los grupos ms desfavorecidos cuando se retire el
se ha apoyo externo?
completado la
continuidad de
los beneficios Es probable que las inequidades entre los grupos ms
para los grupos favorecidos y ms desfavorecidos aumenten, permanezcan
ms estables o disminuyan cuando se retire el apoyo externo?
desfavorecidos.
La sostenibilidad
se fija en la
probabilidad de
la continuidad de Se replicar o adaptar la estrategia de forma ms amplia?
los beneficios a Es probable que se ample (de forma escalada)?
largo plazo para
la los grupos
ms
desfavorecidos.
Fuente: Bamberger y Segone op cit. UNICEF 2012
36 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Una evaluacin debe suministrar informacin basada en evidencia que sea creble,
fiable y til, facilitando la incorporacin oportuna de los hallazgos, recomendaciones
y lecciones en los procesos de toma de decisiones de las organizaciones del
sistema de las NN. UU. y de sus miembros.
Entre los principios, normas y estndares, podemos mencionar como los de mayor
importancia: intencionalidad, imparcialidad, independencia, calidad de la
evaluacin, competencias en evaluacin, transparencia y consulta, tica de la
evaluacin, contribucin a la construccin de conocimiento.
38 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Sntesis
Seleccin de lecturas
40 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Estas cinco preguntas pueden guiar al evaluador para tomar decisiones ticas y
cada una de ellas muestra ventajas como tambin desventajas.
A continuacin presentamos un conjunto de criterios vinculados a la tica del
evaluador.
Deber, en este punto, se llama la atencin sobre los conceptos de deberes, las
expectativas e ideales, los cuales pueden ser diferentes para las personas segn se
trate de un evaluador interno o externo; hacer decisiones tiene implicaciones y, por
ello, el evaluador necesita preguntar cules son las expectativas y obligaciones de
las relaciones con mis clientes? (Newman y Brown 1996: 29).
Derechos, otro criterio cercano a los deberes son los derechos de las personas. El
respeto y el reconocimiento de los derechos son dos criterios importantes.
Justicia social, otro de los criterios ticos del evaluador para determinar si el
comportamiento es correcto o errneo es la justicia social. En ese criterio, se
recoge la importancia de la equidad ms que la perspectiva utilitaria. Este criterio
fue estudiado por Rawls en 1971 y propuso dos principios: primero, reconocer que
cada persona tiene iguales derechos a libertades bsicas y, segundo, que los
esfuerzos para combatir las desigualdades econmicas y sociales pueden ser
beneficiar al ms desprotegido. La perspectiva de gnero y la etnicidad son
atributos muy importantes relativos a la equidad y la justicia.
Cuadro 2.2
Fortalezas y debilidades de los criterios relevantes de la tica de la evaluacin
Fuente: Tabla 2-2 Stenghs and weaknesses of criteria relevant to judging evaluation
behavior decisions. Pg. 36 en Newman y Brown 1996. Traduccin propia
La cultura de la evaluacin
Se ha reconocido que la evaluacin est presente en el mundo del desarrollo desde
la dcada del 50 y, si fuera posible una mirada retrospectiva de largo aliento,
diramos, como Scriven M., que la evaluacin es una vieja amiga cuya prctica,
principalmente, ha estado presente desde que la sociedad se organiz. Sin
embargo, a la fecha, diversas agencias internacionales han descubierto que el
principal cuello de botella para impulsar e institucionalizar la evaluacin no es la
capacidad tcnica (las prcticas evaluativas), sino la debilidad de la cultura de la
evaluacin.
42 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
La evaluacin debe ser una parte integral del ciclo establecido entre el postulado, la
accin, la evidencia y la revisin.
Interdisciplinaria y holstica
La evaluacin tiene un carcter interdisciplinario y busca reunir la reflexin de
diversos expertos. Actualmente, casi todos estn de acuerdo en que la evaluacin
debe estar totalmente integrada y fuertemente arraigada en la estructura
institucional y en la planificacin e implementacin del ciclo de programacin de
pas, y no vista como una funcin paralela.
Seleccin de lecturas
44 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Grfico 3.1
2
(as le llaman al monitoreo)
46 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Grfico 3.3
48 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Grfico 3.5
La lgica horizontal en el proceso de evaluacin
Grfico 3.6
La lgica vertical en el proceso de evaluacin
/
Fuente. Rodrguez y Zeballos (2007: 43-44)
50 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Grfico 3.7
Fuente: Paul J. Gertler, Sebastin Martnez, Patrick Premand, Laura B. Rawlings, Christel M. J.
Vermeersch. La evaluacin de impacto. Banco mundial 2011
Una vez que se haya descrito la cadena de resultados, se puede implementar una
matriz de evaluacin.
Esta matriz nos facilita relacionar la columna de objetivos del Marco Lgico con las
preguntas orientadoras de la evaluacin, indicadores, con los informantes/fuentes
de informacin, con las respectivas tcnicas o instrumentos con cuales se
recopilar la informacin que se necesita y con los responsables de la evaluacin.
Cuadro 3.1
Seleccin de lecturas
52 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Seleccin de lecturas
Segn Bamberger, Rugh y Mabry (2006: 13) Las personas que encargan una
evaluacin deben considerar una serie de factores que deben ser incluidos en los
trminos de referencia. El cliente, y el evaluador/a que est siendo contratado para
acometer la tarea, podran valerse del siguiente grupo de preguntas para
cerciorarse de que estos factores sean tomados en cuenta a medida que se
elaboran los planes para llevar a cabo una evaluacin.
56 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Idea importante
Cada enfoque tiene sus propias dimensiones que se requiere evaluar previamente
con los documentos estratgicos que se dispone del proyecto. En este caso vamos
a presentar un ejemplo:
Cuadro 4.1
Determinacin de la evaluabilidad de las dimensiones de equidad de una
intervencin
Nivel de Enfoques posibles para
Evaluabilidad Caractersticas de la intervencin abordar los desafos
para la de la evaluabilidad
Equidad
La teora de cambio de la intervencin ha Asegrese de que los
tenido en consideracin las cuestiones trminos de referencia
de equidad (por ejemplo, la intervencin de la evaluacin
identific desde un inicio los problemas y aprovechen la
desafos que afectan a los grupos ms informacin ya producida
Alta
desfavorecidos, los patrones de las por la intervencin, as
inequidades y de la discriminacin en el como los mecanismos
rea donde esto ocurre, violaciones de participacin
sistemticas o contextuales de los establecidos.
derechos, etc.). Consulte con las partes
La equidad se refleja claramente en el interesadas sobre si
diseo de la intervencin (marco lgico, todava hay reas en las
Alta
indicadores, actividades, sistemas de que se necesite mejorar
MYE, mecanismos de informacin). la evaluabilidad de la
Los registros de los informes de la equidad.
ejecucin y actividad contienen Si es necesario, incluya
informacin sobre cmo se abord la mtodos y herramientas
equidad. en la evaluacin que
puedan captar los datos
Los datos se han recopilado de forma nuevos o fortalecer los
Alta desagregada (por ejemplo, por gnero, datos existentes sobre
raza, etnia, edad, etc.), que refleja la los derechos humanos y
diversidad de las partes interesadas. la equidad (por ejemplo,
informacin sobre
nuevos grupos de
personas, cambios en el
contexto, etc.
58 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Para asegurar la calidad de la evaluacin, es, al menos, tan importante que quienes
la realizan tengan la capacidad necesaria, como que sus futuros usuarios sepan lo
que quieren saber al encargar el trabajo.
Podemos precisar que hay tres momentos en la decisin de iniciar una evaluacin,
que podemos describir reconociendo el ciclo de evaluacin: antes del encargo, en
el momento del encargo y despus del encargo.
Grfico 4.1
Esquema del proceso de evaluacin
60 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
5. Objetivos de la evaluacin
Ejemplo
62 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
7. Enfoque de evaluacin
Teora de cambio
Qu enfoque utilizar para hacer la evaluacin?
Describa que enfoque utilizar
Ejemplo.
Experiencia probada en evaluacin de proyectos de desarrollo rural,
preferentemente de alta montaa en los ltimos 5 aos.
16. Anexos (Se precisarn los anexos que se esperan sean incorporados en el
Informe Final. Ejemplo:
3
Los datos presentados se han adaptado para el presente caso.
64 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
El proyecto presenta como problema central la violencia familiar, a partir del anlisis
problema que fue elegido a travs de la elaboracin de diagnsticos participativos
en la zona de intervencin. Este es un problema de salud pblica, que
generalmente no se expresa adecuadamente en los registros estadsticos
institucionales.
Cabe mencionar que el proyecto se enmarca dentro del Plan Regional de Igualdad
de Oportunidades de Cordillera Azul entre mujeres y varones 2011-2016 (PRIO
Cordillera Azul) y dentro del Plan Regional contra la violencia hacia la Mujer 2012-
2016.
Criterios de la Evaluacin
Impacto: son los efectos del proyecto sobre la poblacin en funcin de los objetivos
de desarrollo o metas de largo plazo (Fin). En la presente evaluacin se medir en
qu medida el proyecto est encaminando sus actividades, resultados y propsito
para el logro del impacto final.
Sostenibilidad: la evaluacin medir las estrategias del proyecto para que los
resultados del proyecto derivados de la intervencin continen una vez que el
proyecto se haya retirado.
Productos entregables
Plan de Trabajo de la evaluacin
Elaboracin de instrumentos de evaluacin
Documento preliminar de la Evaluacin
Documento Final de la Evaluacin
Objetivos y resultados.
66 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Grupos meta
Las mujeres del distrito de Laguna Azul, Provincia de Prncipe- Regin Cordillera
Azul que actualmente sufren violencia familiar y sexual legitimada por los patrones
culturales discriminatorios de gnero existentes en la zona.
SISSE es una organizacin sin fines de lucro que aspira a un mundo inclusivo que
garantice una vida digna y plena a mujeres y hombres, en una sociedad
democrtica y presenta como misin: Contribuir al empoderamiento, autonoma y
ejercicio de los derechos de las mujeres en concordancia con el respeto de los
Derechos Humanos.
Objetivos de la evaluacin.
68 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
La informacin servir para la toma de decisiones del gerente del proyecto y jefes
de reas de la entidad ejecutora, as como para los representantes de la entidad
financiadora.
Enfoque de evaluacin.
Enfoque participativo
Una evaluacin participativa supone dos cosas: primero, que el proceso involucre a
los ejecutores y actores de la propuesta; y, segundo, que este compromiso vaya
ms all del rol de informantes para pasar al de actores que brindan informacin y
toman decisiones utilizando los resultados obtenidos. La presente evaluacin es de
carcter participativo porque ha considerado los puntos de vista de los y las
involucrados(as). En este sentido, se ha considerado la experiencia y aportes de los
diferentes actores estratgicos involucrados: incluyendo al equipo ejecutivo y
directivo del proyecto, al equipo local, a los lderes, a los representantes y a los
promotores de organizaciones comunitarias, beneficiarios/as del proyecto, as como
a las autoridades locales, entre otros.
Enfoque de aprendizaje
Pertinencia:
Los objetivos del proyecto concuerdan con la misin y la visin institucional
de la entidad ejecutora?
El diseo de intervencin del proyecto es el adecuado para lograr los
objetivos especficos previstos para los grupos y poblacin destinataria:
Mujeres del distrito de Laguna Azul, Provincia de Prncipe- Regin Cordillera
Azul que actualmente sufren violencia familiar y sexual legitimada por los
patrones culturales discriminatorios de gnero existentes en la zona?
Las estrategias, metodologas y actividades realizadas han sido las ms
acertadas para alcanzar los objetivos y resultados del proyecto?
El proyecto se mantiene relevante considerando los cambios de contexto
poltico, econmico y social de la zona de intervencin?
El proyecto se mantiene relevante en relacin con las polticas pblicas
nacionales?
Los indicadores de resultados son adecuados, suficientes, sensibles al
gnero y la interculturalidad?
Qu factores internos y externos han ejercido influencia en la habilidad o
posibilidad de los grupos beneficiarios para lograr tanto los objetivos como los
resultados proyectados?
Qu otros aspectos hubiera sido importantes considerar para que el
Proyecto logre los objetivos y resultados?
Eficiencia:
Los recursos humanos y financieros han sido suficientes para la realizacin
de actividades y para alcanzar los resultados esperados?
Los objetivos prefijados son alcanzables con los recursos considerados en el
proyecto?
El proyecto ha utilizado los recursos (humanos y financieros) en la manera
ms responsable para alcanzar sus objetivos?
Existen mecanismos de rendicin de cuentas internas y externas?
Los resultados obtenidos justifican los medios y recursos utilizados?
Ha existido la suficiente y adecuada coordinacin con los actores
involucrados para el logro de los objetivos?
Ha sido eficiente la transformacin de los recursos en los resultados?
En qu medida la colaboracin institucional y los mecanismos de gestin
articulados han contribuido a alcanzar los resultados de la intervencin?
70 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Eficacia:
En qu medida las lneas de intervencin que se han trabajado con el
proyecto responden a las necesidades de transformacin de vida de las
mujeres, familias y las comunidades?
Los resultados alcanzados responden a los Objetivos Propuestos?
Qu resultados no previstos se alcanzaron o se vienen alcanzando?
En qu medida las actividades realizadas a las personas involucradas en el
proyecto responde a las caractersticas, necesidades e intereses de las
personas destinatarias?
Se han alcanzado los resultados previstos a la fecha considerando el
cumplimiento de metas programadas dentro del tiempo esperado y con la
calidad esperada?
Se est contribuyendo a alcanzar el objetivo especfico de la intervencin?
Cules fueron los obstculos internos y externos en la implementacin del
Proyecto a la fecha?
Efectos e impactos:
En qu medida viene contribuyendo el proyecto a transformar la vida de las
mujeres, sus familias y comunidades?
Qu grado de satisfaccin tienen los usuarios con los servicios entregados?
Cmo lo valoran las personas el proyecto en desarrollo?
Se han producido a la fecha efectos negativos no previstos sobre los y las
beneficiarios/as?
Sostenibilidad:
Las soluciones abordadas para el proyecto, son sostenibles ms all de los
lmites temporales del mismo?
Qu componentes o actividades estratgicas tienen aseguradas la viabilidad
del proyecto al concluir el mismo?
Se ha realizado un correcto estudio de cuales componentes podran
presentar problemas de sostenibilidad?
Qu grado de motivacin tienen autoridades y funcionarios para destinar
recursos para mantener los efectos positivos del Proyecto?
Cul es la actitud general de las autoridades y de la poblacin involucrada
(hostil, neutra o favorable) y cmo influye en la sostenibilidad del Proyecto?
(se deber tener en cuenta tanto las prioridades polticas y planes de cada
institucin, as como la implicacin y compromiso con el Proyecto de cada
institucin, y las percepciones de la poblacin sobre la continuidad del
Proyecto).
Cmo afectan los factores socio-polticos en la sostenibilidad del proyecto?
La poblacin beneficiaria cuenta con la capacidad suficiente para apropiarse
y mantener los resultados que se plantea obtener con el proyecto?
Tcnicas
Las tcnicas y herramientas para la recogida y el anlisis de los datos sern
diseadas por el equipo evaluador. Se valorar positivamente el uso tanto de
tcnicas cualitativas como cuantitativas, especialmente el uso de tcnicas
participativas que permitan la adecuada intervencin de la mujer en los espacios de
la intervencin del proyecto.
Plan de trabajo
72 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
El tiempo estimado para cada fase deber guardar coherencia con los objetivos
perseguidos, el presupuesto disponible y estar en su integridad dentro del plazo
establecido para la evaluacin.
Trabajadora Social:
Con experiencia en procesos de diagnsticos, Lneas de Base, evaluaciones,
estudios y/o investigaciones relacionados a las temticas de violencia familiar,
violencia de gnero, tanto en el sector pblico como el privado, no menor de
tres aos.
Con experiencia mnima de 5 aos en la planificacin, programacin, gestin
y evaluacin de proyectos y/o programas de cooperacin al desarrollo.
Con experiencia mnima de 3 aos en el manejo de herramientas
metodolgicas para la recopilacin y anlisis de informacin cualitativa y
cuantitativa.
Mdico:
Con experiencia mnima de 2 aos en evaluacin de programas y proyectos
sociales
Formacin y conocimientos en enfoque de gnero
Experiencia en el manejo de herramientas metodolgicas para la recopilacin
y anlisis de informacin cualitativa y cuantitativa.
Psiclogo
Con experiencia demostrada de al menos tres aos en evaluacin de
proyectos de desarrollo y conocimientos slidos en metodologas de
evaluacin.
Con experiencia demostrada en proyectos con enfoque de derechos, gnero,
interculturalidad y uso de tcnicas de participacin.
Con experiencia en trabajo (evaluacin y/o ejecucin) en organizaciones
sociales, redes y movimientos sociales.
Cuadro 4.2
N Actividad Tiempos
Entrega del Plan de Trabajo A los 5 primeros das despus de la firma
1
de la evaluacin del contrato
Revisin documentaria sobre Por el perodo de una semana (despus de
2
el proyecto la entrega del Plan de Trabajo)
Diseo de instrumentos de A los 7 das despus de la entrega del Plan
3
levantamiento de informacin del Trabajo
Por un perodo de 03 semanas despus de
4 Trabajo de campo la entrega de instrumentos de
levantamiento de informacin
Entrega del Informe
5 A los 12 das despus del trabajo de campo
preliminar de Evaluacin
Presentacin en PowerPoint
con los representantes y A los 5 das despus de la entrega del
6
equipo de SISSE para recibir informe preliminar
aportes y comentarios
Entrega de Informe final de A los 03 das despus de la presentacin
7
Evaluacin con los representantes y equipo de SISSE
74 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Cuestiones administrativas
Duracin de la consultora
76 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
mbito de la consultora
Forma de pago
La prestacin de servicios profesionales es independiente y por honorarios, no
admite reconocimiento de ningn tipo de beneficio social o previsional. El pago de la
consultora se realizar previa entrega y aprobacin de los productos presentados,
tal como se seala a continuacin:
Cuadro 4.3
PAGOS PRODUCTOS %
Entrega del Primer Producto: Plan de trabajo con
1 cronograma detallado. Metodologa para el desarrollo 20%
de la consultora.
Entrega de Segundo producto: Informe parcial de los
2 20%
avances, validacin de la propuesta metodolgica.
Entrega de Tercer Producto: Informe final del
desarrollo de la Evaluacin. Presentacin en virtual y
3 fsico, conclusiones y recomendaciones, includos los 60%
comentarios, observaciones y anexos. Versin
completa del informe y presentacin oficial.
TOTAL 100 %
Anexos
78 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Con toda esta documentacin se prepara el Plan de Evaluacin o la hoja de ruta del
proceso de evaluacin.
Para estructurar el Plan de evaluacin se debe disear varios pasos que permitan
llegar a orientar correctamente el esfuerzo de analizar y de comparar los logros e
impactos conseguidos.
Esta parte est vinculada a la teora del cambio, que constituye las hiptesis
de accin del proyecto y que debe ser explicitada totalmente. A veces, no son
suficientes los documentos de la institucin y, por ello, ser necesario recurrir
a entrevistas a profundidad de los directivos de las instituciones o de aquellos
actores que inspiraron el proyecto. Se trata, entonces, de profundizar la
cadena de resultados y explicitar los supuestos e hiptesis de la teora de
cambio implcita.
Idea importante
80 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Para asegurar que las preguntas clave seleccionadas para la evaluacin son
las ms relevantes y las que tienen ms posibilidades de ofrecer una
informacin significativa a los usuarios, las instituciones ejecutores de los
programas y proyectos deben solicitar insumos de los asociados y otras
partes interesadas, incluido el equipo de evaluacin, y negociar acuerdos con
ellos. La matriz de evaluacin debe establecer lazos claros entre los criterios
de evaluacin, las preguntas y la informacin que necesitan los usuarios a los
que est destinada. (PNUD 2009:. 168-169)
Esta parte del Plan especifique los mtodos que la evaluacin usar para
reunir la informacin que necesita a fin de cumplir los criterios y responder al
objetivo, a las preguntas de la evaluacin, para ello se analizarn los datos,
se interpretarn los hallazgos y se informar sobre los resultados.
82 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
84 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Grfico 5.1
Ejemplo de Diseo secuencial de mtodos mixtos de QUAL dominante
Grfico 5.2
Ejemplo de Diseo de mtodos mixtos paralelo y de nivel mltiple
Fuente: http://clear-la.cide.edu/sites/default/files/Evaluaciones_centradas_en_la_equidad.pdf
86 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Es mejor usar una mezcla de mtodos para recabar datos que apoyarse
en una sola fuente o una sola evidencia. Por ejemplo, triangule la
evidencia obtenida de una fuente (como de la entrevista en grupo) con
otra evidencia sobre las experiencias de las personas de reas rurales
(puede ser una evidencia documental de los informes o de entrevistas
de informantes clave con personas crebles y bien informadas de la
situacin). Use expertos para examinar y validar las evidencias. (PNUD
2009: 175)
Cuadro 5.1
Ejemplo del anlisis de una matriz de eficacia
AVANCE DE
PROGRAMACIN DE
INDICADORES META
INDICADORES META
AL MES 12
LNEA Cdigo
PROPSITO / LNEA
DE indicador INDICADOR META AL
RESULTADOS FINALIZAR
DE
VALOR VALOR
BASE meta CORTE:
EL ABSOLUTO %
12
PROYECTO
meses
Resultado 1: 120 mujeres lderes y
Mujeres del dirigentes
25 1.1 120 60 65 108
distrito de capacitadas en
intervencin derechos ciudadanos
fortalecen sus 2,720 ciudadanos/as
capacidades (1,904 varones [70%]
0 1.2 2720 1700 1606 94
para ejercer y 816 mujeres [30%])
sus derechos, de las zonas de
AVANCE DE
PROGRAMACIN DE
INDICADORES META
INDICADORES META
AL MES 12
LNEA Cdigo
PROPSITO / LNEA
DE indicador INDICADOR META AL
RESULTADOS FINALIZAR
DE
VALOR VALOR
BASE meta CORTE:
EL ABSOLUTO %
12
PROYECTO
meses
enfrentar la intervencin
violencia y participan en cada
revertir sus una de las charlas
factores de sobre violencia de
riesgo y gnero dirigidas a
vulnerabilidad. varones (6800 = [100
personas x 68
charlas] ndice de
repeticin 60%).
30 Promotoras/es
Comunitarias de los
13 barrios en el
distrito de Laguna
Azul, capacitadas/os
y entrenadas/os
0 1.3 hacen vigilancia 30 30 35 117
social respecto a la
calidad de los
servicios pblicos
(principalmente
salud) en materia de
violencia de gnero.
Al menos 10
Informes de
vigilancia social,
que contienen
propuestas para
0 1.4 10 2 3 150
mejorar los servicios
pblicos son
presentados por las
Promotoras/es
Comunitarias.
Al menos 10
propuestas de
mejora de atencin
en violencia, han
sido presentadas a
0 1.5 las autoridades por 10 0 - N.A
las organizaciones
de mujeres de los 13
barrios o por las
promotoras/es
comunitarias.
Al menos 06
propuestas de
mejora de atencin
en violencia,
presentadas por las
organizaciones de
0 1.6 6 0 - N.A
mujeres de los 13
barrios o
promotoras/es
comunitarias, han
sido implementadas
por los servicios
88 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
AVANCE DE
PROGRAMACIN DE
INDICADORES META
INDICADORES META
AL MES 12
LNEA Cdigo
PROPSITO / LNEA
DE indicador INDICADOR META AL
RESULTADOS FINALIZAR
DE
VALOR VALOR
BASE meta CORTE:
EL ABSOLUTO %
12
PROYECTO
meses
pblicos en el distrito
de Laguna Azul.
40 autoridades
pblicas y de Mesa
de Lucha contra la
Pobreza (08
11 1.7 autoridades x 5 40 30 30 100
reuniones) han sido
objeto de incidencia
poltica en temas de
violencia de gnero.
35 mujeres
lideresas o
dirigentes (07
mujeres x 5
0 1.8 reuniones) realizan 35 0 - NA
actividades de
incidencia en temas
de violencia de
gnero.
20% de
promotoras/es y
0 1.9. 12 12 12 100
comunicadores/a
son varones
Fuente: Amalia Cuba Salerno
El plan para llevar a cabo cada evaluacin debe garantizar el proceso debido
a fin de asegurar el cumplimiento oportuno del mandato y la consideracin de
recopilar y analizar la informacin requerida de la manera ms costo-efectiva.
Idea importante
90 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Grfico 6.1
i. Evaluaciones ex ante
92 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
i. Evaluacin de procesos
i. Evaluacin externa
94 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Cuadro 6.1
Inductiva
Deductiva, modelo causal,
Trata de encontrar
hiptesis articuladas.
Lgica de evaluacin convergencias en valores,
Trabaja con variables,
actitudes y comportamientos
indicadores, ndices.
para descubrir las hiptesis.
96 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Sntesis
Seleccin de lecturas
Seleccin de lecturas
98 Escuela de Posgrado
Evaluacin de Programas y Proyectos de Desarrollo
Cuadro 7.1
Longitudinal truncada
Evaluadores como Judy Baker, Navarro Hugo, Aedo Christian, entre otros, sealan
el surgimiento de los mtodos experimentales y cuasi experimentales como los ms
rigurosos para las evaluaciones de impacto.
Judy Baker precisa en su texto clsico, Evaluacin del impacto de los proyectos de
desarrollo en la pobreza. Manual para profesionales, las siguientes interrogantes:
Grfico 7.1
Fuente:
http://dide.minedu.gob.pe/xmlui/bitstream/handle/123456789/711/389.%20Una%20medici%
C3%B3n%20del%20impacto%20del%20Programa%20de%20Capacitaci%C3%B3n%20Lab
oral%20Juvenil%20PROJoven.pdf?sequence=1
si es que hubieran pasado por el mismo y D es el ingreso que tuvieron los que no
pasaron por el programa cuando culmin el mismo. En la medida que los controles
sean similares a los beneficiarios, el efecto del programa se puede calcular
comparando el ingreso de los beneficiarios luego del programa (A) con el ingreso
de los no beneficiarios luego del programa (D). Cmo elegir el grupo de control
para lograr que D sea muy similar B?
Cuadro 7.2
Mtodos experimentales
Se distinguen por el uso de dos criterios de comparacin: de momentos y de
poblaciones.
Estos mtodos se basan en una seleccin aleatoria del grupo de control. Para ello,
del grupo de individuos que deciden participar en el programa y que son elegibles
Ntese que bajo este mtodo tanto el grupo de beneficiarios como el grupo de
control comparten la caracterstica de haber sido elegibles y haber decidido
participar en el programa. Esta caracterstica hace muy atractivo este mtodo frente
a otros.
Aleatorizacin: experimento
En general, aquellas variables utilizadas para medir el impacto del programa sern
aquellas que reflejen mejor los objetivos del mismo. En el caso particular de PRO
Joven se han considerado las siguientes variables sobre las cuales se medir el
impacto:
- Insercin laboral:
Se espera que aquellos jvenes que se encontraban desempleados vean
incrementadas sus posibilidades de encontrar trabajo luego de su participacin en
PRO Joven. En particular, se espera que la tasa de desempleo y la tasa de
actividad entre los beneficiarios del programa PRO Joven sean menores.
programa sobre el ingreso por hora y, por otro lado, el efecto sobre nmero de
horas trabajadas a la semana.
Se pueden emplear mtodos cuasi experimentales (no aleatorios) para realizar una
evaluacin cuando es imposible crear grupos de tratamiento y de comparacin a
travs de un diseo experimental. Estas tcnicas generan grupos de comparacin
que se asemejan al grupo de tratamiento, al menos en las caractersticas
observadas, usando metodologas economtricas que incluyen mtodos de pareo,
mtodos de doble diferencia, mtodos de variables instrumentales y comparaciones
reflexivas.
Grfico 7.2
Efecto del tratamiento sobre los tratados estimadores de diferencia en diferencias
Resultado
Fuente:
http://dide.minedu.gob.pe/xmlui/bitstream/handle/123456789/711/389.%20Una%20medici%C3%B3n
%20del%20impacto%20del%20Programa%20de%20Capacitaci%C3%B3n%20Laboral%20Juvenil%
20PROJoven.pdf?sequence=1
El efecto del tratamiento bajo el estimador de diferencias en diferencias es: Efecto del Tratamiento
( ) ( )
= YB t 1 YC t 1 YB t 0 YC t 0
Una vez definido el grupo de control ahora es una aproximacin, al contrario que
en el caso experimental, la estimacin de los parmetros de inters ya
introducidos se hace en forma similar al mtodo experimental, utilizando el
estimador de diferencias en diferencias y los mtodos de estimacin basados en
variables instrumentales. Como se vio anteriormente, los primeros comparan el
grupo de tratamiento y el de control antes y despus de la intervencin, mientras
que el que utiliza variables instrumentales identifica variables que tengan relacin
con la participacin, pero que no influyan los resultados condicionados a esa
participacin.
muy similar al grupo de tratamiento; por ello, controla por el efecto antes discutido y
evala el impacto en trminos de diferencia en el resultado de ambos grupos.
En otras palabras, para cada participante se busca un individuo que tenga las
mismas caractersticas personales X, pero que no haya participado, es decir, que
pertenezca al grupo de control. Dentro de estos mtodos, el llamado propensity
score matching (PSM) aparece como el ms desarrollado y recientemente fue
aplicado para la evaluacin de programas de empleo y pobreza en Argentina (Jalan
y Ravallion 2001). Este mtodo estadstico fue propuesto originalmente por
Rosenbaum y Rubin (1983).
1
e(xi ) = Pr Pi =
xi
Baker (2000) resume muy bien los pasos a seguir para utilizar la PSM:
Mtodos cualitativos
Baker J. nos recuerda la importancia y vigencia de los mtodos cualitativos en la
evaluacin.
Para realizar una evaluacin del impacto tambin se usan tcnicas cualitativas, en
un intento por determinar el efecto basndose en algo diferente al escenario
contrafactual para realizar una inferencia causal (Mohr, 1995). En su lugar, se trata
de comprender los procesos, comportamientos y condiciones como las perciben los
individuos o grupos estudiados (Valadez y Bamberger, 1994). Por ejemplo, los
mtodos cualitativos y, en particular, la observacin de los participantes, puede
proporcionar informacin sobre las formas en que los hogares y las comunidades
locales perciben un proyecto y cmo se ven afectados por este.
Cuadro 7.3
Algunas amenazas que afectan la validez incluso de los diseos cuantitativos
ms robustos
Amenazas a la validez
F. Amenazas a la validez de la conclusin estadstica
1. Bajo poder estadstico La muestra es muy pequea como para poder
detectar efectos estadsticamente significativos
4. Poca confiabilidad de Los indicadores no miden adecuadamente variables
las medidas clave.
5. Restriccin del rango La muestra no cubre a toda la poblacin. Por
ejemplo, los grupos de menor o mayor ingreso se
encuentran excluidos de la muestra, o sta solo
cubre a las empresas que emplean a ms de 10
personas.
6. Poca confiabilidad de la Los tratamientos no fueron aplicados uniformemente
aplicacin del tratamiento a todos los sujetos, y a menudo las diferencias en la
aplicacin de los mismos no estn documentadas.
Por ejemplo, algunas madres recibieron pastillas
contra la malaria y orientacin de parte del enfermero
o enfermera, mientras que otras solo recibieron las
pastillas.
G. Amenazas a la validez interna
2. Sesgos en la seleccin Diferencias entre los grupos del proyecto y de
comparacin relacionada con factores que afectan
los efectos directos.
6. Atricin Aunque el grupo del proyecto inicialmente haya sido
representativo de la poblacin total, algunos
subgrupos (por ejemplo, los menos educados, las
mujeres con hijos pequeos, los trabajadores/as
independientes) acusan tasas ms altas de
desercin y por lo tanto las personas que realmente
han estado expuestas al proyecto dejan de ser
representativas de toda la poblacin.
H. Amenazas a la validez del marco conceptual
1. Explicacin inadecuada No se explican o definen claramente los conceptos
de los marcos bsicos del modelo.
conceptuales y del
modelo terico del
programa
8. Reactividad ante los Las respuestas pueden verse afectadas por la forma
instrumentos de en que los sujetos reaccionan ante la entrevista u
recoleccin de datos otros mtodos de recoleccin de datos. Por ejemplo,
los entrevistados pueden informar que son ms
pobres de lo que realmente son, o que el proyecto no
ha generado beneficios porque esperan que la
organizacin provea nuevos servicios o reduzca el
costo de los servicios actuales.
Seleccin de lecturas
Seleccin de lecturas
3 de diciembre de 2013.
http://www.eclac.org/dds/noticias/paginas/8/15448/Manual_dds_200408.pdf
En este caso se utiliza el RCI como una herramienta para comparar la eficiencia de
diferentes alternativas en la generacin de un determinado impacto. Este ejercicio implica
simplemente ordenar jerrquicamente las RCI de cada una de las alternativas que se
evalan. La alternativa con menor RCI es la ms eficiente dentro del conjunto de
alternativas que se evalan.
Se toma un ejemplo de Navarro (2005), donde seala que el principal objetivo del electo
Gobernador del Departamento de Latinlandia es reducir la pobreza. Con este propsito
su equipo de gobierno a diseado seis programas que atacan diferentes restricciones
econmicas y sociales que afectan actualmente a los habitantes del Departamento. Sin
embargo, debido a restricciones presupuestales, se podran implementar mximo tres de
estos programas. El problema es que el Gobernador y su equipo de Gobierno no cuentan
con informacin suficiente y confiable acerca de la eficiencia de estos programas en la
reduccin de la pobreza. Dada esta limitacin, el director de la Divisin de Evaluacin de
Impacto propone realizar pruebas pilotos de cada uno de los programas y evaluar el
impacto de cada uno de ellos. Este funcionario explica que el departamento est
conformado por seis municipios, los cuales son muy homogneos, con similares
caractersticas econmicas y socioeconmicas. Ms aun, los niveles de pobreza son casi
iguales. La propuesta metodolgica de este funcionario es:
Tabla 1
Grupo
Programas de Grupo de Grupo de Grupo de Impacto Jerarquizacin VPC* Indicador Jerarquizacin
control tratamiento control tratamiento [(2)-(4)- (miles
(1) (2) (3) (4) (1)-(3)] por eficacia de US$) RCI RCI
1. Becas
escolares 65 64 55 47 7 4 90 12.86 3
2. Guarderas
escolares 64 63 54 45 8 3 60 7.50 1
3. Bonos
alimenticios 63 62 53 49 3 6 50 16.67 6
4. Microcrdito 62 61 52 40 11 1 100 9.09 2
5. Capacitacin
de jovenes
desempleados 61 60 51 45 5 5 80 16.00 5
6. Seguro de
desempleo
para madres
cabeza de
familias 60 59 50 40 9 2 120 13.33 4
Los siguientes casos son tomados de Navarro y otros (2006) donde se analiza un
programa integral que busca principalmente mejorar la salud y nutricin de nios en una
poblacin determinada.
Para el clculo de los indicadores de impacto de este caso se recolect informacin antes
de que los nios ingresaran al programa y un ao despus de haber iniciado su
participacin. Los indicadores de impacto en la situacin con y sin proyecto se calculan
estimando la media de cada indicador en cada momento del tiempo. La frmula para este
clculo se muestra en la ecuacin 1, donde I es el indicador de impacto promedio, P
indica si la medicin corresponde a la situacin con y sin proyecto (0=sin y 1=con), n es el
nmero de individuos que conforman el grupo de tratamiento e Y es la variable de
impacto.
Ecuacin 1
1 1
=0 = =1 , =1 = =1 , [1]
Ecuacin 2
= =1 =0 [2]
En la estimacin del impacto del Programa es indispensable que los cambios sean
estadsticamente significativos. Para determinar la significancia estadstica del impacto se
aplic una prueba de diferencia de medias utilizando el t-estadstico. Los resultados
indican que el Programa gener, de acuerdo con el diseo de controles reflexivos, un
impacto significativo en el nmero de visitas al mdico y el porcentaje de nios en riesgo
de desnutricin. En el primer indicador, como se analiz anteriormente, los beneficiarios
incrementaron el nmero de visitas en un 170.1%. Por su parte, el porcentaje de nios en
riesgo de desnutricin disminuy en un 100% utilizando como medida antropomtrica el
peso/edad y 94.74% usando peso/talla. Estos cambios son estadsticamente
significativos a un nivel de confianza del 95%. En el resto de indicadores de impacto no
se observan cambios estadsticamente significativos.
En este ejemplo se evala la situacin del proyecto visto anteriormente cuando el mismo
ya culmin y en este caso, solo se cuenta para la evaluacin de impacto con grupo
intervenido y con un grupo control, no se cuenta con una medicin inicial de ambos
grupos.
Ecuacin 3
1 1
=0 = =1 ; =1 = =1 .[3]
Ecuacin 4
= =1 =0 .[4]
significancia de medias indica que el nico impacto significativo del Programa es sobre el
porcentaje de nios en riesgo de desnutricin. Al comparar los resultados obtenidos en
este indicador con el caso de situacin con y sin proyecto se obtuvo una diferencia de
6.64 y 18.73 puntos porcentuales al utilizar el indicador de peso/edad y peso/talla
respectivamente, siendo el impacto menor en el diseo de slo despus.