Marco conceptual para

el monitoreo y
evaluación

SESIÓN 9

1
Interrogantes
1. Qué es el monitoreo y la evaluación? Son actividades
complementarias o sustitutas?
2. En qué consiste el enfoque de resultados basados en
M&E? En qué se diferencian de M&E tradicionales?
3. Por qué es importante medir resultados?
4. Qué atributos tienen los buenos indicadores?
5. Qué es la teoría del cambio?
6. Cómo se hace una evaluación de impacto?
7. Qué métodos existen para una evaluación de
impacto?

2
Conceptos
• Monitoreo: Función continua que usa la recolección
sistemática de datos en indicadores específicos, para
proveer la dirección de la intervención con indicadores
de progreso, logro de objetivos y avance en el uso de
fondos asignados.

• Evaluación: Valoración sistemática y objetiva de una

política en curso o concluida, incluyendo su diseño,
implementación y resultados. El propósito es determinar
la relevancia y cumplimiento de objetivos, eficiencia,
efectividad, impacto y sostenibilidad.

3
Monitoreo
• Sistema de Monitoreo: objetivos, indicadores, metas
• Compara resultados observados con metas
• Los datos permiten valorar el desempeño de
intervenciones
• Mejorar el diseño e implementación
• Promueve rendición de cuentas
• Promueve diálogo entre diseñadores de política y
diferentes actores

4
Evaluación
• Valoración sistemática y objetiva de los resultados
alcanzados por un programa.
• Busca probar que los cambios (metas) fueron
alcanzados por el programa, de forma exclusiva (no por
otras razones)
• de procesos, enfocado en operaciones y problemas en
la entrega de servicios
• costo/beneficio
• impacto

5
Resultados basados en M&E
Resultados finales • Mejoras en condiciones de vida

Resultados • Uso de bienes, servicios o habilidades

intermedios
Resultados • Acceso, desarrollo o fortalecimiento de
Ruta crítica

inmediatos habilidades

Productos • Bienes y servicios ofrecidos

• Tareas realizadas para transformar los

Actividades insumos en productos

Insumo • Recursos financieros, humanos, materiales

6
Por qué medir resultados?
• Si no se miden resultados, no se puede distinguir el
éxito del fracaso.
• Si no puede ver el éxito, no se lo puede replicar.
• Si no puede replicar el éxito, es probable que se
replique el fracaso.
• Si no se ve el éxito, no se puede aprender de él.
• Si no se reconoce el fracaso, no se lo puede corregir.
• Si se pueden demostrar resultados, se puede generar
apoyo (valor público).
Osborne & Gaebler

7
Resultados basados en M&E
Resultados finales

Evaluación
Impacto
Sostenibilidad

Resultados

Efectividad
intermedios

Resultados
inmediatos

Productos

Monitoreo
Eficiencia

Actividades
Relevancia

Insumo

Problema

8
Atributos de los buenos indicadores
• eSpecífico: mide lo más exactamente posible lo que se
desea conocer
• Medible: claridad sobre la forma de medición
• Atribuible: vinculado estrechamente a los esfuerzos del
programa
• Realista: datos obtenibles con frecuencia, exactitud a
costo razonable
• Targeted (focalizado): específico para el grupo
beneficiario

9
Atributos de los buenos indicadores
eSpecífico: mide lo más exactamente posible lo que se
desea conocer

• Resultado: Padres que aseguran que sus hijos sean

tratados por Malaria

Qué indicador es más específico?

• Indicador 1: Mayor uso de establecimientos de salud
• Indicador 2: Uso de medicamentos para la Malaria

10
Atributos de los buenos indicadores
• Medible: claridad sobre la forma de medición

Cuál indicador es medible?

• Indicador 1: % centros de salud sin disponibilidad de
medicamentos X, Y, Z
• Indicador 2: % centros de salud con stock completo de
medicamentos en su farmacia

11
Atributos de los buenos indicadores
• Atribuible: vinculado estrechamente a los esfuerzos del
programa

Cuál indicador es atribuible?

• Indicador 1: Esperanza de vida al nacer
• Indicador 2: % de niños con esquema de vacunación
completo

12
Atributos de los buenos indicadores
• Realista: datos obtenibles con frecuencia, exactitud a
costo razonable

Cuál indicador es más realista?

• Indicador 1: Prevalencia de VIH entre mujeres
embarazadas de 15 – 24 años de edad
• Indicador 2: Prevalencia de VIH en la población total

13
Atributos de los buenos indicadores
• Targeted (focalizado): específico para el grupo
beneficiario

Cuál indicador está focalizado?

• Indicador 1: Aumento porcentual en el empleo

• Indicador 2: Aumento porcentual en el empleo de
graduados del centro de capacitación técnica X, durante
el primer año luego de su egreso.

14
Teoría de cambio

15
Teoría de cambio

16
El problema del contrafactual
• Contrafactual = resultado de un beneficiario en
ausencia de la intervención (no observable)

• Principal reto de una evaluación: determinar qué

hubiera pasado a los beneficiarios en ausencia del
programa

• Crear un grupo de comparación convincente

17
Con y sin comparación

18
 Comparaciones before and after (reflexivo)

No se controlan factores ajenos. Se atribuye falsamente un resultado al proyecto

Útil en intervenciones de total cobertura

19
El problema del sesgo de selección
• Evaluación de impacto es en esencia un
problema de missing data (contrafactual no
observable).
• Alternativa: elegir grupo de control de similares
características

• Problema: T no es aleatorio (auto-selección,

programa apropiado a características
regionales)

20
Métodos de evaluación expost

1. Diseños experimentales
2. Métodos de emparejamiento (PSM)
3. Doble diferencia
4. Variables instrumentales
5. Regresión discontinua

21
Diseños experimentales

- Dificil implementación
- Problemas éticos
- Validez externa

22
Emparejamiento (PSM)
Evaluación que intenta identificar efectos de un programa en el
ingreso
Individuo Tratado Educación Ingreso
1 no 2 60
2 no 3 80
3 no 5 90
4 no 12 200
5 si 5 100
6 si 3 80
7 si 4 90
8 si 2 70

Ingreso Promedio Tratados: 85 Efecto Tratamiento sin

Ingreso Promedio Control : 107.5 Emparejamiento: -22.5

Observación: El individuo 4 no es un buen control, no es similar en las

23
características observables (educación en este caso) al grupo tratado.
Emparejamiento (PSM)

Individuo Trat. Educación Ingreso Match YA YB Diferencia

1 no 2 60
2 no 3 80
3 no 5 90
4 no 12 200
5 si 5 100 3 100 90 10
6 si 3 80 2 80 80 0
7 si 4 90 2y3 90 (80+90)/2=85 5
8 si 2 70 1 70 60 10

Efecto Tratamiento con emparejamiento: 6.25

24
Emparejamiento (PSM)
• Solución al problema de la multidimensionalidad: propensity score.

• Se define como la probabilidad de que una unidad (individuo, hogar)

reciba el tratamiento, ya sea que se encuentre en el grupo de
tratamiento o control.

• Proposición: si es válido emparejar a unidades en un conjunto de

características X, es igualmente válido hacerlo sólo con el
propensity score.

• Se reduce la dimensión de comparabilidad a una sola: el propensity

score.

25
Doble diferencia (dif in dif)

26
Transferencias
monetarias
condicionadas

SESIÓN 10

27
Interrogantes
1. Las transferencias monetarias condicionadas (CCTs )
han tenido un efecto positivo en la reducción de
pobreza?
2. Cuáles son los objetivos de estas transferencias?
3. Cuáles son los argumentos a favor y en contra para la
aplicación de CCT?
4. Por qué condicionar una transferencia?

28
Introducción
• Transferencias Monetarias Condicionadas (CCT), son
programas que transfieren dinero a hogares pobres,
condicionado a acciones de inversión en capital
humano.
• CCT han reducido la desigualdad e interrumpido el
círculo vicioso de transmisión de la pobreza de una
generación a otra.
• La naturaleza de las CCT (educación, salud) han
contribuido positivamente a las MDG

29
Implementación de CCTs

30
Implementación de CCTs

31
Impacto en la distribución de consumo

32
Impacto en la distribución de consumo

33
Objetivos de la CCTs
• Proveer a los hogares pobres de un monto de dinero
que asegure un mínimo de consumo

• Incentivar la acumulación de capital humano y romper

el ciclo de transmisión de pobreza entre generaciones
• Cambio de comportamiento/preferencias

• Administración de riesgo de reducción del

ingreso/consumo (cobertura, mitigación, reducción)

34
Razonamiento
• Compiten por recursos escasos, con otros programas
• Incentivar a que los niños permanezcan en escuelas
(posiblemente de mala calidad) representa buen uso
de los recursos públicos?

• Incentivar a que la atención pre-natal, del parto y

posparto sean atendidos (posiblemente con mala
calidad) representa buen uso de los recursos públicos?

• Tiene sentido condicionar la entrega de dinero? No es

mejor invertir en los profesores o médicos para mejorar
su atención?

35
Razonamiento (en contra)
• La reducción de pobreza es más efectiva a través de
crecimiento económico.
• Limitada capacidad administrativa, baja capacidad
recaudatoria
• Invertir en infraestructura básica (caminos, escuelas,
hospitales)
• Mayor rendimiento de la inversión (observable desde el
CP)
• Puede generar incentivos errados entre los
beneficiarios
• Desincentiva la auto-suficiencia

36
Razonamiento (a favor)
• La inversión en infraestructura y servicios públicos no
llega a los más pobres
• Demostrar que la CCT se focaliza de forma más
efectiva que otras formas de gasto público y
contribuye a reducir pobreza de una forma que la
inversión pública no lo hace.
• Si los hogares de forma autónoma no invierten en
capital humano, se requiere un incentivo para que lo
hagan.

37
Por qué condicionar una transferencia?
• Las personas no siempre se comportan como agentes
racionales, perfectamente informados.
• Información imperfecta sobre rendimientos de inversión
• Procastinación. Comportamiento de CP es
inconsistente con preferencias en LP
• CCT resultan de un “juego” de economía política
(votación, lobbying). Efectuar pagos por “buen
comportamiento” genera apoyo.

38
Fundamentos del paternalismo
• Pobres necesitan la presión del gobierno, como
incentivos, para efectuar elecciones que son “buenas
para ellos”.
• Restringidos para buscar y escoger lo mejor para si
mismos, en función de sus intereses

• La sociedad percibe utilidad por que todas las personas

tengan educación, vivienda o salud (función de utilidad
de la sociedad).
• Planificador social otorga mayor ponderación a bienes
específicos de lo que individualmente cada individuo.
CCT es incentivo para mayor consumo del bien
"deseable"

39
Fundamentos del paternalismo
• Paternalismo está justificado si las personas mantienen
creencias erróneas. Específicamente:
• Si los individuos no actúan como agente unitario
• Si son “miopes”
• Conflicto de intereses intra-hogar

• Modelo educativo dinámico. Bienestar individual

depende del consumo en dos periodos: infancia y
adultez
• Niños contribuyen trabajando, a expensas de estudiar, a
expensas de salario y consumo en adultez
• Trade-off entre bienestar presente y futuro

40
Elección de inversión en niños
Desplaza (negativo):
- Menor retorno a
educación o calidad
- Menor ingreso de otras
fuentes

41
Falta de información/creencias equivocadas
• Asimetría: Campaña informativa (difícil de realizar)
• Pobres: rendimiento educación subjetivo < rendimiento
observado: Creencias equivocadas
• Heckman
• Pobres resultados en primera infancia implicancia
en funcionamientos de adultez (bajos salarios,
mayor criminalidad, pobres prácticas de
paternidad). Resultan de entornos adversos
• Incrementa productividad
• Altos costos de “remediar”

42
Persistentes creencias equivocadas

Creencias equivocadas
Transferencia Universal
Transferencia Condicionada

43
Economía política de la redistribución
• Transferencias, condicionadas o no, deben ser
financiadas y presupuestadas. Decisiones no son
resultado de un planificador social, sino de un proceso
de economía política complejo

• Transferencias "muy focalizadas” tienden a tener poco

apoyo, porque beneficia a pocos y sus costo recae
entre todos los contribuyentes (votantes)

• CCT parte de contrato social, donde la sociedad (a

través del Estado) sostiene a los pobres dispuestos a
esforzarse y "mejorar sus vidas”

44
Impacto de CCT en acumulacion de capital humano

45
Impacto de CCT en acumulacion de capital humano

46
CCT Cuándo es buen instrumento de política?
CCT afectan pobreza en CP y LP (redistribución, inversión en K humano)

47