Profesor: Edmundo Beteta O.

ALTERNATIVAS METODOLGICAS DE
EVALUACIN PARA LA GESTIN POR
RESULTADOS





Contenido
1. Evaluacin de Programas en Marco Lgico
2. Evaluacin de Impacto de Programas




1. EVALUACIN DE PROGRAMAS EN MARCO
LGICO
Derechos de autor
Material basado en experiencia chilena en
evaluaciones (Direccin de Presupuestos),
reconocimiento a funcionarios: Marcela
Guzmn, Heidi Berner, Nelson Guzmn, etc.
QU ES EL MARCO LGICO?

El Marco Lgico es una herramienta de
anlisis estructurado que permite facilitar el
proceso de identificacin, diseo, ejecucin y
evaluacin de polticas, programas y
proyectos.


VENTAJAS DEL MARCO LGICO


Puede ser utilizado en las diferentes etapas de los procesos
de planificacin de los programas (diseo, ejecucin,
evaluacin).

Como esquema lgico, permite dar cuenta de cualquier tipo de
programa (productivo, fomento, rea social).

Aporta una terminologa uniforme: facilita la comunicacin y
reduce ambigedades.

Enfoca el trabajo tcnico en los aspectos crticos: posibilita
deteccin de vacos y debilidades de los programas.

Proporciona una estructura para expresar ordenada y
sintetizadamente la informacin mas importante de un
programa.
DNDE SE UBICA LA MATRIZ DE MARCO
LGICO?
Situacin
Actual
Situacin
Futura
Deseada
EJECUCIN DEL
PROGRAMA O
PROYECTO
Anlisis de
involucrados
MATRIZ DEL
MARCO LOGICO
A1
An


Anlisis de
Alternativas
ALTERNATIVA
SELECCIONADA
Anlisis de problemas
Anlisis de
objetivos/soluciones
Anlisis del entorno
Programa
SNTESIS ESQUEMTICA DE LA MATRIZ DE
MARCO LGICO
OBJETIVOS
PROPSITO
COMPONENTES
ACTIVIDADES
FIN
INDICADORES MEDIOS DE
VERIFICACIN
SUPUESTOS
LOS OBJETIVOS
QU SON Y CMO SE DEFINEN LOS OBJETIVOS EN EL MARCO
LGICO?
Son logros o resultados esperados
Estn orientados a resolver los problemas
Se definen en frases precisas y breves
Forma diferente de presentar los objetivos generales y especficos,
utilizados tradicionalmente
Los objetivos se plantean en diferentes niveles, desde lo ms general o
macro (fin) hasta lo ms detallado o micro (actividades)

FIN

El fin contribuye a la solucin de un problema o satisfaccin de una
necesidad en el largo plazo.
La solucin definitiva y total de un problema requiere probablemente de
varios programas, adems de ser generalmente multitemticos.
El logro del fin representa el impacto del programa en una poblacin
determinada.
Un programa puede contribuir a solucionar uno o ms problemas, por lo
tanto se puede contribuir a uno o ms fines.

PROPSITO
Resultado directo (intermedio) a ser logrado una vez
que los beneficiarios han recibido los bienes y/o
servicios (componentes) que entrega el programa.
Es la contribucin especfica de un programa a la
solucin de un problema o a la satisfaccin de una
necesidad.
Es una hiptesis sobre el beneficio que se desea
lograr.
Un programa tiene un slo propsito. Dos propsitos
son dos programas.
Generalmente da el nombre al programa.
COMPONENTES

Son los bienes y/o servicios producidos por el programa.

Un componente es un bien y/o servicio dirigido al beneficiario final.
Excepcionalmente a beneficiarios intermedios.

Un programa tiene normalmente ms de un componente.

En los componentes se plasman los resultados conseguidos por la
ejecucin de las actividades establecidas. Deben expresarse en
acciones o trabajo terminado.







ACTIVIDADES
Acciones operativas o tareas necesarias para conseguir los
componentes.

Se realizan durante el perodo de ejecucin del programa.

Una actividad es programada en el tiempo y en el espacio.

Se les asigna en forma directa los recursos: humanos, materiales,
financieros, infraestructura.
CUL ES LA LGICA DE LOS OBJETIVOS?
.
ENTONCES
ENTONCES
ENTONCES
SI
SI
SI
FIN
ACTIVIDADES
PROPSITO
COMPONENTES
LA LECTURA ES: SI SE EJECUTAN LAS ACTIVIDADES, ENTONCES SE CUMPLEN
LOS COMPONENTES Y AS SUCESIVAMENTE
Programa de Mejoramiento de la Calidad y Equidad de la
Educacin Superior (MECESUP)
FIN
Contribuir al mejoramiento de la calidad del recurso humano graduado y
titulado de las Instituciones de Educacin Superior (IES).
PROPSITO
Mejorar la calidad y equidad de la oferta educacional de las IES elegibles:
universidades, Centros de Formacin Tcnica e Institutos Profesionales.
COMPONENTES
1. Aseguramiento de la Calidad de la Gestin: Acreditacin de programas
(pregrado, postgrado y formacin tcnico nivel superior e instituciones).
2. Proyectos de mejoramiento de la oferta educativa (pregrado, postgrado
y nivel tcnico de nivel superior) financiados a travs del Fondo
Competitivo (FC).
EJEMPLO DE HIPTESIS VINCULADAS
ACTIVIDADES COMPONENTE 1
1.1. Capacitacin en aseguramiento de calidad
2.2. Definicin y aprobacin de estndares de calidad
2.3. Aprobacin de procesos de acreditacin
2.4. Desarrollo de procesos de acreditacin
2.5. Resolucin de acreditaciones
2.6. Informacin pblica de resoluciones
2.7. Preparacin de proyecto de ley


EJEMPLO DE HIPTESIS VINCULADAS (Cont.)
CMO SE INSERTAN LOS INDICADORES EN
LA MATRIZ?
FIN
PROPSITO
COMPONENTES
ACTIVIDADES
INDICADORES DE
COMPONENTES
INDICADORES DE
PROPSITO
INDICADORES
DE FIN
CMO SE DEFINEN LOS INDICADORES EN
EL MARCO LGICO?
Herramienta que entrega informacin cuantitativa respecto del
nivel de logro alcanzado por un programa, pudiendo cubrir
aspectos cuantitativos o cualitativos de este logro.

Expresin que establece una relacin entre dos o ms
variables, la que comparada con perodos anteriores, bienes o
servicios similares o una meta o compromiso permite evaluar
desempeo.

Cada nivel de objetivo (fin, propsito, componentes) tiene
indicadores (uno o ms).

Los indicadores se construyen a partir de los objetivos.

Muestran cmo puede ser medido el resultado de un programa.

Proporcionan las bases para el monitoreo y la evaluacin.
INDICADORES DE DESEMPEO
EFICACIA

EFICIENCIA

ECONOMA

CALIDAD
PROCESO PRODUCTO RESULTADO
AMBITOS DE CONTROL
D
I
M
E
N
S
I
O
N
E
S
INDICADORES DE DESEMPEO
MBITOS DE CONTROL
Procesos

Actividades o prcticas de trabajo vinculadas con la ejecucin o
forma en que el programa produce los componentes y responden
a preguntas tales como: Cuntas actividades programadas y/o
procesos se han ejecutado?En que tiempo promedio se han
realizado? cul ha sido el costo asociado a estas actividades?

Productos

Resultados del programa a nivel de componentes (bienes y/o
servicios). En una lnea de tiempo corresponden al primer tipo de
resultados que debe generar un programa y al efecto ms
inmediato que tiene la produccin de los componentes sobre la
poblacin beneficiaria: personas vacunadas, urgencias atendidas,
textos escolares entregados, trabajadores capacitados, familias
subsidiadas etc.
INDICADORES DE DESEMPEO
MBITOS DE CONTROL (Continuacin)
Resultados Intermedios

Resultados principalmente a nivel de propsito. Corresponden al
segundo tipo de resultados que se produce en una secuencia de
tiempo.

Se refieren a cambios en el comportamiento o actitud de los
beneficiarios o certificacin o cambio en el estado de stos, una
vez que han recibido los bienes y servicios que entrega el
programa ( jvenes con actitud crtica frente a las drogas despus
de participar en talleres de sensibilizacin; innovaciones
organizacionales despus de un programa de capacitacin;
agricultores que estn desarrollando nuevos cultivos despus de
acceder a transferencia tecnolgica; alumnos egresados;
mediaciones laborales exitosas, etc.).
INDICADORES DE DESEMPEO
MBITOS DE CONTROL (Continuacin)
Resultados Finales (impacto)

Resultados a nivel de fin del programa.

Implican un mejoramiento significativo y, en algunos casos
perdurable en el tiempo en alguna de las condiciones o
caractersticas de la poblacin objetivo que se plantearon como
esenciales en la definicin del problema que dio origen al programa.

Un resultado final suele expresarse como un beneficio de mediano
y largo plazo obtenido por la poblacin atendida (aumento en el
nivel de remuneraciones de los jvenes capacitados, reduccin de la
tasa de reincidencia de jvenes con problemas delictuales, etc.).
INDICADORES DE PROGRAMAS
DIMENSIONES O FOCOS DEL DESEMPEO
Eficacia
Mide aspectos tales como: resultados a nivel de producto, intermedio y finales,
cobertura de los programas, grado de focalizacin en la poblacin objetivo.
Calidad
Mide aspectos tales como: oportunidad, accesibilidad, precisin y continuidad en la
entrega del servicio, comodidad y cortesa en la atencin.
Eficiencia
Mide aspectos tales como: costos medios del programa (costo por beneficiario,
costo por unidad de produccin, costos por componente, etc.); medidas de
productividad de los distintos factores (usuarios atendidos por unidad de tiempo,
consultas diarias por mdico, nmero de docentes por alumno, promedio
fiscalizaciones por fiscalizador, etc.) y estructura de costos del programa
(porcentaje de gastos administrativos sobre total gasto del programa).
Economa
Mide aspectos tales como: la capacidad de autofinanciamiento, la eficacia en la
ejecucin de su presupuesto o su nivel de recuperacin de prstamos.


CMO SE INSERTAN LOS MEDIOS
DE VERIFICACION EN LA MATRIZ?
FIN
PROPOSITO
COMPONENTES
ACTIVIDADES
MEDIO DE
VERIFICACIN
INDICADOR FIN
INDICADORES
DE FIN
INDICADORES
DE PROPOSITO
INDICADORES DE
COMPONENTE
MEDIO DE
VERIFICACIN
INDICADOR
PROPSITO
MEDIO DE
VERIFICACIN
INDICADOR
COMPONENTE



MEDIOS DE VERIFICACIN



Fuentes de Informacin.
- Estudios, Encuestas.
- Sistemas de Informacin, Bases de Datos.
- Informes de Supervisin en Terreno, etc.

Periodicidad de Medicin.

CMO SE INSERTAN LOS
SUPUESTOS EN LA MATRIZ?
FIN
PROPOSITO
COMPONENTES
ACTIVIDADES
MEDIO DE
VERIFICACIN
INDICADORES DE
FIN
INDICADORES
DE FIN
INDICADORES
DE PROPOSITO
INDICADORES DE
COMPONENTE

MEDIO DE
VERIFICACIN
INDICADORES DE
PROPSITO
MEDIO DE
VERIFICACIN
INDICADORES DE
COMPONENTES

SUPUESTOS
SUPUESTOS
SUPUESTOS
QU SON Y CMO SE DEFINEN LOS
SUPUESTOS O FACTORES EXTERNOS?
Factores externos, fuera del control de la Institucin Responsable de un
programa, que inciden en el xito (fracaso) del mismo: ambientales,
normativos, financieros, institucionales, sociales, polticos, naturales.
Acontecimientos, condiciones o decisiones que tienen que ocurrir para
que se logre los distintos niveles de objetivo de un programa.
Se les debe identificar y hacer seguimiento.
Su conocimiento mejora la comunicacin entre las diferentes instancias
del programa.
Si no se cumplen los supuestos, estos se transforman en riesgos.
SUPUESTOS: CMO ANALIZAR
3. Cul es la probabilidad de que ocurra?

No es
probable
Probable
(=Supuesto)
Muy probable (no incluir)
4. Puede ser rediseado el programa?

No
(supuesto fatal - Pare!)
S
(redisear el
programa)
1. Es externo al programa?

S
No (no incluir )
2. Es importante?

S No (no incluir)
CONDICIONES NECESARIAS Y SUFICIENTES
Fin
Propsito
Componentes
Actividades
Supuestos
Supuestos
Supuestos
CONTENIDOS DE LA EVALUACIN
II. Temas de Evaluacin

1. Anlisis y Evaluacin en los mbitos de:
Diseo (uso MML)
Organizacin y Gestin
Eficacia/Calidad (uso MML)
Recursos Financieros (uso MML)
Sostenibilidad
Justificacin de Continuidad

III. Conclusiones
IV. Recomendaciones
V. Bibliografa
VI. Entrevistas Realizadas

CONTENIDOS DE LA EVALUACIN


DISEO DEL PROGRAMA

Diagnstico Situacin Inicial
Identificacin del Problema / Necesidad
Definicin Poblacin Potencial / Objetivo

Matriz de Marco Lgico
Lgica Vertical
Lgica Horizontal







PROGRAMA TEXTOS ESCOLARES DE EDUCACIN BSICA Y
MEDIA, MINISTERIO DE EDUCACION
ENUNCIADO
OBJETIVO

INDICADORES / INFORMACION

MEDIOS DE
VERIFICACIN

SUPUESTOS

Enunciado

Forma de Clculo

FIN
Contribuir a mejorar la
calidad de los
aprendizajes y la
equidad de su
distribucin social en la
educacin escolar del
pas









PROPSITO
Oportunidades de
aprendizaje aumentadas
de alumnos y docentes
de los establecimientos
subvencionados del pas,
en reas prioritarias del
marco curricular, a
travs de la utilizacin
esperada de los textos
escolares distribuidos
por el Ministerio de
Educacin.

Eficacia/Resultado
Intermedio
Porcentaje de
alumnos/docentes que
declaran utilizar el Texto
entregado por el Mineduc en
relacin a otros recursos

(N de alumnos/docentes
que declaran utilizar el
Texto entregado por el
Mineduc en relacin a otros
recursos) / (Total de
alumnos/docentes
encuestados)*100,

Estudio de uso de
textos escolares
Periodicidad de
medicin cada tres
aos.

Disposicin de
los docentes,
directivos y
sostenedores a
utilizar los
Textos

Nota: El uso esperado de los textos, por docentes y alumnos, tiene dos dimensiones: (a) orientador del trabajo de la asignatura y (b) recurso
didctico. Estas dimensiones consideran el uso dado al texto escolar por ambos actores (docentes y alumnos), aunque es importante precisar que
en la primera se destaca mayormente el rol del docente y en la segunda el rol del alumno. No obstante en ambas dimensiones estn involucrados
docentes y alumnos.


Eficacia/Resultado
Intermedio
Porcentaje de
alumnos/profesores que
utilizan los textos
adecuadamente (de
acuerdo a la definicin
de uso esperado).

N de
alumnos/profesores de la
muestra que utilizan el
texto adecuadamente /
total de
alumnos/profesores
encuestados)*100

Estudio de uso de
textos escolares
Periodicidad de
medicin cada tres
aos.






Eficacia/Resultado
Intermedio
Porcentaje de profesores
que usan la gua
didctica para el profesor

(Nmero de profesores
que usan la gua
didctica para el profesor
/ Nmero total de
profesores encuestados)
* 100


Estudio de uso de
textos escolares
Periodicidad de
medicin anual (segn
los niveles y sectores
de aprendizaje
definidos en el doc.
Lnea de accin).





Eficacia/Producto
Porcentaje de reas
prioritarias del currculum
cubierto por los textos

(N de reas prioritarias
con textos) / (N total de
reas prioritarias)*100

Ordenes de Compra
(Textos nuevos y
reimpresiones).
Guas de Distribucin
(Tasa de reposicin).
Periodicidad de
medicin anual.





Calidad/Producto
Porcentaje de docentes
conformes con la calidad
de los Textos (de
acuerdo a la definicin de
niveles de satisfaccin)


(N de docentes que se
declaran conforme con
la calidad del Texto /
Total de docentes
encuestados)*100


Estudio de uso de
textos escolares
Periodicidad de
medicin anual (segn
los niveles y sectores
de aprendizaje
definidos en el doc.
Lnea de accin).





Eficiencia/Proceso
Porcentaje anual de
gastos administrativos en
relacin al gasto efectivo
total anual del programa


(Gastos administrativos
del programa ao i /
Gasto efectivo total del
Programa ao i) x 100


Sistema de control
presupuestario (UCE).
Periodicidad de
medicin anual.





Economa/Proceso
Porcentaje anual de
ejecucin presupuestaria

(Gasto total efectivo del
programa ao i /
Presupuesto asignado al
programa ao i) x 100

Sistema de control
presupuestario (UCE)
Periodicidad de
medicin anual



Componente
Textos de calidad
adquiridos y distribuidos
oportunamente velando
por las preferencias de
los establecimientos
dentro de las exigencias
tcnico-pedaggicas.

Eficacia/Producto
Porcentaje de
establecimientos
subvencionados que
participan al menos en la
eleccin de una
asignatura en el proceso
de elegibilidad

(N de establecimientos
subvencionados que
participa al menos en
una asignatura en la
eleccin) / (N total de
establecimientos
subvencionados) * 100

SI elegibilidad.
Periodicidad de
medicin anual.


Precios ofertados
acordes con
marco
presupuestario




Eficacia/Producto
Porcentaje de matrcula
de establecimientos que
participan al menos en la
eleccin de una
asignatura en el proceso
de elegibilidad

(Matrcula de
establecimientos que
participan al menos en
una asignatura en la
eleccin) / (Matrcula
total de establecimientos)
*100

SI elegibilidad.
Periodicidad de
medicin anual.

Existencia de
mercado con
inters en
participar en
Licitaciones
Pblicas de
Textos
escolares.



Eficacia/Proceso
(Adquisicin)
Porcentaje de textos
recibidos conforme a la
planificacin


(Textos recibidos
conforme a la
Planificacin / Textos
Adquiridos) * 100


Documento de la
Planificacin.
Ordenes de Compra.
Guas de despacho.
Periodicidad de
medicin anual.

Existencia de
oferta editorial
para todas las
asignaturas y
grados.



Eficacia/Proceso
(Distribucin)
Porcentaje de
establecimientos que
reciben Textos conforme
a la planificacin

(N de establecimientos
que reciben Textos
conformes a la
Planificacin) / (N de
establecimientos que se
han considerado en la
Planificacin) * 100

Documento de la
Planificacin.
Guas de despacho.
Periodicidad de
medicin anual.


En el mercado
existen
proveedores con
capacidad e
infraestructura
para ejecutar la
operacin de
distribucin.



Calidad/Producto
(Distribucin)
Porcentaje de usuarios
(alumnos y docentes)
que declaran haber
recibido Textos en
relacin al total de
usuarios encuestados.


(N de usuarios que
declaran haber recibido
Textos ao n) / (Total de
usuarios encuestados
ao n) * 100

Estudio de uso de
textos escolares
(alumnos y docentes)
Periodicidad de
medicin anual.


Existencia y
capacidad de uso
de tecnologas
(informacin y
comunicacin).




Eficiencia/Producto
Costo unitario total
promedio de los Textos
distribuidos a profesores
y alumnos


(Gasto efectivo total del
Programa ao n) / (N de
Textos distribuidos ao
n)

Sistema de control
presupuestario (UCE).
SI de distribucin de
Textos 2003.
Periodicidad de
medicin anual.

Planificacin del
proyecto
acordada por
todos los
involucrados en
el Proyecto



Eficiencia/Producto
Porcentaje que
representa el precio del
Texto adquirido sobre el
precio de los mismos
Textos en el mercado.

(Costo promedio Textos
adquiridos) / (Precios
promedios de los mismos
Textos en el mercado) *
100

Mercado Editorial.
Periodicidad de
medicin anual.





Eficiencia/Producto
(Distribucin)
Costo promedio de
distribucin de un Texto
al punto de destino
(establecimientos)

(Costo total de operacin
de distribucin a punto
de destino) / (N total de
Textos distribuidos a
punto de destino)

SI de distribucin de
Textos 2003.
Periodicidad de
medicin anual.




Actividades
Componente
- Planificacin
- Preparacin de
bases tcnicas
- Definicin de
criterios de evaluacin
- Licitacin para
adquirir Textos
- Evaluacin de
Textos
- Eleccin de Textos
por establecimientos
- Preparacin de
Base de Datos para la
distribucin
- Distribucin de
Textos.
Seguimiento del uso.









CONTENIDOS DE LA EVALUACIN


ORGANIZACIN Y GESTIN DEL PROGRAMA

Estructura Organizacional y Mecanismos de Coordinacin

Criterios de Asignacin de Recursos y Mecanismos de
Transferencia de Recursos

Relacin Ejecutor e Institucin Responsable del Programa

Funciones y Actividades de Seguimiento y Evaluacin









CONTENIDOS DE LA EVALUACIN

EFICACIA Y CALIDAD

Desempeo del Programa a Nivel de:
Componentes (Bienes y/o Servicios) - Producto
Propsito
Fin

Anlisis de Cobertura

Focalizacin del Programa

Grado de Satisfaccin Beneficiarios
ASPECTOS DE LA EVALUACIN

RECURSOS FINANCIEROS

Fuente y Uso de Recursos Financieros

Evaluacin de Eficiencia
Productividad Media de los Factores
Costos Medios de Produccin
Estructura de Costos

Evaluacin de Economa
Ejecucin del Presupuesto
Aporte de Terceros
Recuperacin de Costos

CONTENIDOS DE LA EVALUACIN

SOSTENIBILIDAD

Factores Institucionales
Capacidad
Factores Cualitativos (Legitimidad beneficiarios,
credibilidad, etc.)

JUSTIFICACIN DE CONTINUIDAD DEL PROGRAMA

Contina vigente el problema /necesidad que dio origen
al programa?
Se justifica el programa en su forma de ejecucin actual?
EJEMPLO DE UNA EVALUACIN

EVALUACIN PROGRAMA SALUD BUCAL

Evaluacin Diseo
Lgica Vertical
Lgica Horizontal
Evaluacin de Gestin
Resultados:
Eficacia
Eficiencia
Economa
Justificacin de la continuidad





2. EVALUACIN DE IMPACTO DE PROGRAMAS
EVALUACIN DE IMPACTO
Qu es Evaluacin de I mpacto?
La Evaluacin de Impacto comprende la efectividad o eficacia
de los bienes y/o servicios entregados por el programa. Para ello
se debe identificar el efecto del programa, separndolo de
posibles efectos de variables externas que influyen en los
resultados.
Mdulo de Impacto
- Resultados de Corto, Mediano y Largo Plazo
Evaluacin en Profundidad
- Evaluacin del Diseo y la Organizacin y Gestin
- Resultados de Corto, Mediano y Largo Plazo
i i
Y
0 i
Y
1

No es posible observar y a al mismo tiempo. Un individuo i en un
momento del tiempo puede presentar slo uno de los dos estados posibles,
intervencin en el programa (tratamiento) o no intervencin en el programa.
Esto es conocido como el Problema Fundamental de Identificacin.
Para evaluar el impacto de un programa sobre un beneficiario se
deseara poder comparar el resultado final en el beneficiario afectado por
el programa vs. su situacin sin el programa.
METODOLOGA DE EVALUACIN DE IMPACTO
i
Y
1i
i
Y
0
Cmo solusionar el problema de identificacin?
Si Grupo 1 y 2 son estadsticamente comparativos.
) 0 / (
)
1 / (
0 1

i i i i
T Y E T Y E
) (
i
E

) (
0 1 i i
Y Y E

La ltima expresin puede ser estimada a partir de una muestra de
beneficiarios en la cual la asignacin del tratamiento sea aleatoria.
METODOLOGA DE EVALUACIN DE IMPACTO
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO EXPERIMENTAL O ALEATORIO
Si el tratamiento es asignado de manera aleatoria, es posible confiar que en la
situacin sin programa, las caractersticas del grupo de beneficiarios sean en
promedio iguales a las del grupo de control.
Beneficiarios
t0 t1
Control
Y
T PROGRAMA
) 0 / ( ) 1 / (
0 1

i i i i
T Y E T Y E




2 1
1
2
1
1
1 1
n
i
i
n
i
i ATE
Y
n
Y
n

) (
ATE
E
Esta estimacin se conoce como Average Treatment Effect (ATE):
Si realizramos la estimacin para mltiples muestras
aleatorias, el promedio de los parmetros estimados ser
igual al verdadero valor poblacional.
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO EXPERIMENTAL O ALEATORIO
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO QUASI - EXPERIMENTAL
Cuando la asignacin del tratamiento no es aleatoria, no es posible
saber cul hubiese sido el resultado para los beneficiarios si no
hubieran recibido el tratamiento. Por lo tanto es necesario crear una
situacin contrafactual: un grupo de control que se parezca lo ms
posible al grupo de beneficiarios, de modo de aproximar la
estimacin de efecto causal del programa.
t0 t1
Control
Y
T PROGRAMA
Beneficiarios
Diferencia Pre
Programa
Sesgo
Tcnica para Construccin del Grupo de Control. Matching:
Corrige las diferencias observables entre el grupo de tratamiento (beneficiarios del
programa) y el grupo de comparacin (no beneficiarios), buscando para cada
individuo de la muestra del grupo de tratamiento el ms parecido de la muestra del
grupo de comparacin.
Requiere informacin para ambos grupos al inicio de la intervencin del programa,
que incluya las variables que se utilizaron para seleccionar a los participantes del
programa y las variables de resultado relevantes (lnea base).
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO QUASI - EXPERIMENTAL
Matching:
Se puede utilizar el mtodo de Matching para evaluar los resultados finales
del programa al momento de la evaluacin (t1) cuando se cuenta con
informacin slo del perodo actual (t1).
El problema de la estimacin utilizando matching (corte
transversal) es que si existen elementos no observables (fijos o
variables??) diferentes entre grupos de tratamiento y control, que
afecten el resultado final, el indicador que mide el impacto del
programa estar sesgado.
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO QUASI - EXPERIMENTAL
Matching:
El grfico siguiente muestra como el mtodo matching corrige solo parte del
sesgo por omisin de variables, dado que no considera los factores no
observables.
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO QUASI - EXPERIMENTAL
t0 t1
Control
Y
T PROGRAMA
Beneficiarios
Sesgo por omisin de no
observables
Diferencia en Diferencia (DIF-DIF):
La estimacin de impacto mediante Dif - Dif permite controlar por elementos no
observables que son fijos en el tiempo.

) ( ) ( ) ( ) (
0
0
0
1
1
0
1
1



t
i
t
i
t
i
t
i dif dif
Y E Y E Y E Y E
METODOLOGA DE EVALUACIN DE IMPACTO:
DISEO QUASI - EXPERIMENTAL
= [ (Beneficiario ExPost) - (Control ExPost)] [ (Beneficiario ExAnte) (Control
ExAnte) ]