CURSO INTERNACIONAL

EVALUACIN DE LA GESTIN Y DE PROGRAMAS

PBLICOS
Santiago de Chile, 1 al 12 de septiembre de 2008

EVALUACIN EX - POST
Procesos e impactos

Andrs Fernndez
Divisin de Desarrollo Social
1

Presentacin
La evaluacin ex-post corresponde a la verificacin del grado de logro de
objetivos y metas formulados en el programa o proyecto.

Una mirada un poco ms amplia que slo impacto.

Es necesario un enfoque integral de la gestin para comprender las

relaciones entre diseo, ejecucin, monitoreo y evaluacin.
El propsito central del enfoque es la maximizacin del impacto y por lo
tanto de la rentabilidad de la inversin social (desde la evaluacin ex
ante).

El enfoque integral de la gestin social

PROCESOS
Insumos

Actividades

Productos

Impactos

Efectos
DISEO

Relacin a nivel de metas

Plan de produccin

Objetivos y
metas de
producto

Objetivos y
metas de
impacto
3

continuacin

relacionar

algunos

objetivos

de

ejemplos
impacto

para
sus

indicadores, con objetivos de producto y sus

indicadores

Objetivos de Impacto

Indicadores de Impacto

Bajar la incidencia de morbilidad

infantil a la media nacional (15o/oo)

Puntos de disminucin en Incidencia

de morbilidad infantil

Bajar la incidencia de mortalidad

infantil en un 50%.

% de variacin de la incidencia de
mortalidad infantil

Disminuir en un 70% la brecha de

nivel educacional existente entre la
regin norte y el promedio nacional.

% de variacin en resultados de
prueba nacional de medicin de
calidad educativa
% de disminucin de tasa de
repeticin
% de disminucin de tasa de
desercin escolar

Bajar el desempleo de la PEA rural

juvenil en 10 puntos porcentuales.

Puntos de disminucin en la tasa de

desempleo

Objetivos de Producto

Indicadores de Producto

Madres e hijos bajo control mdico pre

y post natal

Cantidad de madres bajo control

Cantidad de hijos bajo control

Nios vacunados

Cantidad de nios vacunados

Madres capacitadas en prevencin de

deshidratacin infantil

Cantidad de madres capacitadas

Alumnos educados con nuevas

tecnologas pedaggicas

Cantidad de alumnos educados con

nuevas tecnologas pedaggicas

Alumnos de escasos recursos becados Cantidad de alumnos becados

Jvenes rurales capacitados en
produccin agropecuaria

Cantidad de jvenes rurales

capacitados en produccin
agropecuaria

Jvenes microempresarios rurales con

acceso a crditos subsidiados

Cantidad de jvenes
microempresarios rurales con crdito
subsidiado

Jvenes con contratos formalizados

Cantidad de jvenes con contratos

formalizados
6

Principales razones de fracaso

Factores internos
Errores de diagnstico (tamao del problema, anlisis causal, etc.).
Inadecuado diseo (procesos y organizacin).
Incumplimiento de las metas de producto.
Errores de focalizacin.
Desajustes financieros (costos, flujo de caja, etc.).
Interaccin entre algunos de los anteriores.
Factores externos
Incumplimiento de supuestos.
Cambios imprevistos de contexto.

Flujo bsico de informacin en el ciclo de la gestin social

Alimentacin

Diagnstico

Evaluacin
ex ante

Formulacin

Retroalimentacin

Inversin

Programacin

Operacin

Evaluacin
Ex post

Monitoreo y
control de
procesos

Definicin

La evaluacin ex - post consiste en la medicin o sistematizacin y

explicacin de los resultados acumulados de:

Cobertura
Focalizacin
Eficacia
Eficiencia
Efectos
Impacto
Relacin costo / impacto

para lo cual se utilizan datos reales a diferencia de la evaluacin ex-ante

que utiliza las estimaciones disponibles.
=> Estrecha relacin con el sistema de monitoreo.
9

Monitoreo y control de procesos

El propsito central del monitoreo y control de procesos es velar por el

cumplimiento de la(s) meta(s) de impacto. En trminos generales, consiste
en el examen peridico de los procesos utilizando un sistema de
indicadores especialmente diseado para alertar acerca de desviaciones
respecto de lo programado.
Esta funcin est centrada en la fase de operacin y, particularmente en
sus procesos clave, no obstante que la inversin en activos fijos, en el
caso que un proyecto la contemple, tambin debe ser monitoreada.

10

Monitoreo y control de procesos

El sistema de indicadores, abarcando tanto las salidas como las

actividades crticas de cada proceso, debe proveer de informacin
respecto de cantidad, calidad, tiempo y costo.

El desafo est en conjugar dos principios:

1.

minimizar el riesgo en el proceso decisorio.

2.

maximizar la eficiencia en la recoleccin de informacin.

11

Principales indicadores
Cobertura
Este indicador hace referencia a la relacin entre beneficiarios y poblacin
objetivo.

Cobertura =

Cantidad d e benefici arios

*100
Tamao de la poblaci n objetiv o

BT
Cb =
* 100
PO

Cn

B PO
=
* 100
PO
12

Principales indicadores

Focalizacin

Los indicadores de focalizacin buscan conocer en qu medida la

poblacin objetivo es o no la beneficiaria del proyecto.

El grado de

focalizacin (F), permite conocer en qu medida los productos (bienes o

servicios) son recibidos slo por aquellas personas o entidades
pertenecientes a la poblacin objetivo, es decir, mide el acierto de
inclusin.

B PO
F =
* 100
BT
13

Cobertura y focalizacin
Pertenecen
a la PO

No pertenecen
a la PO

Poblacin
atendida

Acierto de inclusin
(a)

Error de inclusin
(b)

Poblacin
no atendida

Error de exclusin
(c)

Acierto de exclusin
(d)

a+c
Cobertura bruta (CB) =
Cobertura neta (CN) =

a+b

c+d

b+d

(a + b) / (a + c)
(a) / (a + c)

Cuando slo existen aciertos, esto es, ambos errores son iguales a 0, la
focalizacin es totalmente correcta. Entonces: CB = CN = 100%.
14

Principales indicadores
Eficacia : corresponde a la relacin entre la cantidad de bienes o servicios
que produce y distribuye el proyecto durante su operacin y lo estimado en
la programacin, independientemente de los costos.

A=

IF
GC

Donde,
IF corresponde al ndice fsico y
GC al grado de cumplimento.

Produccin generada
Indice Fsico =
Produccin programada

Grado de cumplimien to =

Tiempo real
Tiempo programado

IF =

L
M

GC =

Tr
Tp

Si A = 1, el proyecto es eficaz (la eficacia es de 100%)

Si A < 1, el proyecto es menos eficaz que lo programado (inferior al 100%)
Si A > 1, el proyecto es ms eficaz que lo programado (superior al 100%)

15

Principales indicadores

Eficiencia : corresponde a relacin entre los productos generados y los

recursos utilizados en la produccin. Relaciona los costos programados,
con los costos reales, el volumen de produccin y el tiempo (reales y
programados).

B=

L * C p * Tp
M * Cr *Tr

B = A*

Donde (Cp ) son los costos programados y (Cr ) los costos reales.
B = 1, la produccin es eficiente (costos reales por producto iguales a los
programados)
B > 1, el proyecto es ms eficiente que lo programado
B < 1, el proyecto es menos eficiente que lo programado
16

Principales indicadores
Calidad : corresponde a la relacin entre el estndar del producto real y el
estndar programado. ste se establece a partir de criterios normativos, lo
observado en otro proyecto similar o en funcin del promedio para un
conjunto de proyectos.

q
Q =
S
Donde, q es el nivel de calidad del producto entregado y s es el estndar
de comparacin.
Si Q = 1, la calidad observada es igual al estndar o a la media; si Q > 1 la
calidad del producto es superior; si Q < 1, entonces es inferior.

17

Principales indicadores

Respecto de la calidad cabe advertir que, independientemente del

cumplimiento o no del estndar, existe lo que se denomina calidad
percibida por los beneficiarios. sta incidir de manera significativa en
el uso del producto y, consecuentemente, en el logro de la meta de
impacto.
Si la calidad se califica negativamente, los beneficiarios rechazarn el
producto.
Por otra parte, cabe sealar tambin que sta depende de las
expectativas: mientras menor sea sta, ms positiva ser la percepcin
de calidad.

18

A continuacin un ejemplo de diagrama de

procesos y su relacin con objetivos de
impacto y poblaciones objetivo:
El caso del Plan de Mejoramiento Alimentario
y Nutricional de Antioquia

19

20

21

Diagrama
Proceso: Recuperacin de nios con desnutricin aguda
Deteccin de nios con
desnutricin aguda

NO

NO

Lista de espera
por cupo

Moderada o
Severa?
SI

Existe
cupo?
SI

Ingreso a CRN y
tratamiento clnico
Eventual derivacin y
tratamiento en clnica
Santa Ana

Recuperacin nutricional
ambulatoria

Seguimiento

Nios con desnutricin aguda

recuperados

22

Indicadores de monitoreo
Proceso: Recuperacin de nios con desnutricin aguda
Deteccin de nios con desnutricin aguda

Eficacia

Cobertura y Focalizacin
Tasa de abandono
Tratamiento clnico

Tasa de derivacin
Eficacia
Eficiencia
Tasa de abandono

Seguimiento

Eficacia

Cobertura y Focalizacin
Recuperacin ambulatoria

Tasa de abandono
Eficacia

23

Evaluacin de impacto
La evaluacin de impacto utiliza la lgica del mtodo experimental, no
constituyendo propiamente un experimento. La nica excepcin puede
ser el caso de ciertos proyectos que tienen el carcter de piloto siempre
que en su diseo esto haya sido considerado.
La verificacin del impacto se realiza mediante la medicin y comparacin
del estado "inicial" (lnea de base) que presentaba la poblacin objetivo y
la situacin existente despus de un tiempo de operacin del proyecto
(lnea de comparacin), eliminando (o tratando de minimizar) la incidencia
de factores externos que tambin pudieran estar contribuyendo a la
explicacin del cambio.
Los modelos para medir efectos e impactos son los mismos, slo cambian
los indicadores utilizados.

24

Los diseos de investigacin

Experimentales

No experimentales

Segn la
intervencin del
investigador

Pre experimentales
Experimentales
Cuasi experimentales

Transversales

Segn el nmero de
mediciones

Longitudinales

Cohortes
Panel
Tendencia

25

Diseos experimentales

Definicin

Diversidad de
complejidad

Por experimento se entiende aquel mtodo que permite

estudiar el efecto que tiene, sobre una o ms variables
dependientes (Y), la manipulacin de una o ms
variables independientes (X).

Posibilidades de
manipular el ambiente
Posibilidades de
controlar el ambiente

Administrar el estmulo
experimental (X)

Aislar factores
intervinientes

Controlar los factores intervinientes afecta la validez de los resultados y

las conclusiones.
26

Validez de los diseos experimentales

Interna

Externa

Los resultados se explican por el

proyecto y no por otros factores no
controlados.

Alude a la representatividad de los

resultados obtenidos. Es decir, las
posibilidades de generalizacin que
stos tienen.

En el anlisis de los impactos lo ms relevante es la validez interna.

La validez externa adquiere relevancia cuando alimenta decisiones de
replicacin o de ampliacin, como en el caso de los proyectos piloto, sin
embargo habr que precaverse del efecto macetero.
27

Principales factores que atentan contra la validez interna

1. Historia: acontecimientos externos a los sujetos ocurridos entre las
mediciones.
2. Maduracin: sucesos propios de los sujetos que intervienen por el
slo hecho del paso del tiempo entre las dos mediciones.
3. Administracin de pruebas: efecto de una aplicacin de prueba sobre
los resultados de otra posterior.
4. Instrumentacin: cambio de instrumentos u observadores entre las
dos mediciones.
5. Mortalidad: efecto sobre los resultados por la prdida de sujetos
entre las mediciones.

28

Diseo experimental clsico

R
R

Yb1
Yc1

Yb2
Yc2

La magnitud en que difieran los cambios producidos en el grupo con

b
b
proyecto (Y 1 - Y 2), en cada objetivo de impacto, respecto a los del grupo
c
c
sin proyecto (Y 1 - Y 2), ser una medida del impacto del proyecto en dicho
objetivo.

29

Diseo experimental clsico

b
1

Si, (Y

- Y 2) es resultado de cambios endgenos y exgenos

Si, (Yc1 - Yc2) es resultado slo de cambios exgenos

Entonces (Yb1 - Yb2) - (Yc1 - Yc2) es una medida del impacto neto del
proyecto.
Si la aleatorizacin es perfecta, entonces (Yb1 = Yc1) , por lo tanto para
conocer la magnitud del impacto bastara con la comparacin post. Sin
embargo, esto no permite conocer la magnitud de efectos exgenos y se
pierde informacin que enriquece el anlisis evaluativo empobreciendo, a
la vez, la retroalimentacin para tomar decisiones de reprogramacin o
replicacin.

30

Diseo experimental clsico

El diseo experimental clsico constituye una forma vigorosa de

identificar los cambios producidos por un proyecto. Sin embargo, su
aplicacin se dificulta porque requiere la seleccin aleatoria de los
integrantes de cada uno de los grupos en la lnea de base (LB).
Otro obstculo son las dificultades ticas que derivan de aplicar el
proyecto a slo una parte de la poblacin objetivo (el grupo experimental)
para poder medir el impacto, excluyendo a otros que legtimamente
requieren de la atencin que el mismo brinda.

31

Diseos pre experimentales

Diseo antes - despus de un solo grupo

Yb1

Yb2

No permite eliminar el efecto del contexto y, por tanto, tampoco es

posible determinar en qu medida los cambios registrados son
imputables al proyecto.

32

Diseos pre experimentales

Diseo de comparacin con grupo equivalente

X
Yb2
------------Yc2

Es posible aumentar la validez procurando que los dos grupos sean

lo ms parecidos posible en todas las variables externas al proyecto
que pudieran incidir en el impacto. Sin embargo, la ausencia de LB
no permite medir su magnitud.

33

Diseos cuasi experimentales

Diseo antes despus con grupo de control equivalente

Yb1
Yc1

Yb2
Yc2

Se comparan grupos naturales

equivalencia por muestreo aleatorio.

pero

que

no

poseen

34

Diseos cuasi experimentales

Diseo de series cronolgicas
Yb1 Yb2 Yb3 Yb4

Yb5 Yb6 Yb7 Yb8

Si se dispone una serie mediciones para los indicadores pertinentes, tanto

antes como despus de la ejecucin del proyecto, es posible hacer un
anlisis de series temporales. La formas que adopta la curva que
representa la serie es utilizada para estimar la magnitud del impacto.
En trminos estrictos, con este modelo no es posible aislar los efectos
atribuibles al proyecto. Es el clsico problema de establecer causalidad sin
disponer de instrumentos que controlen los diferentes tipos de variables
que la afectan.
Es posible mejorar la estimacin incorporando una serie cronolgica para
grupo equivalente.
35

Curvas de efecto en diseos cuasi experimentales

F
Y
E

C
B
A

36

Complementos a los diseos cuasi experimentales

Aunque los diseos experimentales se consideran el mtodo ptimo para
estimar el impacto de los programas sociales, ellos son difciles de
implementar.
1. Conseguir la aleatorizacin puede ser difcil por aspectos polticos o
ticos ya que supone no entregar los productos a personas que
cumplen con la definicin de poblacin objetivo.
2. Durante la intervencin las personas asignadas a los grupos de control
podran cambiar ciertas caractersticas que los identifican, afectando la
validez interna. Normalmente no es posible aplicar la condicin de
doble ciego.
3. En muchas ocasiones la evaluacin se disea con el programa en
operacin lo que dificulta optar por un diseo experimental debiendo
recurrirse a los diseos cuasi experimentales.
37

Complementos a los diseos cuasi experimentales

Como hemos visto, un elemento importante en la evaluacin de impacto es

la construccin de un escenario contrafactual. Esto es, por medio de
mtodos estadsticos, construir una situacin hipottica en la cual
hubiesen estado los beneficiarios en caso de que el programa no se
hubiese implementado.
Lo habitual, en el campo de los programas sociales, es recurrir a
mecanismos que propendan a lograr una deseada igualdad de medias
entre los atributos de los integrantes de ambos grupos.
El diseo denominado antes despus con grupo de control equivalente
ha sido perfeccionado con la aplicacin de modelos estadsticos, por
medio de los cuales es posible parear sujetos empleando un set de
atributos similares.

38

Muestreo, precisin y significacin estadstica

El nivel de precisin de una estimacin de parmetros o el nivel de

significacin logrado en un prueba de hiptesis est directamente
relacionado con el error de muestreo o error estndar y ste, a su vez
depende del tamao de la muestra y de su diseo.

39

Evaluacin costo / impacto

Relacin costo / impacto

El ltimo componente de la evaluacin ex-post es calcular el costo por
unidad de impacto real (CUIr), dividiendo los costos reales (Cr) por los
impactos alcanzados Ir.

CUI r =

Cr
Ir

Para hacer un anlisis intra-proyecto, se comparan los resultados con las

estimaciones realizadas durante la evaluacin ex-ante. Esto permite medir
el grado en que dichas estimaciones se adecuaron a la realidad y las
razones de las diferencias encontradas .

40

CURSO INTERNACIONAL
EVALUACIN DE LA GESTIN Y DE PROGRAMAS
PBLICOS
Santiago de Chile, 1 al 12 de septiembre de 2008

EVALUACIN EX - POST
Procesos e impactos

Andrs Fernndez
Divisin de Desarrollo Social
41