09 Evaluacion de Politicas Publicas Con Microsimulaciones

Evaluacin de polticas
pblicas con
Microsimulaciones
Karina Caballero y Jimmy Ferrer
Febrero 2011
Introduccin
Las
evaluaciones de impacto de programas

pblicos buscan medir los cambios en el
bienestar de los individuos que pueden ser
atribuidos a un programa o a una poltica
especfica y sus objetivos son, entonces,
proveer informacin y ayudar a mejorar su
eficacia.
Asimismo, el conocimiento obtenido de estos

estudios que evalan el impacto proporciona
informacin decisiva para el diseo adecuado
de programas al proporcionar respuesta a
preguntas tales como:
Introduccin

Logra el programa las metas propuestas?,

Son los cambios producidos un resultado directo
del programa, o son resultado de otros factores
que ocurrieron simultneamente?,
Cambia el impacto del programa dependiendo
del grupo al que se est tratando de beneficiar
(hombres, mujeres, pueblos indgenas), o de la
regin, o a travs del tiempo?;
Tuvo el programa efectos inesperados, ya sean
positivos o negativos?,
Qu tan eficiente es el programa en
comparacin con intervenciones alternativas?
Justifica el valor del programa su costo?
Introduccin
Una cuestin clave en la evaluacin de polticas

es identificar la causalidad de la correlacin.
Correlacin: dos variables se mueven juntas
Causalidad: una de las variables causa el movimiento
de la otra
Es fundamental para las polticas publicas

entender la diferencia, de otra forma la poltica
puede no tener el impacto deseado.
Para propsitos de poltica lo que importa es la

relacin de causalidad
Bases tericas de la evaluacin de

impacto
Preguntas

de causa efecto:
X causa a Y?
Si X causa a Y, qu tan grande es el efecto en Y?
Este efecto es mayor que el generado por otra
causas?
Este
tipo de preguntas es la motivacin de

mucho trabajo emprico en las ciencias
sociales
Metodologa bsica
Las
evaluaciones tratan de establecer los

resultados que se produjeron o causaron por
un programa (poltica).
DE INVESTIGACIN: Cul es el
efecto causal del programa (poltica) en los
participantes, comparado con la no
implementacin del programa?
PREGUNTA
Aproximacin:
mediante la construccin de
un escenario hipottico.
Metodologa bsica
Opciones para estimar el efecto causal de un programa

(Aproximacin a la evaluacin de programas):
Opciones
Dificultades
Comparar resultados antes y

despus
Variables econmicas se mueven
Incluir un grupo control
Existen diferencias en las

caractersticas observadas y no
observadas de los individuos
Grupo control seleccionado de

forma aleatoria
(EXPERIMENTALES)
Grupo control manipulado con
tcnicas estadsticas
(CUASI-EXPERIMENTALES)
Metodologa bsica
El
grupo de control est compuesto de

individuos que presenten caractersticas muy
similares a los beneficiarios del programa
(Caliendo y Kopeining, 2005).
Un grupo de control es comparable en el

caso en que la nica diferencia en los
resultados promedio del grupo de
tratamiento y el de control, se explica por el
efecto de la intervencin.
Metodologa bsica
CONTRAFACTUAL: el resultado de un
beneficiario con la ausencia del programa
Fuente: Khandker, et al. 2010
Metodologa bsica
ENFOQUE EXPERIMENTAL
Enfoques experimentales a menudo se describen

como el estndar de oro" de la evaluacin (Campbell
y Stanley, 1973).
Esencialmente, se trata de reproducir el tipo de

condiciones en las que los comportamientos de los
"fenmenos de las ciencias naturales" son observados
y entendidos a un contexto social.
La caracterstica fundamental es la asignacin

aleatoria del tratamiento, tanto al grupo de control
como al grupo de tratamiento, en consecuencia cada
unidad de anlisis tiene la misma probabilidad de ser
elegida.
Metodologa bsica
El principal objetivo de las tcnicas experimentales

es reunir suficiente evidencia confiable acerca de un
fenmeno particular en una situacin particular.
VENTAJA: representan el ms riguroso y "cientfico"

enfoque para evaluar los resultados e impactos, y
para inferir "causalidad" entre las intervenciones y los
resultados e impactos.
DESVENTAJAS:
1)
2)
la dificultad de aplicar el mtodo clsico de las

ciencias naturales a las ciencias sociales
alto costo de los mtodos clsicos de la ciencia natural
Metodologa bsica
ENFOQUE CUASI-EXPERIMENTAL
Mtodos cuasi-experimentales flexibilizan las

condiciones de probabilidad y la distribucin de
la poblacin impuestas por los diseos de
investigacin experimental.
Desarrollo de nuevas herramientas estadsticas

que permitieron el control estadstico.
Frecuentemente utilizan tcnicas estadsticas

como anlisis probit, anlisis de supervivencia y
anlisis de regresin jerrquica.
EL PROBLEMA DE EVALUACIN
Para identificar el impacto del programa, se estima la
diferencia en la variable resultado (Y) que registra el
individuo i con y sin la intervencin del programa
(Heckman y Smith, 1996)
i= Y1i Y0i
(1)
Donde i es el impacto del programa sobre el individuo

i:
Y0i=(X) + U0 resultado potencial que registrara el
productor i sin el tratamiento,
Y1i=(X) + U1 resultado potencial que registrara el
productor i con el tratamiento.
EL PROBLEMA DE EVALUACION
Debido al problema fundamental de
identificacin, que establece que es imposible
conocer ambos resultados para el mismo
productor, entonces, los distintos mtodos de
evaluacin buscan construir el contrafactual
(Caliendo y Kopeining, 2006).
Para ello se redefine entonces el problema,

pasando del nivel individual al nivel poblacional
y, as, se estima el valor medio de o algn
aspecto de su distribucin (Heckman et al.,
1999).
Metodologa bsica
Existen dos parmetros bsicos disponibles en la literatura
para medir el impacto promedio (Caliendo y Kopening,
2006).
1. Efecto promedio del tratamiento (average treatment
effect, ATE): la diferencia esperada de los resultados de
participar y no participar.
Este estadstico expresa el efecto esperado en el resultado

en el caso que los individuos de la poblacin sean
asignados aleatoriamente al tratamiento.
Este caso puede ser no relevante en la medida en que

desde la ptica de la poltica pblica importa ms el caso
donde las personas son seleccionadas, especficamente
para participar en el programa (Heckman, 1997
Metodologa bsica
2. Efecto promedio del tratamiento en la poblacin tratada
(average treatment effect on the treated, ATT): los
efectos de aquellos donde el programa es efectivamente
aplicado.
El valor esperado de ATT es la diferencia entre los valores

del resultado esperado con y sin tratamiento para aquellos
que participan en el tratamiento.
ATT= E(Y1i -Y0i| D=1)= E(Y1i | D=1) - E(Y0i | D=1)
Los beneficios obtenidos se pueden comparar

directamente el costo para, de este modo, analizar los
costos y beneficios del programa especfico (Heckman,
Lalonde y Smith, 1999).
Metodologa bsica
Existen varias alternativas metodolgicas (Todd, 2006) aunque

todas coinciden en intentar simular las condiciones de un diseo
experimental a partir de bases de datos de beneficiarios y nobeneficiarios y utilizando avanzadas tcnicas estadsticas.
Estas tcnicas se aplican una vez que la intervencin del

programa ya tuvo lugar, es decir, una vez que se seleccionaron los
beneficiarios del programa usando mtodos no aleatorios.
Por esta razn, en un diseo cuasi-experimental los grupos de

control y tratamiento no son iguales entre s y, por lo tanto,
el corazn de esta metodologa de evaluacin consiste en aplicar
sofisticados controles estadsticos para eliminar o minimizar estas
diferencias o sesgo de seleccin (el cual resulta del hecho que
los individuos no se seleccionan en una forma que no este
relacionada con el resultado, inciden factores como motivacin
habilidad natural, etc).
Metodologa bsica
MTODOS PARA RESOLVER EL PROBLEMA DEL
CONTRAFACTUAL
Evaluaciones
aleatorias
Mtodos de Matching, Propensity Score
Matching (PSM)
Mtodos de dobles diferencias
Mtodos de variables instrumentales
Regresiones discontinuas
Impactos distribucionales
Modelos estructurales
Metodologa bsica
Uno
de los mtodos ms utilizados para la

medicin de impacto de un programa, es el
de matching de datos que corrige las
diferencias observables entre el grupo de
tratamiento y el grupo de control, buscando
para cada individuo de la muestra del grupo
de tratamiento al individuo el ms parecido
de la muestra del grupo de comparacin
(Rosenbaum y Rubin, 1983, Todd, 1999)
Metodologa bsica
Matching es una aproximacin estadstica que

resuelve el problema de la evaluacin mediante
la bsqueda en un grupo de no participantes a
aquellos individuos que son similares a los
participantes en todas las caractersticas X pretratamiento relevantes.
Matching asume que no hay sesgo de seleccin

basado en caractersticas no observadas
El mtodo de matching estima el contrafactual

reponderizando el grupo de control para que
tenga las misma distribucin de variables X que
el grupo de tratamiento
Metodologa bsica
SUPUESTOS DE IDENTIFICACION
de independencia condicional: la
participacin es independiente de los
resultados una vez que se ha controlado por
las caractersticas observables X
Supuesto
de soporte comn: se comparan

individuos comparables
Condicin
Metodologa bsica
Supuesto de independencia condicional (SIC):
Supone que la seleccin del tratamiento es "en los

observables" y por lo tanto puede ser eliminado por el
condicionamiento de un amplio conjunto de covariables
observadas.
Para el parmetro ATT: E(Y0 |X, D=1)= E(Y0 |X, D=0)
El SIC se cumplir si X incluye todas las variables que

afectan tanto a la participacin y los resultados.
Teora y conocimiento institucional puede indicar si el SIC

es probable que dispongan de un determinado X.
El SIC IMPLICA LA AUSENCIA DE SESGO DE SELECCIN
Metodologa bsica
Condicin de Soporte Comn:
Los
individuos con los mismos valores de X

tienen una probabilidad positiva de ser los
participantes y no participantes.
Para
El
el parmetro ATT: P (D = 1 | X) 1
soporte asegura la existencia, en la

poblacin, de observaciones de no tratados
que se "parecen a las observaciones sin
tratar
Metodologa bsica
Soporte Comn
Densidad
Densidad de
Resultados de no
participantes
Densidad de resultados
de participantes
Region de
soporte
comn
Alta probabilidad
Baja Probabilidad
Probabilidad de
participacin dado X
Propensity Score Matching (PSM)

Si
tenemos muchas variables X, cmo se

realiza el matching?
De

acuerdo a Rosenbaum y Rubin (1983):
Si se cumple: E(Y0 |X, D=1)= E(Y0 |X, D=0)

Entonces tambin se cumple:
E(Y0 |P(X), D=1)= E(Y0 |P(X), D=0)
Dnde P(x) es el propensity score o la

probabilidad de participar

El Propensity Score Matching (PSM) consiste en

modelar estadsticamente la participacin en el
programa por medio de una regresin logstica,
para luego estimar la probabilidad de participar
en el programa dadas sus caractersticas de
elegibilidad de los individuos de ambas muestras
(Rosenbaum y Rubin, 1983):
Pi = + Xi + i
(3)
Donde: Pi es igual a 1 si el individuo i participa

en el programa y 0 de lo contrario. Xi son las
variables que afectan la participacin en el
programa y i es un trmino de error aleatorio.

El SIC en el PS implica que es necesario que se

cumpla la propiedad de balanceo (Rosenbaum y
Rubin, 1983):
D X | p (X)
(2)
Es decir, para aquellas observaciones con el mismo

propensity score, la distribucin de las caractersticas
antes del tratamiento debe ser la misma para los
grupos de tratamiento y control.
Esto implica que, cada individuo tiene la misma

probabilidad de asignacin al tratamiento,
condicionada en el PS, tal como en un experimento
aleatorio.

PROCEDIMIENTO
1.Tener una base de datos representativa y
comparable de participantes y noparticipantes.
2.Estimar la probabilidad de participacin del
programa como una funcin de
caractersticas observables
3. Usar los valores estimados para generar el
propensity score P(x), para ambos grupos.

PROCEDIMIENTO
4. Emparejar a los participantes: encontrar
una muestra de no-participantes son p(x)
similar. Restringir la muestra para asegurar el
soporte comn.
5. Una vez encontrado el matching calcular el
impacto con los promedios de los resultados
en todos los participantes

Los distintos mtodos se pueden clasificar de una
manera general en dos grupos (Todd, 1999):
Estimadores matching de corte transversal. Este

estimador compara los resultados para las personas
beneficiarios y el grupo de comparacin, medidos en el
mismo perodo de tiempo despus del programa.
Estimadores matching diferencias en diferencias.

Compara los cambios en los resultados para los
beneficiarios con respecto a los cambios en los
resultados en el grupo de comparacin. En este caso los
cambios son medidos respecto a un perodo de
referencia antes del programa.

ATT en PSM
ATT= E(Y1 -Y0|X, D=1)= E(D|X, D =1)
ATT = E {Y1Y0 |X, D= 1 , p ( X ) }
ATT = E { E { Y1 | D = 1 , p ( X ) } E { Y0 | D = 0, p
(X)}D=1}
Donde D es una variable dummy que indica la

participacin (1) o no participacin (0) en el
programa. El parmetro ATT mide la ganancia
media para los individuos que eligieron
participar con respecto de la situacin que
habran experimentado sin participar.
Estimadores de Matching
Todas los estimadores de matching son estimadores

ponderados en los cuales los individuos no tratados
que estn ms cercanos a los tratados (en trminos
de X) reciben el mayor peso.
1
ATT = Yi W(i , j )Yj
ni iC jC
donde ni es el nmero de individuos tratados, y w

(pi, pj) es el peso de la observacin sin tratamiento
j en la construccin del contrafactual para la
observacin del i-simo individuo de tratamiento.
Diferentes estimadores de matching difieren en
cmo construir el peso w (i, j).
Nearest Neighbor Matching
Con este mtodo se compara el resultado que obtiene cada beneficiario

tratado con el grupo de control que tenga el propensity score ms
cercano. As se calcula la diferencia entre cada par de unidades
emparejadas en la variable de inters y se promedian todas las
diferencias para calcular el ATT.
Esto es:
C (i ) = min || p1 p j ||
Donde C(i) representa el conjunto de unidades de control emparejadas

a la unidad tratada i , con un valor estimado del propensity score pi
As la frmula del estimador es:
ATT NN =
=
1
NT
T
c
Y
w
Y
i
ij j
1T
jC ( i )
1
T
c
Y
|
w
Y
i ij j
N T iT
iT jC ( i )
1
Donde NT es el nmero de unidades tratadas en la muestra, y las wij = c
Ni
son ponderaciones si j C(i) y wij =0 de otra forma.
Nearest Neighbor Matching
Con
o sin reemplazo
Con
remplazo mejora la calidad del pareo pero

puede aumentar la varianza
Desventaja,
puede ser que el N vecino ms

cercano est demasiado lejos, lo que disminuye
la calidad del pareo
Kernel Matching
En el mtodo de Kernel Matching todas las observaciones

tratadas son emparejadas con un promedio ponderado de
todas las unidades de control.
Las ponderaciones empleadas son inversamente proporcionales a
la distancia entre los propensity scores de las unidades
tratadas y de control. El estimador se calcula de la forma
siguiente:
p j pi
C
Y
K
jC j
h
1
ATT K = T Yi T
N iT
pk pi
kC K h
donde K (.) es una funcin kernel y hn es un parmetro de ancho

de banda.
Kernel Matching
Le
da un peso decreciente a observaciones que

se encuentran ms lejos de cada observacin
tratamiento
Suele utilizar ms observaciones que los

mtodos anteriores (aunque en realidad
depende del tipo de Kernel), por ello hay que
tener especial cuidado con determinar cuales
observaciones estn en el soporte comn
Estimador Caliper
El estimador Caliper es una variacin del Nearest Neighbor que permite

a los matches con toleracia en la distancia
|| pi pj|| con la finalidad de evitar que diferencias del grupo del
control este demasiado lejos del grupo de tratamiento.
Para estimar el caliper matching del neighborhood del grupo de
tratamiento i:
C ( Pi ) = j : >|| Pi Pj ||= min || Pi Pk ||

kI 0
y un solo individuo de comparacin es igual cuando su distancia al

individuo de tratamiento es la ms baja y por debajo de la tolerancia
. Si ninguno de los individuos de comparacin se encuentra dentro
del criterio de la tolerancia, entonces el tratamiento i es unmatched.
Los pesos estn dados por
W (i, j ) = 1[ j = k ]
Estimador Caliper
NN
vecinos ms cercanos slo si estn en una

distancia suficientemente cercana
Es una manera de imponer la condicin de

soporte comn
Local-Linear matching
El estimador Local-Linear matching es una versin

generalizada del Kernel matching que aade un
trmino lineal Pi a la constante en una regresin no
paramtrica de la variable de resultado.
Los pesos estn dados por:
Gij Gik ( Pk Pi ) 2 (Gij ( Pk Pi )) Gik ( Pk Pi )

k I 0
kI0
W (i , j ) =
2
Gij Gik ( Pk Pi ) 2 Gik ( Pk Pi )
jI 0
jI 0
jI0
Donde
Pj Pi
Gij = G
h
n
PSTEST
La propiedad de equilibrio asegura que no hay

diferencias significativas en la distribucin de las
caractersticas de pre-tratamiento observables entre las
observaciones de los grupos de tratamiento y control con
matching, es decir, que las observaciones con el
tratamiento y control sean lo ms similar posible.
Esta propiedad se prueba por medio de el PSTEST (Leuve

y Sianesi, 2003), esta prueba viene originalmente de
Rosenbaum y Rubin (1985) y se basa en el examen de las
diferencias estandarizadas. La prueba calcula para cada
variable coincidente la medida de la reduccin de
sesgos:
Dnde es la media y S2 la desviacin estndar.
Ventajas de usar PSM

El
grado en el cual caractersticas observadas

guan la participacin en el programa.
No
requiere necesariamente una lnea base o

una encuesta de panel
Es
un mtodo semiparametrico, por lo que

impone pocas restricciones en la forma
funcional del modelo de tratamiento, y tambin
pocos supuestos sobre el trmino de error.
Consideraciones prcticas
Indicadores de Impacto
Se
clasifican en 2 grupos:
Indicadores finales: miden los resultados de los

programas (ej. mayor ingreso per cpita).
Indicadores intermedios: miden los insumos de los

programas (ej. esquemas de subsidio) y los
productos del programa (ej. Carreteras construidas)
Indicadores de Impacto
Se definen de manera ms precisa si:
Existe un buen entendimiento de los insumos, productos
y la etapa del proyecto.
Se especifica el nivel y unidad de medida de los
indicadores
Levantamiento frecuente de informacin para ver como
los productos intermedios estn evolucionando y si es
necesario revisar el indicador
Para el levantamiento de informacin tiene que

estar definido:
Timing del levantamiento
Tipo de instrumento
Nivel de recoleccin
Cmo elegir las X?
Se deben incluir todas las variables que afecten la

decisin de participacin y la variable de resultado
Terica econmica y conocimiento del entorno
Criterios basados slo en el propensity score

(significancia estadstica)
Entre ms variables condicionales, con mayor

facilidad se puede cumplir el SIC, pero incluir
variables irrelevantes puede disminuir el soporte
comn.
Cuando usar PSM

Matching es plausible cuando se tiene una base de datos

rica en caractersticas observables.
Matching no es apropiado cuando la seleccin en el

tratamiento se basa en caractersticas no observables
que se correlacionan con los resultados de inters.
Matching no es apropiado cuando los efectos de

equilibrio general son importantes. Cuando GE estn
presentes, el tratamiento tambin (indirectamente)
afecta a las observaciones de los no-tratados, lo que
dificulta la estimacin de los resultados del
contrafactual.
En resumen, la importancia de hacer Matching depende

de las instituciones y la disponibilidad de datos para
cada programa en particular.
Rutinas de STATA para realizar

Matching
psmatch2.do
E. Leuven y B. Sianesi
http://ideas.repec.org/c/boc/bocode/s432001.html
pscore.do; attnw.do; attnd.do; attr.do; atts.do
Sasha Becker y Andrea Ichino
http://www.iue.it/Personal/Ichino.
match.do
G. Imbens y Abadie.
http://elsa.berkeley.edu/~imbens/estimators.shtml
Evaluacin de polticas
pblicas con
Microsimulaciones
Karina Caballero y Jimmy Ferrer
Febrero 2011

09 Evaluacion de Politicas Publicas Con Microsimulaciones

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

09 Evaluacion de Politicas Publicas Con Microsimulaciones

Transféré par

Droits d'auteur :

Formats disponibles

Evaluacin de polticas

evaluaciones de impacto de programas

Asimismo, el conocimiento obtenido de estos

Logra el programa las metas propuestas?,

Una cuestin clave en la evaluacin de polticas

Es fundamental para las polticas publicas

Para propsitos de poltica lo que importa es la

Bases tericas de la evaluacin de

tipo de preguntas es la motivacin de

evaluaciones tratan de establecer los

Opciones para estimar el efecto causal de un programa

Comparar resultados antes y

Variables econmicas se mueven

Incluir un grupo control

Existen diferencias en las

Grupo control seleccionado de

grupo de control est compuesto de

Un grupo de control es comparable en el

Fuente: Khandker, et al. 2010

Enfoques experimentales a menudo se describen

Esencialmente, se trata de reproducir el tipo de

La caracterstica fundamental es la asignacin

El principal objetivo de las tcnicas experimentales

VENTAJA: representan el ms riguroso y "cientfico"

la dificultad de aplicar el mtodo clsico de las

Mtodos cuasi-experimentales flexibilizan las

Desarrollo de nuevas herramientas estadsticas

Frecuentemente utilizan tcnicas estadsticas

Donde i es el impacto del programa sobre el individuo

Para ello se redefine entonces el problema,

Este estadstico expresa el efecto esperado en el resultado

Este caso puede ser no relevante en la medida en que

El valor esperado de ATT es la diferencia entre los valores

Los beneficios obtenidos se pueden comparar

Existen varias alternativas metodolgicas (Todd, 2006) aunque

Estas tcnicas se aplican una vez que la intervencin del

Por esta razn, en un diseo cuasi-experimental los grupos de

de los mtodos ms utilizados para la

Matching es una aproximacin estadstica que

Matching asume que no hay sesgo de seleccin

El mtodo de matching estima el contrafactual

de soporte comn: se comparan

Supone que la seleccin del tratamiento es "en los

Para el parmetro ATT: E(Y0 |X, D=1)= E(Y0 |X, D=0)

El SIC se cumplir si X incluye todas las variables que

Teora y conocimiento institucional puede indicar si el SIC

El SIC IMPLICA LA AUSENCIA DE SESGO DE SELECCIN

individuos con los mismos valores de X

soporte asegura la existencia, en la

Propensity Score Matching (PSM)

tenemos muchas variables X, cmo se

acuerdo a Rosenbaum y Rubin (1983):

Si se cumple: E(Y0 |X, D=1)= E(Y0 |X, D=0)

Dnde P(x) es el propensity score o la

Propensity Score Matching (PSM)

El Propensity Score Matching (PSM) consiste en

Donde: Pi es igual a 1 si el individuo i participa

Propensity Score Matching (PSM)

El SIC en el PS implica que es necesario que se

Es decir, para aquellas observaciones con el mismo

Esto implica que, cada individuo tiene la misma

Propensity Score Matching (PSM)

Propensity Score Matching (PSM)

Propensity Score Matching (PSM)