TRADUCIENDO LA INVESTIGACIN EN ACCIN

Impacto
Dan Levy
Profesor titular Harvard Kennedy School
Ph.D., Northwestern University
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org

Impacto
Tomamos la diferencia entre
Qu ocurri (con el programa) y
- Qu habra ocurrido (sin el programa)
=IMPACTO del programa

Este ltimo escenario se denomina el

contrafactual

Resultado primario

Impacto: Escenario #1
Intervencin
Impacto

Tiempo

Impacto: Escenario #2
Resultado primario

Impacto
Intervencin

Tiempo

Resultado primario

Impacto: Escenario #3
Intervencin

Impacto

Tiempo

TRADUCIENDO LA INVESTIGACIN EN ACCIN

Contrafactual
Dan Levy
Profesor titular Harvard Kennedy School
Ph.D., Northwestern University
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org

Contrafactual
Problema: No se puede observar el
contrafactual
Solucin: Tenemos que replicar o
construir el contrafactual

Cmo construir el contrafactual

El contrafactual suele construirse con la ayuda de un
grupo que no es afectado por la intervencin (grupo de
control o grupo de comparacin)
La forma en la cual se selecciona este grupo es una
decisin clave para el diseo de cualquier evaluacin de
impacto
La idea es seleccionar a un grupo que sea exactamente
igual al grupo de participantes menos en una cosa: el
grupo de participantes participa en el programa

TRADUCIENDO LA INVESTIGACIN EN ACCIN

Evaluacin Aleatoria
Dan Levy
Profesor titular Harvard Kenndy School
Ph.D., Northwestern University
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org

TRADUCIENDO LA INVESTIGACIN EN ACCIN

II Qu es una evaluacin
aleatoria?

Qu es una evaluacin aleatoria?

Empezamos con un ejemplo sencillo:

Tomamos una muestra de postulantes al

programa

Los asignamos aleatoriamente a:

Grupo de tratamiento se le ofrece el tratamiento

Grupo de control no se le permite recibir el

tratamiento (durante el perodo de evaluacin)

TRADUCIENDO LA INVESTIGACIN EN ACCIN

Ventaja Experimentos
Dan Levy
Profesor titular Harvard Kenndy School
Ph.D., Northwestern University
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org

Ventaja clave de experimentos

Dado que los miembros de los grupos
(tratamiento y control) no difieren
sistemticamente al principio del experimento,

cualquier diferencia que surja posteriormente

entre ellos se puede deber al programa y no a
otros factores

Repaso Contrafactual
Juan Saavedra
Dornsife Center for Economic and Social Research
University of Southern California

Cul es el objetivo?
Estimar el efecto causal (impacto) de una
intervencin (P) en un resultado (Y).
(P) = Programa o Tratamiento
(Y) = Resultado, Medida de xito

Ejemplo: Cul es el impacto de un

programa de transferencias monetarias
(P) sobre el consumo del hogar (Y)?
15

Pregunta de evaluacin de impacto

Cul es el impacto de (P) sobre (Y)?
Respuesta:
= (Y | P=1) (Y | P=0)

16

Problema de datos incompletos

= (Y | P=1)

(Y | P=0)

Para un beneficiario:
Observamos (Y | P=1): consumo del hogar
(Y) participando en el programa de
transferencias monetarias (P=1).
Pero no observamos (Y | P=0): consumo del
hogar (Y) sin el programa de transferencias
monetarias (P=0).
17

Solucin
Estimamos lo que hubiese sucedido con Y
en la ausencia de P.
Llamamos a esto el contrafactual.

La clave para una buena evaluacin de

impacto es la estimacin de un
contrafactual vlido!

18

Ejemplo: Progresa /
Oportunidades
Juan Saavedra
Dornsife Center for Economic and Social Research
University of Southern California

PROGRESA
PROGRESA /
Oportunidades ha
transformado el diseo y
la implementacin de
polticas pblicas al
incorporar una evaluacin
experimental desde su
inicio.

20

PROGRESA
Empieza en 1997 con
dos objetivos:
1. Aliviar la pobreza
inmediata mediante
transferencias
monetarias.
2. Terminar la pobreza
inter-generacional
al invertir en capital
humano.
21

PROGRESA
Evaluacin experimental:
En noviembre de 1997, 506 comunidades
rurales fueron escogidas aleatoriamente para
recibir el programa o para formar el grupo de
control.
En vez de ser implementado uniformemente
en todo el pas, el programa fue
implementado progresivamente, en diferentes
fases.
En diciembre de 2000, las comunidades que
fueron parte del grupo de control empezaron
a recibir los beneficios del programa.
22

PROGRESA
Para medir el impacto, tpicamente
escogemos un resultado de inters
(educacin, salud, etc.).
Supongamos que queremos medir el
impacto de PROGRESA sobre un
indicador de estndar de vida.

23

PROGRESA
Escojamos consumo per cpita .
La pregunta de investigacin es:
Cul es el impacto de PROGRESA (P)
sobre consumo per cpita (Y)?

Para poltica pblica, si el impacto es de

$20 o ms sobre el consumo per cpita,
expandimos el programa.

24

Elegibilidad de PROGRESA

Elegibilidad de PROGRESA

Pre-Post o Antes y Despus

Juan Saavedra
Dornsife Center for Economic and Social Research
University of Southern California

Caso 1: Pre-post

De acuerdo al grfico anterior, cul es el

impacto de PROGRESA?

1.
2.
3.
4.

T1 T2 = 1.
A B = 35.
B A = -35.
No se sabe.

57%

30%

7%

1.

7%

2.

3.

4.

Caso 1: Pre-post
Cul es el impacto de Progresa (P) sobre
consumo per cpita (Y)?
Impacto:

Resultados Caso 1: Pre-post

Consumo (Y)
Resultado CON
Tratamiento (Post)

268.7

Contrafactual
(Pre)

233.4

Impacto
(Y | P=1) (Y | P=0)

35.3**

Anlisis de Regresin:
Regresin Lineal

35.27**

Regresin Lineal
Multivariable

34.28**

Nota: **estadsticamente significativo al 1%

31

Problema Caso 1: Pre-post

Y
268

Boom Econmico:

Impacto?
= $35

o Impacto real=A-C.
o A-B es una sobreestimacin.

C?

233

T=0

T=1

Tiempo

Condicin pre-programa: no controla por otros

factores que varan en el tiempo.
32

Problema Caso 1: Pre-post

Y
268

Recesin:

= $35

o Impacto real=A-D.
o A-B es una subestimacin.

Impacto?

233

D?
T=0

T=1

Tiempo

Condicin pre-programa: no controla por otros

factores que varan en el tiempo.
33

Diferencia Simple
Juan Saavedra
Dornsife Center for Economic and Social Research
University of Southern California

Caso 2: Diferencia simple

Son buenos controles aquellos que:
Eligen no participar?
Son inelegibles para participar?

Sesgo de seleccin:
Cuando las caractersticas de la poblacin estn
correlacionadas con su condicin de participacin
en el programa.
Por ejemplo, las personas ms motivadas se
enlistan en programa A. En este caso, el
impacto del programa A se puede confundir con
el impacto de la motivacin de los tratados.
35

Caso 2: Diferencia simple

Caso 2: Diferencia simple

Consumo (Y)
Resultado con
tratamiento (Inscritos)

268

Contrafactual
(No Inscritos)

290

Impacto
(Y | P=1) - (Y | P=0)

-22**

Anlisis de Regresin:
Regresin Lineal

-22**

Regresin Lineal
Multivariable

-4.15

Nota: **estadsticamente significativo al 1%

37

La evidencia
Impacto en Consumo (Y)
Regresin Lineal
Caso 1: Pre-post
Regresin Lineal Multivariable

Caso 2: Diferencia
simple

Regresin Lineal
Regresin Lineal Multivariable

35.27**
34.28**
-22**
-4.15

Recomendara escalar PROGRESA a nivel nacional?

38

Diferencia en Diferencias
Juan Saavedra
Dornsife Center for Economic and Social Research
University of Southern California

Esquema de presentaciones
No y Cuasi experimentales 1

No y Cuasi experimentales 2

Introduccin a las
evaluaciones no y cuasi
experimentales.
1. Anlisis pre-post.
2. Diferencia simple.
3. Variables
instrumentales.
4. Regresin discontinua.

5. Diferencias en
diferencias.
6. Pareamiento.
7. Evaluacin aleatoria.
Seleccionando entre
mtodos.
Conclusin.

40

Caso 5 : Diferencias en diferencias

Las diferencias en diferencias (dif-en-dif) es un
mtodo que corrige por tendencias en
poblaciones con trayectorias similares.
Asume que en la ausencia de programa,
tendencias entre participantes y no-participantes
seran iguales.
Para comprobar que las tendencias son
similares necesitamos datos histricos.

41

Caso 5 : Diferencias en diferencias

Intervencin
180
160

Sin Programa

Indicador

140
120

100
Con Programa

80

60
40

20
0
-3

-2

-1

Tiempo
42

Por qu no podemos decir que A es el

impacto causal del programa?
A. Porque el grupo sin
programa parti con un
indicador (Y) ms alto.
B. Porque estamos
usando el contrafactual
equivocado.
C. Porque las tendencias
de los grupos no son
comparables.
D. Todas las opciones son
correctas.

38%
31%
22%

9%

A.

B.

C.

D.

Caso 5 : Diferencias en diferencias

Intervencin
180
160

Sin Programa

Asumimos esta tendencia

Indicador

140
120
100
Con Programa

80

60

Impacto

40

Contrafactual

20
0
-3

-2

-1

Tiempo
44

Caso 5 : Diferencias en diferencias

Cul es el impacto de PROGRESA (P) sobre consumo
per cpita (Y)?
Con
Programa

Despus (post)
Antes (pre)

Diferencia

Sin
Programa

0.74 - 0.81
0.60 - 0.78
0.14 - 0.03

Impacto =(Yt1-Yt0)-(Yc1-Yc0) = 0.11

Pareamiento
Juan Saavedra
Dornsife Center for Economic and Social Research
University of Southern California

Caso 6: Pareamiento
Pares idnticos
Control

Tratamiento

Edad

Sexo

Desempleo
(Meses)

Secundaria

Edad

Sexo

Desempleo
(Meses)

Secundaria

19

24

35

12

38

41

17

19

23

41

17

47

Pareamiento por propensin a

participar

Existe un problema de dimensionalidad: entre

ms variables nos interesen, ms
observaciones necesitamos para poder construir
un contrafactual vlido.

48

Regresin discontinua
Juan Saavedra
Dornsife Center for Economic and Social Research
University of Southern California

Caso 4: Regresin discontinua

Muchos programas focalizan mediante un
puntaje continuo que determina elegibilidad.
Programas anti-pobreza

Pensiones

Focalizan hogares debajo cierto nivel de

ingreso o ndice de pobreza.

Focalizan poblacin mayor de edad.

Educacin

Becas para los mejores estudiantes en

base a una prueba estandarizada.

Agricultura

Fertilizante para pequeos productores

(hectreas de tierra).

50

Caso 4: Regresin discontinua

51

Caso 4: Regresin discontinua

52

Crticas a las evaluaciones

aleatorizadas
Ryan Cooper
Ex Director Ejecutivo J-PAL LAC

Crticas

Qu crtica has escuchado con

ms frecuencia acerca de las
evaluaciones aleatorizadas?
A. No son ticas
B. Son demasiado
caras
C. Son demasiado
largas
D. Otra crtica
E. No he escuchado
crticas

64%

12%
6%

A.

B.

C.

9%

9%

D.

E.

Crticas

Son caros?
Lo caro es un buen levantamiento de datos y su rigor
(tamao muestral)
Se puede hacer evaluaciones aleatorizadas baratas.

Ventaja de disponer de buenos datos administrativos.

En una evaluacin experimental, no es estrictamente

necesario levantar una lnea base.
Caro comparado con qu?

Las polticas no probadas pueden resultar mucho ms caras.

Es mejor tener unos pocos estudios de buena calidad que

muchos estudios baratos de mala calidad.
Las lecciones extradas son un bien pblico.
Gran parte del trabajo que hace J-PAL consiste en hallar
soluciones costo-efectivas.
www.untechoparamipais.org

Crticas

Son ticos?
Hay muy pocas polticas que puedan atender a todos a
la vez. La asignacin aleatoria puede ser el modo ms
justo de asignar un recurso escaso.
Se puede hacer una intervencin en fases, donde
todos reciben finalmente el programa.
No es necesario que el grupo de control no obtenga
nada.
Podra ser que el impacto del programa sea negativo.
No es tico desperdiciar el dinero en programas que
no funcionan.
No es tico no aprender.

Crticas

Son ticos?
Existen situaciones en las cual es oportuno realizar
evaluaciones aleatorias.
1.

Cuando hay exceso o dficit de demanda.

2.

Cuando un programa se est testeando con un piloto.

3.

Cuando un programa incorpora nuevos servicios, nuevos

destinatarios o nuevos lugares.
Cuando un programa debe implementarse por fases.
Cuando un programa tiene un criterio de admisin numrico.

4.
5.

Conclusin: existen numerosas oportunidades!

Crticas

Son ticos?
Desafo Inicial:
Focalizacin:
Llegar a Pobres
de los Pobres

Evaluacin:
Entregar
programa por
sorteo

58

Crticas

Las evaluaciones aleatorias son

demasiado largas
Depende de lo que queramos medir y no
del tipo de evaluacin.
Ocurre lo mismo con otros mtodos de
evaluacin de impacto: es necesario
esperar que la intervencin produzca
sus resultados.
En muchas evaluaciones, se calculan
los resultados demasiado temprano.
59