TRADUCIENDO LA INVESTIGACIN EN ACCIN

TeoradeCambio,Indicadoresy
MedicindelImpacto
ClaudioFerraz
PUCRio
AbdulLatif Jameel PovertyActionLab

povertyactionlab.org
Agendadelcurso
1. Evaluacionesdeimpacto:Quson?Por
quhacerlas?Cundohacerlas?
2. TeoradeCambio,indicadoresymedicindel
impacto
3. Porqualeatorizar?
4. Cmoaleatorizar?
5. Eltamaomuestral
6. Implementarunaevaluacin
7. Anlisiseinferencia
Agendadelcurso
1. Evaluacionesdeimpacto:Quson?Por
qu hacerlas?Cundo hacerlas?
2. TeoradeCambio,indicadores ymedicin
delimpacto
3. Por qu aleatorizar?
4. Cmo aleatorizar?
5. Eltamaomuestral
6. Implementar una evaluacin
7. Anlisis einferencia
Objetivosdeaprendizaje
1. EvaluacindeimpactorequierePROFUNDO
conocimientodefuncionamientoyobjetivosdel
programa

2. LaTEORADECAMBIOfacilitaevaluaciny
medicindecmofuncionaunprogramaycuales
suimpacto
Articulaobjetivos,insumos,productos,resultadose
impactos
Simplificadefinicindehiptesisdeinvestigacin
Facilitaconstruccinindicadoresparadistintasmetasdel
programa 4
Resumendelaexposicin

1. TeoradeCambio

2. Resultadoseindicadores

3.Nocionesinicialesdemedicindeimpacto

5
Resumendelaexposicin

1. TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:Informacinsobredesempeo
municipalenMxico

2.Resultadoseindicadores

3.Nocionesinicialesdemedicindelimpacto
6
Resumendelaexposicin

1. TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:Informacinsobredesempeo
municipalenMxico

2.Resultadoseindicadores

3.Nocionesinicialesdemedicindelimpacto
7
TeoradeCambio
RepresentavisualmentecadenaCAUSAL
entre:
Necesidades/Objetivos
Insumos
Productos
Resultadosintermedios
Impactos(esperadosynodeseados)

Facilitadefinicindehiptesisaverificar
Resumendelaexposicin

1. TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:Informacinsobredesempeo
municipalenMxico

2.Resultadoseindicadores

3.Nocionesinicialesdemedicindelimpacto
9
Cadenadecausalidad

Objetivos Resultados
Insumos Productos Impactos
Intermedios
Cadenadecausalidad

Objetivos Resultados
Insumos Productos Impactos
Intermedios

Enriquecencomprensindel
programa
Refuerzanconclusiones
Facilitanextraccinde
lecciones
Cadenadecausalidad

OBJETIVOS
1. Respondenauna
necesidad
2. Especificanpoblacin
objetivo
3. Sonmedibles
Cadenadecausalidad

INSUMOS
1. Qupuedohacerpara
lograrobjetivo?
2. Factibles
3. Sonmedibles
Cadenadecausalidad

PRODUCTOS
1. Consecuenciadirectade
miaccin/intervencin
2. Sonmedibles
3. Representanelprimer
resultadoobservablede
miaccin
Cadenadecausalidad

RESULTADOS
INTERMEDIOS
1. Sonlosfactoresde
transicinqueconectan
losproductosconlos
impactos
2. Sonmedibles
Cadenadecausalidad

IMPACTOS
1. Loquequierocambiarcon
programa
2. Directamente
relacionadoscon
objetivos
3. Sonmedibles
Resumendelaexposicin

1. TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:Informacinyeleccioneslocalesen
Mxico

2.Resultadoseindicadores

3.Nocionesinicialesdemedicindelimpacto
17
Elentorno:Informacinantesde
eleccioneslocales

18
Elentorno:Informacinantesde
eleccioneslocales
Culessonlosobjetivosprincipalesdela
AuditoraSuperiordelaFederacin(ASF)?

Culessonlasprincipalescaractersticasdela
campaadeVolantesdestinadosapblico
local?

19
ElusodelaInformacin

Porquseconsideraradeseablediseminar
informacinproporcionadaporlaASFantes
delaseleccionesmunicipales?

SilainformacinesimportantePorqula
mayoradelaspersonasnousanla
informacingratuitaentregadaporlaASF
paratomarsusdecisionesdevoto?

20
TeoradeCambiodelosvolantes
deinformacin
Culessonposiblescadenasdecausalidaden
elcasodelosvolantesdeInformacin?
Culessonetapasnecesariasparaobtener
impactosfinales?

Culessonposiblesimpactosfinales?

21
 TeoradeCambiodelosvolantes
deinformacin
Necesidades Insumo Producto Resultado Impacto Objetivoa
Intermedio largoplazo

? ? ? ? ? ?

22
 TeoradeCambiodelosvolantes
deinformacin
Necesidades Insumo Producto Resultado Impacto Objetivoa
Intermedio largoplazo

Informacin
Mejoruso
pblicarelevante delos
paralosvotantes recursos
noesutilizada.
Losgobiernos
? pblicosa
nivellocaly
localestiendena mejoradela
malgastarfondos entregade
sinrepresalias
servicios

Loque
hagopara
lograrmi 23
objetivo
Tratamiento 1
Tratamiento 2
Tratamiento 3
Control
 TeoradeCambiodelosvolantes
deinformacin
Necesidades Insumo Producto Resultado Impacto Objetivoa
Intermedio largoplazo
Volantes:
Campaade
informacin
Informacin previoa
pblicarelevante elecciones
paralosvotantes municipales
noesutilizada.
Losgobiernos
localestiendena
enfocadas
enquines
son
?
malgastarfondos responsable
sinrepresalias sdeproveer
ciertos
servicios
pblicos

Consecuenciadirecta
demiaccin
? 28
 TeoradeCambiodelosvolantes
deinformacin
Necesidades Insumo Producto Resultado Impacto Objetivoa
Intermedio largoplazo
Volantes:
Campaade
informacin
Informacin previoa Votantesse
pblicarelevante elecciones hacenms
paralosvotantes municipales conscientes
noesutilizada.
Losgobiernos
localestiendena
enfocadas
enquines
son
sobreel
desempeo
desus
?
malgastarfondos responsable representantes
sinrepresalias sdeproveer municipales.
ciertos
servicios
pblicos

Factoresqueconectan
productoconimpacto
? 29
 TeoradeCambiodelascuotas

Necesidades Insumo Producto Resultado Impacto Objetivoa

Intermedio largoplazo
Volantes:
Campaade
informacin
Informacin
previoa Votantesse Msvotantesse
Pblica
elecciones hacenms cambiande
Relevantepara
municipales conscientes partidopara
losvotantesno
esutilizada.Los
gobiernoslocales
enfocadas
enquines
son
sobreel
desempeo
desus
votarporla
oposicin(Se
votamenospor
?
tiendena
responsable representantes partidoymspor
malgastarfondos
sdeproveer municipales. gestin)
sinrepresalias
ciertos
servicios
pblicos
Loquequieroafectar
directamenterelacionadocon
objetivo=>HIPOTESISCLAVES
? 30
Posiblesimpactos?
Enumeremostodoslosposiblesimpactosde
losvolantesdeinformacin

31
Mltiplesposiblesimpactos
Supongaquerecolectadatosde20diferentes
indicadoresdeimpacto
Encuentraunoqueesmuypositivo
Encuentraunoqueesmuynegativo
Encuentraquepara18,losresultadossonmuy
similaresynosonsignificativamentediferentes
Qupuedeconcluir?

Definalashiptesisclaveantesdeliniciodelexperimento
32
Definirhiptesisclave
Culespodranserejemplosdealgunas
hiptesisclaveaprobar?

33
 TeoradeCambiodelascuotas

Necesidades Insumo Producto Resultado Impacto Objetivoa

Intermedio largoplazo
Volantes:
Campaade
informacin
Informacin
previoa Votantesse Msvotantesse
Pblica Candidatos Mejorusode
elecciones hacenms cambiande
Relevantepara y/opartidos losrecursos
municipales conscientes partidopara
losvotantesno conmejor pblicosa
enfocadas sobreel votarporla
esutilizada.Los rendimient nivellocaly
enquines rendimientos oposicin(Se
gobiernoslocales oganan mejoramiento
son desus votamenospor
tiendena ms delaentrega
responsable representantes partidoymspor
malgastarfondos elecciones deservicios
sdeproveer municipales. gestin)
sinrepresalias
ciertos
servicios
pblicos

34
Resumen delaexposicin

1.TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:CuotasenconsejosdealdeasenIndia

2.Resultadoseindicadores

3.Nocionesinicialesdemedicindelimpacto

35
Medicin
Describeelentornoencualserealizala
intervencin/elexperimento
Cuantificainsumosenlaintervencin
Permiteevaluarlaimplementacindelaintervencin
Cuantificalosresultadoseimpactos
Registralaspercepcionesdelaintervencin

36
Medicin
Describeelentornoencualserealizala
intervencin/elexperimento
Cuantificainsumosenlaintervencin
Permiteevaluarlaimplementacindelaintervencin
Cuantificalosresultadoseimpactos
Registralaspercepcionesdelaintervencin

SEHACEPORMEDIODEINDICADORES

37
Quesunindicador?

???
Indicadoresson
Variablescuantitativasocualitativasquenos
permitendeformasencillayconfiable:
Describirentornodenecesidades
Medirinsumos
Caracterizarimplementacin/procesos
Cuantificarresultados/impactos
Registrarpercepciones
Consejossobrerecoleccinde
indicadores

Medicin de la presin arterial en Udaipur, India

CREA:Caractersticasdebuenos
indicadores(Kusek&Rist2004)

C (laros):precisosysinambigedad
R (elevantes):apropiadosparalamedicinen
cuestion
E (conmicos):fcilesdemediryrecolectar
A (decuados):suficientesparadetectar
impactosenhiptesisclaves
TeoradeCambioconindicadores
Insumo Producto Resultado Impacto Objetivoa
Necesidades Intermedio largoplazo
Informacin
Votantesse Msvotantesse
Pblica Candidatos Mejorusode
hacenms cambiande
Relevantepara Volantes:de y/opartidos losrecursos
conscientes partidopara
losvotantesno informacin conmejor pblicosa
sobreel votarporla
esutilizada.Los previoa rendimient nivellocaly
rendimientos oposicin(Se
gobiernoslocales elecciones oganan mejoramiento
desus votamenospor
tiendena municipales ms delaentrega
representantes partidoymspor
malgastarfondos elecciones deservicios
municipales. gestin)
sinrepresalias
INDICADORES:

? ? ?
42
 TeoradeCambioconindicadores
Necesidades Insumo Producto Resultado Impacto Objetivo a
Intermedio largo plazo
Informacin
Votantesse Msvotantesse
Pblica Candidatos Mejorusode
hacenms cambiande
Relevantepara Volantes:de y/opartidos losrecursos
conscientes partidopara
losvotantesno informacin conmejor pblicosa
sobreel votarporla
esutilizada.Los previoa rendimient nivellocaly
rendimientos oposicin(Se
gobiernoslocales elecciones oganan mejoramiento
desus votamenospor
tiendena municipales ms delaentrega
representantes partidoymspor
malgastarfondos elecciones deservicios
municipales. gestin)
sinrepresalias
INDICADORES:

Elecciones Monto y tipo de gastos

Cambio en ganadas por municipales
la votacin partidos
Nmero de servicios
entre oficialistas
partidos versus partidos pblicos disponibles
de oposicin Uso pblico y percepcin
43
de servicios Miunicipales
Resumen delaexposicin

1.TeoradeCambio
Ques?
Cmosedesarrolla?
Ejemplo:CuotasenconsejosdealdeasenIndia

2.Resultadoseindicadores

3.Nocionesinicialesdemedicindelimpacto

44
Cmomedirelimpacto?
Quhabraocurridoenausenciadel
programaaquienesparticiparonenl?

Diferenciaentre
Quocurri(conelprograma)
quhabraocurrido(sinelprograma)

=IMPACTOdelprograma

45
 Impacto:Ques?

Intervencin
Impacto

Impacto

Tiempo
Impactoyelcontrafactual
Contrafactual:Quhabraocurridoenausencia
delprogramaaquienesparticiparonenl?

Nopuedoobservaraunapersonaqueparticipay
noparticipaenelprogramasimultneamente.

Objetivoclavedetodoslosmtodosde
evaluacindeimpactoesconstruiroreplicarel
contrafactual.
Seleccionandoungruponoafectadoporelprograma,
ungrupodecomparacin(ogrupodecontrol)
Construyendoelcontrafactual
Experimental:
Utilizaasignacinaleatoriadelprogramapara
crearungrupodecontrolqueimiteel
contrafactual.

Noexperimental:
Argumentaqueunciertogrupoexcluidoreplicael
contrafactual.

48
Observandoelcontrafactual

Los votantes en Mxico siguen

privilegiando su partido!!!!
An cuando se les informa de la mala
gestin de sus representantes deciden no
escuchar
Observandoelcontrafactual

Volantes hacen que oposicin

obtenga ms votos
En estados menos poblados y en
los que domina el oficialismo.
Conclusin
1. EvaluacindeimpactorequierePROFUNDO
conocimientodefuncionamientoyobjetivosdel
programa

2. LaTEORADECAMBIOfacilitaevaluaciny
medicindecmofuncionaunprogramaycuales
suimpacto
Articulaobjetivosinsumos,productos,resultadose
impactos
Simplificadefinicindehiptesisdeinvestigacin
Facilitaconstruccinindicadoresparadistintasmetasdel
programa 51

Ayuda a pensar escenario contrafactual

 TRADUCIENDO LA INVESTIGACIN EN ACCIN

Gracias!

(cferraz@econ.pucrio.br)
PUCRio
AbdulLatif Jameel PovertyActionLab

povertyactionlab.org