Guía Parala Evaluación de Políticas Públicas Sinergia DNP 12 Ideas

Gua para la Evaluacin de Polticas Pblicas
Serie de Guas Metodolgicas Sinergia
Direccin General Direccin de Seguimiento

Mauricio Santa Mara Salamanca y Evaluacin de Polticas Pblicas
Alejandro Torres Perico
Mara Carolina Surez Hernndez
Subdireccin Territorial y de Inversin Pblica Juanita Ayala Patio
Paula Acosta Mrquez Jos Luis Gonzlez Ramrez
Anglica Cecilia Nieto Rocha
Mara Fernanda Corts Garzn
Subdireccin Sectorial Juan David Casas Maldonado
Mauricio Perfetti del Corral Julin Daniel Muoz Cifuentes
Gustavo Alberto Quintero Ardila
Flavio Alejandro Reyes Gmez
Secretara General Natalia Garbiras Daz
Tatiana Mendoza Lara Jorge Norberto Llano Salamanca
Jos Alejandro Arango Dechner
Diana Mercedes Ramrez Guzmn
Director de Seguimiento Mara Margarita Borda Fonseca
y Evaluacin de Polticas Pblicas
Orlando Gracia Fajardo
Grupo de Comunicaciones
y Relaciones Pblicas
Giovanni Celis Sarmiento
Diseo, Diagramacin e Impresin

Editorial Kimpres Ltda.
Calle 19 Sur No. 69C - 17
PBX: 4136884
Bogot D.C., Colombia
Departamento Nacional de Planeacin, 2012

Calle 26 No. 13-19
PBX: 3815000
www.dnp.gov.co
Bogot D.C., Colombia
Impreso y hecho en Colombia

Printed in Colombia
ndice
Captulo 1
Generalidades
1.1 Qu es evaluar?........................................................................................................................... 10
1.2 A qu preguntas responde?...................................................................................................... 10
1.3 Definicin del alcance de la evaluacin................................................................................. 11
1.3.1 Paso 1: Identificar el programa a evaluar.......................................................................... 13
1.3.2 Paso 2: La cadena de resultados o cadena de valor.................................................... 13
1.3.3 Paso 3: La cadena de entrega.................................................................................................. 15
1.3.4 Paso 4: El mapeo de informacin.......................................................................................... 16
1.3.5 Paso 5: Construccin de la hiptesis de evaluacin................................................... 16
1.3.6 Paso 6: Definicin de objetivos y alcance de la evaluacin.................................... 16
1.4 Seleccin del tipo de evaluacin ............................................................................................. 16
1.4.1 Cmo seleccionar el tipo de evaluacin?....................................................................... 17
1.5 Estudio de caso: Plan Nacional de Consolidacin Territorial............................................ 18
1.5.1 Paso 1: Identificar el programa o poltica a evaluar..................................................... 18
1.5.2 Paso 2: La cadena de resultados............................................................................................ 22
1.5.3 Paso 3: La cadena de entrega.................................................................................................. 22
1.5.4 Paso 4: El mapeo de informacin ......................................................................................... 23
1.5.5 Paso 5: Construccin de la hiptesis de evaluacin................................................... 25
1.5.6 Paso 6: Definicin de objetivos y alcance de la evaluacin.................................... 25
1.5.7 Seleccin del tipo de evaluacin necesario para el anlisis................................... 25
Captulo 2
Evaluacin de Procesos
2.1 Caractersticas y Usos.................................................................................................................. 29
2.2 Desarrollo de la evaluacin....................................................................................................... 30
2.2.1 Definir los procesos a evaluar ................................................................................................ 30
2.2.2 Recoger informacin de cada una de las reas.............................................................. 32
2.2.3 Analizar y reportar la informacin ....................................................................................... 32
2.2.4 Uso de los resultados.................................................................................................................. 35
Captulo 3
Evaluacin de productos
3.2 Desarrollo de la evaluacin....................................................................................................... 40
3.2.1 Definir los productos esperados............................................................................................ 40
3.2.2 Establecer metas y asociar indicadores............................................................................. 40
3.2.3 Recoleccin de informacin..................................................................................................... 41
3.2.4 Analizar y reportar el estado de los productos ............................................................. 42
Captulo 4
Evaluacin ejecutiva E2+
4.2 Desarrollo de la Evaluacin....................................................................................................... 51
4.2.1 Visin general del programa ................................................................................................... 52
4.2.2 Anlisis de eficacia........................................................................................................................ 53
4.2.3 Anlisis de eficiencia................................................................................................................... 54
4.2.4 Calidad de los bienes y/o servicios...................................................................................... 57
4.2.5 Recomendaciones ........................................................................................................................ 57
Captulo 5
Evaluacin de resultados
5.2.1 Identificar los resultados esperados .................................................................................. 67
5.2.2 Priorizar los resultados a evaluar.......................................................................................... 67
5.2.3 Construir indicadores.................................................................................................................. 67
5.2.4 Fijar metas......................................................................................................................................... 68
5.2.5 Recoleccin de informacin..................................................................................................... 68
5.2.6 Anlisis mediante una metodologa ................................................................................... 69
5.3 Metodologas de medicin......................................................................................................... 69
Captulo 6
Evaluacin de impacto
6.2.1 Disear el modelo......................................................................................................................... 81
6.2.2 Muestreo y Recoleccin de informacin........................................................................... 85
6.2.3 Mtodos cuantitativos para el anlisis de la informacin........................................ 85
6.2.4 Mtodos cualitativos para el anlisis de la informacin........................................... 87
6.2.5 Integrando mtodos cuantitativos y cualitativos.......................................................... 88
6.3 Estudio de caso: Familias en Accin......................................................................................... 89
6.3.1 El programa....................................................................................................................................... 89
6.3.2 Objetivos y alcance de la evaluacin ................................................................................. 89
4
Sinergia - Sistema Nacional de Evaluacin de Gestin y Resultados
6.4 Construccin de Lneas de Base................................................................................................ 91

6.4.1 Caractersticas y usos.................................................................................................................. 92
6.4.2 Desarrollo de una lnea base................................................................................................... 94
Captulo 7
Evaluacin costo-beneficio
7.1. Definiciones, usos y aplicacin. .................................................................................................. 105
7.1.1. Definiciones......................................................................................................................................... 105
7.1.2. Usos......................................................................................................................................................... 106
7.1.3. Aplicacin............................................................................................................................................. 106
7.2. Desarrollo de la Evaluacin Costo-Beneficio......................................................................... 107
7.2.1 Identificar los objetivos del programa ............................................................................... 107
7.2.2 Definir otras alternativas .......................................................................................................... 107
7.2.3 Establecer el marco de referencia conceptual............................................................... 108
7.2.4 Estimar el valor econmico de los costos y beneficios mediante
una metodologa preestablecida........................................................................................... 109
7.2.5 Estimar el valor presente neto................................................................................................ 110
7.2.6 Estimar la relacin costo-beneficio...................................................................................... 112
7.2.7 Estimar la rentabilidad................................................................................................................ 112
7.3 Metodologas utilizadas ............................................................................................................ 114
7.3.1 Los enfoques.................................................................................................................................... 114
7.3.2 Herramientas para construir alternativas susceptibles de comparacin......... 115
7.3.3 Herramientas para valorar costos y beneficios.............................................................. 116
7.3.4 Herramientas para cuantificar la incertidumbre relacionada al riesgo.............. 117
7.4 Estudio de caso: Familias en Accin......................................................................................... 118
7.4.1 El programa....................................................................................................................................... 118
7.4.2 La evaluacin................................................................................................................................... 118
7.4.3 Anlisis Costo-Beneficio............................................................................................................. 119
Captulo 8
Evaluacin institucional
8.2.1 Perspectiva de la evaluacin .................................................................................................. 125
8.2.2 Unidad de anlisis......................................................................................................................... 126
8.2.3 Metodologa de anlisis............................................................................................................. 127
8.2.4 Levantamiento de informacin.............................................................................................. 127
8.2.5 Anlisis de la informacin......................................................................................................... 128
8.3 Metodologas utilizadas ............................................................................................................................. 128
8.3.1 La metodologa SADCI................................................................................................................. 128
8.3.2 La metodologa PROSE................................................................................................................ 131
8.3.3 La metodologa OCAT................................................................................................................... 133
8.3.4 La Lista de chequeo S/No o Tarjeta de puntuacin (Scorecard)........................... 135
8.4 Estudio de caso: Poltica de Vivienda y Tierras para PD ..................................................... 136
8.4.1 La Poltica........................................................................................................................................... 136
5
8.4.2 La evaluacin .................................................................................................................................. 137

8.4.3 Metodologa...................................................................................................................................... 138
Captulo 9
Glosario..................................................................................................................................................................................... 141
Captulo 10
Bibliografa de apoyo......................................................................................................................................................... 145
Muestreo (Sampling).............................................................................................................................. 152

Encuesta (survey).................................................................................................................................... 153
Capacidad organizacional, construccin institucional, fortalecimiento institucional,
desarrollo organizacional.......................................................................................................... 153
Herramientas de medicin de capacidad institucional................................................................. 154
Desempeo en el gobierno .................................................................................................................. 154
Aleatoriedad............................................................................................................................................. 155
Mtodo de pareo o correspondencia (propensity score matching)............................................. 155
Doble diferencia...................................................................................................................................... 156
Variables instrumentales...................................................................................................................... 156
Regresin discontinua........................................................................................................................... 157
Tcnicas cualitativas.............................................................................................................................. 157
Evaluacin participativa rpida - Participatory Rural Appraisal (PRA)..................................... 158
Captulo 11
Anexos........................................................................................................................................................................................ 159
11.1 Mtodos ms utilizados de recoleccin de informacin..................................................... 161
11.2 Perfiles para evaluaciones de procesos.................................................................................. 163
11.3 Perfiles para evaluaciones de productos................................................................................ 164
11.4 Perfiles para la E2+ ....................................................................................................................... 165
11.5 Perfiles para evaluaciones de resultados............................................................................... 166
11.6 Perfiles para evaluaciones de impacto.................................................................................... 167
11.7 Perfiles para Lneas de Base....................................................................................................... 168
11.8 Perfiles para evaluacin institucional .................................................................................... 169
6
PRESENTACIN
El seguimiento al Plan Nacional de Desarrollo y la evaluacin de Polticas Estratgicas

son elementos esenciales para la retroalimentacin constante de las polticas pblicas con
las que el Estado busca construir un futuro prspero para los ciudadanos. Desde la
dcada de los noventa del siglo pasado, se han realizado grandes esfuerzos por crear,
articular, mantener, expandir, estandarizar y fortalecer un sistema que le permita al
Gobierno Nacional velar por el cumplimiento de sus metas. El fruto de este arduo trabajo
es el Sistema Nacional de Evaluacin de Gestin y Resultados -Sinergia- del
Departamento Nacional de Planeacin. SINERGIA gerencia el manejo de la informacin
relacionada con el seguimiento al Plan Nacional de Desarrollo (PND), la agenda de
evaluacin del Gobierno y la promocin de la cultura del seguimiento y la evaluacin en
las entidades territoriales colombianas.
El componente de evaluaciones de Sinergia tiene como propsitos la consolidacin y

posicionamiento de un portafolio de servicios que pueda ser utilizado por los diferentes
actores interesados en la realizacin de evaluaciones de poltica al interior del gobierno.
La estrategia se desarrolla en el marco de un proceso de comunicacin y socializacin
permanente con las direcciones tcnicas, los sectores, la academia, los gremios y los
organismos multilaterales.
Este documento hace parte de las Guas Metodolgicas de la DSEPP-DNP, cuyo objeto
es orientar al lector en el proceso de implementacin de sistemas de seguimiento y
evaluacin. En esta entrega, se presenta una gua tcnica y conceptual, que incluye tanto
las definiciones, como el diseo y ejemplos de los tipos de evaluaciones ms utilizados en
la DSEPP. Lo anterior comprende desde entender el funcionamiento del programa a
evaluar, mediante una herramienta como la cadena de resultados, pasando por el proceso
de definicin del alcance e hiptesis de la evaluacin, hasta la determinacin del tipo de
evaluacin apropiado para responder a las preguntas formuladas.
Para finalizar, quiero agradecer a todas las personas que apoyaron la elaboracin de este
documento, muchos de ellos ya no estn en la Direccin, pero su trabajo fue vital para
lograr esta publicacin. Agradezco especialmente, a Ariane Ortiz y David Ibez quienes
aportaron los insumos fundamentales para el desarrollo de este trabajo. De igual forma,
agradezco a Armando Ardila, Diego Dorado e Ivn Durn quienes con su trabajo y juiciosa
revisin lograron darle un alto estndar de calidad a la publicacin que hoy tengo el gusto
de presentar.
ORLANDO GRACIA FAJARDO

DIRECCIN DE SEGUIMIENTO Y EVALUACIN DE POLTICAS PBLICAS
DEPARTAMENTO NACIONAL DE PLANEACIN
.

CAPTULO I
Captulo I
Generalidades
Oleksandr Shevchenko
Una evaluacin se debe entender como una investigacin sistemtica y objetiva aplicada en
alguno de los diferentes eslabones de la cadena de resultados o valor (insumos, procesos, productos,
resultados e impactos) que tiene como finalidad mejorar el diseo, la implementacin, la ejecucin y
los efectos de un plan, poltica, programa o proyecto a travs de la toma de decisiones (DEPP, 2010).
La Direccin de Seguimiento y Evaluacin de Pol- interior del gobierno. La estrategia se desarrolla

ticas Pblicas (DSEPP) del Departamento Nacional en el marco de un proceso de comunicacin y
de Planeacin (DNP) est comprometida con el socializacin permanente con las direcciones
fortalecimiento de las capacidades del Estado en tcnicas, los sectores, la academia, los gremios
temas de monitoreo y evaluacin de las polticas y los organismos multilaterales.
pblicas. Por tal motivo, quiere promover un len-
guaje comn y presentar un documento que gue Para el seguimiento al PND se cuenta con el
y resuma los conceptos utilizados en este tipo de Sistema de Seguimiento a Metas de Gobierno
prcticas, tanto en cuanto a su definicin como (Sinergia Seguimiento), plataforma tecnolgica de
a sus objetivos, dentro del marco del Sistema SINERGIA que apoya las funciones de seguimiento
Nacional de Evaluacin de Gestin y Resultados, a las metas de corto (PND-cuatrienio), mediano
SINERGIA. Es a travs de la DSEPP que el Sistema y largo plazo.
focaliza los esfuerzos tcnicos, conceptuales y de
difusin de los resultados de la implementacin Finalmente, para el afianzamiento de la cultura de
de las polticas pblicas. gestin pblica por resultados se encuentra la Red
de Monitoreo y Evaluacin de Poltica Pblica en
SINERGIA gerencia el manejo de la informacin Colombia, que permite intercambiar experiencias
relacionada con el seguimiento al Plan Nacional en evaluacin y monitoreo a nivel local, nacional
de Desarrollo (PND), la agenda de evaluacin e internacional, al proveer espacios de discusin
del Gobierno y el afianzamiento de la cultura e intercambio de ideas con expertos, colegas y
de gestin pblica por resultados en el pas y funcionarios pblicos. Esto con el fin de promover
Amrica Latina. la innovacin y fortalecer la capacidad analtica
y prctica en materia de monitoreo y evaluacin.
La administracin de la agenda de evaluacin se
adelanta a travs del Sistema Nacional de Evalua- Este documento hace parte de las Guas Metodo-
ciones (Sinergia Evaluaciones), el cual tiene como lgicas de la DSEPP-DNP, cuyo objeto es orientar
propsitos la consolidacin y posicionamiento al lector en el proceso de implementacin de
de un portafolio de servicios que pueda ser sistemas de seguimiento y evaluacin. En esta
utilizado por los diferentes actores interesados entrega, se presenta una gua tcnica y concep-
en la realizacin de evaluaciones de poltica al tual, que incluye definiciones, diseo y ejemplos
de los tipos de evaluaciones ms utilizados en en prctica, efectos, resultados e impactos.

la DSEPP: evaluacin de impacto; de resultados; La finalidad de la evaluacin es ser til a los
de productos de procesos; institucional; costo- tomadores de decisiones y gestores pblicos
beneficio; ejecutiva (E2) y mtodos cualitativos y a la ciudadana2.
en las evaluaciones.
Con el objeto de tener un esquema claro en el
Su propsito es exponer la definicin de estos cual se va a enmarcar la gua, se describen a
tipos y los pasos a seguir en la seleccin de uno continuacin las diferentes perspectivas bajo
de ellos para la evaluacin de un programa. Lo las que se clasifican los tipos de evaluacin. La
anterior comprende desde entender el funcio- categorizacin depende del momento de tiem-
namiento del programa a evaluar1, mediante po respecto al programa, el alcance, el tipo de
una herramienta como la cadena de resultados, preguntas que se van a resolver y los actores
pasando por el proceso de definicin del alcance e involucrados en el desarrollo de la evaluacin3.
hiptesis de la evaluacin, hasta la determinacin
del tipo de evaluacin apropiado para responder En primer lugar, las evaluaciones pueden dividirse
a las preguntas formuladas. de acuerdo a la fase en la que se encuentra el
programa, dado que se realizan antes, durante
1.1 Qu es evaluar? o tras finalizar su implementacin. La que se ha
venido realizando con mayor frecuencia en la
Para seleccionar el tipo de evaluacin que mejor DSEPP es la evaluacin ex-post, posterior a la
se ajusta al anlisis deseado, es importante tener ejecucin del programa, cuyo objetivo es deter-
claro el concepto de evaluacin. La comprensin minar los efectos logrados.
del significado de este tipo de anlisis, permite
ubicar las diferentes modalidades de evaluacin 1.2 A qu preguntas responde?
en el ciclo de un programa. Algunas definiciones
de evaluacin: En temas de poltica pblica y el manejo de re-
cursos escasos, es importante poder responder
Una apreciacin sistemtica y objetiva de a interrogantes como:
un proyecto, programa o poltica en curso o
concluido, de su diseo, su puesta en prctica Hay otras alternativas para alcanzar este
y sus resultados se refiere al proceso de objetivo? Estos recursos podran usarse de
determinar el valor o la significacin de una mejor manera?
actividad, poltica o programa. Se trata de
una apreciacin, tan sistemtica y objetiva Est bien diseado el programa? Se en-
como sea posible, de una intervencin para cuentra bien implementado?
el desarrollo planeada, en curso o concluida
(OECD, 2002). Cules fueron los efectos del programa?
el proceso sistmico de observacin, me- El programa logra su objetivo?

dida, anlisis e interpretacin encaminado al
conocimiento de una intervencin pblica, sea La evaluacin es una herramienta que permite
esta una norma, programa, plan o poltica, responder de manera tcnica y precisa a estas
para alcanzar un juicio valorativo basado preguntas.
en evidencias, respecto de su diseo, puesta
1 Ver mapas de procesos Evaluacin de Polticas Estratgicas, DEPP, DNP (2010).

2 Agencia Estatal de Evaluacin de las Polticas Pblicas y la Calidad de los Servicios de Espaa.
3 En adelante se va a utilizar el trmino programa de manera genrica para referirse al Evaluado (intervencin, programa, poltica,
proyecto, producto, servicio, organizacin, etc).
10
Tipos de evaluacin y sus caractersticas
Perspectiva Tipo Caractersticas
Anlisis antes de implementacin de programa para determinar efectos que

Ex ante
provocara
Se realiza una vez se ha dado la intervencin
Tiempo Dinmica: Es permanente, sirve de mecanismo de ajuste al programa con-
Ex post trolado su desarrollo;
Intermedia: Anlisis despus de cierto nivel de avance del programa;
Final: Anlisis despus del fin de la ejecucin del programa
Provee informacin sobre el progreso de un programa para comparar los avan-
Seguimiento
ceslogrados frente a las metas
Evala la dinmica interna de los organismos de ejecucin y los vinculos que
Operaciones Gestin
existen entre sus componentes
Mide la capacidad institucional que tiene un programa para cumplir con sus
Institucional
objetivos
Alcance Hace un anlisis rpido de la articulacin y consistencia entre insumos, procesos,

Ejecutiva
productos y resultados esperados
Determina qu productos se entregaron y qu resultados se generaron frente
Productos y Resultados
a los insumos invertidos
Impacto Determinar el impacto asociado exclusivamente a la intervencin de un programa
Compara todos los costos y beneficios de un programa asignado un valor mo-

Costo-beneficio
netario, permite comparaciones para gastar en diferentes sectores
Los actores de un programa o proyecto evalan su propio trabajo, herramienta
Autoevaluacin
de gestin
Actores Experto ajenos al proyecto examinan aspectos del programa, herramienta del
Externa
control
Participativa Valora la percepcin como insumo para identificar el resultado
Fuente: BOT (2004), anlisis del autor.
1.3 Definicin del alcance de la Anlisis de actores

evaluacin
Se identifica el programa de la evaluacin.
En el proceso de identificar los objetivos, metas

Se construye la cadena de Resultados.
e informacin necesaria del programa a evaluar,
se sugiere utilizar una herramienta de tipo marco Se construye la cadena de entrega
lgico. A continuacin, se ilustran y detallan los del bien o servicio pblico.
pasos a seguir para definir el alcance de la eva-
luacin, de manera que se entienda la cadena Se realiza el mapeo de la informacin.
lgica del programa (Anlisis de actores).
Se construye la Hiptesis.
Es recomendable que estos pasos se realicen con
la participacin de todos los actores involucrados Se define el alcance de la evaluacin.
en el programa (stakeholders) para legitimar el
proceso (ver recuadro). Fuente: DSEPP-DNP
11
Anlisis de actores
Una evaluacin estar mejor formulada, de- preguntas que se quieran resolver con la
sarrollada y sus recomendaciones sern debi- evaluacin; usa los resultados.
damente discutidas y utilizadas en el ciclo de
la poltica pblica, si se involucra en todo el El gerente del programa: plantea preguntas
proceso a los actores interesados. La evaluacin que se quieran resolver con la evaluacin;
debe responder a diferentes expectativas y este facilita la disponibilidad de informacin;
anlisis permite catalogarlas, considerando apoya el trabajo de campo en regiones o
los intereses de los diversos agentes. Para un municipios para encuestas; usa los resul-
acercamiento inicial, los actores relacionados tados.
con una evaluacin4 se pueden clasificar en:
Los tcnicos del programa: participan en
El cliente principal de la evaluacin: el el diseo de la evaluacin; acompaan su
actor clave o grupo de actores patroci- desarrollo; facilitan la disponibilidad de
nadores que solicitan la evaluacin y los informacin.
principales destinatarios de sus productos.
El proveedor de fondos para la evaluacin:
Los actores involucrados: personas y orga- Banca multilateral, entidad del gobierno
nizaciones que no son el cliente principal, central o el mismo ente ejecutor del pro-
pero que se caracterizan por tener una grama.
participacin y/o un inters en la inter-
vencin (beneficiarios directos/indirectos, El diseador de la evaluacin-DNP-: pre-
organizaciones que proveen fondos, fun- para y lidera procesos entre los diferen-
cionarios gubernamentales, funcionarios tes actores relacionados para definir los
electos y empleados del gobierno con objetivos de la evaluacin, determinar la
intereses pertinentes en la intervencin, informacin disponible, costear la eva-
directores del programa, gerentes y el luacin, desarrollar cronogramas, fijar el
personal contratado, hacedores de pol- equipo necesario para la ejecucin y sus
tica, la comunidad, los grupos de inters responsabilidades, construir parmetros
y asociaciones). necesarios para la muestra, consolidar
los trminos de referencia; seleccionar el
Para profundizar en un anlisis de roles e equipo de evaluacin; hacer seguimiento
intereses de actores relacionados, existen al equipo de evaluacin as como a la
diversas herramientas. Lo importante en esta adopcin de las recomendaciones y la
etapa es tener en cuenta que el proceso de difusin de resultados.
definicin del alcance de la evaluacin debe
ser participativo. El equipo de evaluacin-firma de con-
sultora-: se compone bsicamente de un
Cules son los actores y el rol que juegan en director de la evaluacin, un experto en
una evaluacin desarrollada por la DSEPP? evaluacin, expertos sectoriales, analistas,
un estadstico experto en muestreo, un
El diseador de poltica Presidencia, diseador de encuestas, un grupo de en-
Ministerios, DNP, Entidades u Organismos cuestadores y su responsable, y un equipo
con inters en la intervencin: plantea que organiza y procesa los datos.
4 Morra y Rist (2009).
12
ejecutar en el ao en curso. Una vez ratificada se

Universidades, centros de investiga- asigna la evaluacin a un responsable del rea
cin: utilizan las bases de datos y la de evaluaciones de la DSEPP, quien tiene como
informacin generada por la evaluacin tarea inicial elaborar la cadena de resultados del
para corroborar los anlisis desarrollados programa.
y resultados o hacer estudios de otros
indicadores.
1.3.2 Paso 2: La cadena de resultados o
El pblico: beneficiarios directos e in- cadena de valor
directos, la comunidad, los grupos de
inters, las asociaciones que utilizan La cadena de resultados es uno de los instrumen-
los resultados de la evaluacin para tos que se puede utilizar para entender la lgica
rendicin de cuentas. con la que se cre e implement un programa.
Esta herramienta es utilizada por la teora de
cambio, que desarrolla el mapa de la construccin
de las etapas o fases necesarias para alcanzar los
A continuacin se detallan los pasos a seguir objetivos de largo plazo de una intervencin5.
para la definicin del alcance de una evaluacin.
1.3.1 Paso 1: Identificar el programa a El fin ltimo de la teora de cambio es desa-

evaluar rrollar el mapa general de las causas y efectos
a travs de la identificacin de los eventos
Se toma la decisin de evaluar un programa o condiciones que pueden afectar a una
cuando se quieren tomar medidas, entre otras, intervencin, de los medios como consigue
acerca de: los resultados deseados y especialmente
de la interrelacin y la complejidad de los
Diseo de polticas procesos internos de la poltica pblica6.
Justificacin de los gastos Para mayor nivel de detalle acerca de la teora de

cambio, ver autores como Heyer (2001), Menon y
Efectividad del programa Wignaraja (2007) y Morra y Rist (2009), que la uti-
lizan para el diseo y la evaluacin de programas,
Mejoramiento de la entrega de los servicios a travs de cadenas lgicas de causa y efecto7.
que provee el programa
Dentro de la teora, la cadena de resultados est
Ampliacin o replicacin del programa en diseada para ayudar a los evaluadores y formu-
otras zonas u otros pases ladores de poltica a representar los procesos de
la intervencin y el alcance de la evaluacin, de
La DSEPP, a partir de estos criterios, identifica los esta manera:
programas que se va a evaluar proponiendo una
agenda de evaluaciones preliminar para discusin Ayuda a gestar un entendimiento comn del
en el Comit Intersectorial de Evaluaciones (ver programa y de las expectativas entre las partes
mapa de procesos de Evaluacin de Polticas interesadas, en un lenguaje compartido.
estratgicas, DEPP-DNP, 2010). El Comit es Provee una base de conocimiento para la
una instancia compuesta por la Presidencia, los evaluacin.
ministerios y el DNP, que determina la agenda a
5 Kellogg Foundation (2004).

6 Heyer (2001).
7 Ver Gua de Teora de Cambio, DEPP, DNP (2010).
13
Identifica los supuestos que se estn haciendo, tos (el impacto deseado o meta final se presenta
lo que puede convertirse en una plataforma a menudo como la ltima etapa en el modelo).
para formular las preguntas de evaluacin y
los conectores lgicos de accin. La cadena de resultados de un programa muestra
la secuencia causal de los procesos que componen
Seala las variables de intervencin, a las la intervencin8. Aunque no revela especficamente
cuales se har seguimiento con la evaluacin. cmo son los vnculos de causalidad, s expone cmo
es el orden secuencial del programa a travs de los
La forma simple de relacin de causalidad fue insumos que necesita, de los procesos que genera
propuesta por Suchman (1967) como una alter- para movilizar sus recursos, de los bienes y servicios
nativa para entender modelos de marco lgico: que crea, de los efectos a corto y mediano plazo
De esta forma se plantean las etapas de una sobre los niveles de bienestar de los beneficiarios
cadena de razonamientos para mostrar cmo se del programa y de los impactos reales que produce.
interrelacionan las causas y se generan los efec-
Algunos tips
Qu preguntas pueden contribuir a diferenciar

cada uno de los pasos?
Insumos Productos Resultados
Insumos: Cuntos recursos humanos, finan-

cieros y fsicos se invirtieron en el programa?
Cunto personal trabaj?
Fuente: DSEPPDNP.
La cadena de resultados
Insumos Procesos Productos Resultados Impactos
Son los resursos Actividades que Son los bienes y Comprende los Cambios reales
(financieros, hu- emprenden el pro- servicios que se cambios en las productos del pro-
manos y materia- grama, los cuales obtienen a travs condiciones de grama medios en
les) que se usan movilizan los insu- de la intervencin. los beneficiarios trminos de bien-
en la interven- mos para generar a corto y mediano estar de los bene-
cin. productos plazo que ocacio- ficiarios.
especificos. nan los productos
creados por la in-
tervencin
Recursos Efectos
Los efectos del programa pueden concebirse como las trans-

formaciones descriptibles y cuantificables, en la poblacin
que resultan de la relacin entre una causa y un efecto.
Fuente: Menon, S. Karl, J. & Wignaraja, K. (2009). Adaptacin del Autor.
8 Morra y Rist (2009) plantean la cadena de resultados como una forma de desarrollar la Teora de Cambio.
14
Procesos: Con qu rapidez se est haciendo? 1.3.3 Paso 3: La cadena de entrega

Cunto cuesta?
La cadena de entrega se puede definir como el
Productos: Cuntas unidades de productos conjunto de actores (personas o instituciones), y
y servicios se estn generando? las relaciones entre ellos, a travs de las cuales
una actividad o un proceso de un sistema dado
Resultados: Cmo han cambiado las con- ser implementado.9
diciones de los beneficiarios en las que el
programa est interviniendo en el corto y La caracterstica ms relevante de la cadena de
mediano plazo? entrega es que se utiliza como representacin
grfica de la interaccin entre actores, institu-
Impactos: Cmo han cambiado las condicio- ciones y procesos, con el propsito de identifi-
nes de los beneficiarios en las que el programa car los obstculos que potencialmente podran
est interviniendo en el largo plazo? incidir en la entrega de los bienes y servicios de
la intervencin. Responde a la pregunta: cmo,
Cmo diferenciar productos de efectos? y a travs de quin, ocurre una actividad o un
proceso del sistema?
Los productos dependen en mayor medida del
accionar directo del programa, mientras que los Ejemplo: Programa Familias en Accin
resultados e impactos capturan otros factores que
pueden influir en su comportamiento.
El objetivo del programa es suministrar a los
Ejemplo: Salud pblica hogares ms pobres un subsidio en dinero,
condicionado por un conjunto de requisitos
Campaa para virus AH1N1 en salud, nutricin y educacin, dependiendo
de la edad de los nios.
Insumos: recursos campaa (dinero, personas).
Cadena de Entrega del programa
Familias en Accin
Procesos (actividades): diseo y desarrollo de
avisos para prensa escrita, mensajes radiales,
Recurso humano tcnico, logstico y operativo
propagandas de TV; difusin de avisos.
Evaluacin de las condiciones (oferta en
Productos: avisos de prensa escrita publica- salud,educacin y para pago del subsidio).
Inscripciones de familias elegibles
dos, mensajes radiales difundidos; propagan-
das de TV al aire. Las familias envian los nios a los estableci-
mientos educativos. Las madres asisten a los
contoles de crecimiento y desarrollo
Resultados de corto plazo: las personas leen, El programa comprueba los compromisos y
oyen y ven los avisos; su actitud cambia. paga el subsidio a las madres. El subsidio
incrementa el ingreso disponiblede las familias
Resultados de mediano plazo: las personas El mayor ingreso disponible de las familias
permite un mayor consumo de alimentos y
cambian su comportamiento (se lavan ms de gastos para educacin. Los nios tienen
frecuentemente las manos, se ponen tapa- mayor nutricin y permanencia en los centros
bocas cuando tienen sntomas). educativos
Fuente: Grupo de evaluacin DSEPP, DNP.

Impactos: baja la frecuencia de casos de
AH1N1.
9 Barber (2009).
15
1.3.4 Paso 4: El mapeo de informacin Ejemplo: Programa Familias en Accin (2004)
El mapeo de informacin10 de la evaluacin en

esta etapa no pretende ser exhaustivo, pues Hiptesis a evaluar: Familias en Accin mejora
an no se ha definido el tipo. Aqu se refiere a los niveles de salud, nutricin y educacin
entender un poco ms el contexto en el cual se de la poblacin ms pobre (Sisbn 1) de
desarrolla el programa. municipios con menos de 100 mil habitantes.
Las preguntas que se quieren responder son: 1.3.6 Paso 6: Definicin de objetivos y
alcance de la evaluacin
Qu nivel de detalle de informacin maneja
el programa? Al saber cul es la hiptesis de la evaluacin,
determinar su alcance permite: establecer los
Cmo funciona el sector? objetivos, delimitar lo que se va y lo que no se va
a incluir en el estudio y especificar las principales
Cmo funcionan los programas con este preguntas a resolver por parte de la evaluacin.
tipo de objetivos en Colombia? Cmo en el En cuanto a estas ltimas, es imperativo aclarar si:
contexto internacional?
Son preguntas de gestin del programa?
Cules son las fuentes de informacin del
programa (registros administrativos, informa- Son preguntas de poltica?
cin, lnea de base)?
Son preguntas de operatividad?
En este ejercicio, es crucial entender tanto los
supuestos y justificacin sobre los que se fun- Son preguntas del diseo del programa?
damenta la existencia del programa, como tener
claro el conocimiento existente de este tipo de Son preguntas de implementacin?
programas.
Son preguntas de capacidad institucional?
1.3.5 Paso 5: Construccin de la hiptesis
de evaluacin Son preguntas de costo-beneficio?
Los pasos anteriores deben contribuir a definir Son preguntas de los resultados del programa?
la hiptesis principal de la evaluacin. sta es
esencial para orientar el proceso y permite llegar Son preguntas del impacto del programa?
a las conclusiones concretas de la evaluacin.
Al definir las preguntas, es necesario hacer una
Una hiptesis bien formulada aclara las variables priorizacin para demarcar el objetivo general, los
que se van a analizar, las relaciones entre ellas, y objetivos especficos y el alcance de la evaluacin.
plantea los objetivos del estudio. A partir de all, se
podrn identificar las necesidades de informacin, 1.4 Seleccin del tipo de
disear los indicadores a medir y delinear una
estrategia de evaluacin slida que proporcione evaluacin
respuestas a las preguntas propuestas.
A continuacin, se puede entrar a seleccionar el
tipo de evaluacin que ms se ajusta al alcance.
10 Levantamiento de informacin secundaria del programa.
16
1.4.1 Cmo seleccionar el tipo a las que debera responder y la informacin

de evaluacin? necesaria para realizarla. Se enuncian otras
razones no tcnicas por las cuales se toman
Al final de esta seccin se presenta un cuadro decisiones de hacer o no hacer determinado tipo
resumen con las razones tcnicas, presupues- de evaluacin como los recursos disponibles o
tales y polticas que pueden incidir en la esco- el inters poltico por los resultados.
gencia de un tipo de evaluacin. El cuadro es
una compilacin de los tipos ms recurrentes Los tipos de evaluacin se clasifican segn su
en la literatura y los utilizados frecuentemente alcance y el tiempo de evolucin de la interven-
por la DSEPP. Para cada uno de stos, se plan- cin: etapas de planeacin y diseo, de imple-
tean algunas caractersticas para su desarrollo, mentacin, y de entrega de productos o servicios.
su objetivo, los actores que intervienen en su Es importante anotar que, dependiendo de las
diseo y ejecucin, en qu momento es ms preguntas a resolver por el programa y los recur-
recomendable hacerla con respecto a la fase en sos disponibles, los diferentes tipos se pueden
la cual se encuentra el programa, las preguntas utilizar de manera conjunta y complementaria.
Tiempo de implementacin vs. Tipo de evaluacin
Como es la Cuales son los

Cuales son las
articulacin y resultados criticos
En qu van los fortalezas y las Com se comparan
consistencia que el programa trata
El programa es indicadores debilidades de los costos con los
entre insumos, de lograr?
necesario? respecto a la la capacidad beneficios del
procesos, productos Qu efectos de corto
meta? institucional del programa?
y resultados y mediano plazo
programa
esperados? gener el programa?
Evaluar necesidad Monitoreo Institucional Evaluacin Resultados

del programa Ejecutiva
Evaluacin costo-
beneficio
Tiempo de Implementacin
del programa
Marco Lgico Procesos Medio Trmico Productos Impactos
Son eficientes Cuales fueron

Cmo van el Cul fue el impacto del
Cul es el las operaciones los productos
diseo, cobertura programa en los beneficiarlos?
fin, propsito, del programa? El generados?
y enfoque, para De qu magnitud fue? Qu
componentes y programa Estn de acuerdo
la asignacin tanto se puede atribuir al
actividades es capaz de con los objetivos y
de recursos al programa y qu tanto a otros
del programa? producir las metas planeadas
programa? factores?
lo deseado? inicialmente?
Planeacin y
Diseo Implementacin Entrega de productos y servicios
Fuente: Anlisis del autor.
1.4.1.1 Etapa de planeacin y diseo cin es necesaria, qu opinan los actores de su

implementacin, cules seran sus beneficiarios,
En sta el programa an no ha comenzado, por costos, impactos esperados y, de acuerdo con
lo que se pueden realizar evaluaciones ex-ante, experiencias similares en otros pases o regiones,
que se encargan de determinar: si la interven- relevancia para el caso estudiado.
17
1.4.1.2 Etapa de implementacin cumpliendo. Teniendo en cuenta lo anterior, se

incluy en la agenda de evaluaciones de la DEPP
sta comienza cuando el programa empieza a en el ao 2010.
funcionar. En algunos casos se adelanta un pro-
grama piloto, con el objeto de detectar aspectos Proceso de talleres: se adelantaron dos talle-
a mejorar en la operacin del programa antes de res. El primero fue guiado y coordinado por el
que su correccin se vuelva muy costosa o se Director de Evaluacin de Polticas Pblicas
descubran impactos negativos. del DNP para precisar los conceptos de mo-
nitoreo, seguimiento y evaluacin; presentar
Las evaluaciones realizadas durante la etapa de las diferentes metodologas de evaluacin
implementacin tienen como objeto principal que se emplean en la Direccin, y solventar
generar un entendimiento bsico del programa, las inquietudes por parte de los mltiples
definir sus indicadores clave y conocer mejor la involucrados en la implementacin del Plan.
manera como opera para entregar los bienes o El segundo se realiz con representantes de
servicios. las diferentes entidades que hacen parte del
PNCT, con el fin de discutir los procesos de la
1.4.1.3 Etapa de entrega de productos y servicios cadena de resultados del Plan de una forma
participativa.
Cierto tiempo despus de que el programa est
entregando sus bienes o servicios, se pueden Su origen: con el propsito de alcanzar los
evaluar otros aspectos como los productos, los objetivos de la Poltica de Consolidacin de la
resultados de corto y mediano plazo o los impactos Seguridad Democrtica, mantener la confianza
del programa en el largo plazo. Adicionalmente, inversionista y avanzar en la poltica social
es posible examinar la parte operativa del pro- efectiva, el Gobierno Nacional se ha concen-
grama o hacer un anlisis costo-beneficio de su trado en disear un mecanismo (denominado
implementacin. Estos tipos requieren que el Salto Estratgico) que fortalezca la alineacin
programa lleve cierto tiempo de ejecucin, sin de los esfuerzos militar, policial y antinarcti-
embargo es necesario establecer desde el diseo cos con aquellos en el rea social, de justicia,
del programa los indicadores a medir y levantar desarrollo econmico e institucional del
una lnea base de stos antes de su inicio. Estado en zonas estratgicas del territorio
nacional. Con esta propuesta, se pretende
A continuacin se presentan tres tablas con ma- reafirmar la generacin de condiciones de
yor nivel de detalle para cada una de las etapas. seguridad, con efectos permanentes, bus-
cando potenciar las condiciones necesarias
1.5 Estudio de caso: Plan Nacional para lograr la consolidacin sostenible del
Estado de acuerdo con las particularidades
de Consolidacin Territorial11 territoriales (Directiva Presidencial 01 de
marzo de 2009).
1.5.1 Paso 1: Identificar el programa o
poltica a evaluar El PNCT: es una estrategia coordinada, pro-
gresiva e irreversible, por medio de la cual se
El ejemplo que se expone a continuacin es busca afianzar la articulacin de los esfuerzos
del Plan Nacional de Consolidacin Territorial estatales para garantizar de manera sostenible
(PNCT). Se decidi evaluar este plan porque un ambiente de seguridad y paz que permita
era necesario identificar si lo que se plane en el robustecimiento de las instituciones de-
la Directiva Presidencial 01 de 2009 se estaba mocrticas, en beneficio del libre ejercicio de
11 Grupo de evaluacin, DEPP.
18
Tipos de Evaluacin y razones para su uso
Razones tcnicas Otras razones
Actores Informacin Recursos

Objetivos Cundo se hace? Preguntas Inters poltico
que intervienen disponible disponibles
Evaluar la necesidad de
El programa es necesario? Los recur-
un programa orientar recursos,
Evaluacin preimple- Antes de implementacin: so se podran usar de otra forma para
Comparar con usos alter- Diseador de poltica costo medio justificar inver-
mentaria evaluacin ex ante lograr ese objetivo? El programa tie-
nativos de recursos para siones
ne supuestos y justificacin vlidos?
atacar un problema
Conocer experiencias Cules son las prioridades de los

y prioridades de bene- beneficiarios en programas simi-
diseador de poltica, informacin de progra-
ficiarios en programas Antes de implementacin: lares? Cul es la posible poblacin Justificar inver-
Para beneficiarios tecnico, beneficiarios, mas similares, encuestas bajo costo
similareso de la posible- evaluacin ex ante objetivo? Cules son las prioridades siones
firma consultora o posibles beneficiarios
poblacin objetivo del de la poblacin que se espera aten-
programa der con el programa?
Antes de implementacin:
con levantamientos de in- Cul es la situacin inicial antes
diseador de poltica,
formacin posteriores para de una intervencin? En qu as- Costo me-
Conocer los valores de los gerente, estadistico, Diseo de encuesta y
evaluacin de mediano y pectos se espera que el programa dio (entre Tcnico, justificar
Para lnea de base indicadores clave antes firma para recolec- primer levantamiento de
largo plazo del programa. Se tenga algn impacto? Qu se debe US50.000 y inversiones
de la intervencin cin de informacin, informacin
puede hacer en la etapa de medir para seguir o evaluar una 100.000)
beneficiarios,control
entrega de productos, pero intervencin?
no es lo ideal
Cules serian los impactos poten- Orientar recursos,

ciales del programa basado en ex- justificar inversio-
Estimar los posibles
Micro simulacin, diseador de polti- periencia de otros pases? Cul es Informacin de imple- Bajo costo (en- nes, determinar
impactos del programa Antes de implementacin:
evaluacin meta- ca, gerente programa, la magnitud del efecto esperado mentacin de programas tre US5.000y prioridad de futu-
basado en experiencias evaluacin ex ante
nivel tcnico del programa? Cul es el tamao de similares a otros pases 10.000) ras evals, ayudar
de otros pases
muestra requerido para la evaluacin en diseo de pro-
de impacto gramas y polticas
Etapa de planeacin y diseo del programa

Tanto en la fase de planea-
comparar la efi-
Comparar los costos de cin del programa, como Rubros de gastos, cos-
diseador de poltica, Cul es su eficiencia? Cul es el costo ciencia relativa de
Analisis costo-efec- diferentes alternativas despus de la implementa- tos initarios, referencias
gerente de programa, de hacer un cambio de unidad en Bajo costo los programas para
tividad de producir el mismo o cin para determinar si los mximas y mnimas de
tcnico el resultado? lograr el resultado
productos similares objetivos de eficiencia se mercado
de inters
lograron
Comparar todos los cos- Son los beneficiarios econmicos

Antes o despues de imple-
tos y beneficios de un mayores a los costos del programa?
mentacin: en la fase de Estimacin de costos del
programa asignando un ?Cules son los costos de los progra-
diseador de poltica, planeacin para justificar el programa; estimacin de
Avaluacin costo- valor monetario, permite mas (monewtarios o no monetarios)?
gerente de programa, programa en trminos econ- beneficiarios (con su- costo medio reorientar recursos
beneficio comparaciones para gas- Cul es surelacin con respecto a
firma de consultora micos y repetirlo al final para puestos o informacin
tar en diferentes sectores, usos alternativos de los mismos
determinar si los objetivos de impactos)
contribuye a la distribu- recursos y a los beneficiarios que
econmicos se lograron
cin de recursos produce el programa?
Fuentes: Judy Baker (2000), Social Impact (2008), Kusek y Rist (2004), B.O.T. (2004). Adaptacin del autor.
19
20
Actores que Informacin Recursos

Objetivo Cundo se hace? Preguntas Inters poltico
intervienen disponible disponibles
Antes o durante implemen-

tacin: se puede crear para
Cules son los objetivos del programa? La
Teora del Articular el conocimiento Diseador de polti- el diseo del programa, los Levantamiento de fin, Tener informacin
lgica del programa es consistente? Cules B a j o co s t o -
programa- bsico en cual se basa el ca, gerente del pro- programas lo pueden cons- propsitos, compo- clave para gerenciar
son las hiptesis a evaluar? Cules son los tarea interna
Marco lgico programa grama, funcionarios truir de manera retrospec- nentes y actividades el programa
indicadores a seguir?
tiva, se puede aplicar a lo
largo del proyecto
En qu van los indicadores con respecto
Periodicidad diaria-mensual:
a la meta? En qu va el cumplimiento de
si sistema de monitoreo se
Supervisin- Alimentar el Marco lgico Diseador de polti- actividades? Retroalimentacin acerca de Reportar peridica-
coordina con diseo de eva-
Reportes de bsico en el cual se basa ca, gerente, funciona- si el programa se est implementando de Bajo costo mente al pblico el
luacin puede ser muy til
monitoreo el programa rio, beneficiario acuerdo con lo planificado? cules son los Informacin de indica- avance del programa
para informacin de lnea de
problemas especficos por los cuales esta dores administrativos
basa de evaluacin
implementacin est fallando? y de monitoreo
Hacer un anlisis de las El programa es capaz de producir lo

operaciones desarro- Durante implementacin: deseado? Cules son las razones para Modificar procesos
Evaluacin Diseador de pol-
lladas en determinada se puede incorporar en el el logro o no de los productos? Son Indicadores de insu- Bajo costo s del programa, iden-
de procesos tica, gerente, fun-
intervencin, estudiar si sistema de monitoreo o eficientes las operaciones del programa? mos, de gestin, prose incorpora tificar cuellos de
(formative cionarios, firma de
se estn llevando a cabo puede ser uncomponente Dnde estn las diferencias entre el diseo cedimientos, tareas, en sitema de botella para el logro
evaluacin) u consultora (si es con
y de qu manera afectan importante de la evaluacin y ejecucin del programa? Cmo estn actividades monitoreo de los productos y
operaciones impacto)
el logro de los productos de impacto afectando los insumos la entrega de los resultados
y los resultados productos?
Informacin secunda-
Cmo son el diseo, el manejo operativo,
ria administrativa y de
Hacer un anlisis rpido Diseador de polti- la estructura organizacional, el manmejo
entrega del servicio, Modificar programa
de la articulacin y con- ca, gerente, tcnico, Durante la etapa de imple- financiero, las actividades de seguimiento y
Evaluacin ejercicio tipo cadena en diseo, imple-
sistencia entre insumos, funcionarios, consul- mentacin o de entrega de evaluacin del programa? Tiene coherencia US 35.000
Ejecutiva (E2) de resultados, cadena mentacin o conti-
procesos, productos y tor o firma, benefi- productos y servicios la implementacin con el diseo? Cmo
de entrega, entrevistas nuar financiacin
resultados esperados ciarios es la calidad de la implementacin? Cul
y grupos focales a be-
es laeficacia y eficiencia del programa?
neficiarios
Etapa de implementacin del programa

Revisar el progreso y
dar recomendaciones Diseador de polti- Cierto nivel de avance del Modificar programa,
Avance indicadores
Revisin de en cambios necesarios ca, gerente, tcnico, programa: se puede realizar Cmo van el diseo, cobertura, enfoque, continuar financin
planteados en el mar- Bajo costo
medio trmino por el tiempo restante consultor o firma en la mitad de la ejecucin asignacin de recursos del programa? pedido por banca
co lgico
de la implementacin del (opcional) de un programa multilateral
programa
Qu capacidad institucional tiene el pro-

grama para cumplir con sus objetivos? Relaciones intra o
Cmo est funcionando? Entrega servicios Informacin interna interistitucional;
Co s t o ra zo -
de calidad y de maneraeficiente? Qu del programa: admi- revisin de leyes,
Medir las capacidades de Diseador de polti- nable s se
Durante la etapa de imple- debilidades tiene? Es viable y sosteni- nistrativa, de gestin, reglas o normas;
Evaluacin una institucin para el ca, gerente, tcnico, implementan
mentacin o de entrega de ble? Los recursos estn bien utilizados? organizacional, fi- fortalecimiento ins-
institucional logro de los resultados funcionarios, firma mecanismos
productos y servicios Entiende y opera con el entorno? Qu nanciera, de recurso titucional y gestin,
del programa de consultora apropiados
cambios se requieren para las normas, humano, tcnica, de decisiones estratgi-
desde el inicio
arregols administrativos y organizacionales estructura, de cultura cas organizacionales
que presentan un desempeo deficiente o de financiamiento
mejoren?
Fuentes Judy Baker (2000), Social Impact (2008), Kusek y Rist (2004), B.O.T. (2004). Adaptacin del autor.
Actores que Recursos Inters

Objetivo Cundo se hace? Preguntas Informacin disponible
intervienen disponibles pblico
Cules fueron los produc-

Diseador de pol- Costo razonable si se
Evaluar qu productos se Corto plazo: se puede tos generados? Estn de Modificar pro-
Evaluacin de tica, gerente, fun- Indicadores de productos implementan mecanis-
geberaron segn los obje- hacer en la fase de fina- acuerdo con los objetivos grama, mostrar
productos cionarios, firma de generados mos apropiados desde
tivos y propuestas iniciales lizacin del programa y las metas planeadas ini- productos
consultora el inicio
cialmente?
Corto y mediano plazo: se Cules son los resultados

Evaluar los cambios en las Diseador de polti- US 250.000(aunque pue-
puede hacer el anlisis de crticos que el programa tra- Modificar pro-
Evaluacin de condiciones de los bene- ca, gerente, tcnico, Indicadoresde resultados del de tener costos menores
manera posterior al de los ta de lograr? Qu efectos grama, mostrar
resultados ficiarios gracias a los pro- firma de consulto- programa si se implementan los
productos y antes del de de corto y mediano plazo resultados
ductos de la intervencin ra, beneficiarios mecanismos adecuados
impactos gener el programa
desde el principio)
Mediano y largo plazo:

se recomienda tener una
lnea de base antes de
inicio de la intervencin: Cmo afect el programa
el programa debe haber a los beneficiarios? Algn
completado su fase de mejoramiento fue el resulta-
Diseador de polti-
Determinar si el programa implementacin y llevar do directo del programa o se
ca, gerente, tcnico, Rplica, amplia-
produjo los efectos desea- un tiempo funcionando habra producido de todas Alto costo (entre US
firma de encues- Encuestas a beneficiarios y cin, cerrar pro-
Etapa de entrega de Productos y Servicios

Evaluacin de dos en las personas, hoga- para poder medir impac- formas? Se podra modifi- 300.000y 1.000.000)
tadora, firma que grupo de control pre y post grama, diseo de
inpactos res e instituciones y si esos tos. Sin embargo el haber carel diseo del programa depende del tamao de
analiza datos, be- intervencin poltica, mostrar
efectos son atribuibles a la levantado una lnea de para mejorar sus repercu- la muestra
neficiarios, grupo impactos
intervencin del programa base con los indicado- siones? Se justificaban
de control
res de impacto antes los costos? Cules son las
del inicio del programa consecuencias no previstas
puede reducir costos en en los beneficiarios?
el levantamiento de la
informacin y lograr una
evaluacin ms rigurosa
Fuentes Judy Baker (2000), Social Impact (2008), Kusek y Rist (2004), B.O.T. (2004). Adaptacin del autor.
21
los derechos ciudadanos y de la generacin Insumos Procesos Productos Resultados Impactos

de condiciones para su desarrollo humano
(Directiva Presidencial 01 de marzo de 2009).
1.5.2 Paso 2: La cadena de resultados

Proteccin al libre ejercicio de derechos.
Se construye la cadena de resultados del PNCT: Mejoramiento en las condiciones de vida de la poblacin.
Fortalecimiento de la gobernabilidad.
1.5.3 Paso 3: La cadena de entrega
Planes y estrategias de consolidacin Como se mencion anteriormente, la cadena de

Compromiso poltico institucional
Oferta de programas sociales
entrega corresponde al conjunto de actores (per-
Recurso humano tcnico, logstico y operativo sonas o instituciones) y las relaciones entre ellos,
Pie de fuerza militar y policivo por medio de las que una actividad o proceso de
un sistema ser implementado. Responde a la
pregunta: cmo, y a travs de quin, ocurre una
actividad o un proceso del sistema?
El PNCT est estructurado en tres fases en las

Coordinacin inreragencial (nivel nacional y local) cuales se llevan a cabo los diferentes procesos
Operaciones de recuperacin militar planteados en la cadena de resultados. Al mismo
Proteccin policial
Procesos participativos comunitarios
tiempo, se detallan los responsables principales
Gestin del presupuesto para que cada una logre los productos propuestos
Monitoreo de los avances del PNCT y retroalimentacin y de esta forma se pueda determinar la cadena
de la poltica
de entrega del Plan:
Insumos Procesos Productos Resultados Impactos Fase de control: se implementa en zonas don-
de persiste la presencia activa de los grupos
armados ilegales, estructuras de narcotrfico
Areas recuperadas militarmente y bandas criminales, as como en zonas de
Compromisos presupuestales y polticos establecidos desmovilizacin de las autodefensas ilegales.
Acuerdos comunitarios concertados
Acuerdos institucionales locales
Por medio de un esfuerzo militar intensivo,
Planes operativos regionales de consolidacin el Estado deber cumplir con el objetivo de
Mapas de monitoreo de consolidacin territorial desarmar y neutralizar estas organizaciones
Proyectos sociales y de activacin econmica
criminales y, simultneamente, romper las
redes e infraestructura del narcotrfico en
Insumos Procesos Productos Resultados Impactos la zona.
Fase de estabilizacin: el objetivo consiste

Atencin humanitaria en establecer unas condiciones mnimas de
Coberturas sociales bsicas iguales o superiores al pro-
medio nacional seguridad con el fin de que pueda iniciarse
Seguridad y Control territorial (disminucin de la presencia el proceso de recuperacin estatal, en el que
y afectacin de las estructuras de los GAI en el territorio
las instituciones y agencias gubernamentales
intervenido, reduccin de los cultivos ilicitos y activida-
des asociadas al nrcotrafico, tendencia decreciente de puedan continuar o, en algunos casos, iniciar
indicadores de criminalidad y violencia) el desarrollo de sus labores. Esta fase tendr
Operacin de mecanismo de justicia formal y alternativa
como prioridad la satisfaccin de las necesi-
22
dades bsicas y ms inmediatas de la pobla- establecido en el Plan Nacional de Desarrollo

cin. Se mantendr un importante esfuerzo 2006-2010 en unas zonas especificas del pas,
militar para neutralizar cualquier amenaza, por medio de un proceso coordinado y progre-
pero el papel de la polica es fundamental sivo que logre la articulacin de los esfuerzos
para ir garantizando territorios seguros y de estatales para asegurar de manera sostenible
confianza. un ambiente de seguridad y paz que permita el
fortalecimiento de las instituciones democrticas,
Fase de Consolidacin: se aplicar en zonas en beneficio del libre ejercicio de los derechos
preestablecidas y el objetivo consistir en ciudadanos y de la generacin de condiciones
ejercer plena autoridad del Estado y aumen- para su desarrollo humano.
tar el bienestar de la poblacin a travs del
normal y adecuado funcionamiento de todas Para avanzar en la consolidacin de forma ms
sus instituciones y agencias. En esta fase, se eficiente, efectiva e integral, se propone continuar
debe dar la transicin de la satisfaccin de con la accin Inter-Agencial como herramienta
las necesidades bsicas de la poblacin a de actuacin rpida y dinmica para producir los
la prestacin efectiva de todos los servicios resultados esperados, incrementar la confianza
esenciales del Estado, como son: la educacin, y credibilidad de los ciudadanos en el Estado, a
la salud, la justicia, las obras de infraestruc- travs de: planeacin conjunta, acciones colecti-
tura, la recreacin, etc. Aqu el papel de las vas y, en paralelo, ejercicios de coordinacin de
instituciones del Estado, de las agencias las mltiples instituciones que participan en la
internacionales, de la sociedad civil y de la implementacin de la estrategia. Los principales
comunidad ser fundamental. elementos de sta son:
1.5.4 Paso 4: El mapeo de informacin a. Delimitacin geogrfica de la zona de inters
Responde a la pregunta: cmo funciona el pro- reas principales para iniciar la consolidacin:
grama, cul es su diseo, cules son sus objetivos? Zona Macarena y Ro Cagun, Zona Pacfico
(Nario, Cauca, Buenaventura, Sur de Choc),
En el artculo 6 del Plan Nacional de Desarrollo Zona Bajo Cauca Antioqueo y Sur de Crdoba,
2006-2010 Estado Comunitario: Desarrollo para Zona Sur de Tolima y Sur de Valle del Cauca.
Todos Descripcin de los principales programas
de inversin, se establece en su numeral 2 la reas de transicin hacia la consolidacin:
Poltica de Defensa y Seguridad Democrtica. Zona Montes de Mara, Zona Sierra Nevada
Esta poltica tiene el propsito de avanzar en la de Santa Marta y Zona Oriente Antioqueo.
consolidacin de las condiciones de seguridad,
para que a travs de ellas se construya una Nacin reas Complementarias: Zona Arauca, Zona
que haga de la seguridad democrtica un verda- Putumayo, Zona Catatumbo y Zona Bajo Atrato.
dero puente hacia la paz, la reconciliacin y la
prosperidad general. En este sentido, adems de b. Direccionamiento y Gestin
las metas en materia de preservacin de la vida,
la Poltica de Defensa y Seguridad Democrtica Con el fin de garantizar la capacidad de realizar
debe tener un componente importante de pol- de manera eficiente las estrategias del PNCT y
tica social. Alcanzar estos objetivos requerir la armonizarlas con el esfuerzo militar, el Consejo
concurrencia de esfuerzos del Gobierno Nacional, Directivo del Centro de Coordinacin y Accin
la comunidad internacional, las entidades terri- Integral -CCAI- , adelanta el direccionamiento
toriales y la sociedad colombiana. estratgico, emite instrucciones y mantiene lazos
a nivel nacional y territorial para la implemen-
El Plan Nacional de Consolidacin Territorial tacin de los planes regionales estratgicos de
surge como una estrategia para implementar lo consolidacin y su correspondiente operatividad.
23
c. Consejo Directivo y Comit Ejecutivo guridad, Desarrollo Social, Desarrollo Econmico,

Gobernabilidad y Ordenamiento de la Propiedad.
En el marco de la estrategia, el Centro de Coordi- Es fundamental definir con los gobiernos locales
nacin de Accin Integral -CCAI- ser el espacio el ejercicio de priorizacin de cada uno de los
de encuentro de las entidades del nivel nacional vectores de intervencin planteados.
que tengan responsabilidad en la ejecucin de
sta. El Consejo Directivo del CCAI, de acuerdo e. Compromisos Institucionales
con las necesidades del PNCT, ordenar el fun-
cionamiento de la coordinacin y adoptar las Los ministerios y entidades nacionales deben re-
medidas requeridas para responder a las din- visar sus programaciones presupuestales y hacer
micas de consolidacin de las zonas estratgicas un mayor esfuerzo de focalizacin de recursos en
definidas. Para tales efectos, el Consejo Directivo los municipios que sern objeto del PNCT, para
del CCAI estar conformado por el Ministro de esto es indispensable:
Defensa Nacional, el Comandante General de
las Fuerzas Militares, el Director General de la Identificar en el primer trimestre de 2009
Polica Nacional, el Alto Consejero de la Agencia los presupuestos, programas y proyectos
Presidencial para la Accin Social y la Coopera- previstos en los aos 2009 y 2010 dirigidos
cin Internacional, el Director del DAS y el Fiscal a los municipios establecidos en el PNCT.
General de la Nacin. Esta tarea se adelantar en coordinacin con
el Ministerio de Hacienda y Crdito Pblico
A su vez, harn parte del Comit Ejecutivo del CCAI y el Departamento Nacional de Planeacin.
(cuyas sesiones sern mensuales) los ministros
de las carteras de Agricultura, Proteccin Social, Dar prelacin a la ejecucin de los programas
Interior y de Justicia, Educacin Nacional, Minas y proyectos previstos para la vigencia 2007-
y Energa, Transporte y Ambiente, Vivienda y 2010 en los municipios definidos en el PNCT.
Desarrollo Territorial. Asistirn tambin los direc-
tores del Departamento Nacional de Planeacin, Especificar el monto de recursos susceptible
el Instituto Colombiano de Bienestar Familiar, el de ser focalizado en los municipios de inter-
Servicio Nacional de Aprendizaje SENA, eI IN- vencin del PNCT.
CODER, Coldeportes y la Registradura Nacional
del Estado Civil. Se busca un alto nivel de repre- Velar porque el cumplimiento de las metas
sentacin institucional en el Comit Ejecutivo del 2008-2010 de cobertura en educacin, rgi-
CCAI, con el fin de asegurar una alta capacidad men subsidiado de salud, vacunacin y agua
para asumir compromisos, razn por la cual una potable, entre otras, se logre en un tiempo
eventual delegacin nicamente podra hacerse menor al previsto en el Plan Nacional de
en los viceministros(as) o subdirectores(as), la Desarrollo para el resto de los municipios
secretaria tcnica la realizar Accin Social. del pas.
d. Plan de accin regional para la consolidacin Encontrar nuevas fuentes potenciales de

recursos y direccionar su asignacin a los
Es responsabilidad de cada entidad del orden municipios priorizados, de acuerdo con las
nacional aportar la informacin y anlisis territo- estrategias a desarrollar en las reas de cada
rial para la construccin, ejecucin, monitoreo y municipio y de manera articulada. Las fuentes
seguimiento de los planes regionales de consoli- derivadas de la Cooperacin Internacional
dacin, orientados a la articulacin de los esfuer- sern estudiadas por la Direccin de Coopera-
zos militares y civiles. stos sern elaborados y cin Internacional de la Agencia Presidencial
aprobados durante el primer cuatrimestre del ao para la Accin Social y la Cooperacin Interna-
2009 y tendrn en cuenta los componentes de cional -ACCIN SOCIAL-, teniendo en cuenta
Atencin Humanitaria de Emergencias, Justicia, Se- los lineamientos de la Estrategia Nacional de
24
Cooperacin 2007-2010 y el propsito de 1.5.6 Paso 6: Definicin de objetivos y

fortalecer la capacidad regional de gestin alcance de la evaluacin
de cooperacin internacional.
Evaluar el esquema operativo y funcional del
Reforzar las estrategias de difusin y promo- PNCT en las zonas determinadas frente a lo
cin de la oferta institucional en los municipios establecido en la directiva presidencial 01
de intervencin del PNCT, as como eliminar o de marzo de 2009.
subsanar las barreras de acceso para garantizar
mayor oportunidad y eficiencia de oferta de Levantar la lnea de base de beneficiarios del
cada Ministerio. PNCT en las zonas determinadas de acuerdo
a una seleccin muestral.
Acelerar el desarrollo de las estrategias y
ejecucin de los recursos determinados en los Formular recomendaciones al modo de ope-
Conpes 102, 113 y del Choc, Buenaventura racin del PNCT que mejoren su desempeo
y del Pacfico orientados a los municipios actual y garanticen su sostenibilidad.
priorizados.
1.5.7 Seleccin del tipo de evaluacin
1.5.5 Paso 5: Construccin de la hiptesis necesario para el anlisis
de evaluacin
Evaluacin de Operaciones: Entrevistas Dirigi-
Despus de surtir los pasos mencionados, se das, Grupos Focales y Revisin de Informacin
llego a la siguiente hiptesis de evaluacin a Administrativa.
comprobar: El esquema operativo y funcional
del PNCT, se est cumpliendo de acuerdo con lo Evaluacin de Impacto: Levantamiento de
establecido en la Directiva Presidencial 01 de Informacin de Beneficiarios, va encuestas
marzo de 2009. presenciales.
Insumos Procesos Productos Resultados Impacto
Evaluacin
de operaciones
Primer
Lnea de base
seguimiento
Junio 2010
Junio 2012
25
CAPTULO II
Captulo II
Evaluacin de procesos
VV Voennyy
La evaluacin de procesos es la evaluacin de la dinmica interna de los organismos de ejecucin,
sus instrumentos de poltica, sus mecanismos de prestacin de servicios, sus procedimientos de
gestin y los vnculos que existen entre todos estos componentes(OECD, 2002).
La evaluacin de procesos es un tipo de eva- los indicadores de gestin como insumo para el
luacin, concentrado en el segundo eslabn anlisis de los procesos.
de la cadena de valor, en el cual se identifican
las relaciones que cada una de las actividades La principal caracterstica de este tipo de eva-
requiere para producir un bien o servicio. Este luacin es examinar los procedimientos y tareas
ejercicio parte de las siguientes preguntas gua, involucradas en la implementacin de un progra-
que el evaluador espera responder: ma. Por lo tanto, sta:
Es el programa capaz de producir lo deseado? Incluye el examen de los aspectos adminis-

trativos y organizativos del programa.
Cules son las razones operacionales que
influyen en que se logren o no los productos? Cumple una funcin de supervisin de las
operaciones, mtodos y actividades de un
Qu tan bien se desarrollan las operaciones programa.
planeadas para el logro del producto deseado?
Permite determinar si el programa funciona y
Son eficientes las operaciones del programa? posibilita realizar intervenciones que mejoren
su calidad.
Dnde estn las disparidades entre el diseo
e implementacin del programa? Caractersticas de la evaluacin de procesos
Cmo afecta la cultura organizacional el

logro de los objetivos del programa? Tan pronto se inicia el programa.
Cundo
Durante el funcionamiento del
usarla?
programa.
2.1 Caractersticas y Usos
La evaluacin de procesos se utiliza a lo largo Sirve para saber qu tan bien
del ciclo del programa para describir y analizar funciona internamente el progra-
Para qu
cmo se planifica e implementa el mismo. Sin ma. Provee informacin al eva-
sirve?
embargo, es fundamental que se recojan de luador acerca de si el programa
manera peridica, desde el inicio del programa, se implementa como se dise.
29
Posibilita la deteccin temprana mismo, detectan las reas y procesos potenciales

de cualquier problema de opera- de desarrollo, dado su grado de desempeo ac-
ciones o procesos y la mejora del tual, y su importancia dentro de la intervencin.
funcionamiento del programa.
Por qu es Para adelantar una evaluacin de procesos, se
Permite a los evaluadores reali-
til? recomienda efectuar los siguientes pasos:
zar un seguimiento de la forma
en que los planes y actividades
de un programa se estn desa- Definir los procesos a evaluar.
rrollando.
Recoger informacin de cada una de las reas.
Fuente: Kusek, J. y Gorgensen, M. (2010). Adaptacin del autor.
Analizar mediante la aplicacin de un mtodo
Algunos tips y reportar la informacin.
Proceso no es lo mismo que procedimiento: Uso de los resultados.

procedimiento es el conjunto de reglas
e intenciones que determinan la manera 2.2.1 Definir los procesos a evaluar
de proceder o de obrar para conseguir un
resultado. Un proceso define qu es lo que Un objetivo est compuesto por dos partes,
se hace y un procedimiento cmo hacerlo que establecen los marcos lgicos en los que
(Sescam, 2002). se inscriben las operaciones y los procesos1.
La primera, descrita por un verbo en infinitivo,
La evaluacin de procesos se diferencia hace referencia a lo que se espera lograr con la
del seguimiento porque examina cada intervencin (incrementar, crear, generar, etc.). La
proceso y actividad de acuerdo con el segunda, establece los medios que va a utilizar
producto generado, busca no slo compa- la intervencin para cumplir lo propuesto en la
rarlos con su diseo inicial para conocer primera parte. Un ejemplo podra ser:
cmo funciona el programa, sino tambin
determinar si se cumpli con lo estable- Objetivo - Mejorar la salud y la calidad de
cido en el momento de la formulacin. vida de las personas con diabetes mediante
El seguimiento se limita a constatar los la entrega de servicios asequibles para los
procesos, mientras que la evaluacin diabticos.
valora si stos son los adecuados.
Los medios se convertirn en las actividades y
2.2 Desarrollo de la evaluacin procesos de la intervencin, por lo que es indis-
pensable, para el evaluador, reconocerlos.
Si las preguntas que guan al evaluador estn
dirigidas a entender el funcionamiento de un Las actividades que realiza un ente se pueden
programa y cmo ste desarrolla sus actividades equiparar a un proceso cuando cumplen requi-
para poder entregar los productos esperados; nos sitos como3:
encontramos frente a una evaluacin de procesos.
Tener una misin o propsito claro.
El propsito primordial de estas evaluaciones es
contrastar la situacin actual de las actividades y Tener entradas y salidas (se pueden identificar
procesos del programa con el esquema inicial de los clientes, proveedores y producto final).
implementacin y buscar las mejores prcticas. As
1 Malik (2002).
30
Poder aplicar una metodologa de gestin de a. Identificar el flujo qu se hace? Activi-

procesos que incluya aspectos como tiempo, dades
recursos y costos.
El evaluador debe listar las principales
Poder ser desagregada en operaciones o actividades medibles que se tienen pre-
tareas. vistas para alcanzar cada objetivo.
Poder asignar la responsabilidad de la acti- b. Identificar los encargados quin y cmo

vidad a una persona. lo hace? Responsables
Se pueden detallar los procesos y su relacin El evaluador debe aclarar el mtodo por
con el producto con ayuda de preguntas como2: el cual la informacin ser recogida y
analizada, incluye a la persona respon-
Qu se necesita que hagan los empleados sable.
para que entreguen el producto?
c. Identificar los insumos qu se necesita
Qu se requiere de un cliente o usuario del para hacerlo? Entradas
programa?
El evaluador debe relacionar la(s) fuente(s)
Cmo se seleccionan los empleados? de informacin que indican que la acti-
vidad se ha producido.
Qu productos van a ser provistos a los
usuarios o clientes? d. Identificar los productos qu se entrega?
Salidas
Cul es el proceso general que los clientes o
usuarios deben pasar para recibir el producto? El evaluador debe producir un documento
que contenga pruebas tangibles (indica-
Cules son las fortalezas del programa segn dores) que muestren el progreso hacia el
los usuarios? cumplimiento de la meta.
Cules son las fortalezas del programa segn e. Identificar los beneficiarios a quin se
los empleados? entrega? Clientes
Qu quejas se oyen con frecuencia por parte El evaluador debe determinar quines
de los usuarios? son los clientes de la actividad.
Qu consideran los empleados y usuarios se f. Identificar el cronograma cul es la duracin

debe mejorar del producto o del programa? y secuencia de las actividades? Tiempos
Con base en qu deciden los empleados o El evaluador registra las fechas previstas
usuarios que el producto ya no se necesita? tanto de inicio como de finalizacin para
llevar a cabo la actividad. Es claro que
La informacin de los procesos del programa algunas operaciones van a ocurrir antes
se organiza en un mapa de procesos donde se que otras y/o se producirn de forma
identifican las actividades, acciones y actores3:
2 McNamara (2006).
3 As mismo se encuentra el plan de accin que reporta los procesos de cada objetivo del programa: plan para el desarrollo de una
evaluacin de operaciones (Kusek y Gorgensen, 2010).
31
s imultnea. Lo importante es saber cules Los diagramas de GANTT, diagramas de PERT y

son las actividades, sus interrelaciones y mtodos de ruta crtica pueden ser utilizados por
sus tiempos. los evaluadores para verificar qu tareas se han
realizado, su porcentaje de avance y sus tiempos
En el caso en que se quiera estudiar una entidad de ejecucin6.
o un programa es necesario, adems, establecer
las jerarquas y relaciones de cada rea con los Adicionalmente, se puede recurrir a diferentes
diferentes procesos y sus interconexiones. As enfoques para evaluar los procesos. A continuacin
mismo, se pueden evaluar las reas que sustentan se presenta una descripcin inicial de tres meto-
las funciones administrativas bsicas: planeacin, dologas utilizadas en el anlisis de operaciones:
organizacin, direccin y control4. Dependiendo
de cual se va a analizar, el evaluador recopila Lean Manufacturing.
informacin que permita examinar sus procesos
y actividades. Gestin por Procesos.
2.2.2 Recoger informacin de cada una de Six Sigma.

las reas
2.2.3.1 Enfoque Lean Manufacturing
La evaluacin de procesos identifica las oportu-
nidades de mejoramiento y desarrollo a travs Lean Manufacturing naci en Japn inspirada
del anlisis de los procesos y actividades. Si sta en los principios de William Edwards Deming
busca indagar sobre los procesos en el rea de y Taiichi Ohno, este sistema se conoce como
planeacin, el evaluador debe recoger informacin Toyota Production System. Es un conjunto de
de aspectos como la misin, objetivos, factores cr- principios, conceptos y tcnicas que permiten
ticos de xito, polticas y procedimientos. Por otro construir un sistema eficiente, capaz de redu-
lado, en el eje de organizacin los componentes cir el tiempo entre la creacin y entrega del
ms relevantes son la estructura organizacional, producto o servicio, a travs de la depuracin
organizacin de funciones y procedimientos, y del desperdicio en el proceso de produccin,
administracin y anlisis de personal. Si el eva- lo que permite el flujo continuo de procesos y
luador quiere inspeccionar el rea de direccin, actividades7.
es deseable que incluya informacin acerca de los
procesos de comunicacin, toma de decisiones Este enfoque se centra en la generacin de
y coordinacin de actividades. Finalmente en el actividades de valor agregado en los procesos
sector de control, seguimiento y evaluacin, es de un programa por medio de la identificacin,
importante investigar la manera como se estn eliminacin sistemtica del desperdicio y el
adelantando estas labores y su calidad5. perfeccionamiento continuo de estos procesos
y operaciones para aumentar la eficiencia8. Un
2.2.3 Analizar y reportar la informacin desperdicio es cualquier cosa que no haga parte
de lo mnimo absolutamente necesario para la
Se han desarrollado herramientas de interpreta- realizacin de una actividad o un proceso.
cin y anlisis que pueden servir de referentes
para implementar la evaluacin de procesos.
4 Pawson (2006).
5 Pawson (2006).
6 Patton (2009).
7 Bliss y Emshoff (2005).
8 Estos siete desperdicios son: sobreproduccin, esperas entre procesos, transporte, exceso de inventario, defectos en los bienes o
servicios producidos, exceso de procesos y sobreprocesamiento.
32
Representacin de un desperdicio en una cadena de resultados
Procesos P1 P2 P3 P4 P5 Productos
Tiempo de operaciones de
valor aadido. Ej: Creacin de
un subsidio, tratamiento de la
muestra, etc.
Tratamiento en Operaciones
de: No valor aadido.
Ej: recibir, esperar, etc.
Fuente: Bliss y Emshoff (2005). Adaptacin del autor.
El Lean Manufacturing se puede resumir en cuatro Seiri - Clasificar: separar lo que es indis-
tipos de indicadores: pensable de lo que no lo es para el de-
sarrollo de las operaciones del programa.
Calidad: busca que no haya defectos o errores.
Seiton - Ordenar: poner lo que es necesario
No repeticiones: busca que el proceso slo en un lugar inmediatamente accesible.
tenga que hacerse una vez.
Seiso - Limpiar: realizar una depuracin
Valor agregado al cliente final: busca que el para que los procesos fluyan como estn
proceso le aada valor al beneficiario final diseados.
y no sea simplemente un trmite que slo
satisface a un cliente interno. Seiketsu - Estandarizar: homogeneizar
procedimientos y actividades.
Oportunidad: busca que los procesos se
hagan a tiempo. Shitsuke - Disciplina y Entrenamiento:
creacin de reglas que guen la imple-
Herramientas del enfoque mentacin de los procesos, adems de
Lean Manufacturing la instauracin de retroalimentaciones
y capacitaciones para que los procesos
a. Mapa del flujo del valor (Value Stream) sean eficientes.
b. 5S: es un mecanismo que organiza los pro- c. Justo a tiempo (Just in Time): el objetivo de sta
cesos y actividades con el fin de generar es proveer la cantidad de productos prevista,
un estado ideal en el que nicamente sean de un modo muy riguroso. Consiste en pro-
utilizados los insumos necesarios, todo se ducir lo planeado slo cuando es requerido,
encuentre ordenado e identificado, se hayan en el tiempo establecido y elaborado por un
suprimido las fuentes de desperdicio y exista proceso especfico.
un control mediante el cual se vigilen los
procesos. Las 5S son:
33
2.2.3.2 Enfoque gestin por procesos neficiarios, el evaluador disea y establece

los procesos y actividades para crear los
Esta metodologa le da mayor importancia a la productos que suplan estos requerimientos.
visin que el cliente (o beneficiario) tiene so-
bre el conjunto de actividades y procesos del Describir los procesos: los procesos tienen
programa9. De esta manera, las operaciones que como eje central al beneficiario, sustentados
adelanta el programa son gestionadas de manera en el procedimiento know-how11, el cual se
mancomunada. enfoca en siete puntos centrales para que el
evaluador delinee las actividades y procesos12.
La ventaja de este enfoque es que ha creado un
conjunto de herramientas para el rediseo de la Diagramar los procesos: facilita concebir y
conexin entre procesos y productos, con el fin esquematizar el programa como un sistema.
de generar actividades eficientes que respondan El evaluador puede valerse de diagramas de
a las necesidades de los que usufructan dichos bloque, de despliegue, de flujos de datos
productos. o de red para discernir la estructura de los
procesos, sus interconexiones y la efectividad
La gestin por procesos tiene como objetivo: de cada uno de ellos.
Mejorar continuamente las actividades y Anlisis de datos y mejora del proceso: aqu
procesos desarrollados. el evaluador puede recurrir a indicadores
de calidad que le permitan determinar si los
Reducir la variabilidad innecesaria en los procesos se realizaron segn los criterios del
procesos de produccin. programa y los beneficiarios.
Eliminar las ineficiencias asociadas a la re- 2.2.3.3 Enfoque Six Sigma

peticin de las actividades.
La metodologa Six Sigma se fundamenta en la
Optimizar el empleo de los insumos. curva de distribucin normal (campana de Gauss)
para conocer el nivel de variacin de cualquier
La gestin por procesos se basa en seis pasos actividad y elaborar una serie de pasos que
clave10: refuercen el control de calidad y garanticen la
optimizacin de procesos13.
Identificar a los beneficiarios y sus nece-
sidades: con el objeto de tener procesos y Este enfoque se divide en dos aspectos: ope-
productos que satisfagan las necesidades y racional y gerencial. En el operacional se usan
expectativas de los beneficiarios. herramientas estadsticas para efectuar la medi-
cin de las variables de los procesos, con el fin
Definir los productos: conocer a los benefi- de detectar los defectos que puedan presentarse
ciarios para determinar qu bienes o servicios en la produccin de los bienes y servicios de un
se deben ofrecer. programa. En el gerencial se examinan los procesos
utilizados por los responsables para aumentar la
Trazar el mapa de procesos: a travs del calidad de los procesos, actividades y productos
conocimiento de las necesidades de los be- del programa.
9 Charles, Steve y Lawrence (2006).

10 Ibdem.
11 La nocin de know-how es saber cmo transferir y/o manejar equipos, programas y dispositivos, frmulas, diseos y mtodos de
manera conjunta y ordenada para mejorar los procesos y actividades de produccin de un bien o un servicio.
12 Para ms detalle ver Charles, Steve y Lawrence (2006).
13 Mikel y Schoeder (2004).
34
El enfoque Six Sigma se sustenta en seis pasos Diagramas de Pareto: el evaluador seala
principales: las causas principales de los problemas que
surgen en los procesos, a travs de una orga-
Definir el producto y/o servicio del programa. nizacin de prioridades de mayor a menor en
donde se indique cules procesos y subpro-
Identificar los requisitos de los beneficiarios cesos son responsables de los efectos en el
del programa. programa.
Comparar los requisitos con los productos. Grficas de control: el evaluador estudia los
procesos, su dinmica y genera un esquema
Describir el proceso a evaluar. de control para anclar su comportamiento
de acuerdo con un valor medio acotado por
Evaluar el proceso. lmites superior e inferior, de modo que se
eviten anormalidades.
Medir la calidad y producto.
2.2.4 Uso de los resultados
En paralelo a estos pasos14, el enfoque emplea
medidas de calidad para poder evaluar la per- Las conclusiones de la evaluacin de procesos
tinencia de los procesos y actividades del pro- son tiles para:
grama. Estas herramientas tienen como objetivo
encontrar y diagnosticar posibles problemas, Identificar y modelar los procesos y activida-
entre ellas tenemos: des de un programa.
Flujo de procesos: el evaluador conoce las Determinar si la cadena de produccin del

etapas del proceso por medio de una secuen- programa, compuesta por los procesos, se
cia de pasos. lleva a cabo segn su diseo.
Diagramas de causa-efecto: el evaluador Generar esquemas de gestin de calidad que

detecta las relaciones lgicas que existen localizan los problemas, defectos y errores
en los procesos hasta llegar a los producen los procesos y actividades del programa.
tos y de esta forma puede visualizar las
causas y consecuencias de los problemas Crear herramientas de control y ajuste que
en estos. garanticen que los procesos y actividades
sean eficientes y eficaces.
14 Robertson y Smith (2005).
35
CAPTULO III
Captulo III
Evaluacin de productos
Tito Wong
La evaluacin de productos es un tipo de evalua- tienen los productos en la poblacin u objetos
cin que se utiliza para analizar en qu medida se de intervencin.
logr cumplir con las metas de productos entre-
gados frente a los insumos invertidos. Responde Este tipo de evaluacin analiza los productos,
a las siguientes preguntas orientadoras: bienes de capital o servicios que resultan de una
intervencin. Su propsito es comparar los indi-
Fueron las actividades desarrolladas sufi- cadores de insumo con los de producto y puede,
cientes para realizar los productos acordados? con un anlisis costo-eficiencia, determinar si se
maximizaron los productos al menor costo o, con
Se hicieron todas las actividades presupues- una evaluacin de procesos, explicar en trminos
tadas? de la gestin del programa por qu se lograron o
no los productos planeados. As mismo, la evalua-
Se entregaron los productos planeados? cin de productos puede ser til en momentos
de restricciones de tiempo o dinero.
Tuvieron los productos la calidad y oportu-
nidad esperadas? Es importante que1:
3.1 Caractersticas y Usos Se relacione cada producto con un resultado

esperado.
La evaluacin de productos es una valoracin
Se incluyan los productos factibles de ser
ex-post, de corto plazo, que se adelanta a partir
entregados por el programa, con los recursos
de la entrega de los productos y servicios pro-
disponibles.
gramados. No es necesario observar los resulta-
dos ni el impacto de los productos, puesto que Se usen los productos para establecer rela-
estos elementos deben ser abordados mediante ciones entre el problema al cual va dirigida
evaluaciones de mediano y largo plazo. Para un la intervencin y su impacto.
anlisis ms integral, es posible complementar
la evaluacin de productos con una evaluacin No se usen verbos en infinitivo al principio
de procesos, de costo-beneficio o de resulta- de la enunciacin de los productos (construir,
dos, para examinar por qu se entregan o no asesorar, preparar, etc.), pues normalmente
los productos planeados, si se hacen de manera estos describen actividades y no bienes/
costo-eficiente o qu efectos de mediano plazo servicios tangibles.
1 ADB (2007).
39
Se tenga en cuenta que los componentes y son relevantes para el logro de los efectos del
no son productos, sino un conjunto de pro- programa2.
ductos agrupados por razones financieras o
administrativas. Para la definicin de los productos es crucial
tener claro el problema por el cual se cre la
Se incorporen indicadores de producto rela- intervencin y, de esta forma, poder relacionar
cionados con la gestin y el desempeo para las actividades y productos generados3. Se de-
programas complejos. ben evitar frases muy largas para enunciar los
productos, pues dificultan la identificacin del
3.2 Desarrollo de la evaluacin indicador de producto (ver ejemplo de formula
cin de productos). Si estos se encuentran correc-
Una vez se aclaran los objetivos, el alcance de la tamente formulados, el indicador ser l mismo.
evaluacin y se concluye que lo requerido es una
evaluacin de productos, se pasa a las etapas de 3.2.2 Establecer metas4 y asociar
planeacin, diseo, implementacin y uso de los indicadores
resultados de la evaluacin.
Las metas son necesarias para tener un punto
En el desarrollo de una evaluacin de productos de referencia con el cual comparar el avance en
el primer paso es tener claridad sobre cules son determinado perodo de tiempo, de actividades
los productos en la cadena de resultados de la y productos. En principio, las metas deben estar
intervencin: fijadas por el programa. Para cada producto es
importante tener una medicin observable y
Definir los productos esperados del programa elaborar indicadores que contribuyan a cuantificar
que se va a evaluar. el desempeo del programa.
Para cada producto, si no se encuentra es-

Un indicador de producto mide la cantidad
tablecida, construir una meta y asociar un
(y a veces la calidad) de los bienes y servicios
indicador.
provistos gracias al uso de los insumos5.
Recolectar informacin sobre los insumos y Un indicador de gestin cuantifica los
actividades relacionadas con los productos. recursos fsicos, humanos y financieros uti-
lizados en el desarrollo de las acciones;
Analizar y reportar el estado de los productos. y mide la cantidad de acciones, procesos,
procedimientos y operaciones realizadas
Usar los resultados de la evaluacin de pro- durante la etapa de implementacin6.
ductos. Un indicador de efecto mide los cambios
resultantes en el bienestar de la poblacin
3.2.1 Definir los productos esperados objetivo de la intervencin como consecuen-
cia (directa o indirecta) de la entrega de los
Los productos son tangibles, se pueden contar, se productos7.
expresan usualmente por medio de nombres, son
resultado directo de las actividades o procesos de El tipo de indicador adecuado depende del objeti-
la intervencin y dependen totalmente de estos, vo y la meta a la cual se le va a hacer seguimiento.
2 Kusek y Rist (2004).

3 UNFPA (2004).
4 Para informacin ms detallada sobre el establecimiento de metas ver: USAID TIPS, 1996.
5 World Bank (1996).
6 DNP (2009).
7 Ibdem.
40
En el caso de una evaluacin de productos se Algunos ejemplos

utilizan indicadores de gestin y de producto
para efectuar el anlisis.
Jornadas de vacunacin realizadas (programa
Un buen indicador debe cumplir con ciertas de salud preventiva indicador de gestin).
caractersticas. Algunas organizaciones utilizan
los criterios SMART8. Se encuentran tambin los Nios vacunados (programa de salud pre-
criterios DOPA, segn los cuales los indicadores ventiva indicador de producto).
se elaboran bajo cuatro estndares:
rboles adquiridos (programa de refores-
Criterios DOPA para construir indicadores tacin indicador de gestin)7.
Hectreas de bosque reforestadas (programa

Directos Miden de cerca el cambio previsto de reforestacin indicador de producto).
No son ambiguos respecto a lo Cartillas elaboradas (programa de capaci-
que se mide o los datos que se tacin indicador de gestin).
Objetivos requieren y tienen una medicin
operacional clara, independiente Personas capacitadas (programa de capa-
de la persona que la realiza citacin indicador de producto).
Razonables en trminos del costo
de la recoleccin de datos, fre- 3.2.3 Recoleccin de informacin
Prcticos
cuencia y pertinencia para efectos
de toma de decisiones En esta etapa se establece qu informacin es
requerida para calcular cada uno de los indica-
El nmero mnimo de indicadores
dores y de qu manera se va a recolectar.
necesarios para asegurar que el
Adecuados
progreso hacia el logro del produc-
Los indicadores asociados a la evaluacin de pro-
to est suficientemente abarcado
ductos se pueden recoger por medio de reportes
sistemticos o informes de seguimiento de los
Fuente: USAID TIPS, No.12, 1998.
insumos, actividades y productos:
Los indicadores empleados por el DNP tienen Revisin de informacin existente para con-
una estructura bsica que permite una formu- testar las preguntas de la evaluacin (sistemas
lacin ms clara, sta se compone de dos ele- de seguimiento y evaluacin, documentos e
mentos: i) el objeto a cuantificar; ii) la condicin informes publicados, reportes de gestin).
deseada del objeto. Tambin se puede adicionar
un tercer elemento que incluya aspectos des- Revisin de informacin adicional necesaria
criptivos. A continuacin se presentan algunos para el anlisis de la evaluacin de productos
ejemplos de indicadores de producto con el (cuestionarios, entrevistas u observacin de
formato sugerido por el DNP (sujeto + verbo personas, procesos, objetos, condiciones y
en participio pasado)9. situaciones, etc.)10.
8 Explicada en DNP Metodologas DEPP. Conceptos y tcnicas. Evaluacin de resultados, 2010.

9 DNP (2009).
10 Ver anexo 11.1: Mtodos ms utilizados de recoleccin de informacin.
41
3.2.4 Analizar y reportar el estado de los Podra haberse hecho una intervencin
productos mejor, menos costosa o ms eficiente en el
tiempo?
En esta fase se construye un estado del arte
de los insumos, las actividades y los productos Habra podido otra intervencin diferen-
planeados, con respecto a los que efectivamente te resolver el mismo problema a un costo
se desarrollaron de acuerdo con la informacin menor?
recolectada. A partir de ste se mide la evolucin
de los productos mediante una tabulacin, cm- El ejercicio se efecta con los rubros de gasto,
puto o registro de las actividades que puedan ser insumos y actividades; se comparan los costos
expresadas tanto de manera cuantitativa como unitarios con referencias mximas y mnimas
cualitativa. Lo anterior se puede complementar de mercado, para establecer si los costos del
con un anlisis costo-eficiencia o una evaluacin proyecto son adecuados. Es fundamental que
de procesos. las fuentes de informacin queden claramente
identificadas12. Tambin se pueden considerar
Anlisis costo-eficiencia otros factores, no slo los precios de mercado,
para caracterizar variables que no se miden con
Es un anlisis que permite sopesar el costo de ese rasero.
mltiples alternativas para obtener productos
iguales o similares11 y as encontrar el proceso A continuacin se muestra un ejemplo de un
ms eficiente y adoptarlo. Mide los productos rubro de una actividad del programa de mejora
generados en relacin con los insumos utilizados nutricional de nios menores de 5 aos. El costo
y responde a preguntas como: de este tem, comparado con diversas opciones,
se puede calificar como razonable. Podra clasi-
Justifican los productos el costo de las ac- ficarse como elevado de encontrarse en un nivel
tividades? ms alto que el valor que se establezca como el
comparativo alto. La conclusin a la que se llegue
Qu medidas se han tomado durante la tambin depende de su desfase frente al punto
planeacin e implementacin para asegurar de referencia o del anlisis que se haga para cada
el uso eficiente de recursos? uno de los valores.
Ejemplo: Programa de mejora de nutricin a la primera infancia (cifras en pesos).
Valor Valor
Costo Descripcin Descripcin Costo Conclusio-
Rubro comparativo comparativo Desfase
unitario costo bajo costo alto razonable nes
bajo alto
Valor
promedio
Valor internacional
Suplemen-
promedio en programas Costo
to nutricio- 3000 2000 5000 3500 0
suplemento nutricionales razonable
nal
ICBF de Argentina,
Mxico y
Chile
Fuente: B.O.T. (2004). Adaptacin del autor.
11 Green Book, HM Treasury.

12 B.O.T. (2004).
42
El anlisis costo-eficiencia es diferente a la Aparicin en un programa de TV o radio.

evaluacin costo-beneficio. Esta ltima es de
mayor complejidad, pues es necesario tener un Debate pblico.
estimativo cuantitativo de los efectos positivos
que gener el programa en los beneficiarios, para Seminario o taller.
proceder compararlos con los costos en los que
incurri (ver captulo Evaluacin Costo-beneficio). Difusin de manera electrnica (correos,
pginas web).
Aplicacin de las herramientas: estudio de caso
El uso de los resultados es responsabilidad de los adaptado a una evaluacin de productos15
gerentes del programa quienes, con un acompa-
amiento cercano de la DSEPP13, deben revisar Nombre programa: Estrategia Territorios Digita-
a fondo el diagnstico, las conclusiones y las les - Aprovechamiento de las Tecnologas de la
recomendaciones de la evaluacin. Informacin y la Comunicacin (TIC) en Colombia.
En el caso de una evaluacin de productos, se Ao de inicio: 2007.

debe estudiar si hay mejoras para incorporar al
programa en temas de gestin de insumos, activi- Ministerio responsable: Ministerio de Tecno-
dades o productos para incrementar la eficiencia y logas de la Informacin y las Comunicaciones
eficacia en la entrega de estos. Posteriormente, se (Ministerio de TIC).
debe hacer un plan de implementacin de estas
mejoras con las respectivas responsabilidades y Servicio responsable: Convenio entre MinTic,
cronograma para llevarlas a cabo. entidad territorial y entidad ejecutora.
Para la diseminacin de los resultados existen Perodo de evaluacin: 2007-2009.

determinados canales que pueden ser explorados,
dependiendo del pblico objetivo14: Presupuesto programa ao 2009: 15907 millo-
nes de pesos aportados por el Ministerio de TIC
Documento escrito detallado. y 14577 millones de pesos aportados por las
entidades territoriales y ejecutoras.
Resumen ejecutivo con lo ms importante de
la evaluacin y las conclusiones. Definir los productos esperados del programa
que se va a evaluar
Folleto con las principales lecciones y reco-
mendaciones de la evaluacin. La estrategia Territorios Digitales (TD) inicia en
2007 y tiene por objetivo fomentar el uso ade-
Reportes peridicos. cuado y la apropiacin de las TIC en el territorio
nacional, tanto a nivel de comunidad como de
Artculo en un boletn. sectores productivos de cada regin. La estrategia
realiza una entrega de productos y/o servicios a
Artculo en el peridico. cada uno de los territorios beneficiados en tres
componentes: infraestructura (hardware), infoes-
Conferencia de prensa. tructura (software) e infocultura (cmo usar, cmo
aprovechar).
13 La DSEPP adems de acompaar todo el proceso de implementacin de la evaluacin, hace seguimiento a sus recomendaciones.
14 UNFPA(2004).Tool n.o 5, part.V.
15 DEPP, DNP (2010). Evaluacin Ejecutiva (E2) Programa Estrategia Territorios Digitales: Aprovechamiento de las TIC en Colombia.
Consultora realizada por Julio Villarreal.
43
En este recuadro nicamente se van a presentar Aulas digitales instaladas y funcionando.

los indicadores del componente de infraestruc-
tura. La estrategia ha definido cuatro frentes de Telecentros instalados y funcionando.
inversin para los proyectos desarrollados en
cada territorio: conectividad, acceso, telefona Herramientas de telemedicina instaladas y
mvil y televisin. Dicha infraestructura debe funcionando.
facilitar a los ciudadanos el acceso a las TIC y su
uso adecuado. Software y equipos audiovisuales especiali-
zados funcionando (por ejemplo el software
Los subcomponentes (productos/servicios) espe- para el manejo de correspondencia).
cficos que se han entregado en los territorios en
materia de Infraestructura son (no en todos los TD Para cada producto establecer una meta y asociar
se entregan los mismos servicios, cada territorio un indicador de producto
hace nfasis en los que se requieran para cubrir
sus propias necesidades): En este caso se van a tener en cuenta slo los
indicadores relacionados con el primer producto:
Cobertura de la red de conectividad ampliada. cobertura de la red de conectividad ampliada. Sin
embargo, es importante anotar que en la matriz
Nuevos puntos del TD conectados. de marco lgico del programa se presentan los
indicadores para la estrategia (total) de Territorios
Internet inalmbrico funcionando. Digitales; cada territorio puede definir indicado-
res y metas propias para cada ao de ejecucin.
Computadores entregados a la comunidad. La evaluacin y cumplimiento de las metas son
peridicamente verificados y aprobados por el
Salas de informtica instaladas y funcionando. respectivo comit directivo.
Metas e indicadores asociados al componente de infraestructura
Medios de
Nombre Frmula Meta 2010 Meta 2011 Periodicidad
verificacin
Nmero de nuevas goberna-
Nuevas goberna-
ciones vinculadas a la estra-
ciones vinculadas 6 6 Anual MINTIC
tegia TD con respecto al ao
a la estrategia TD
inmediatamente anterior
Nuevos munici- Nmero de nuevos municipios
pios vinculados vinculados respecto al ao 20 20 Anual MINTIC
a la estrategia TD inmediatamente anterior
Fuente: DEPP, DNP (2010).
Recoger informacin sobre insumos, actividades en el proyecto, la propuesta no es apoyada por

y productos el ministerio.
Entre los insumos definidos por el Ministerio de A continuacin se presenta un cuadro de resumen
TIC se encuentra la financiacin de los convenios, con el presupuesto destinado a la estrategia TD
que se adelanta de manera conjunta entre las durante el periodo 2007-2009 para Antioquia,
partes involucradas, el Ministerio de TIC y los uno de los territorios con los que se ha firmado
Gobiernos territoriales (alcaldas o gobernacio- convenio.En ste tambin se discrimina la fuen-
nes). Si los territorios no comprometen recursos te de los recursos aportados (Ministerio de TIC,
Gobierno territorial).
44
Inversin Territorios Digitales 2007-2009 (pesos corrientes)
Convenio TD 2008 Convenio TD 2009

Territorio (millones de pesos corrientes) (millones de pesos corrientes)
digital
MinTIC Territorio Total MinTIC Territorio Total
Antioquia 840 250 1090 700 300 1000
Fuente: MinTic. Estrategia TD, Inversin TD 2007-2009.
En cuanto a las actividades, se enumeran las fuera del control y alcance de los ejecutores de
misionales que se han determinado y que se los territorios.
desarrollan cronolgicamente durante la ejecu-
cin de los proyectos en los territorios, por cada Por una parte se evidencia que la calidad de
componente. A manera de ilustracin se listan las los productos y servicios entregados bajo el
actividades del componente de infraestructura, componente infraestructura dependen en su
stas son las que el consultor ha sealado como gran mayora del proveedor de los mismos; por
necesarias para la produccin o generacin de ejemplo, la calidad de la conectividad, de los
subcomponentes, pues no hay un registro, plan, computadores, de los tableros digitales, etc., est
gua o metodologa en la estrategia TD donde completamente determinada por el servicio que
estn previamente definidas: prestan los proveedores de stos. Es decir, en su
gran mayora no son aspectos que estn bajo el
1. Se diagnostica y evala el estado de la in- control de la entidad ejecutora.
fraestructura de TIC en el TD.
Por otra parte se reconoce la posibilidad de en-
2. Se identifican y priorizan las necesidades de frentarse a riesgos asociados con eventos propios
infraestructura de TIC en el TD. de la naturaleza y el clima o con la calidad de los
servicios pblicos en la zona de intervencin. En
3. Se definen las intervenciones a realizar y algunos casos, sobretodo en regiones apartadas
los criterios de seleccin y focalizacin de y lejanas como en Magdalena Medio Digital, los
beneficiarios de infraestructura TIC en el TD. servicios de conectividad y equipos se han vis-
to afectados por tormentas elctricas que han
4. Se seleccionan los beneficiarios: puntos a co- quemado equipos instalados en la zona y han
nectar, instituciones o entidades que recibirn ocasionado cadas de la seal inalmbrica de
infraestructura (computadores, telecentros, internet. En otros casos se tienen zonas en las
aulas digitales, telemedicina, etc.). cuales el servicio de energa elctrica es muy
deficiente, razn por la cual el funcionamiento
5. Se actualiza la infraestructura de TIC de de los equipos se ve perjudicado.
acuerdo con las mejores prcticas actuales.
Analizar y reportar el estado de los productos
6. Se desarrolla, instala y prueba la infraestruc-
tura de TIC seleccionada para el TD. En el componente infraestructura, la calidad de
los productos y servicios est determinada en
Se han encontrado dos factores de riesgo im- gran medida por los proveedores y por el apoyo
portantes que pueden tener un efecto signifi- tcnico y las garantas que ofrezcan. As las co-
cativo en la entrega y calidad de los productos sas, los procesos y las reglas de seleccin de los
o servicios ofrecidos por los TD, pero que estn mismos son la clave para garantizar una buena
45
calidad. A continuacin se presenta un ejemplo de implementacin y entrega de subcomponentes

de la cuantificacin de dos de los indicadores del (ejecucin de planes de accin) y las mediciones
componente de infraestructura. de indicadores. En otras palabras, la informacin
solicitada en los formatos estndar debera hacer
El consultor concluy que debe registrarse infor- referencia a cada uno de los niveles de la MML
macin relacionada con los beneficiarios objetivos diseada para la estrategia TD, de manera que
y efectivos, los componentes en desarrollo, los se facilite la medicin de indicadores y, en con-
servicios y productos entregados en infraestructu- secuencia, el logro de sus objetivos.
ra, infoestructura e infocultura, el presupuesto, la
ejecucin de insumos financieros y no financieros Uso de los resultados
(personal, instalaciones, equipos, activos), los
resultados de ejercicios de monitoreo y evalua- Los resultados de esta evaluacin permitieron
cin (por ejemplo, registros de uso de las salas proponer mejoras en temas de gestin de insu-
digitales y dems equipos, personas capacitadas, mos y actividades para incrementar la eficiencia
personas sensibilizadas, entre otros), los objetivos y eficacia del programa en la entrega de sus
y metas planteadas, los informes de los procesos productos.
Cuantificacin de indicadores asociados al componente de infraestructura
Nombre Frmula 2007 2008 2009

Nmero de nuevas gober-
Nuevas gobernaciones naciones vinculadas a la
vinculadas a la estrategia estrategia TD con respec- 4 8 7
TD to al ao inmediatamente
anterior.
Nmero de nuevos muni-
Nuevos municipios vin- cipios vinculados respec- No hay No hay No hay
culados a la estrategia TD to al ao inmediatamente informacin informacin informacin
anterior.
Fuente: DEPP, DNP (2010).
46
CAPTULO IV
Captulo IV
Evaluacin ejecutiva E2+
Darren Green
Los sistemas de evaluacin contribuyen a generar Tener un tipo de evaluacin rpido es esencial
informacin acerca del logro de los objetivos en el sistema de evaluacin de cualquier pas.
planeados por parte de los programas: qu tan En Chile, las Evaluaciones de Programas Guber-
efectivos han sido en el corto, mediano y largo namentales (EPG) dependen de la Direccin de
plazo, si han alcanzado sus metas de manera efi- Presupuestos (DIPRES) y han sido adelantadas
ciente y si hay mejores alternativas de conseguir desde 1997. Las EPG tienen como objetivo dis-
estos resultados con menos recursos. As mismo, poner de informacin que apoye la gestin de los
institucionalizan los esfuerzos de monitoreo y programas pblicos y el anlisis de resultados en
evaluacin que se hagan y sistematizan los ejer- el proceso de asignacin de recursos pblicos2.
cicios de identificacin, diseo, implementacin En Estados Unidos, se encuentra el Program As-
y uso de los diferentes tipos de evaluacin en sessment Rating Tool (PART) desarrollado por la
los niveles nacional, local y sectorial. Office of Management and Budget (OMB). sta es
una herramienta de diagnstico creada en 2002
Con la evolucin de la demanda por evaluar para los programas federales que, mediante un
cada vez ms programas, surgi la necesidad cuestionario cerrado, evala el desempeo de
de tener una evaluacin rpida que permitiera los programas y propone ajustes3. En Mxico, el
tener una visin general del programa en un Consejo Nacional de Evaluacin de la Poltica de
perodo corto de tiempo. La Evaluacin Ejecu- Desarrollo Social (CONEVAL) es la entidad res-
tiva (E2), se dise en la DSEPP y se aplic a 17 ponsable de las evaluaciones de los programas
programas entre 2007 y 2011. A partir de estas federales. En 2007 empez a implementar la
experiencias piloto y el anlisis detallado de estas Evaluacin de Consistencia y Resultados, cuyo
evaluaciones1, se obtuvieron lecciones tanto de objetivo es tener un diagnstico sobre la capa-
forma como de fondo (gracias a la contribucin cidad institucional, organizacional y de gestin
de los diversos consultores que participaron en de los programas hacia resultados4.
su desarrollo y del equipo de la DSEPP), lo que
ha permitido replantear ciertos aspectos del tipo La E2+ se cre con la intencin de generar in-
de evaluacin que se presenta a continuacin, formacin oportuna y pertinente para que las
transformando la E2 en la E2+. entidades, tanto las ejecutoras como las que
1 El autor analiz 8 informes de E2 realizadas en 2009, teniendo en cuenta aspectos como la calidad de los reportes, la pertinencia
de los insumos utilizados, el acompaamiento y supervisin por parte de la DEPP y la calidad de las recomendaciones. En general
se observ que son informes muy completos, sin embargo su estructura rgida no permite que se entienda de manera tan clara el
concepto integral que da el consultor acerca del programa.
2 Ver pgina web Dipres, Chile: http://www.dipres.gob.cl/572/article-37369.html
3 Ver pgina web: http://www.whitehouse.gov/omb/.
4 Ver pgina web: http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/consistencia/index.es.do
49
asignan los recursos, tomen decisiones sobre Los usuarios estn satisfechos con los pro-
ajustes a los programas en el corto plazo e in- ductos/servicios entregados?
crementen la eficiencia y eficacia de la ejecucin
de las polticas pblicas. Se espera con este tipo Es pertinente seguir financiando el programa
de evaluacin: o algunos de sus componentes?
Dar una visin general del programa. Algunos tips
Identificar problemas y mejorar el desempeo

del programa. a. Las E2+ se diferencian del monitoreo por:
Encontrar los cuellos de botella del programa Ser un proceso analtico ms global e
en la cadena de resultados y en la cadena de integrado.
entrega de los productos y servicios.
Permitir ordenar la estructura operativa
Generar unas recomendaciones acerca de y establecer relaciones de causalidad
cmo perfeccionar el diseo y los procesos entre los insumos, procesos, productos
del programa. y resultados de corto plazo del pro
grama.
Evaluar el grado de satisfaccin del benefi-
ciario o cliente del programa. Realizar un anlisis de la eficiencia,
eficacia y calidad del programa.
As mismo, es importante conocer sus limitaciones.
La evaluacin ejecutiva no permite: b. Las E2+ se diferencian de las evaluaciones
de impacto por:
Probar estadsticamente si el programa caus
el resultado o atribuir resultados exclusiva- Distinguir entre un error de diseo y
mente a la intervencin. un error de implementacin al analizar
un programa.
Analizar resultados de mediano y largo plazo
(impactos). Determinar los cuellos de botella entre
los insumos, procesos, productos y
Considerando lo anterior, esta evaluacin res- resultados.
ponde (entre otras) a las siguientes preguntas:
Ser una herramienta ms flexible que
Cul es el desempeo general del programa? permite tomar decisiones en el corto
plazo.
Se encuentra la implementacin del programa
acorde con su diseo? No llegar a conclusiones metodolgi-
camente robustas sobre los resultados
Cul es la relacin de causalidad entre los y los impactos de los programas.
diferentes componentes del programa? Cul
es la cadena de resultados (o valor) del pro- No establecer relaciones de causalidad
grama? entre el desempeo de las intervencio-
nes y los cambios en las condiciones
Cul es la cadena de entrega del programa? y comportamientos observados en los
Dnde estn los cuellos de botella en la beneficiarios y en las comunidades.
cadena de entrega de cada uno de los pro-
ductos/servicios?
50
4.1 Caractersticas y Usos

Examinar la percepcin de un grupo de
En el ciclo de los programas, las E son un ins- 2+ beneficiarios acerca de los resultados del
trumento de evaluacin de medio trmino, de- programa.
bido a que la metodologa permite inspeccionar
los aspectos de ejecucin y operacin de los Analizar si se debe seguir financiando el
programas. Se puede desarrollar en la etapa de programa.
implementacin o en la etapa ex-post del progra-
ma, cuando ya se han empezado a entregar los
productos y servicios a los beneficiarios. Por lo tanto, la E2+ posee las siguientes caracte-
rsticas:
Este tipo de evaluaciones rpidas se desenvuel-
ven mucho mejor cuando estn relacionadas o Presenta un alto grado de flexibilidad.
en coordinacin con el sistema de seguimiento.
Combinar la informacin del seguimiento5, proceso Realiza en tiempos cortos revisiones integra-
continuo durante la implementacin del programa, les de intervenciones pblicas en diferentes
con el ejercicio de evaluacin, permite tener una sectores.
retroalimentacin sobre el desempeo del programa
con un anlisis de la relacin de su gestin con la Desarrolla un anlisis detallado de las cadenas
entrega de productos y resultados de corto plazo. de resultados y entrega.
La articulacin de la informacin de monitoreo con
la E2+ es esencial para su ptimo desarrollo. Usa informacin secundaria levantada por el
programa.
Algunos tips
Estudia la percepcin de los beneficiarios por
La E se utiliza cuando se quiere:
2+ medio de una encuesta o grupos focales.
Tener una visin general del funciona- 4.2 Desarrollo de la Evaluacin

miento del programa en un corto plazo.
En su primera etapa, la E2 se caracterizaba por ser
Establecer la calidad del diseo del pro- una herramienta estandarizada y relativamente
grama. rgida. Se compona de tres informes: i) el informe
de descripcin del programa, caracterizado por
Identificar si el enfoque del programa es una metodologa semi-analtica (basada en las
correcto. EPG de Chile) con preguntas abiertas para reco-
lectar y analizar la informacin; ii) el informe de
Comprobar la calidad de los procesos. evaluacin mediante una metodologa sinttica
con respuestas cerradas (basada en el PART de
Determinar la calidad en la entrega de los Estados Unidos) para analizar la informacin y
productos y descubrir cuellos de botella. hacer juicios de valor; y iii) las conclusiones con
una metodologa analtica con preguntas abiertas
Constatar la cobertura del programa. (basada en las EPG de Chile) para proponer un plan
global de ajuste. Despus de adelantar diecisiete
5 Definido por el glosario de la OECD (2002) como una: Funcin continua que utiliza una recopilacin sistemtica de datos sobre
indicadores especificados para proporcionar a los administradores y a las partes interesadas principales de una intervencin para el
desarrollo, indicaciones sobre el avance y el logro de los objetivos as como de la utilizacin de los fondos asignados. El seguimiento
hace un levantamiento permanente de informacin de indicadores, que pueden ser de gestin, producto o resultado.
51
ejercicios E2 y conocer la opinin de consultores6, 4.2.1.1 El proceso

hacedores de poltica y evaluadores al respecto,
se obtuvieron las siguientes conclusiones acerca El consultor debe construir un concepto general
de la metodologa. Se observ que los informes del programa. Se espera que el concepto incluya
resultaban muy completos en cuanto a la infor- la siguiente informacin:
macin recolectada, sin embargo, su estructura
inflexible daba lugar a la repeticin y a que las Justificacin: problema, necesidad o inters
preguntas formuladas no posibilitaran entender por el cual se cre el programa y cul es su
de manera clara, entre otras7, el concepto integral modelo terico.
y las propuestas concretas que daba el consultor
acerca del programa. Por lo tanto, conservando el Poltica sectorial y/o institucional a la que
objetivo inicial de la herramienta y sus principios pertenece: relevancia y coordinacin del
bsicos, se cambi su estructura rgida por una programa en el marco de la poltica sectorial
enfocada en los requerimientos de informacin e institucional, sostenibilidad del programa.
prioritarios. De acuerdo con esta modificacin, los
componentes para el desarrollo de una E2+ son: Descripcin general: identificacin de los bie-
nes y/o servicios, instituciones involucradas
Visin general. en la ejecucin, mbito de accin territorial8,
antecedentes y caractersticas, perodo de
Eficacia y eficiencia. ejecucin9 y/o cualquier otra informacin
relevante del programa.
Percepcin del programa.
Objetivos del programa a nivel de fin y
Recomendaciones. propsitos: metas de corto, mediano y largo
plazo, cronograma de cumplimiento y medios
Uso de los resultados. de verificacin.
4.2.1 Visin general del programa Descripcin de la poblacin objetivo: iden-
tificar y describir la poblacin objetivo, cmo
El consultor deber hacer el anlisis general del
se define en su planeacin estratgica y las
diseo e implementacin del programa, con el
metas de cobertura correspondientes.
apoyo de una herramienta como la cadena de
resultados.
Cadena de resultados (valor) detallada del
programa en su implementacin:
La informacin requerida para esta parte de la
evaluacin es:
3 Descripcin de los insumos: financieros y
no financieros (los financieros incluyen la
Cadena de resultados formulada por los
descripcin de los antecedentes presu-
evaluadores.
puestarios del programa, las fuentes de
Informacin secundaria (informacin interna financiamiento y la estructura de costos;
y documentada del programa). los no financieros son el talento huma-
6 Las consultoras desarrolladas para llevar a cabo una E2 tenan como requisito adems de los tres informes, entregar un concepto
acerca de la herramienta utilizada.
7 Adems de las recomendaciones de los consultores acerca de la herramienta, se hizo un estudio detallado de 8 E2 realizadas en
2009, en el cul se observ la calidad de los reportes, la pertinencia de los insumos, as como el acompaamiento y supervisin a las
recomendaciones.
8 rea territorial que cubre el programa. Aun cuando el programa tenga previsto tener una presencia nacional, actualmente puede estar
ejecutndose nicamente en parte del territorio.
9 Tiempo total durante el cual el programa ha estado y estar siendo ejecutado. Dependiendo de sus objetivos y naturaleza, el programa
puede haberse diseado sin plazo de trmino, o bien tener un horizonte definido de funcionamiento. Ej.: 1998- 2006.
52
no, la tecnologa, las comunicaciones y evaluacin de la eficacia de la oferta del programa

transporte, el sistema de informacin, se desarrolla con el apoyo de una herramienta
entre otros). como la cadena de entrega:
3 Descripcin de los procesos: identificar

La cadena de entrega se puede definir como
y describir los procesos, lineamientos
el conjunto de actores (personas o institucio-
operacionales, cronograma de implemen-
nes), y las relaciones entre ellos, a travs de
tacin, metas de corto, mediano y largo
las cuales una actividad o un proceso de un
plazo, medios de verificacin y sucesin
sistema dado ser implementado.11
de eventos o actividades que, acorde con
el diseo del programa, se deben dar para
materializar un producto. Responde a la pregunta: Cmo, y a travs de
quin, ocurre una actividad o un proceso del
3 Descripcin de los productos y su per- sistema?
tinencia a la luz de los objetivos de la
intervencin: identificar y describir los 4.2.2.1 El proceso
bienes y/o servicios que entrega el pro-
grama, su cronograma de entregas, metas Se utiliza como representacin grfica de la in-
de corto, mediano y largo plazo y medios teraccin entre actores, instituciones y procesos,
de verificacin. para identificar los obstculos que potencialmente
inciden en la entrega de los bienes y servicios
3 Descripcin de los resultados: resultados de la intervencin.
planeados, metas e indicadores.
Construir la cadena de entrega del programa
4.2.1.2 El producto implica12:
ste debe ser corto y conciso. Se requiere que el Estimar el nivel efectivo de cumplimiento
consultor haga explcita referencia a las fuentes de de las actividades de acuerdo con las metas
informacin (evidencia y soportes) que sustentan fijadas al momento del diseo del programa.
sus interpretaciones.
Determinar el nivel de produccin de cada
Descripcin general. bien y/o servicio, cuantificar los bienes y/o
servicios entregados.
Cadena de resultados del programa construida
de manera detallada. Establecer el nivel efectivo de cumplimiento
de las metas establecidas para la produccin
Concepto integral del programa, de cada una de los bienes y/o servicios.
de las etapas (insumos, procesos, productos
y resultados) y su articulacin. Sealar los organismos responsables y las
modalidades de produccin o formas de
4.2.2 Anlisis de eficacia proveer los bienes y/o servicios.
La eficacia es la medida en que se lograron o se Presentar mapas de flujo detallados con

espera lograr los objetivos del programa, tomando las actividades y eventos involucrados en
en cuenta su importancia relativa10. El anlisis y el proceso de produccin de cada bien y/o
servicio.
10 OECD (2002).
11 Barber (2009).
12 Ibdem.
53
Estimar los tiempos y recursos necesarios Cmo se compara la eficiencia de este pro-
para llevar a cabo cada uno de los pasos a lo grama con otros de objetivos y propsitos
largo de la cadena de entrega de los bienes similares (tanto pblicos como privados y
y/o servicios del programa. comunitarios)?
Evidenciar eventuales cuellos de botella en Se ejecutaron las actividades incurriendo

el proceso de produccin de los bienes y/o en el menor costo posible para generar los
servicios entregados. componentes esperados?
Constatar si el programa cuenta con activi- Tiene el programa por lo menos un indica-
dades de evaluacin y control. dor de eficiencia, con lnea de base, metas y
cronograma definidos?
4.2.2.2 El producto
Tiene el programa un conocimiento detalla-
Se debe adjuntar la cadena de entrega detallada do de todos los costos directos e indirectos
de cada uno de los bienes y/o servicios de la in- indispensables para el cumplimento de las
tervencin, los indicadores de cumplimiento de metas planteadas?
actividades y productos prioritarios, los mapas de
flujo del programa y los cuellos de botella que Cmo se compara la eficiencia de este pro-
se encuentran en cada etapa para cada bien y/o grama en la produccin de los componentes
servicio analizado. especficos con otros de objetivos y propsitos
similares (tanto pblicos como privados y
4.2.3 Anlisis de eficiencia comunitarios)?
La eficiencia se define como la medida en que Demuestra el programa mejoras en eficiencia

los recursos/insumos (fondos, tiempo, etc.) se o efectividad de costos en la produccin de
han convertido econmicamente en resultados13. los bienes y/o servicios?
4.2.3.1 El proceso Tiene el programa procedimientos que le

permitan medir los logros en eficiencia de
El anlisis de eficiencia en una E2+ debe responder costos para la produccin de los bienes y/o
a las siguientes inquietudes14: servicios?
Ha incrementado el programa significativa- Ha registrado la productividad media de

mente sus niveles de eficiencia de costos, los factores, ej. recursos humanos, mejoras
tiempos u otros insumos? en el tiempo y cmo se compara con otros
programas similares?
Demuestra el programa mejoras en eficiencia
o en efectividad de costos, tiempos u otros Cul ha sido la evolucin de los gastos de
insumos en el logro de las metas? administracin15 del programa en el perodo
de evaluacin y cmo se compara con otros
Tiene el programa procedimientos que le programas similares del sector pblico y/o
permitan medir los logros en eficiencia y efec- privado?
tividad de costos, tiempos u otros insumos?
13 OECD (2002).
14 DEPP, DNP (2006).
15 Se deben incorporar los tems considerados y los supuestos utilizados en las estimaciones.n incorporar los tems considerados y los
supuestos utilizados en las estimaciones.
54
4.2.3.2 El producto Indicadores como el costo unitario son esenciales

para examinar su viabilidad. Se adjunta una tabla
El producto debe contener un anlisis de eficiencia de chequeo de informacin que se debe llenar
del programa. Es deseable que ste incluya todos de acuerdo con el nivel y calidad de informacin
los costos relevantes manejados por el programa. levantada en el E2+.
Tabla de informacin disponible

Tabla de chequeo de informacin disponible
Criterios (marcar con Fuentes usadas
Componente
X en caso de positivo (relacionar las fuentes consultadas)
Fuente documental
Fuente no
Actualizada
Organizada
(documento oficiales
Disponible
Completa
documental
del programa,
(entrevistas,
Tema Subtema Calidad datos del sistema
talleres,
de informacin
levantamiento
documentos fuente
directo)
secundaria)
Diseo del programa 0%
Justificacin
Poltica sectorial e intitucional
Descripcin general
Objetivo a nivel de fin
Objetivos a nivel de propsito
Poblacin objetivo
Cadena de resultados
Descripcin de los insumos (desagregar ppales.
Insumos)
Insumos financieros
Insumo 1...
Visin general
Insumo 2...
Insumos no financieros
Insumo 1...
Insumo 2...
Descripcin de los procesos (desagregar ppales,
procesos)
Actividad 1...
Descripcin de los productos (desagragar ppales,
productos)
Producto 1...
Descripcin de los resultados (desagregar ppales,
resultados)
Resultado 1...
Eficacia
Cumplimiento de las actividades
Metas de produccin de bienes y servicios
Nivel de produccin de cada bien y/o servicio,
disponibilidad de indicadores
Modalidades de produccin y responsables
Eficacia y Informacin para contruccin de mapas de flujo

Eficiencia Cronograma de entrega de bienes y servicios
Informacin para detencin de cuellos de botella
Eficiencia
Indicadores de eficiencia de recursos financieros
Indicadores de eficiencia de tiempo

Indicadores de eficiencia de otros insumos...
Desde el punto de vista de la oferta
Metas e indicadores de cobertura efectiva
Uso de los bienes y/o servicios por parte de los
beneficiarios
Indicadores de calidad y oportunidad de pro-
ductos y resultados
Desde el punto de vista de la demanda
Metas e indicadores de cobertura efectiva
Calidad
Uso de los bienes y/o servicios por parte de los
beneficiarios
Indicadores de calidad y oportunidad de pro-
ductos y resultados
55
Por ejemplo
Dependiendo del tipo de producto y su heterogeneidad se deber evaluar el uso de indicadores

de costo promedio, valores mximos y mnimos o la moda, etc.16
Tabla No. 1. Costo Promedio por Unidad de Producto (Miles de $ 2012)
2012
Componente 1
Componente 2
Componente 3
Fuente:
Tabla No. 2. Costo Promedio Componente por Beneficiario (Miles de $ 2012)

Componente 1
Componente 2
Componente 3
Fuente:
Tabla No. 3. Costo Total Componentes por Beneficiario y Total Programa

por Beneficiario Efectivo17 (Miles de $ 2006)
Ao Costo Total Componentes por Beneficiario18 Costo Total Programa por Beneficiario19
2002
2003
2004
2005
Fuente:
La evidencia y soportes que se presentan se deben sustentar en indicadores de productividad,

eficiencia y efectividad de costos por bienes y/o servicios. Se pueden incluir medidas de eficien-
cia global. Para realizar el anlisis de eficiencia se identifican y cuantifican los costos relevantes,
que posteriormente se relacionan con los niveles de produccin de los componentes. Para ello se
utilizan indicadores que compaginen gastos con productos y/o resultados. Pueden anexarse los
planes de mejoramiento diseados para lograr avances de productividad y/o eficiencia estudios
de casos que describan cmo proyectos similares mejoran los niveles de eficiencia, as como datos
y evaluaciones comparativos de desempeo con programas similares.
16 DEPP, DNP (2006).

17 Si es necesario, diferenciar el costo por beneficiario entre los distintos componentes.
18 El costo total de componentes por beneficiario se obtiene dividiendo el total de costo de produccin de los componentes del programa
por el nmero de beneficiarios efectivo.
19 El costo total del Programa por beneficiario se obtiene dividiendo el total de gasto efectivo del programa por el nmero de benefi-
ciarios efectivo.
56
4.2.4 Calidad de los bienes y/o servicios El anlisis de calidad de los productos, tanto vis-
to por el lado de la oferta como de la demanda,
Adems del anlisis de la oferta del programa, contrasta la informacin del programa con las
es importante tener un anlisis de percepcin experiencias y prioridades de los participantes
de la demanda. ste permite completar la visin (personal del programa y otros actores interesados)
general del programa, de lo que pasa realmente lo que posibilita ver el programa y su marco general
en el terreno y de los potenciales resultados e a travs de los ojos de los grupos afectados y de
impactos que el programa va a generar. las personas involucradas su implementacin21.
4.2.4.1 El proceso 4.2.4.2 El producto
El anlisis debe ser representativo de los bene- Reporte desde el punto de vista de la oferta
ficiarios del programa, con el objeto de extraer de productos y resultados generados por el
conclusiones generalizables. Se pueden utilizar programa: basado en informacin secunda-
medios que no resulten costosos como las entre- ria e indicadores de calidad de los bienes y
vistas por telfono, correo electrnico o pginas servicios.
web. stas deben ser cortas (mximo 10 pregun-
tas) y se deben circunscribir al entendimiento Reporte desde el punto de vista de la deman-
del programa, de su objetivo, entre otros, lo que da de los productos y resultados generados
permite tener informacin de manera relativa- por el programa: encuestas a los beneficiarios
mente rpida. para estudio de percepcin del programa. El
universo entrevistado debe ser representa-
Estas encuestas pueden suplementarse con m- tivo. Anlisis de satisfaccin de los clientes
todos cualitativos de investigacin como grupos de los bienes y/o servicios entregados por el
focales. programa.
Anlisis y comparacin de indicadores de

Un grupo focal es una metodologa de eva- calidad del servicio: la oferta frente a la
luacin cualitativa que consiste en pequeos demanda.
grupos de personas (generalmente 6-12 perso-
nas) reunidas para discutir temas especficos Se anexa una tabla de chequeo de informacin
con la ayuda de un moderador. Un grupo de que se diligencia de acuerdo con el nivel y calidad
personas documentan informalmente un tema de la informacin levantada en el E2+.
especfico relacionado con el programa que
se est evaluando20. 4.2.5 Recomendaciones
Esta informacin directa se complementa con la Las recomendaciones deben dar un concepto
informacin disponible que tenga el programa integral acerca del programa y proponer una l-
acerca de sus resultados, abarcando temas como: nea de planeacin estratgica en un perodo de
metas e indicadores de cobertura efectiva, cali- tiempo entre corto y mediano plazo para tomar
dad y oportunidad de los bienes y/o servicios, acciones correctivas. Con base en el anlisis
uso de los bienes y/o servicios por parte de los realizado, el consultor llena un formato de cali-
beneficiarios y resultados. ficacin de los principales aspectos encontrados
en el anlisis del programa. Posteriormente, se

21 Social Impact (2008). Para ms informacin ver Salmen, Lawrence F. (1987). Listen to the People: Participant Observation Evaluation
of Development Projects, 1987, New York: Oxford University Press.
57
preparan y relacionan planes especficos funcio- con la tabla de informacin disponible: la visin
nales para mostrar los detalles de cmo se debe general (diseo y cadena de resultados), eficacia
implementar la estrategia para lograr objetivos, y eficiencia (cadena de entrega), y calidad (por
misiones y propsitos del programa en el trmi- parte de la oferta y de la demanda), para generar
no recomendado. Es importante que el consultor sus recomendaciones. stas deben ceirse a los
vincule los tres productos y sus temas en conjunto temas tratados en el documento.
Formato de calificacin
EVALUACIN EJECUTIVA (E2+) Sinerga
Nombre del mprograma:

Fecha de evaluacin:
Ministerio responsable:
Servicio responsable:
Presupuesto programa ao:
Perodo de evaluacin:
Puntaje
1 2 3 4
En esta seccin se debe realizar un juicio valorativo fundado en cada uno de los temas que se analizan en los diferentes mbitos de la evaluacin. Para cada una
de las reas de Evaluacin se ha definido un nmero limitado de preguntas, las cuales se agregan en subtemas y temas. Cada pregunta debe basar su puntaje en la
deficiencias
Problemas
informacin de soporte includa en los informes, el consultor deber llevar a cabo un anlisis detallado de las razones que justifican la calificacin de 1 para serias
Muy bien
Serias
deficiencias, 2 problemas, 3 bien y 4 muy bien, en cada caso.
Bien
Temas Subtemas de Puntaje
Preguntas Puntaje preguntas
de evaluacin evaluacin subtema
REA 1: VISIN GENERAL
Tiene el programa objetivos y metas claras/especficas?
Se ajustan los bienes y servicios del programa a sus objetivos (fines y propsitos)?
Diseo del
programa Tiene el programa beneficiarios objetivo claramente definidos y afectados por el problema, necesidad
o inters?
Son las metas estratgicas alcanzables y ambiciosas?
Reflejan los criterios de uso, asignacin y distribucin de insumos los objetivos estratgicos del programa?
Diseo del
Tiene el programa los recursos financieros necesarios para su operacin y sostenibilidad en el tiempo?
programa
Cuenta el programa con insumos no financieros suficientes, adecuados y de calidad para realizar las
actividades planeadas?
Cadena de Cuenta el programa con una buena planeacin operativa?
resultados
Tiene el programa un sistema de informacin adecuado?
Cuenta el programa con criterios y mecanismos operativamente eficientes para su seleccin, priorizacin
y focalizacin de los beneficiarios objetivo?
Cuenta el programa con mecanismos y criterios para la mejora de los bienes y servicios?
REA 2: EFICACIA Y EFICIENCIA
Ha cumplido el programa con los niveles necesarios/establecidos de cobertura?
Cuenta el programa con indicadores de cumplimiento de actividades?
Cuenta el programa con indicadores de cumplimiento de producto?
Cuenta el programa con indicadores de cumplimiento de resultados?
Atiende el programa realmente a la poblacin objetivo?

Eficacia
Es adecuada la calidad, oportunidad y uso de los componentes?
Es efectivo el programa en el cumplimiento de las metas establecidas para la produccin de los bienes
y/o servicios?
Eficacia
Estn integradas y articuladas las actividades entre si para el buen desarrollo de la operacin y resolucin
y Efectividad
de los cuellos botella en su gestin?
Son los tiempos y recurso los necesarios para llevar a cabo cada uno de los pasos a lo largo de la cadena
de entrega de los bienes y/o servicios entregados?
Son los procesos de entrega de bienes y servicios operativamente eficientes?
Est el programa orientado a mejorar su costo efectividad

Demuestra el programa mejoras en la costo eficiencia de su gestin?
Eficiencia
Son eficientes otras actividades de apoyo como el talento humano, soporte tcnico, transporte, comu-
nicaciones, archivo, etc.?
Ha alcanzado el programa el nivel esperado de ejecucin de los recursos financieros?

Demuestra el programa mejoras en la eficiencia de costos, tiempos u otros insumos en el logro de las metas?
REA 3: CALIDAD
Se entregan los bienes y/o servicios con calidad y oportunidad?

Desde la oferta
Genera resultados el uso de los bienes y/o servicios por parte de los beneficiarios?
Calidad
Se encuentran satisfechos los usuarios con la oportunidad de entrega de los bienes y servicios?
Desde la
demanda
Los usuarios se encuentran satisfechos con la calidad de los bienes y servicios entregados?
58
4.2.6 Uso de los resultados Tener un procedimiento muy claro de acep-

tacin de las recomendaciones del evaluador
El PENDES presenta una lista de chequeo en con una justificacin de por qu los actores
el tema de management response en lo que se involucrados las acogen o no.
refiere al seguimiento al uso de los resultados
de las evaluaciones, sta incluye las siguientes Mantener un control de calidad de las res-
recomendaciones: puestas.
Hacer un control de calidad de las evaluacio- Incluir en el sistema de seguimiento indica-

nes realizadas. dores de las recomendaciones aceptadas.
Tener una lista de las recomendaciones prio- El evaluador debe incorporar en el plan de
rizadas. accin cada recomendacin aceptada y las
que no, justificarlas.
Manejar un proceso para discutir las reco-
mendaciones realizadas por los consultores Finalmente, se debe decidir si las recomen-
con los actores involucrados. daciones se hacen pblicas o no para hacer
su seguimiento.
59
CAPTULO V
Captulo V
Evaluacin de resultados
Zadiraka Evgenii
La evaluacin de resultados (outcome evalua- finiciones con el objeto de que estos trminos
tion) es un tipo de evaluacin que se utiliza para queden claros en el desarrollo de la gua1.
estudiar los cambios en las condiciones de los
beneficiarios como consecuencia (directa o indi- Tipos de Indicadores
recta, atribuible o no) de los productos entregados
por una intervencin en un horizonte de corto y
mediano plazo. Indicador de gestin: mide procesos, accio-
nes y operaciones adelantados dentro de la
La palabra resultado, en su concepcin bsica etapa de implementacin de una poltica,
se asemeja a un efecto o consecuencia. Cuando programa o proyecto.
se habla de resultado en un programa se puede
definir de la siguiente manera: Indicador de producto: refleja los bienes
y servicios cuantificables producidos y/o
Beneficios o cambios en los individuos o pobla- aprovisionados directamente por una po-
ciones durante su participacin o despus de su ltica, programa o proyecto.
participacin en las actividades del programa.
Los resultados se encuentran bajo la influencia Indicador de efecto: muestra los efectos
de los productos de un programa y se pueden generados por los productos de una de-
relacionar con el comportamiento, habilidades, terminada poltica, programa o proyecto
conocimiento, actitudes, valores, condiciones u sobre la poblacin directamente afectada.
otros atributos. (United Way of America, 1996). Teniendo en cuenta la temporalidad en la
cual se presentan los efectos (corto, mediano
Para medir los procesos de planeacin de las o largo plazo) y los criterios de causalidad
entidades se utilizan herramientas como los entre la intervencin y stos (directos o
indicadores de gestin, producto, resultado e indirectos) se puede dividir esta categora
impacto. En general, los primeros se utilizan entre indicadores de resultado e impacto.
cuando se hace un seguimiento operativo al
proceso de implementacin, mientras que los
tres ltimos se encargan de evaluar el avance
en el nivel estratgico del programa. De acuerdo 5.1 Caractersticas y Usos
con la necesidad que se tenga de informacin
del programa, se recurre a uno u otro tipo de Los objetivos de una evaluacin de resultados
indicador. A continuacin se presentan sus de- son:
1 Definiciones de DNP (2009).
63
Evaluar los cambios que se dieron en las Algunos tips

condiciones de los beneficiarios como conse-
cuencia (directa o indirecta) de los productos
de la intervencin. Para identificar resultados tenga en cuenta
las palabras: mejor, aument, ms,
Investigar si el programa o poltica caus efec- nuevo, cambi, etc.3
tos demostrables en resultados previamente
definidos. En algunos tipos de programa los resultados
son difciles de concretar, por lo que en estos
Es importante mantener las expectativas correc-
casos es muy importante conocer con ms
tas. La evaluacin a nivel de resultados no tiene
detalle la manera cmo se plane y dise
como objetivo2:
el programa y la intencin con la cual se cre.
Probar estadsticamente si el programa caus
el resultado. Para diferenciar entre productos y resulta-
dos es til recordar que los productos son
Explicar de manera causal por qu ese nivel consecuencia directa de los servicios del
de resultado se logr, pues con este tipo de programa y los resultados son los cambios
evaluacin no se pueden atribuir los resul- en el comportamiento de los participantes
tados exclusivamente a la intervencin. despus de recibir el producto.
Concluir a partir de su anlisis lo que se debe Una evaluacin de resultados puede llegar a
cambiar en la intervencin para mejorar el utilizar tanto indicadores de producto como
resultado, puesto que pueden haber cuellos de resultado, especialmente si se quiere
de botella en las otras etapas del programa explicar cul es el origen de estos.
(ej: desarrollo de procesos, entrega de pro-
ductos) que no necesariamente se analizan
con una evaluacin de este tipo. Por ejemplo
Por lo tanto, una evaluacin de resultados res-

ponde entre otras a las siguientes preguntas:
a. En programas sociales4:
Cules son los resultados crticos que el
programa o la poltica tratan de lograr? En el corto plazo los resultados pueden
responder a preguntas sobre el conoci-
Qu cambios se esperaban como resultado miento o habilidades adquiridas.
de la entrega de los productos?
En el mediano plazo los resultados pue-
Qu efectos de corto y mediano plazo gener den responder a preguntas sobre un
el programa? cambio en el comportamiento.
Qu tan efectivo fue el programa en lograr En el largo plazo los impactos pueden
sus objetivos de corto y mediano plazo? responder a preguntas sobre cambios
en valores, condiciones y estatus.
Cul es la dinmica de los indicadores aso-
ciados a la medicin de los resultados de la
intervencin?
2 United Way of America en: http://www.liveunited.org/Outcomes/Resources/What/OM_What.cfm.

3 Mac Namara (2006).
4 Idem.
64
b. En un programa que aconseja a las fa- poltica pblica a evaluar se ha completado, de tal
milias para que mejoren la calidad de su forma que los bienes y servicios ya se han empe-
alimentacin, los productos, resultados zado a entregar a los beneficiarios. Sin embargo,
e impactos esperados seran: para poder establecer el grado de avance de los
efectos de la intervencin, es importante tener
Productos: nmero de reuniones realiza- mediciones de indicadores de los beneficiarios
das; nmero de familias aconsejadas. antes de su inicio.
Resultados o efectos de corto plazo: ali- Con una herramienta como el seguimiento5, se
mentos ms nutritivos incluidos en los puede realizar el levantamiento continuo de
productos de su canasta familiar bsica, informacin de indicadores de gestin, produc-
que antes no consuman. tos, resultados e impactos. Tanto el seguimiento
como la evaluacin son elementos clave en la
Resultados o efectos de mediano plazo: gestin, sin embargo, hacen sus contribuciones
la familia tiene una mejor alimentacin. en diferentes formas y momentos del tiempo6:
Impactos o efectos de largo plazo: dis- El seguimiento es un proceso continuo que

minucin del sobrepeso en las familias; genera informacin sobre el progreso de
disminucin de la incidencia de enferme- un programa, no analiza la causalidad entre
dades relacionadas con una alimentacin las intervenciones y sus efectos, y se hace
no balanceada. durante la implementacin del programa. Es
una actividad interna realizada (en general)
por los funcionarios del programa, que da
c. En un programa de infraestructura vial una retroalimentacin constante sobre su
desempeo.
Los productos generados por el programa
pueden ser kilmetros de carretera pavi- La evaluacin analiza el desempeo del
mentados, obras de drenaje, contencin programa en un momento del tiempo, me-
y estabilizacin. diante una valoracin puntual de la inter-
vencin y sus efectos. Examina relaciones
En el corto plazo los resultados pueden de causalidad entre stos (busca responder
estar relacionados con un mejor mante- a la pregunta por qu?) y se puede hacer
nimiento vial. de manera participativa, interna o externa
al programa.
En el mediano plazo los resultados pue-
den relacionarse con cambios en transi-
Estas dos herramientas se pueden articular y
tabilidad y velocidad de recorrido.
complementar, de tal forma que se tenga un le-
vantamiento continuo de datos de avance y logro
En el largo plazo los impactos pueden ser
de los objetivos (seguimiento) que alimente las
mejoras en la percepcin de satisfaccin
investigaciones de ciertos cambios en los indi-
y seguridad.
cadores de resultado a travs de la evaluacin
de resultados. Si se quiere atribuir los resultados
La evaluacin de resultados se hace en la etapa exclusivamente a la intervencin, se recurre a la
ex-post del programa, en la que el diseo de la evaluacin de impacto.
5 Definido por el glosario de la OECD (2002) como una: Funcin continua que utiliza una recopilacin sistemtica de datos sobre
indicadores especificados para proporcionar a los administradores y a las partes interesadas principales de una intervencin para el
desarrollo, indicaciones sobre el avance y el logro de los objetivos as como de la utilizacin de los fondos asignados.
65
Algunos tips Es importante tener una lnea de base para poder

evaluar los efectos generados por el programa.
Cuando se tiene una evaluacin correctamen-
La evaluacin de resultados se utiliza cuando: te diseada, se pueden estimar cambios ms
fcilmente dado que se obtienen valores de
Se tienen mediciones continuas a indi- indicadores de los entes o beneficiarios antes
cadores y se quiere analizar ms a fondo de la intervencin.
un cambio extraordinario de uno o varios
de ellos. La evaluacin de resultados se sita en un nivel
estratgico para el hacedor de poltica puesto
Existe la necesidad de examinar los resul- que le ayuda a comprender por qu se estn
tados del programa para tomar decisiones dando cambios en los indicadores y le permite
polticas o presupuestales en el corto o determinar si se estn entregando los productos
mediano plazo. de la intervencin8.
Se quieren tener indicios sobre los re-
En conclusin, el evaluador se debe guiar por las
sultados del programa.
siguientes preguntas:
Cules son los resultados crticos que el

La evaluacin de resultados tiene las siguientes
programa o la poltica tratan de lograr?
caractersticas7:
Qu resultados o efectos de corto y mediano
Realiza un anlisis descriptivo de los cam-
plazo produjo el programa?
bios que ha generado la intervencin, sin
tener certeza sobre la magnitud del cambio
ocasionado nicamente por programa. 5.2 Desarrollo de la Evaluacin
Se centra en las modificaciones de los com- Despus de que se aclaran los objetivos y el
portamientos y contextos relacionados con el alcance de la evaluacin se pasa a la etapa de
ente o poblacin beneficiaria de los productos planeacin y diseo de sta, en donde se definen
entregados por la poltica pblica. los resultados a medir, sus metas y se construyen
indicadores apropiados para medir los cambios
Especifica los esfuerzos de las instituciones generados por el programa en los beneficiarios.
y de las partes interesadas en el proceso de Los pasos que se recomienda seguir son9:
intervencin.
Identificar los resultados esperados del pro-
No slo expone el aumento o disminucin grama o poltica que se va a evaluar.
de los indicadores, sino que incorpora en el
anlisis el comportamiento de las instituciones Priorizar estos resultados para determinar
o agentes involucrados en la poltica pblica. cules se van a medir y analizar, con los re-
Para esto debe contar con informacin reco- cursos disponibles.
lectada peridicamente.
Especificar medidas observables o indicadores
Su costo es moderado y su ejecucin es re- de efecto para cada resultado construccin
lativamente veloz. de indicadores.
7 Menon, Karl y Wignaraja (2009) y Patton (2009).

9 Mac Namara (2006).
66
Fijar una meta para estos indicadores. 5.2.3 Construir indicadores
Identificar la informacin necesaria para medir Como se mencion, este tipo de evaluacin debe
estos indicadores e identificar cmo puede tener en cuenta la necesidad de medir los pro-
ser recolectada. gresos realizados en relacin con los resultados
(directos o indirectos) esperados y verificar si
Analizar y reportar los resultados. se han alcanzado. Por esta razn, es importante
que para cada resultado a evaluar se puedan
Usar los resultados. construir indicadores que capturen dinmicas
observables. Esta parte es decisiva en la evalua-
5.2.1 Identificar los resultados esperados cin de resultados, pues se pasa de una misin y
unos objetivos a veces intangibles o difciles de
Los resultados se pueden identificar segn los cuantificar, a unos indicadores con actividades
objetivos que haya fijado el programa a evaluar. asociadas monitoreables.
El objetivo general debe indicar los efectos de
largo plazo a los que se quiere llegar con la inter- Una de las metodologas existentes que relacio-
vencin y los objetivos especficos, los efectos nan los objetivos y los indicadores es conocida
de corto y mediano plazo. como SMART; sta plantea que los objetivos
deben ser especficos, medibles, realizables,
Tambin se puede deducir cules son los resul- pertinentes y con plazos definidos para su cum-
tados esperados partiendo de las principales plimiento.
actividades planteadas.
Objetivos SMART
En principio, el programa debe tener establecidos
sus resultados esperados al empezar en su etapa
de diseo. Si esto ocurre y el programa presenta Specific (Especfico): el objetivo debe ser
metas, indicadores y un sistema de informacin S preciso sobre cmo, dnde y cundo va a
peridica para alimentarlos, el evaluador tendra cambiar la situacin de los beneficiarios.
que analizar estos elementos y priorizar con los
Measurable (Medible): el objetivo debe
actores involucrados los resultados que se van
M establecer metas y beneficios que se
a evaluar.
puedan medir.
Sin embargo, es posible que algunos de estos
pasos se hayan obviado en el diseo del pro- Achievable (Realizable): El objetivo debe
A
grama, por lo que el evaluador, en conjunto con poderse cumplir.
los actores involucrados, deber reconstruirlos.
Relevant (Relevante): el objetivo debe

5.2.2 Priorizar los resultados a evaluar R
ser pertinente y crucial.
El programa puede tener numerosas activida-
des pero no todas son relevantes para lograr el Time-bound (Limitado en el tiempo): el
objetivo general y los objetivos especficos. Es T objetivo debe estar acotado en un pe-
importante elegir hitos observables y medibles riodo de tiempo para su alcance.
que estn directamente relacionados con obtener
un resultado. Pueden haber actividades asociadas Fuente: MENON, S. KARL, J. & WIGNARAJA, K. (2009). Adaptacin
del Autor.
con los procesos internos o la gestin del progra-
ma que son importantes para su desarrollo, pero
que no se encuentran directamente ligadas con A partir de este ejercicio, se definen los indica-
los resultados que se quiere medir. dores de la evaluacin. Una de las metodologas
67
ms utilizadas es la CREMA, construida por el

Banco Mundial10, que permite verificar y escoger Actividades: cursos de capacitacin en
los mejores indicadores que se puedan aplicar oficios tcnicos; cursos para ganar con-
para medir los cambios en los objetivos11. fianza en s mismos (proyecto de vida).
Indicador CREMA Indicadores: porcentaje de jvenes em-

pleados antes y despus del programa;
Claro: jvenes que consideran que han desarro-
C llado habilidades de comunicacin gracias
Preciso e inequvoco.
al programa; jvenes que consideran que
Relevante:
R mejor su autoestima.
Apropiado al tema en cuestin.
Econmico:
E
Disponible a un costo razonable. 5.2.4 Fijar metas
Medible:
M
Abierto a la validacin independiente. Para cada uno de los indicadores es importante
Adecuado: fijar una meta que el programa se compromete a
A Ofrece una base suficiente para esti- cumplir y levantar una lnea de base de los indi-
mar el desempeo (resultados). cadores seleccionados antes de la intervencin.
Fuente: Kusek y Rist (2004). Adaptacin del autor. Por ejemplo
Los indicadores asociados a la evaluacin de

resultados se analizan y comparan en diferentes Programa para mejorar la cobertura
momentos del tiempo con la ayuda de mtodos educativa a los ms pobres a travs
estadsticos y de recoleccin de informacin de subsidios condicionados
cuantitativa y cualitativa para lograr explicar el Si el resultado es mejorar la asistencia de
cambio en las variables. Sin embargo, evaluar el los ms pobres, la meta puede ser mejorar
cambio de las condiciones de los beneficiarios en 10% la asistencia escolar de jvenes
es un anlisis descriptivo de indicadores, lo que Sisbn 1 y 2.
diferencia la evaluacin de resultados de la de
impacto12.
5.2.5 Recoleccin de informacin
Por ejemplo
Posteriormente se pasa a establecer qu informa-
cin se necesita para construir estos indicadores.
Programa para Jvenes Desempleados
Primero se observa si el programa efectivamente
est realizando las actividades para lograr los
Misin: mejorar la calidad de vida de los
resultados esperados y se obtienen cifras y carac-
jvenes de estratos bajos.
tersticas de los beneficiarios reales, entre otros.
Tambien se debe inspeccionar la informacin que
Objetivo: incrementar las posibilidades de
tenga el programa sobre indicadores de gestin,
insercin laboral y social de los jvenes
productos, resultados e impactos, caracterizacio-
desempleados en el ao siguiente a su
nes de los actores que participan en el programa
implementacin.
o documentos acerca de su funcionamiento. Por

11 Para mayor desarrollo sobre el tema de indicadores ver Gua metodolgica para la formulacin de indicadores. Departamento Na-
cional de Planeacin (2009).
68
ltimo, se identifican los vacios de informacin Guiar presupuestos y justificar la asignacin

y se plantea cmo llenarlos. de recursos.
Existen diferentes mtodos de recoleccin de Sugerir metas de resultados.

informacin que dependen del tipo de datos
Enfocar la atencin de hacedores de poltica
requeridos y de los recursos disponibles. En el
en puntos crticos de los programas.
anexo 11.1 se presenta una tabla que resume los
mtodos ms utilizados por el PNUD que, en gran
Al exterior del programa puede contribuir con:
medida, se han adoptado en las evaluaciones a
programas del gobierno colombiano.
Promover el programa a beneficiarios poten-
ciales.
Al saber qu informacin se requiere para determi-
nar la evolucin de los indicadores, es importante Identificar alianzas para trabajar conjunta-
buscar la manera ms eficiente de recoleccin mente.
dentro de las restricciones existentes. Determi-
nar si la informacin secundaria o de archivos Mejorar la imagen pblica del programa.
satisface las necesidades, o si se debe levantar
informacin primaria por medio de encuestas, Mantener o incrementar el financiamiento
grupos focales, etc. del programa.
5.2.6 Anlisis mediante una metodologa 5.3 Metodologas de medicin

Despus de recolectar la informacin de cada in- Existen mtodos estadsticos para interpretar y
dicador, el evaluador debe hacer un balance de la medir los cambios que se producen con la inter-
informacin y realizar un anlisis de las bases de vencin a travs de instrumentos de estadstica
datos para evaluar los cambios que se generaron inferencial y descriptiva que permiten analizar los
en los beneficiarios despus de la intervencin y datos e indicadores que resultan del desarrollo
corroborar si sta alcanz sus objetivos de corto de la evaluacin.
y mediano plazo.
Un factor influyente para la seleccin de los
5.2.7 Uso de los resultados mtodos de anlisis es la conformacin de la
informacin; es decir, si los indicadores son de
El uso de los resultados de este tipo de evaluacio- naturaleza cualitativa o cuantitativa. Las variables
nes puede, al interior del programa, contribuir con: cualitativas son aquellas que se refieren a catego-
ras o atributos de los elementos estudiados. Las
Documentar el funcionamiento del programa, variables cuantitativas son aquellas cuyos datos
especialmente la forma en la que los produc- son de tipo numrico. Estas dos herramientas son
tos afectan a los resultados. complementarias, pues los mtodos cualitativos
proporcionan una perspectiva que posibilita
Mejorar los programas. construir una imagen ms completa de la reali-
dad y aumentan la credibilidad de los resultados
Apoyar la planeacin anual o de largo plazo. encontrados con mtodos cuantitativos.
69
Tipos de variables
Variables cualitativas Variables cuantitativas

Tipo Caractersticas Tipo Caractersticas
Es una variable que slo tiene dos Es una variable que est conformada
Dicotmica categoras que son excluyentes una de Continuas por nmeros infinitos o no numerables
la otra (Ej: Gnero - Hombre o Mujer). de elementos (Ej: Peso de la persona).
Es una variable que tiene ms de dos Es una variable que est conformada
categoras y no hay orden entre ellas por nmeros finitos o infinitos nu-
Nominal Discretas
(Ej: Grupos Sanguneos). merables de elementos (Ej: Nmero
de hijos).
Es una variable que tiene varias catego-
Ordinal ras y hay orden entre ellas (Ej: Estratos
Bajos, Medianos, Altos).
Fuente: Canavos (1999). Adaptacin del autor.
Para hacer una evaluacin de resultados se puede dirigido a jvenes desempleados Sisbn 1 y 2 de
utilizar el mtodo Antes Despus (Before-After siete reas metropolitanas: Bogot, Medelln, Cali,
study) que requiere tener datos antes y despus Barranquilla, Bucaramanga, Manizales y Cartagena.
de la intervencin, pero slo para el grupo de Este programa tena como objetivo contribuir a
beneficiarios. Este mtodo permite hacer compara- mejorar los niveles y la calidad del empleo de los
ciones a lo largo del tiempo y anlisis transversales beneficiarios a travs de acciones de formacin
con posterioridad al proyecto. Los resultados se para el trabajo que incluyeron formacin laboral
obtienen hallando la diferencia entre el valor de para un oficio y prcticas laborales en empresas
las variables antes y despus de la intervencin. formalmente constituidas. Estas acciones esta-
Su debilidad es que al eliminar la comparacin ban dirigidas a incrementar la empleabilidad y,
al inicio del programa se debe suponer que no en consecuencia, las posibilidades de insercin
existi otro factor que pudo haber modificado el laboral y social de los jvenes beneficiarios del
comportamiento de los beneficiarios a lo largo programa.
del tiempo de intervencin del programa.
La formacin se llevara a cabo por entidades
Cuando no se tienen los datos del antes y despus, de capacitacin (ECAP)14 que desarrollaran la
se pueden utilizar modelos de corte transversal fase lectiva con duracin de tres meses y haran
como: modelos de probabilidad o regresiones los arreglos para una fase prctica, de otros tres
lineales que dan cuenta de los indicadores defi- meses de duracin, en empresas seleccionadas.
nidos pero solamente en el momento en el cual De esta manera, se esperaba que tanto los jve-
se levanta la informacin. nes beneficiarios como las ECAP se acercaran al
entorno empresarial.
Aplicacin de las herramientas:
Estudio de caso Identificar los resultados del programa o poltica
a evaluar
El programa13
Estos son los principales resultados que se
El programa Jvenes en Accin (JeA) fue uno de queran lograr con el programa Jvenes en
los componentes de la Red de Apoyo Social (RAS) Accin:
13 Informe anlisis de resultados de las primeras convocatorias de programa Jvenes en Accin. Consultora para la evaluacin de
impacto del Subprograma Jvenes en Accin. Unin Temporal IFS Econometra S.A. SEI, junio de 2004.
14 Las ECAP son entidades pblicas o privadas que preparan, presentan y ejecutan los cursos de formacin laboral, financiados por el
Programa en los trminos, condiciones y plazos establecidos en cada una de las convocatorias.
70
Desarrollar en los jvenes habilidades bsi- obstculos para acceder al mercado de trabajo
cas para el trabajo y especficas en un oficio y a un mundo donde el joven por su condicin
dado, hasta alcanzar el nivel de trabajador social se senta totalmente excluido).
semi-calificado.
Jvenes que tienen expectativas de continuar
Promover el desarrollo de habilidades bsicas, con su educacin formal o de tomar capaci-
sociales y comunicativas del joven que me- taciones adicionales.
joren su capacidad de vinculacin al trabajo
y su desempeo laboral. Para el resultado b) Mejorar su capacidad de
vinculacin al trabajo y desempeo laboral, se
Fortalecer la oferta de formacin laboral con utilizaron los siguientes indicadores:
base en la demanda de los sectores produc-
tivos y las caractersticas y expectativas de Vinculacin al mercado de trabajo: proporcin
los jvenes beneficiarios. de jvenes que han conseguido empleo antes
y despus del programa (empleabilidad).
Para cada resultado especificar medidas
observables o indicadores de resultado Tiempo que dur buscando empleo: tiempo
de espera para conseguir un trabajo antes y
Las variables objeto de anlisis tuvieron en cuenta despus del programa.
las caractersticas de los jvenes, as como el tipo
de ECAPs y empresas donde hicieron la capa- Condiciones laborales de enganche en empleos
citacin. Para la caracterizacin de los jvenes posteriores a la capacitacin: tipo de empleo
egresados se tuvieron en cuenta: (formal o informal), asalariado o independien-
te, etc.
Sexo, edad, nivel educativo, responsabilida-
des, capacitaciones anteriores y experiencia Nivel de ingresos: salario antes y despus de
laboral. la participacin en el programa.
Posteriormente, para evaluar los cambios que se Tiempo de enganche y duracin de empleos
dieron en los jvenes gracias al programa, en el posteriores a la capacitacin.
resultado a) Desarrollar habilidades bsicas y
cambios o logros que reportan los beneficiarios, Para el resultado c) Fortalecer la oferta de ca-
se plantearon los siguientes indicadores: pacitacin laboral, se utilizaron los siguientes
indicadores:
Jvenes que consideran que han desarrolla-
do habilidades de comunicacin gracias al Nmero de empresas con las que las ECAP
programa. hacen acuerdos de prctica laboral.
Jvenes que consideran que mejor su au- Nmero de ECAPs que han actualizado los
toestima. perfiles ocupacionales tras la concertacin
con las empresas.
Jvenes que consideran que fortalecieron su
capacidad para relacionarse. Nmero de ECAPs que han incorporado nue-
vas metodologas pedaggicas y la prctica
Jvenes que tienen inters en continuar o laboral como parte de la formacin.
profundizar la capacitacin recibida.
Nmero de ECAPs que han dado un nfasis
Jvenes que consideran que su comporta- a la formacin humana y a las competencias
miento cambi (lo cual les permite superar los bsicas del trabajador.
71
Percepcin de las ECAP respecto a si encuen- de un diseo muestral estratificado por tipo de
tran que han experimentado algn nivel de empresa (segn sector econmico y tamao).
fortalecimiento a partir de su participacin
en el programa. El anlisis de la informacin cuantitativa sigui
una metodologa que permiti obtener resulta-
Percepciones generales sobre el programa, dos basados en la muestra completa de todas las
motivaciones y expectativas de trabajo. convocatorias consideradas, se utiliz un diseo
estratificado de elementos. La estratificacin para
Fijar una meta para estos indicadores los jvenes consisti en una clasificacin por
convocatoria en la que participaron, por grupos
En este aparte es necesario observar las metas de ECAPs segn tipo, por clase de capacitacin
que tena el programa Jvenes en Accin en los recibida, por tipo de empresa donde se hizo la
indicadores planteados para lograr los resultados prctica y por nivel de educacin previa. Se busc
a), b) y c) y si stas eran numricas concretas o una representatividad proporcional segn estas
si simplemente aluden a mejorar la situacin de variables, con probabilidad igual de seleccin.
los beneficiarios del programa en cada uno de En esta etapa del trabajo se enfatiz en los re-
estos aspectos. sultados y no en el impacto del programa, por lo
que no se compara la situacin de estos jvenes
Identificar la informacin necesaria para medir con un grupo de control, aunque s se trata de
estos indicadores e identificar cmo puede ser hacer comparaciones con algn referente y con
recolectada la situacin anterior a la exposicin a JeA, de
manera que se puedan intuir algunos posibles
La informacin necesaria se obtuvo a travs de resultados. Sin embargo, como se menciona en
encuestas estructuradas de tipo cuantitativo que los puntos anteriores, en una evaluacin de re-
se hicieron a jvenes egresados, ECAPs y empre- sultados no se puede, en rigor, atribuir los efectos
sas. La informacin de tipo cualitativo por medio con certeza al programa mismo ya que tambin
de entrevistas y grupos focales con los tres tipos podran deberse a causas diferentes que no estn
de actores del programa. Adems se recogieron siendo controladas.
resultados basados en la informacin existente
en las bases de datos de JeA, as como en otros El componente cualitativo requiri de informacin
estudios y evaluaciones existentes. primaria detallada para el anlisis de los resulta-
dos de las primeras convocatorias del programa,
Para la recoleccin de la informacin cuantitativa que se recolect a partir de la conduccin de 18
se disearon encuestas estructuradas para los tres grupos focales con jvenes, 11 con ECAPs y 9 con
agentes involucrados en el programa: Jvenes, empresas; 12 entrevistas con ECAPs y 6 estudios
ECAPs y empresas, stas fueron aplicadas durante de caso con empresas, todos ellos en las reas
el mes de diciembre del 2003. Para los jvenes, metropolitanas de Bogot, Medelln y Cartage-
la muestra estadstica incluy egresados de las na. Se prepararon instrumentos especialmente
primeras convocatorias que en el momento de diseados tanto para la obtencin, organizacin
la encuesta tenan entre 6 y 18 meses fuera del y presentacin de la informacin. sta se obtuvo
programa - segn la convocatoria a la cual asistie- aplicando metodologas de investigacin social
ron. Se encuestaron de manera presencial a 1.037 dirigidas a explorar, describir y explicar aspec-
personas. En cuanto a las ECAP, se encuest el uni- tos seleccionados de carcter sociolgico en el
verso de instituciones que impartieron cursos en contexto de JeA. Se busc comprender ciertos
alguna convocatoria realizada. Para las empresas, hechos y el significado que los protagonistas les
inicialmente se haba diseado un esquema de atribuan a ellos. Con los resultados se espera
encuesta para ser aplicado telefnicamente pero facilitar la comprensin de los procesos e inte-
se opt por hacerlo con visitas presenciales. Se racciones sociales, pero no se pretende hacer
obtuvieron 686 encuestas efectivas provenientes generalizaciones sobre un hallazgo sino ms bien
72
profundizar en sus dinmicas e implicaciones. Todos los actores participantes del programa
De esta manera, utilizando como insumo bsico coincidieron en que un resultado del mismo
la percepcin de los actores sociales sobre su es el cambio que opera en los jvenes con
experiencia y el sentido que le asignan a sta, su paso por JeA. La formacin en diferentes
se espera encontrar hallazgos que contribuyan temas de desarrollo personal (proyecto de
a una mejor toma de decisiones. vida) logr mejoras en sus habilidades de
comunicacin, autoestima y comportamientos,
Analizar y reportar los resultados lo cual les permiti superar obstculos para
acceder al mercado de trabajo y a un mundo
Tanto los jvenes, como las ECAP y las empresas del cual el joven, por su condicin social, se
coincidieron en identificar como principal resul- senta totalmente excluido.
tado del programa el cambio que se dio en los
jvenes a raz de su paso por ste. Los egresa- Mejorar su capacidad de vinculacin al tra-
dos, adems de adquirir conocimientos que les bajo: JeA se constituy en parte del proceso
sirven para el trabajo, recibieron capacitacin formativo de los beneficiarios que deseaban
y formacin en diferentes temas de desarrollo seguir educandose. Por esta razon, se resalta
personal que JeA aglomeraba bajo el nombre de el efecto de integracin social que produjo el
proyecto de vida. programa, llegando a sectores de la poblacin
que necesitaban del apoyo de la Sociedad
Cobertura de JeA: Los beneficiarios de las para vencer los obstculos que a este respecto
primeras convocatorias de JeA representa- confrontan. Por otro lado, para la gran mayora,
ron un 93% de los jvenes Sisben 1 y 2. Los casi un 90% de los beneficiarios de JeA, la
mayores ndices de cobertura se presentaron prctica laboral fue su primera experiencia
en Manizales y los menores en Barranquilla. con un trabajo formal. La labor de introduccin
Entre las caractersticas de los jvenes vale al mercado formal de trabajo fue uno de los
la pena destacar mayor presencia relativa principales resultados de JeA.
de mujeres, y entre ellas de aquellas con
hijos, entre los beneficiarios de 18 a 25 aos. Los principales aspectos analizados con res-
Cabe subrayar que el rasgo de cobertura ms pecto a la empleabilidad fueron la proba-
significativo se da por el nivel educativo de bilidad de emplearse, los tipos de empleo,
los beneficiarios del programa, 75% de los los salarios y la duracin de empleo. Se
cuales tiene educacin secundaria completa encontraron tres aspectos en los cuales la
mientras que para la poblacin objetivo de empleabilidad mejor, particularmente en
JeA, jvenes Sisben 1 y 2, solamente el 10% el caso de los hombres.
cuenta con secundaria completa o ms estu-
dios. Esto apunta a que el proceso de alguna Los resultados encontrados respecto a la
manera present autoseleccin de los ms probabilidad de emplearse mostraron que
educados, bien sea por las preferencias por un 40% de los beneficiarios se encontraban
parte de los jvenes, la seleccin de las ECAP empleados al momento de la encuesta. Sin
o las condiciones del mercado de trabajo. embargo, debe tenerse en cuenta que la co-
yuntura del mercado laboral para personas
Desarrollar habilidades bsicas en los jvenes: similares que no asistieron a JeA tampoco
Los jvenes comentaron que despus de fue estimulante. Frente a estos ltimos, los
JeA conocieron nuevas posibilidades para egresados del programa presentan una situa-
continuar capacitndose o estudiando, lo cin igual a la del total de jovenes de 18-25
cual se confirm al observar el nmero de aos. En general, la proporcin de benefi-
beneficiarios que efectivamente han hecho ciarios que consiguieron empleo fue mayor
nuevos cursos en el corto tiempo transcurrido despus de egresados (55,45%) que antes
despus de haber completado JeA. (51,78%), aunque esta relacin se observ
73
tanto para hombres como para mujeres fue salarial de corto plazo al programa, esto slo
significativamente mayor para los hombres. se podr corroborar con certidumbre en la
Adicionalmente, fue significativa en una de evaluacin de impacto.
las siete reas metropolitanas y para los
jvenes que tienen secundaria completa. Finalmente, en otros aspectos de la empleabi-
Un 42,6% de los jvenes consigui empleo lidad, resulta aparente que el tiempo de espera
durante los primeros seis meses despus de para conseguir un trabajo es razonablemente
salir del programa. Esta proporcin fue mucho corto mientras que la permanencia media en
mayor para los hombres (58,9%) que para las sus trabajos, los cuales generalmente son
mujeres (36,1%). temporales, es del orden de los seis meses.
Al observar la empleabilidad de los jvenes Fortalecimiento de la oferta de capacitacin:

segn el tipo de ECAP donde se capacitaron, Jvenes en Accin tuvo xito en identificar,
se encuentra que fue significativamente mayor movilizar y seleccionar un conjunto de ECAPs
para los egresados de las ECAPs medianas que, salvo posibles casos excepcionales den-
(200 a 500 alumnos) pero no se presentan tro de su gran heterogeneidad, contaron con
otro tipo de diferencias. En cuanto a las la infraestructura, experiencia y los recursos
prcticas, las probabilidades de enganche tcnicos y humanos requeridos para pre-
de los beneficiarios despus de realizarlas, sentar una oferta calificada de capacitacin,
y su permanencia en la misma compaa susceptible de participar en la ejecucin de
una vez finalizada, son claramente mayores programas de capacitacin laboral en el con-
en empresas privadas con nimo de lucro texto de un Sistema Nacional de Formacin
en los sectores de industria, comercio y ser- Profesional cuyo eje es el SENA.
vicios, que en entidades sin nimo de lucro
que ofrecen servicios comunales o sociales La experiencia de participacin en el progra-
(educacin, salud, servicios pblicos, etc) o ma, con su mecanismo de identificacin de
en la administracin pblica, donde las ta- oportunidades de prctica laboral como seal
sas de enganche y retencin son bajas. Las de pertinencia, estimul en las ECAP procesos
empresas pequeas, y en menor grado las de diversificacin, por innovacin y adapta-
medianas, parecan ms dispuestas que las cin, en su oferta ocupacional y orientacin
grandes a emplear a sus practicantes. Algo sectorial. Esto se reflej en el aumento que
similar ocurre en los sectores de fabricacin hubo en el nmero de empresas con las que
de bienes y prestacin de servicios a privados las ECAP hacen acuerdos de prctica laboral
con respecto a los dems sectores. tras la experiencia inicial adquirida en JeA.
Tales cambios parecen tener un potencial de
La diferencia ms importante que se observ sostenibilidad dado que hay evidencias que
entre la situacin antes de JeA y despus de indican que en general las ECAP operaron
haber asistido al programa fue el nmero re- respondiendo a las seales del mercado de
lativamente grande de egresados que ahora capacitacin y que ste (en sus vertientes
tienen un empleo como asalariado formal y pblica y privada, y/o comercial y filantrpica)
que antes no lo tenan. En trminos salariales les permiti a la mayora sostenerse como
parece haberse mantenido un nivel muy cer- oferentes especializados de capacitacin
cano al salario mnimo legal para la mayora laboral.
de los empleos en todos los sectores. Sin
embargo, para los hombres empleados el En las ECAP participantes en JeA se tom
salario despus de haber participado en JeA conciencia de la necesidad de una relacin
est 15% por erncima del mnimo. Dadas las cercana e interactiva con el sector empresarial
condiciones del mercado laboral correspon- como factor clave para asegurar la pertinencia
diente es difcil poder atribuir este efecto de su oferta, la experiencia en el programa
74
tuvo el efecto de ampliar su red de relaciones diseo y la operacin de las siguientes convo-
empresariales. El mecanismo de la prctica catorias de JeA. Tambin sirvieron de insumo
laboral obligatoria como requisito para la para afinar el levantamiento de la informacin
formulacin de sus propuestas a JeA, fue el inicial para la evaluacin de impacto de la cuarta
estmulo concreto que les llev a intensificar convocatoria.
tales relaciones.
En trminos de la operacion regular del progra-
Parece entonces existir consenso de que tan- ma se recomend una mejora en los medios de
to las ECAP con nuevos programas como las comunicacin utilizados hasta el momento, o la
ECAP existentes que adaptaron sus programas, utilizacin de nuevos mecanismos para dar una
adems de contribuir a una ampliacin de la mayor cobertura a la informacin sobre la oferta
oferta, se fortalecieron en aspectos que inci- de cursos, para que los jvenes pudieran elegir
den en la calidad como son la actualizacin el curso que ms se ajustara a sus preferencias
de los perfiles ocupacionales por efecto de y un incremento en la asistencia de orientacin
la concertacin con las empresas, la incorpo- profesional a los jvenes participantes, princi-
racin de nuevas metodologas pedaggicas, palmente por parte de las ECAP.
la adopcin de la prctica laboral como parte
de la formacin y el nfasis en la formacin Otra leccin que se desprendo de este anlisis
humana y en las competencias bsicas del fue la conveniencia de que el sistema de infor-
trabajador. macin de JeA se complementara con un sistema
de autoevaluacin continua. Las experiencias y
Uso de los resultados enseanzas que sugirieron los resultados del
estudio indicaron la importancia de aprovechar-
Se esperaba que los resultados que se presen- las correctamente para el perfeccionamiento del
taron en el informe fueran utilizados para el programa.
75
CAPTULO VI
Captulo VI
Kavram
La evaluacin de impacto estudia si los cambios Identificar efectos no previstos en los bene-
en el bienestar son efectivamente debidos a la ficiarios, ya sean positivos o negativos.
intervencin y no a otros factores (Khandker, S.
Koolwal, G & Samad, H., 2010). Para lo cual responde, entre otras, a las siguientes
preguntas:
La evaluacin de impacto es una evaluacin
ex-post, es decir, posterior a la ejecucin del Qu le habra pasado a los beneficiarios de
programa, pues los impactos de un programa se la intervencin si el programa no hubiese
observan determinado tiempo despus de su existido?
implementacin.
Qu tanto de los efectos sobre los benefi-
La evaluacin de impacto es un tipo de evaluacin ciarios se le pueden atribuir al programa y
que se utiliza para medir el impacto o efecto de qu tanto a otros factores?
un programa en un grupo de individuos, hogares
o instituciones y examinar si esos efectos son Qu tan efectivo fue el programa en lograr
atribuibles especficamente a la intervencin sus objetivos? Hubo cambios, y de qu
del programa. (Baker, 2000). magnitud, en los problemas atacados por el
programa?
Este tipo de evaluaciones tienen como fin:
Se justifican los costos?
Atribuir impactos a un programa y examinar
si est generando los efectos deseados. Se podra modificar el diseo del programa
para mejorar sus efectos?
Tener evidencia concluyente para la toma
de decisiones de poltica, as como en la Hubo efectos inesperados?
priorizacin y justificacin en el uso de los
recursos. Por ejemplo
Estudiar aspectos de un programa para cam-

biar su diseo y mejorar su efectividad. a. En un programa de subsidios condicionados
para mejorar nutricin y asistencia escolar
Comparar el impacto de un mismo programa en los beneficiarios podra preguntarse:
para diferentes tipos de poblacin o diferentes En cunto disminuy la desnutricin crni-
contextos. ca de los nios beneficiarios del programa?
79
ao para poder detectar impactos tempranos y

En cunto aument la talla promedio es recomendable realizar otros levantamientos
de los nios gracias al programa? de informacin para las mismas variables en
aos posteriores para determinar impactos de
En cunto redujo el programa la pro-
mediano y largo plazo.
babilidad de padecer diarrea?
En qu proporcin mejor la asistencia 6.1 Caractersticas y Usos

a la escuela gracias al programa?
En cunto contribuy el programa a La evaluacin de impacto tiene como objetivo

disminuir los aos repetidos? poder determinar cul es el efecto de la inter-
vencin a travs de la identificacin de lo que le
En cunto se increment el consumo habra pasado a los beneficiarios si el programa
en alimentos gracias al programa? no hubiese existido.
b. En un programa de capacitacin laboral Para tratar de responder a esta pregunta, se tiene

de jvenes desempleados podra pre- que observar a la persona con y sin el programa.
guntarse: Sin embargo, es imposible observar a la misma
persona en ambas circunstancias. Esto implica que
En cunto mejor el programa la proba- se deben calcular los efectos de los participantes
bilidad de conseguir empleo, el perodo en el programa en ausencia de la intervencin.
de bsqueda de empleo y la duracin Este escenario es lo que se conoce como contra-
del empleo? factual o grupo de control.
En qu magnitud el programa incremen-
t la calidad del empleo y los ingresos A travs del contrafactual una evaluacin de
de los beneficiarios? impacto busca definir a dos tipos de poblacio-
nes a observar, comparando el estado de los
beneficiarios con y sin intervencin gracias a un
grupo de control:
La evaluacin de impacto se adelanta una vez
Grupo de Tratamiento (beneficiarios): grupo
ha terminado la fase de implementacin del
programa. Sin embargo, planear la evaluacin y de personas, hogares o instituciones objeto
construir la lnea de base (el primer levantamiento de la intervencin del programa o poltica,
de informacin) desde la etapa de diseo del pro- sobre los cuales se espera percibir un impacto
grama proporciona ms opciones metodolgicas producto de su exposicin ante sta.
para desarrollar la evaluacin, lo que contribuye
a hacer un ejercicio ms confiable, robusto y Grupo de control: grupo de personas, hogares
econmico. Si la evaluacin no se plane desde o instituciones que no participan en el progra-
el principio del programa, es necesario ver qu ma y que tienen las mismas caractersticas del
opciones metodolgicas se ajustan a sus obje- grupo de tratamiento (la nica variable que
tivos y alcance, y cules son las restricciones de los diferencia con el grupo de beneficiarios
tiempo y recursos disponibles. es la intervencin).
Si se llega a la conclusin que para responder A menudo, se simplifica la evaluacin comparando

las preguntas planteadas lo ms indicado es sus situaciones de manera directa. Sin embargo, la
una evaluacin de impacto, es necesario tener diferencia entre los estados de ambos grupos no
en cuenta el cronograma de ejecucin del pro- slo responde al programa sino a mltiples facto-
grama. Por ejemplo, en el caso de programas de res que pueden llegar a explicar las divergencias,
nutricin, educacin o desarrollo cognitivo, es por lo que las conclusiones que resultan de este
necesario que la intervencin lleve al menos 1 tipo de comparacin no son del todo precisas.
80
En la Grfica se explica de manera visual el con- acumulacin de capital humano rompe con la
trafactual. Se puede observar que antes de la transmisin intergeneracional de la pobreza.
intervencin los grupos de control y de tratamiento
comienzan en el mismo estado de bienestar: Ei Los modelos se construyen para interpretar
Gc y Ei Gb. Luego de la intervencin, el grupo de la realidad de manera simplificada mediante
control llega a un estado de bienestar Ef C y el variables y relaciones lgicas. Existen va-
grupo de tratamiento a Ef Gb. El contrafactual riables que no se pueden observar o medir
muestra el estado que habra alcanzado el grupo directamente por lo que se usan variables
de tratamiento en ausencia del programa, Ef C, Proxy (que son una aproximacin al parmetro
proveyendo el punto de referencia necesario para de inters).
determinar el xito del programa. Con la medi-
cin de Ef C frente a Ef Gb, el evaluador puede Muestreo y recoleccin de datos: es nece-
establecer el impacto debido exclusivamente al sario definir cmo y qu tipo de muestra se
programa. va a recolectar. El muestreo y recoleccin de
datos se pueden hacer con diversas tcnicas.
Anlisis del Contrafactual Anlisis de datos: el anlisis de los datos re-

colectados para alimentar el modelo diseado
Estado
se puede efectuar con mtodos cualitativos
Ef Gb
y cuantitativos.
Impacto
Ef C
6.2.1 Disear el modelo
ctual
rafa
Ei Gc Ei Gb Con
t Cada diseo de evaluacin de impacto tiene que
estar adaptado al contexto en el cual se desarrolla
Programa el programa, al tipo de intervencin y a los actores
Ti Tf Tiempo
involucrados. Por lo tanto, no hay una aproxima-
cin estndar para delinear una evaluacin de
Fuente: Khandker, S. Koolwal, G. & Samad, H. (2001). Adaptacin
impacto. Sin embargo, las metodologas utilizadas
del Autor. en los diseos de evaluacin recurren a mtodos
tanto cuantitativos como cualitativos.
Para realizar este proceso es fundamental con- Entre los mtodos de origen cuantitativo se
tar con una serie de indicadores que puedan encuentran los diseos experimentales, consi-
encapsular y cuantificar de forma vlida y fiable derados como la solucin ptima, y los diseos
los impactos del programa, al igual que una hi- cuasi-experimentales, que pueden dar resultados
ptesis lgicamente vlida que postule, en forma confiables si se hacen de manera adecuada. Para
convincente, por qu los cambios observados los mtodos de origen cualitativo existen los
en los indicadores de resultados e impacto del diseos no experimentales.
proyecto son realmente consecuencia de ste y
no de otros factores ajenos al mismo. Cada diseo de evaluacin responde a factores
como el tipo de programa, las preguntas de evalua-
6.2 Desarrollo de la Evaluacin cin, la informacin disponible y las restricciones
polticas, presupuestales y temporales. Segn el
Para llevar a buen trmino una evaluacin de caso en particular, las evaluaciones pueden com-
impacto se deben seguir tres pasos especficos: binar mtodos cuantitativos y cualitativos que,
sumados a un ptimo diseo de evaluacin y una
Disear el modelo: el modelo es la represen- informacin muy completa, arrojan resultados lo
tacin terica de los procesos. Por ejemplo, la ms confiables posibles.
81
Esta gua se enfocar en explicar cada una de Criterio tico: la seleccin aleatoria deja a
estas aproximaciones, planteando sus fortalezas algunos individuos por fuera del programa
y debilidades1. aun cuando son elegibles para el mismo.
6.2.1.1 Diseo Experimental Criterio Poltico: en algunos casos es polti-

camente difcil otorgar los beneficios de la
Es un diseo de evaluacin de impacto en el intervencin a un grupo de personas y no a
cual el grupo de tratamiento de la intervencin otros.
de la poltica se selecciona de manera aleatoria
entre un grupo de personas homogneas de Criterio de Cobertura: si la intervencin es
determinado tamao. Es ms factible realizar masiva, y se quiere cubrir a toda la poblacin
una evaluacin de impacto de tipo experimental elegible, no queda un grupo que pueda servir
cuando sta es concebida al mismo tiempo que de control.
se formula el programa, no se tienen limitaciones
ticas o polticas, o hay un lmite de cobertura Criterio de Cambio: por circunstancias ajenas
del programa. al programa es posible que las personas del
grupo de control cambien ciertas caracte-
El diseo experimental: rsticas que los identifican con el grupo de
tratamiento, lo que podra daar o contaminar
Crea un Contrafactual Perfecto, su ventaja los resultados. El diseo del programa tambin
principal, dado que el grupo de control y de debe permanecer sin alteraciones para que
tratamiento son estadsticamente equivalen- la evaluacin del programa sea robusta.
tes (si las muestras cumplen con el requisito
de ser del tamao adecuado). Aleatoriedad: aunque la aleatoriedad sea
exitosa otras variables distintas al tratamien-
Tiene un grupo de tratamiento y control con to pueden estar determinando el resultado
la misma distribucin de caractersticas por los efectos heterogneos. No siempre
observadas y no observadas al comienzo del se logra hacer la aleatoriedad sobre grupos
programa. homogneos. Incluso en diseos aleatorios
ideales no todos los participantes recibirn
Evita el sesgo de seleccin; es decir, garantiza el tratamiento planeado (no-adherencia/
que las diferencias de puntuacin del impacto inconformidad) o no todos los participantes
despus de la intervencin no se deben a completarn el tratamiento (desercin).
diferencias iniciales entre los grupos.
Algunos de estos problemas se pueden con-
Son viables con un solo levantamiento de trarrestar con un diseo de evaluacin trans-
informacin (no es necesario levantar un parente. Hacer la distribucin aleatoria de los
panel). grupos de tratamiento y control de manera
pblica y abierta puede ser de gran ayuda para
Se pueden calcular los impactos con una los criterios tico y poltico mencionados an-
diferencia de medias. teriormente. En algunos casos tambin se dan
premios o se hacen rifas para compensar a los
El diseo experimental2 puede presentar, entre individuos que participan pero que no quedan
otros, los siguientes problemas: en el grupo de tratamiento.
1 Esta gua explica las metodologas ms utilizadas. Para mayor detalle sobre otras metodologas referirse a: Baker, Judy (2000).
2 Ibid.
82
Para el criterio de cobertura, si el programa es diferir por factores, variables o caractersticas

implementado en etapas es posible manejar no observables omitidas.
al grupo de tratamiento y control de manera
escalonada, asignando a este ltimo los futuros Es ms flexible. Con un adecuado diseo de
beneficiarios. De esta forma se puede justificar evaluacin y un buen levantamiento de infor-
dar el tratamiento a unos primero y a otros ha- macin puede tener resultados confiables.
cerlo de manera posterior. En este caso se debe
planear exactamente cundo recibe cada grupo Por las caractersticas mencionadas, este tipo
el tratamiento y hacer una primera medicin de diseo es el que se ha utilizado con ms fre-
comparando a los grupos con y sin tratamiento. cuencia para el desarrollo metodolgico de las
En mediciones subsecuentes se puede evaluar evaluaciones de impacto en Colombia.
la diferencia en intensidad del tratamiento para
cada grupo. Por ejemplo, comparar los que llevan
1 ao de tratamiento versus los que llevan 2 aos Ventajas y desventajas del diseo
permitira valorar los efectos de la intervencin cuasi-experimental
segn el tiempo de exposicin al programa.
Ventajas
Este tipo de diseo ha sido poco utilizado para las Puede basarse en datos se-
cundarios, por eso podran ser
evaluaciones de impacto realizadas en Colombia menores sus costos y ms rpida
su realizacin.
por los problemas anteriormente mencionados. Puede llevarse a cabo luego de
que el programa se ha imple-
mentado.
6.2.1.2 Diseo Cuasi-Experimental
Es un diseo de evaluacin de impacto en el cual Desventajas

la seleccin del grupo de control de la interven- Reduccin en la confiabilidad de
los resultados dado que la meto-
cin se hace de manera no aleatoria. dologa es menos robusta.
Los mtodos pueden ser estads-
ticamente complejos.
Para la realizacin de la evaluacin de impacto Conlleva un problema de sesgo
de seleccin.
con un diseo cuasi-experimental se utilizan
tcnicas estadsticas que buscan generar un gru-
po de comparacin lo ms parecido al grupo de Fuente: Baker, J. (2000). Adaptacin del Autor.
tratamiento en sus caractersticas observadas.

Los investigadores recurren a este diseo cuando
no se puede aplicar uno experimental. En el diseo de una evaluacin de impacto es
clave tener en cuenta los sesgos que se presen-
Por lo tanto, del diseo cuasi-experimental se tan y que pueden influir en el comportamiento
puede decir que: de las variables. A continuacin, se exponen los
diferentes tipos de sesgos con los que un eva-
Es menos robusto dado que la seleccin luador se podra encontrar.
del grupo de tratamiento no se hace de
manera aleatoria, sino que se utilizan tcni- Sesgo de seleccin: existen caractersticas ob-
cas economtricas como el emparejamiento servables y no observables de los individuos
por probabilidad de similitud, las variables que explican tanto la decisin de participar
instrumentales y la doble diferencia, entre en el programa como la variable resultado.
otras, para que el grupo de control sea lo ms
parecido posible al grupo de tratamiento. Cmo evitarlo? Si las variables del indivi-
duo que explican tanto la participacin en
Tiene sesgos en la creacin de los grupos de el programa como la relacin con la variable
control y de tratamiento ya que estos podran resultado son observables y estn contenidas
83
en la base de datos, se deben introducir en desercin es muy alta (alrededor del 90%)
la regresin para eliminar el sesgo. la muestra debe ser ampliada o se debe
complementar con otras bases de datos.
Por ejemplo
Por ejemplo
Suponga que para ingresar en el programa los
individuos deben decidir si participan o no. Si
Si los que se van del grupo de control son los
los individuos ms pobres son aquellos que
de mejor (peor) desempeo, las mediciones
deciden enrolarse en el programa, mientras
de impacto estarn sobrestimadas (subesti-
que los menos pobres deciden no hacerlo, se
madas) ya que la comparacin se har con
incluye una variable como el ingreso de las
beneficiarios con cambios muy pequeos
familias en la regresin para eliminar el sesgo
(grandes) en los resultados.
de seleccin.
Sesgo por la intervencin de otros programas,

Sesgo por anticipacin o expectativas: ocu-
transferencias o beneficios (co-intervention
rren cambios en el comportamiento (deci-
bias): existen cambios en las variables del
siones) de los futuros beneficiarios (grupo
programa como resultado de la injerencia de
tratamiento) producto de saber que van a
otras polticas.
participar en el programa aunque ste no se
haya puesto en marcha.
Cmo evitarlo? Recoger informacin su-
ficiente que permita identificar el acceso a
Cmo evitarlo? Levantar la lnea de base
otras intervenciones.
antes de la inscripcin al programa, utilizar
informacin retrospectiva o utilizar informa-
Por ejemplo
cin ya recogida en otras fuentes.
Por ejemplo Los beneficiarios del programa pueden hacer

parte de otros que les pueden ayudar a cumplir
Suponga que la inscripcin en un programa los objetivos mucho ms rpido.
se lleva a cabo en octubre de 2010 pero que
slo se recibir el subsidio 3 meses despus. Sesgo por efectos de desbordamiento (spi-
Pueden existir cambios en las decisiones dadas llovers): los efectos del programa sobre los
las expectativas de mayores ingresos de los beneficiarios pueden generar repercusiones
beneficiarios. en los no beneficiarios. Si no se las tiene en
cuenta pueden invalidar el diseo de evalua-
Sesgo por desgaste de la muestra (attrition cin (incluyendo el experimental). Cuando su
bias): se presentan alteraciones en la compo- tamao es grande, se deben estimar como
sicin de la muestra si algunos beneficiarios parte de la evaluacin.
desertan (probablemente) porque no requie-
ren el programa o porque no pueden cumplir Cmo evitarlo? Pensar sobre la presen-
las condiciones de ste. cia y la importancia del desbordamiento
antes del programa; construir un diseo
Cmo evitarlo? Si la desercin no es muy de evaluacin que pueda considerarlo y
alta, lo primero que se debe hacer es una estimarlo; recolectar datos sobre elegibles
comparacin entre las caractersticas de los y no elegibles en grupos de Tratamiento y
desertores y no desertores. Si no se eviden- Control; recolectar informacin para estudiar
cian diferencias muy grandes, una opcin especficamente los mecanismos detrs del
es recalcular los factores de expansin; si la desbordamiento.
84
Por ejemplo La informacin que se compila por medio de

este tipo de diseo se puede cuantificar pero no
Las madres que van a controles de crecimien- generalizar, pues no es estadsticamente repre-
to con sus hijos pueden incentivar a madres sentativa. Es necesario complementar este tipo
que no son beneficiarias a adoptar buenas de diseo con otros mtodos para determinar
prcticas. relaciones de impacto medibles y generalizables.
6.2.1.3 Diseo No Experimental 6.2.2 Muestreo y Recoleccin de

informacin
Es un diseo de evaluacin que permite anali-
zar el impacto del programa centrndose en la A continuacin se enuncian slo algunas de las
percepcin que tienen los individuos o grupos tcnicas ms comunes de recoleccin de infor-
estudiados de los procesos, comportamientos y macin, para un mayor detalle ver el captulo 11
condiciones de la intervencin (Valadez y Bam- (Anexos) y la seccin 6.4 (Construccin de Lneas
berger, 1994). El diseo no experimental se basa de Base). Estos mtodos son aplicables a todo
en mtodos diferentes al escenario contrafactual tipo de evaluacin, no slo a las de impacto. Se
para realizar una inferencia causal (Mohr, 1995). En encuentran, entre otros:
general, debido a que el diseo no experimental
es subjetivo y no se pueden generalizar las con- Encuestas directas a los beneficiarios.
clusiones de percepcin del programa ms all
de la poblacin entrevistada, se complementa Datos secundarios de encuestas nacionales
con otras tcnicas de evaluacin. de hogares, censos o estudios similares rea-
lizados en la misma poca en que comenz
El diseo no experimental: el proyecto, que pueden ayudar a identificar
a la poblacin beneficiaria y aportar datos
Permite estudiar las percepciones de un pro- pertinentes sobre esa poblacin o sobre
grama y cmo ste afecta a la comunidad. grupos de comparacin potenciales.
Funciona muy bien cuando se quiere hacer un Registros administrativos recopilados por el
anlisis descriptivo de procesos o de cambios. proyecto pueden proporcionar datos de referen-
cia sobre los participantes en el proyecto, pero
Es el diseo ms flexible y adaptable a las casi nunca sobre los grupos de comparacin.
circunstancias para de la evaluacin, la reco-
pilacin de datos y el anlisis (Baker, 2000). Registros de instituciones locales en donde se
implement el programa pueden contener datos
Entre los problemas del Diseo No Experimental, de referencia sobre el grupo de comparacin.
se encuentran que:
Informacin retrospectiva de la poblacin
Presenta un alto grado de subjetividad en la beneficiada de su situacin antes de la im-
recopilacin e interpretacin de datos. plementacin.
Los resultados no se pueden generalizar, por
la falta de un grupo de comparacin y de 6.2.3 Mtodos Cuantitativos para el
solidez estadstica. anlisis de la informacin3
Los datos resultantes pueden ser difciles de El anlisis de la informacin de una evaluacin de
procesar y analizar. impacto depender del diseo que la evaluacin
3 Para profundizar en cada uno de los mtodos, ver referencias en captulo de bibliografa. Entre otros ver Baker, Judy (2000); Bamberger,
Michael (2006); Khander, S. Koolwal, G & Samad, H. (2009).
85
tome, de las caractersticas de la intervencin 6.2.3.2 Diseo Cuasi-Experimental:

y de las restricciones a las que se enfrente el
evaluador. En el diseo cuasiexperimental, se presentan
cuatro aproximaciones principalmente:
En esta seccin se presentan los mtodos
ms utilizados para el anlisis de datos en la Mtodo de Pareo, Emparejamiento o Corres-
evaluacin de impacto. Estos pueden comple- pondencia (Matching):
mentarse entre s y en algunos casos se reco-
mienda el uso de mtodos mixtos (cualitativos Mtodo en el que la seleccin no aleatoria
y cuantitativos) para dar mayor robustez a los de los participantes del programa implica
resultados. Cuando se recurre a tres o ms una muestra con caractersticas que no son
perspectivas estadsticas distintas, cualitativas necesariamente homogneas, lo cual hace
o cuantitativas, se habla de una triangulacin. que los miembros de los grupos no tengan
A veces se recomienda este ejercicio pues se la misma probabilidad de participar en el
logran resultados ms robustos utilizando dife- programa.
rentes tcnicas. Es posible entonces combinar
aproximaciones cuantitativas para el diseo del En consecuencia, el emparejamiento busca
modelo y la construccin del contrafactual, con calcular una probabilidad de similitud de las
tcnicas tanto cualitativas como cuantitativas caractersticas observables de los individuos
para el levantamiento de informacin y anlisis en cada grupo y con base en sta se seleccio-
de las variables. nan dos sub-grupos de tratamiento y control,
que segn dicha probabilidad resultan ser los
Los mtodos cuantitativos expuestos a continua- ms parecidos entre s. Al conjunto total de
cin son especficos a la evaluacin de impacto, observaciones aptas de ser comparadas, segn
dado que tienen el objeto de construir el con- su probabilidad de similitud, se le denomina
trafactual para permitir la comparacin de los el rango comn y es con ste que se realiza
grupos con y sin intervencin. el anlisis.
6.2.3.1 Diseo Experimental o Aleatorio: La correspondencia puede hacerse en los

diferentes niveles en los que se efecta una
El mtodo ms usado es el de Comparacin de evaluacin de impacto.
Medias (Comparison of means), que:
Mtodo de Regresin Discontinua (Regression
Utiliza los datos en un slo momento del tiem- discontinuity):
po para dos grupos muestrales (tratamiento
y de control). Este mtodo busca establecer los impactos
del programa basndose en unos parmetros
Calcula el impacto del programa como la de elegibilidad que no sean determinados por
diferencia entre el valor medio de la variable la poblacin beneficiaria; para lo cual estima
resultado en ambos grupos. el efecto de una poltica por debajo de un
puntaje especfico de una variable de la in-
Supone que el grupo de control refleja la tervencin que se comporta como un umbral
situacin que habra tenido el de tratamiento o pauta para la asignacin del programa.
si no hubiese participado.
La idea bsica es comparar a las personas,
La principal debilidad de esta tcnica es que colectividades o unidades que se sitan
se basa en el supuesto que las caractersticas justo encima del umbral y que, por ende,
de los grupos comparados son iguales o muy no pueden incluirse en el proyecto (grupo
similares. de control) con las que se encuentran justo
86
abajo del umbral y s pueden ser participes no son exclusivas a la evaluacin de impacto,
(grupo de tratamiento). se pueden utilizar en todo tipo de evaluaciones.
Mtodo de la Doble Diferencia (difference- Tcnicas cualitativas4

in-differences):
Este mtodo utiliza los datos en dos momentos Evaluaciones Participativas Rpidas
del tiempo para los dos grupos muestrales (EPR)5: son una serie de mtodos con
(tratamiento y control). La primera diferencia participacin de los beneficiarios quienes
es la comparacin entre el grupo de tratamien- proporcionan informacin sobre su situa-
to y el de control antes de la intervencin. La cin, los problemas de la colectividad y los
segunda diferencia es la comparacin entre cambios que se producen con el tiempo.
el grupo de tratamiento y de control despus
de la intervencin. Grupos focales: son un conjunto de per-
sonas que documentan informalmente
El impacto es la diferencia entre la primera un tema especfico relacionado con el
y la segunda diferencias. Esta tcnica puede programa que se esta evaluando. Cada
ser aplicada tanto a datos transversales como grupo tiene un moderador quien lleva un
a datos panel. guin de los temas a desarrollar, pero no
existen preguntas de respuesta cerrada
Mtodo de Variables Instrumentales como en el caso de los cuestionarios.
(Instrumental variables): Los participantes expresan sus puntos de
vista y el moderador puede explorar las
Se usa cuando la inclusin en el programa razones y la intuicin detrs de estos.
es endgena, es decir que los individuos
se autoseleccionan y por tanto no se puede Entrevistas en profundidad: permiten
identificar alguna caracterstica particular obtener informacin sobre el punto de
que los hace participar. Las variables ins- vista y la experiencia de las personas,
trumentales se usan primero para predecir instituciones o grupos.
la participacin en el programa y luego para
observar la variacin del indicador de resul- Estudios de caso6: es un mtodo de anli-
tados con los valores proyectados. sis de una situacin compleja. Se basa en
el entendimiento de sta (tomada como
un conjunto y dentro de su contexto7), el
6.2.4 Mtodos Cualitativos para el anlisis
cual se obtiene a travs de su descripcin
de la informacin y anlisis.
Los mtodos cualitativos son otro medio por el Paneles de expertos: es una revisin
cual el evaluador puede construir las relaciones por pares, o por un grupo de referencia,
causales de impacto del programa sobre la po- compuesto de expertos externos para
blacin objetivo que recibi la intervencin. Sin proporcionar insumos en temas tcnicos o
embargo, como se mencion anteriormente, estas de otra ndole cubiertos por la evaluacin8.
relaciones se refieren ms a la percepcin de los
beneficiaros frente al programa. Estas tcnicas
4 Ver en Gorgens y Kusek (2009) el captulo acerca de How to analyze qualitative data. (pg. 437).
5 Ver referencias adicionales en captulo Bibliografa.
6 Dependiendo del alcance, los estudios de caso pueden ser costosos.
7 Morra y Friedlander (2001).
8 PNUD (2009).
87
6.2.5 Integrando mtodos cuantitativos y No hay informacin de

cualitativos factores de contexto que
Pueden obtenerse estima- ayuden a interpretar los
ciones cuantitativas de la resultados o las variaciones
La integracin de mtodos cuantitativos y cuali- magnitud y distribucin de en el comportamiento entre
tativos de anlisis de informacin y recoleccin impactos. hogares con caractersticas
de datos se ha venido empleando con mayor econmicas y demogrficas
frecuencia puesto que permite tener una visin similares.
integral de lo que est pasando con el programa. Pueden obtenerse estima-
Adems, el uso de aproximaciones cuantitativas y Los mtodos de encuesta
ciones cuantitativas de los
pueden predisponer a los
cualitativas por separado tiene sus fortalezas pero costos o beneficios de las
encuestados.
tambin sus debilidades, tal y como lo muestran intervenciones.
las tablas presentadas a continuacin9: Puede proveer documen-
tacin clara sobre el conte- Los estudios son caros y
De acuerdo con talleres de evaluacin de pro- nido y la aplicacin de los demorados; los resultados
instrumentos de la encuesta no estn disponibles a ve-
yectos10, la utilizacin de mtodos mixtos puede para que otros investigado- ces sino despus de largos
traer ventajas como: la obtencin de diferentes res analicen la validez de los perodos de tiempo.
perspectivas para el anlisis del programa; el resultados.
chequeo en la consistencia de los resultados de Utilizan mtodos estndar lo
Los mtodos de investiga-
las variables claves; la posibilidad de desarrollar que permite que el estudio
cin son inflexibles porque
el anlisis en diferentes niveles por temas o tipo produzca resultados compa-
el instrumento no puede
de actor; la oportunidad de tener retroalimenta- rables y pueda ser replicado
ser modificado una vez
en diferentes reas o a travs
cin para ayudar a interpretar los resultados de del tiempo.
comienza el estudio
las encuestas; el potencial de hacer chequeos de
Es posible controlar por efec-
outliers (respuestas diferentes a las comunes);
tos de variables que puedan
entre otras. conducir hacia causalidades
errneas
Fortalezas y debilidades frecuentemente citadas
de los mtodos cuantitativos de investigacin Bamberger (1999).
Fortalezas Debilidades Fortalezas y debilidades frecuentemente citadas

de los mtodos cualitativos de investigacin
Muchos tipos de informa-
Conclusiones de los estudios
cin son difciles de ob-
se pueden generalizar a la Fortalezas Debilidades
tener (especialmente en
poblacin para la cual son
lo que se refiere a temas
requeridas. Flexibilidad en la aplicacin La implementacin de mu-
sensibles como ingreso).
de los mtodos y facilidad chos mtodos no est bien
en su adaptacin a circuns- documentada, hacindolos
Muestras de individuos, co- tancias cambiantes. difciles de validar y replicar.
munidades u organizaciones
Muchos grupos son de di-
pueden ser seleccionadas Entrevistados son a menu-
fcil acceso (por ejemplo
para asegurar que los resul- do escogidos sin el uso de
mujeres, minoras o nios). Considerados por muchos
tados sean representativos muestreo (o de algn criterio
de la poblacin estudiada. como ms rpidos y ms
claro definido), por lo que
baratos de hacer.
los resultados pueden ser
Pueden ser analizados facto- difciles de generalizar.
res estructurales que deter-
La informacin puede ser Ms fcil de llegar a po-
minan cmo las inequidades Es difcil atribuir respuestas
inexacta o incompleta. blaciones de difcil acceso
(por ejemplo la de gnero) se a individuos especficos en
como minoras, mujeres de
producen y reproducen. una entrevista de grupo.
ciertas culturas, etc.
9 Bamberger (1999).
10 Idem.
88
Esquema de Subsidios
Los mtodos de investiga-
cin pueden ser adaptados Es difcil controlar si el en- Tipo de Monto de Edad de Beneficiarios
a la cultura de los entrevista- trevistador est imponiendo Condicin
subsidio subsidio atencin a 2007
dos. Respuestas no escritas las respuestas. Asistencia a
y no verbales son posibles. 1.680.005
controles de
Nutricional $46.500 0 - 6 aos nios menores
crecimiento
de 7 aos
y desarrollo
Las respuestas pueden si- Es difcil analizar e interpre-
1.118.831
tuarse en un contexto cul- tar un nmero grande de Escolar
$14.000 7 - 11 aos nios entre 7 y
Asistencia
tural y poltico. casos de estudio. primaria escolar
11 aos
960.783 jve-
Escolar Se- 12 - 17 Asistencia
La mayora de los mtodos Algunos mtodos pueden $28.000 nes entre 12 y
cundaria aos escolar
17 aos
de investigacin no imponen no ser apropiados cultural-
respuestas. mente. Fuente: Programa Familias en Accin (2008).
Se puede obtener informa-

cin tanto de grupos como
de individuos Finalmente, todos los pagos son entregados a
las madres titulares de los ncleos familiares
Bamberger (1999). inscritos en el Programa.
En un primer momento, el Programa se focaliz

6.3 Estudio de caso: en los municipios de menos de 100.000 habi-
Familias en Accin11 tantes que: i) no fueran capital de Departamento;
ii) tuvieran suficiente infraestructura de salud y
Evaluacin de impacto del programa Familias educacin; y iii) tuvieran alguna entidad banca-
en Accin, primera etapa12 ria. En cada municipio se consideraron elegibles
Consultor: Unin Temporal Econometra-SEI- todos los hogares del nivel 1 del Sisbn a 31 de
IFS diciembre de 1991 con nios de 0 a 17 aos.
Contratacin en febrero de 2002 A partir de 2006 el Programa se ampli a otras
Finalizacin en diciembre de 2006 ciudades y en 2008 se presentaron esquemas
Costo: USD $2.000.000 diferenciales y ampliacin del programa a la
poblacin desplazada.
6.3.1 El Programa
6.3.2 Objetivos y alcance de la evaluacin
El Programa Familias en Accin fue concebido
inicialmente como parte de una estrategia del El objetivo de la evaluacin era captar los impactos
Gobierno Nacional para incrementar el nivel en la poblacin beneficiaria del Programa Familias
de vida de la poblacin ms pobre del pas. En en Accin13, estableciendo:
particular, buscaba elevar los niveles de salud y
nutricin de los nios de las familias ms pobres El grado de impacto de las intervenciones
(Sisbn 1). en la salud, nutricin y educacin de los
beneficiarios.
El Programa tiene dos componentes de subsidios
condicionados, uno nutricional y otro escolar: Los factores asociados, condicionantes o
explicativos ms relevantes, cuantificando
su importancia o efecto.
11 Para otros estudios de caso ver Baker, J. (2000).

12 Cartilla de Evaluaciones estratgicas. Resultado de evaluaciones 2002-2008. DNP, DEPP.
13 Informe metodolgico. Evaluacin del Impacto del Programa Familias en Accin Subsidio Condicionados de la Red de Apoyo Social.
Unin Temporal IFS Econometra S.A. SEI. Mayo de 2002.
89
El impacto del programa en la comunidad y primero ingresara inmediatamente al programa,

en la reduccin de la pobreza. el segundo un ao despus y el tercero transcurri-
dos dos aos. Este esquema hubiera garantizado
Adicionalmente, se plantearon otros objetivos municipios tratamiento y control estadsticamente
a resolver mediante otros tipos de evaluacin: idnticos; sin embargo, no pudo ser implemen-
tado por diferentes motivos. En consecuencia se
Realizar anlisis sobre temas de inters com- implement una metodologa cuasi-experimental
plementario del programa y sobre aspectos con el mtodo de Pareo.
operativos de su implementacin, variables
como: la focalizacin del programa en la La idea bsica consisti en seleccionar los mu-
poblacin objetivo, el cumplimiento de las nicipios tratamiento de acuerdo con criterios
operaciones cruciales del programa, la trans- predeterminados y luego tratar de encontrar
parencia en la identificacin de las familias municipios con caractersticas similares para
elegibles y los procesos de participacin recolectar los datos de la muestra de control. En
comunitaria. este caso, el posible desequilibrio que resultara
en las muestras, en trminos de caractersticas
Garantizar los datos requeridos para el an- observables, podra ser corregido utilizando
lisis de costo beneficio, de costo efectividad mtodos de pareo: El mtodo compara los
y de visin estratgica del programa. resultados promedio de participantes y no-
participantes, condicionados a las caractersticas
En este caso nos vamos a centrar en las preguntas individuales observadas de los participantes
de evaluacin de impacto. y las caractersticas del entorno en que estos
estn ubicados. Si la condicionalidad en las
6.3.2.1 La metodologa variables observables vuelve la seleccin dentro
del programa condicionalmente independiente
Se utilizaron mtodos cuantitativos y cualitativos en las medias de los resultados potenciales, la
para evaluar el impacto. diferencia en los promedios condicionales de los
grupos de control y tratamiento mide el impacto
El diseo fue de carcter cuasi-experimental y promedio del programa. (Heckman, Ichimura,
se bas en la comparacin de los hogares que Smith y Todd, 1997) 14. En otras palabras, la
recibieron el beneficio del programa (Grupo muestra de control se deba ponderar de tal
Tratamiento) y con hogares que no recibieron manera que la distribucin de sus caracters-
el programa (Grupo Control). ticas se emparejara con las de la muestra de
tratamiento. En este caso, cualquier desviacin
Los datos recolectados con entrevistas en 11.500 ocasionada por los efectos de composicin
hogares permitieron comparar grupos de bene- observables poda ser eliminada.
ficiarios y no beneficiarios en los aos 2002,
2003 y 2006. 6.3.2.2 Los mtodos de recoleccin
de informacin
La primera etapa en la conformacin de las mues-
tras de tratamiento y control fue la identificacin Los mtodos de recoleccin de informacin
del universo de municipios que pudieran ser fueron: i) Encuestas tcnicamente diseadas y
incluidos. En un principio, se consider la posibi- validadas para la obtencin estandarizada de
lidad de aleatorizar la entrada de los municipios informacin mediante preguntas realizadas por
al Programa para hacer una evaluacin experi- encuestadores profesionales, con alternativas
mental. Lo anterior implicaba la distribucin al de respuesta prestablecidas y precodificadas; y
azar de los municipios elegibles en 3 grupos: el ii) Medicin cualitativa para captar informacin
14 Ver tambin Cochran (1968), Rosenbaum y Rubin (1983), y Heckman, Ichimura, y Todd (1998).
90
complementaria y de percepcin, mediante 6.4 Construccin de Lneas de Base

dilogos y discusiones colectivas e individuales
con diversos tipos de actores del Programa. La lnea de base es el valor de un indicador de
Tcnicas de recoleccin de informacin: desempeo, antes de la implementacin de pro-
yectos o actividades (USAID, 2010) que describe
Encuesta de Hogares a las muestras de fami- la situacin previa a una intervencin para el
lias clasificadas en el nivel 1 del SISBEN, con desarrollo, en relacin con la cual puede medirse
nios y/o jvenes de 0 a 17 aos, tanto en el avance o pueden efectuarse comparaciones
los municipios tratamiento como en los de (OECD, 2002). Esto permite contrastar el estado
control. de los indicadores antes de la implementacin
del programa con los resultados planeados en
Encuesta a los enlaces municipales de los determinado lapso de tiempo, convirtiendo a la
municipios tratamiento. lnea de base en una poderosa herramienta para
la gestin y evaluacin de polticas pblicas.
Encuesta a los directores de los establecimien-
tos de salud muestreados en los municipios Por consiguiente, este instrumento de recolec-
tratamiento y control. cin de informacin tiene como objetivo central
determinar cul es la situacin inicial antes de
Encuesta a los directores de los estable- una intervencin, para:
cimientos educativos muestreados en los
municipios tratamiento y control. Ayudar a los gestores de poltica y a los geren-
tes de los programas a establecer el avance
Encuesta a los alcaldes municipales y otros en el logro de los productos y los resultados
tres informantes clave de los municipios planeados.
tratamiento.
Identificar la magnitud del cambio en los
Encuesta a las madres comunitarias, nios indicadores de gestin, producto, resultado
menores de 5 aos (peso y talla) y a algunos e impacto.
de los padres de estos nios en una muestra
de Hogares Comunitarios del ICBF en los Apoyar la toma de decisiones informada en
municipios tratamiento. los procesos de seguimiento y evaluacin.
Grupos focales a diversos tipos de madres En consecuencia, una Lnea de Base responde
beneficiarias del Programa en municipios fundamentalmente a tres preguntas:
tratamiento.
Cul es la situacin inicial de la poblacin
Talleres para agentes municipales del pro- o entidad que va a recibir la intervencin?
grama, agentes regionales (UCR) y agentes
nacionales (UCN). Qu se debe medir para hacer seguimiento
y evaluacin de la intervencin?
Entrevistas colectivas a madres elegibles, no
beneficiarias, y a madres con nios en los Cul es realmente el esfuerzo en gestin que
hogares comunitarios del ICBF en municipios el Gobierno se propone realizar (planeacin)
tratamiento. o que ha logrado (seguimiento y evaluacin)
en la consecucin de las metas de la inter-
Entrevistas individuales a enlaces munici- vencin?
pales e informantes clave de los municipios
tratamiento. Aunque esta es una herramienta genrica que se
emplea en mltiples instancias de los sistemas
91
de seguimiento y evaluacin, su proceso de Cuando se recoge despus de la intervencin

construccin es particularmente complejo y su es importante tenerlo en cuenta en el an-
utilizacin ampliamente acogida en las evaluacio- lisis de evaluacin, por ejemplo incluyendo
nes de impacto, por lo que resulta conveniente preguntas que permitan, hasta cierto punto,
ilustrar sus caractersticas, usos y desarrollo con determinar cmo era la situacin antes del
este tipo de evaluacin. programa o metodologas que permitan co-
rregir los sesgos generados por su puesta
6.4.1 Caractersticas y Usos en marcha. Este no es el escenario ideal,
sin embargo puede ocurrir si en el diseo
Idealmente, la informacin de la lnea de base se del programa no se contempla o planifica la
debe recolectar antes del inicio del programa o, en evaluacin del mismo.
su defecto, al poco tiempo de su implementacin.
En ambos casos se debe considerar el sesgo
Cuando se hace antes de la intervencin es ne- por anticipacin o expectativas que sea-
cesario recoger informacin similar a lo largo del la que se pueden presentar cambios en el
proyecto para que se pueda comparar y determinar comportamiento de los actores involucrados
el grado de avance. Se deben usar las mismas antes de que la intervencin comience. Si por
fuentes, la misma metodologa de recoleccin y alguna razn la lnea de base (LB) lo ignora, se
los mismos indicadores en los siguientes levan- pierden estos efectos y se crea una imagen
tamientos de informacin. distorsionada de la realidad por lo que es
necesario recuperarlos usando el recuerdo
Por ejemplo o entrevistas a informantes clave.
Estrategias para reconstruir una Lnea de Base

Construccin de una lnea de base
en una evaluacin de impacto cuando no se encuentra disponible15
Suponga que la variable de inters es el ingreso (Y) y

se quiere observar cmo cambia, a lo largo del tiempo Usar datos secundarios: existen diferentes
y con la ayuda del programa. El levantamiento de la fuentes de datos secundarios que pueden
informacin en t0 (lnea de base) se hace tanto para el ser tiles para recuperar la informacin de
grupo de tratamiento/beneficiarios (lnea continua) LB. Los censos, la Encuesta de Calidad de
como para el grupo de control/no-beneficiarios (lnea Vida, otras encuestas que lleven a cabo los
en negrilla punteada) antes del inicio del programa.
Ministerios, instituciones, universidades o
Una vez ste arranca, se hace seguimiento al ingreso
las ONG permiten en algunos casos tener
en diferentes momentos del tiempo para evaluar el
impacto del programa sobre los beneficiarios (Y2 Y1). grupos de control con mtodos de Empa-
rejamiento (Matching). Sin embargo, estas
La lnea de base dentro de una evaluacin de impacto encuestas, en ocasiones, tienen muestras
muy pequeas o con un nivel de detalle
Y2
Beneficiarios que no es suficiente para construir los
Impacto
grupos. Por consiguiente, los datos deben
Y1
Control ser examinados con gran detenimiento.
Ingreso
Y0 Lnea de base
Usar datos administrativos de la interven-
cin: muchos programas recogen informa-
Programa
cin administrativa o de seguimiento de
t0 t1 Tiempo
la poblacin objetivo.
Fuente: Khander, S. Koolwal, G & Samad, H. (2009).
15 Bamberger (2010).
92
Representativa: debe reflejar de manera adecuada

Usar el recuerdo: esta tcnica se usa es- la poblacin que se va a describir.
pecialmente para tener informacin de
personas o grupos acerca de sus condi- Pasos para levantar una Lnea de Base
ciones sociales, como: acceso a servicios,
pobreza, demografa, ingresos o cualquier
otra situacin de la comunidad en un mo- Se debe definir el tiempo (horas, meses, das)
mento especfico de tiempo. que va a tomar cada paso, planeando desde
el principio las etapas necesarias para cada
Informantes clave: pueden proveer infor- uno. Algunos de los pasos ms comunes son:
macin sobre una determinada institucin,
grupo o poblacin. Permite combinar in- Determinar objetivo del estudio.
formacin factual con su punto de vista
por lo que es importante entrevistar a Disear el estudio.
personas con diferentes perspectivas.
Seleccionar la muestra.
Grupos focales: se utilizan para recolectar
informacin de caractersticas socioeco- Disear el cuestionario y cartas de pre-
nmicas, actitudes y comportamientos de sentacin.
grupos que comparten atributos.
Desarrollar prueba piloto.
Existe un consenso acerca de las caractersticas
Revisar cuestionario.
que debe cumplir una lnea de base, independien-
temente de la fuente de sus datos, para que sea
Imprimir cuestionario.
de calidad y apoye los procesos de seguimiento
y evaluacin16:
Encontrar la muestra.
Relevante: debe enfocarse en levantar y construir Salir a trabajo de campo, enviar cuestio-
informacin clave para determinar si la interven- nario por correo o realizar llamadas.
cin se desarrolla segn lo esperado17.
Intentar encontrar a los individuos que
Precisa: debe garantizar que los datos recolec- no respondieron.
tados en efecto midan lo que se quiere medir18.
Editar los datos encontrados y codificar
Fiable: debe ser robusta, estable y consistente preguntas con respuestas abiertas.
para que el evaluador pueda confiar en los datos
recogidos y utilizarlos para analizar, evaluar y Ingresar los datos y verificar.
difundir el desempeo de la intervencin.
Analizar los datos.
A Tiempo: la informacin debe ser recolectada
en el momento indicado y con la frecuencia su- Preparar el reporte de LB.
ficiente, para ser pertinente y til en el proceso
de toma de decisiones19. Entregar el reporte.
16 Morra y Rist (2009), Patton (2002), Jackson y Agrawal (2007), Ramrez (2009) y USAID (2010).
17 Jackson y Agrawal (2007) han desarrollado una matriz de diseo para asegurarse de que los datos recogidos sern relevantes.
18 Patton (2002).
19 USAID (1998).
93
6.4.2 Desarrollo de una Lnea Base realizables, pertinentes y con plazos definidos
para su cumplimiento.
El desarrollo de una lnea de base implica surtir
ciertas etapas: Objetivos SMART
Construir indicadores y metas. Specific (Especfico): El objetivo debe ser preciso

S sobre cmo, dnde y cundo va a cambiar la situa-
cin de los beneficiarios.
Disear los instrumentos de recoleccin de
informacin. Measurable (Medible): El objetivo debe establecer
M
metas y beneficios que se puedan medir.
Achievable (Realizable): El objetivo debe poderse
Disear la muestra necesaria para la repre- A
cumplir.
sentatividad requerida.
Relevant (Relevante): El objetivo debe ser perti-
R
nente y crucial.
Hacer una prueba piloto. Time-bound (Limitado en el tiempo): El objetivo
T debe estar acotado en un periodo de tiempo para
Salir a trabajo de campo. su alcance.
Fuente: Menon, S. Karl, J. & Wignaraja, K. (2009).

Presentar Informe de trabajo de campo.
Presentar Informe de Lnea de Base. Tras un ejercicio de este tipo para la definicin
de objetivos, se determinan los indicadores.
Es importante tener en cuenta las etapas en un Una de las metodologas ms utilizadas es la
proceso de levantamiento de informacin, pues CREMA construida por el Banco Mundial20
cada una depende de la anterior. A continuacin que, de acuerdo con ciertos criterios y una
se describen con mayor nivel de detalle. lista de chequeo, permite verificar y escoger
los mejores indicadores que se pueden aplicar
6.4.2.1 Construir indicadores y metas para medir los cambios en los objetivos de
un programa21.
Esta fase abarca las siguientes tareas:
Indicadores CREMA
Definir los indicadores del programa: de-
pendiendo de los objetivos del programa, Claro:
C
Preciso e inequvoco.
se definen indicadores de gestin, producto,
resultado o impacto. Para cada indicador es Relevante:
R
Apropiado al tema en cuestin.
necesaria una medicin observable.
Econmico:
E
Disponible a un costo razonable.
Como se menciona en las Guas metodol- Medible:
gicas de los diferentes Tipos de Evaluacin M
Abierto a validacin independiente.
(Resultados, Productos y Procesos) y de Se- Adecuado:
guimiento al Plan Nacional de Desarrollo, A Ofrece una base suficiente para estimar el des-
existen varias metodologas de construccin empeo (resultados).
de indicadores. Una de las que relaciona los
Fuente: Kusek y Rist (2004), adaptacin de la DSEPP-DNP.
indicadores con la construccin de objetivos
se denomina SMART, que plantea que los
Es necesario que los indicadores estn do-
objetivos deben ser especficos, medibles,
cumentados, se encuentren explcitas las

21 Para mayor desarrollo sobre el tema de indicadores ver Gua metodolgica para la formulacin de indicadores. Departamento Na-
cional de Planeacin, 2009.
94
variables que los componen, el tipo de fuen- tentes, mediciones, observaciones, encuestas,
tes que los conforman, as como su frmula, grupos focales y opinin de expertos. No hay
informacin necesaria y mtodo de clculo. una alternativa privilegiada de recoleccin de
la informacin, la decisin sobre qu mtodo
Identificar las metas: Las metas se pueden utilizar depende de:
identificar segn los objetivos que haya fijado
la intervencin. Estas son el reflejo concreto Lo que usted necesita saber.
de lo que se espera lograr con el programa22.
Existen metas finales, que son los valores Dnde se encuentran los datos.
esperados que se quieren alcanzar cuando la
intervencin se acabe y metas intermedias, Los recursos y el tiempo disponible para el
que son las que el programa se propone lograr levantamiento de la informacin.
en determinados puntos en el tiempo. Se
pueden fijar metas cuantitativas o cualitativas. La complejidad de los datos que deben re-
cogerse.
El programa debe haber identificado sus me-
tas en la etapa de diseo antes de iniciar su La frecuencia de recoleccin de los datos.
implementacin. Sin embargo, es posible que
no se tengan metas claras o priorizadas por La forma como se prev llevar a cabo el an-
lo que ser necesario hacer el proceso junto lisis de la informacin.
con los actores involucrados (stakeholders)
en la intervencin. Morra y Rist (2009) definen un conjunto de reglas
que los evaluadores deben aplicar para recoger
Priorizar las metas: El programa puede tener los datos en una lnea de base:
numerosas metas y de diferente tipo (interme-
dias o finales) pero no todas son relevantes Aplicar mltiples mtodos de recopilacin
para lograr sus objetivos estratgicos. de datos cuando sea posible.
6.4.2.2 Disear los instrumentos de recoleccin Usar indicadores o datos disponibles en lugar
de informacin de generar nuevos, dado que es ms rpido,
menos costoso y ms fcil construir sobre lo
Posteriormente, se identifica qu informacin construido.
es necesaria para construir estos indicadores
que capturarn si el programa efectivamente Para determinar si se pueden utilizar los da-
est realizando las actividades para lograr los tos disponibles, se debe conocer cmo los
resultados esperados y se indaga si ya se tienen evaluadores van a definir las variables clave
cifras o caractersticas de los beneficiarios reales. del estudio. Adicionalmente, esto permite
Este ejercicio se realiza con la entidad o grupo saber si es necesario recolectar algn tipo
de entidades objeto del seguimiento o evalua- de informacin en especial.
cin y con agentes externos relacionados con
el tema o que sean proveedores/usuarios de la El proceso de recoleccin de la informacin
informacin23. debe responder a procedimientos y protocolos
de muestreo y construccin de bases de datos.
Los datos de la lnea de base pueden recogerse Se deben mantener registros precisos de las
de muchas formas incluidos los registros exis- definiciones y codificaciones de los datos.
22 Para mayor detalle sobre el diseo de metas ver USAID, TIPS - Baselines and Targets (2010).
23 DANE (2004).
95
A continuacin, se presenta un resumen de al- Tips sobre las Encuestas

gunos elementos que usualmente se tienen en
cuenta a la hora de escoger o disear la tcnica El cuestionario de la encuesta es muy im-
de recoleccin de informacin de la lnea de base. portante, su diseo debe estar en lnea
directa con los objetivos del estudio.
Periodicidad en el levantamiento de infor-
macin: La periodicidad del levantamiento Entre ms corto el cuestionario mayor tasa
de informacin depender del tipo de indica- de respuesta habr, por lo que con determi-
dores que se vayan a medir. Si son de gestin nadas excepciones debe procurarse hacer
o de producto, se pueden recoger de manera un cuestionario conciso.
semanal, mensual o trimestral, pero si son de
resultado o de impacto es necesario prever Las preguntas deben tener un lenguaje
ms tiempo entre el levantamiento de la in- sencillo y directo.
formacin de la lnea de base y los sucesivos
levantamientos, por ejemplo periodicidades Las preguntas no deben guiar al encuestado
semestrales o anuales, dada la complejidad a dar una interpretacin especfica.
del ejercicio.
Es importante que el encuestador est pre-
Naturaleza de las encuestas: Entre las he- parado y capacitado antes de salir a trabajo
rramientas de recoleccin de informacin de campo.
ms utilizadas se encuentran las encuestas
estructuradas y los cuestionarios, en ambas Necesidades de informacin: Para que una
se pueden tener: Lnea de Base pueda servir como un buen
insumo para una evaluacin, Morra y Rist
Preguntas cerradas: el encuestador plan- (2009) recomiendan que su construccin no
tea todas las respuestas posibles, por slo incorpore datos cuantitativos sino que
ejemplo hacindolas dicotmicas (slo tambin contenga informacin cualitativa, que
2 alternativas, s o no) o de seleccin ayude a definir el escenario de comparacin.
mltiple.
Aproximacin a la informacin segn las
Preguntas abiertas: el encuestador deja caractersticas de los datos.
en libertad al encuestado para que ste
responda lo que quiera.
Tipo de datos en
Caractersticas
En general las encuestas se componen de una lnea de base
tres partes: Se desea llevar a cabo un
anlisis estadstico.
Se identifica el cuestionario. Se necesita conocer las
Datos cuantitativos formas de medicin de la
Se hacen unas preguntas bsicas de informacin.
identificacin y caracterizacin del en- Se desea cubrir una pobla-
cuestado. cin objetivo muy grande.
Se desean construir las
Se disea el cuestionario de preguntas
narrativas de la poltica
relacionadas con el tema que se evala.
Datos cualitativos pblica.
Se busca profundizar en la
informacin cuantitativa.
Fuente: Morra y Rist (2009)
96
Es importante entender que la aproximacin Por ejemplo:

a la informacin en una lnea de base marca
pautas que definen su utilidad y finalidad. Las Considere una evaluacin de impacto en un
ventajas que ofrecen los datos cuantitativos programa de subsidios, en dnde hay:
se asocian a que fortalecen los anlisis es-
tadsticos y economtricos en la evaluacin 901 municipios beneficiados
de poltica pblica. Una LB que tenga como 71.000 familias beneficiarias
fortaleza un enfoque cuantitativo implica que
a partir de ella se puede: construir indicadores Con base en esto se puede calcular una muestra
que muestren el cambio y la evolucin de aproximada para los grupos de tratamiento y
la intervencin, tener mecanismos de acu- control:
mulacin de los datos a travs del tiempo y
generar una plataforma para poder evaluar Porcentaje
Total Tratamiento Control
Universo
el programa. Por otro lado, las ventajas que
1,0% 710 473 237
ofrece el enfoque cualitativo se centran en ha-
cer manifiestas las narrativas implcitas en las 1,5% 1.065 710 355
poblaciones beneficiarias. Esto permite que 2,0% 1.420 947 473
la evaluacin no se haga desde lo abstracto,
sino que se conozca en detalle el plan, pro- Planteando dos escenarios, el primero con 1%
grama o proyecto, as como las preferencias y del universo encuestado y el segundo con un
comportamientos de los agentes involucrados. 1,5%, se obtiene un monto aproximado de lo
De la misma manera, ste enfoque permite que va a costar el levantamiento de informacin:
profundizar en la informacin cuantitativa.
Costo de la encuesta
50
La informacin de una lnea de base puede (US$)
combinar ambas perspectivas en diferentes Escenario 1

Total encuestas
1.420
(1% de pob)
niveles de composicin de la informacin, se
aconseja que en sta prevalezca el enfoque Total 71.000
que est ms acorde con el objetivo con el
que se dise la LB. Costo de la encuesta
50
(US$)
El Costeo: Las restricciones de recursos pue- Total encuestas

Escenario 2 2.130
(1,5% de pob)
den limitar las opciones de mtodos de reco-
leccin de informacin. Los tems a tener en Total 106.500
cuenta para costear el levantamiento de una
lnea de base incluyen el costo del personal Teniendo en cuenta los recursos presupuesta-
(director, consultores especializados, profe- dos para el ejercicio se puede seleccionar el
sionales, encuestadores, etc.) el tamao de la escenario ms viable. Sin embargo, para tener
muestra (que abarca los grupos de tratamiento el costeo completo habra que adicionar los
y control si aplica), el costo por encuesta y el rubros de: nmero de levantamientos adicio-
nmero de levantamientos (ver ejemplo). nales necesarios, costo del personal, viticos,
pasajes e imprevistos.
En el anexo 11.1 se presenta una tabla que resume

las tecnicas de recoleccin de informacin ms
utilizadas por el PNUD, que se adaptan en gran
medida a los mtodos utilizados en seguimiento
y evaluacin.
97
6.4.2.3 Diseo de la muestra terminar los estratos relevantes al estudio y

su representacin en el universo. Luego, se
La muestra es un segmento representativo de selecciona una muestra suficiente de manera
la poblacin objetivo del programa evaluado. aleatoria en cada estrato. Suficiente quiere
Este instrumento se usa cuando el universo decir que la muestra es lo suficientemente
(totalidad de individuos, familias, entidades, grande para representar el universo. Este
etc.) es demasiado grande para ser encuestado mtodo se utiliza cuando uno o ms de los
o existen restricciones de tiempo/dinero para el estratos en el universo tiene una baja inci-
levantamiento de informacin. dencia relativa a los otros estratos.
Los mtodos de muestreo se clasifican en pro- De otra parte, el muestreo no probabilstico in-
babilsticos o no probabilsticos24. cluye los mtodos por conveniencia, por juicio
de valor, por cuota y por bola de nieve. En estos
En el muestreo probabilstico cada miembro del tipos de muestreo el error es desconocido:
universo de poblacin tiene alguna probabilidad
de ser elegido. Esto tiene la ventaja de que per- El muestreo por conveniencia: se usa cuando
mite calcular el error de muestra, definido como el investigador busca una aproximacin no
el grado en que la muestra difiere del universo costosa. La muestra se selecciona porque es
de donde fue tomada. Los mtodos probabils- prctica o cmoda y es utilizada a menudo
ticos incluyen el muestreo aleatorio, sistemtico durante esfuerzos preliminares para tener
y estratificado: una estimacin inicial de los resultados en
corto tiempo y con pocos recursos.
El muestreo aleatorio: es el mtodo ms puro
de muestreo probabilstico. Cada individuo El muestreo por juicio de valor: es una prc-
de la poblacin tiene la misma probabilidad tica comn pues el investigador selecciona la
de ser elegido para conformar la muestra. muestra segn su juicio de valor. Usualmente
Cuando el universo es muy grande pueden es una extensin del muestreo por conve-
existir sesgos. niencia. Por ejemplo, un investigador decide
incluir en la muestra slo una ciudad, as el
El muestreo sistemtico: es utilizado frecuen- universo contenga varias ciudades. Cuando
temente en vez del aleatorio. Despus de que el evaluador utiliza este mtodo debe estar
se calcula el tamao de la muestra requerida, seguro que la muestra escogida es represen-
se divide el universo por ese valor obteniendo tativa del universo.
un numero X de grupos y al interior de estos
se selecciona cada ensimo tem, lo que El muestreo por cuota: es el equivalente no
arroja el numero total de observaciones de probabilstico al muestreo estratificado. El
la muestra. Este puede funcionar si la lista de investigador primero identifica los estratos
beneficiarios no tiene un orden conocido. y sus proporciones en el universo. Despus
por conveniencia o juicio de valor escoge el
El muestreo estratificado: es usado comn- nmero de observaciones requerido por cada
mente pues se considera superior al aleatorio estrato.
debido a que reduce el error de muestra, dado
que los estratos son subconjuntos de pobla- El muestreo por bola de nieve: es un mtodo
cin que comparten al menos una caracters- especial, usado cuando las caractersticas de
tica comn. Ejemplos de estratos pueden ser la muestra son raras, es muy difcil encontrar
el gnero, los niveles de educacin o niveles a las personas o los costos de hacerlo son
de ingreso. El investigador debe primero de-
24 Los prrafos sobre muestreo probabilstico o no probabilstico son extrados de Walonick (1997) y adaptados al caso.
98
muy altos. Se basa en referencias de sujetos

iniciales para generar sujetos adicionales. Bogot: que tiene caractersticas que
Esta tcnica puede tener muy bajo costo pero ameritan un anlisis aislado de Cundi-
introduce sesgos porque reduce la probabili- namarca.
dad de que la muestra represente una buena
parte del universo. Para cada una de las subdivisiones de anlisis
se calcularon alrededor de 30 tamaos de
Por ejemplo muestra, en funcin de los valores esperados
para las variables centrales de la evaluacin
(antes y despus del tratamiento).
Una muestra para una evaluacin de impacto
en un programa de Vivienda de Inters Social25: Los tamaos de muestra necesarios osci-
laron entre un mnimo de 60 hogares y un
El universo de tratamiento est representa- mximo cercano a 2.500 hogares. Debido
do por los 17.913 hogares que recibieron a las restricciones presupuestales de la
asignacin de subsidios para compra de consultora, se seleccion un tamao de
vivienda nueva o construccin en sitio muestra intermedio (1.600 hogares), que
propio; esos hogares estn distribuidos permite obtener resultados confiables (95%
en 293 municipios. de confianza estadstica) para la mayora de
las variables centrales de la evaluacin.
El universo de control, por su parte, co-
rresponde a los hogares urbanos que Dada una tasa de no respuesta prevista del
cumplen las condiciones para acceder a 20%, el tamao de muestra total del grupo de
los subsidios pero que no han participado tratamiento requerido para la evaluacin se
en el Programa. estim en 2.000 hogares. Debido a la intencin
inicial de realizar un pareo uno a uno, el tamao
La regionalizacin de la evaluacin incluy de la muestra de control se asumi equivalente
cinco categoras que agrupan a los depar- al de la muestra de tratamiento.
tamentos segn su proximidad geogrfica,
de la siguiente manera:
6.4.2.4 Hacer una prueba piloto
Atlntica: Atlntico, Bolvar, Cesar, Cr-
doba, La Guajira, Magdalena y Sucre. Una prueba piloto permite hacer un estudio
preliminar, en una escala menor, del diseo de
Central: Antioquia, Caldas, Caquet, muestra que se tenga. Sus objetivos son probar27:
Huila, Quindo, Risaralda y Tolima.
Si la estrategia de muestreo es la adecuada.
Oriental: Arauca, Boyac, Casanare,
Cundinamarca, Guaina, Guaviare, Si los instrumentos de recoleccin de infor-
Meta, Norte de Santander, Santander macin son los idneos.
y Vichada26.
Si los procedimientos funcionan.
Pacfica: Cauca, Choc, Nario, Putu-
mayo y Valle. Si el cronograma es viable.
25 DEPP, DNP (2006).

26 Por localizacin geogrfica Amazonas est incluido en esta regin, pero est por fuera del universo de beneficiarios de subsidios de
bolsa ordinaria y esfuerzo territorial.
27 Carol Cutler Riddick y Ruth V Russell (2008).
99
Si las tcnicas de anlisis de datos son las 6.4.2.7 Presentar informe de Lnea de Base
apropiadas.
Despus del procesamiento y anlisis de datos, se
Si el anlisis se hace de la forma correcta. elabora el informe de lnea de base. Sus resultados
pueden servir para conocer la caracterizacin de
Si los recursos previstos son los necesarios. la poblacin o instituciones beneficiarias antes
de la intervencin.
Si el proceso es factible.
Informe de Hogares Comunitarios de Bienestar
La prueba piloto hace un levantamiento de infor-
macin de una muestra reducida, esto permite a. Evaluacin de impacto28
revisar y corregir los instrumentos antes de que
se haga el levantamiento de la muestra completa. El objetivo del informe de lnea de base para
este programa es presentar los resultados
6.4.2.5 Salir a trabajo de campo descriptivos de los datos recolectados durante
el trabajo de campo realizado entre Febrero
La duracin del trabajo de campo generalmente 27 y Julio 31 de 2007 por Profamilia para la
depende de la amplitud de la muestra, del nmero evaluacin de impacto del programa Hogares
de municipios o regiones incluidos y del nmero Comunitarios de Bienestar (HCB) del Instituto
de preguntas del cuestionario. Es importante Colombiano de Bienestar Familiar (ICBF), con
prever una tasa de no respuesta de alrededor acompaamiento de la DEPP del DNP.
del 20%, especialmente, en los levantamientos
de informacin en los que la poblacin objetivo En particular, se presenta la descripcin de
pueda ser difcil de encontrar. la muestra total que se encuest y las prin-
cipales caractersticas por grupo. Se reporta
En esta etapa es importante verificar que el le- adems una caracterizacin general de los
vantamiento de informacin se haga conforme a nios beneficiarios y no beneficiarios, sus
lo estipulado por el diseo muestral y la prueba familias, los HCB y las madres comunitarias
piloto, para garantizar que los datos sean tiles (MC).
para el anlisis.
Finalmente, se incluye una descripcin de los
principales indicadores de salud, vigilancia
6.4.2.6 Presentar informe de trabajo de campo
nutricional y alimentacin, desarrollo psico-
social, desarrollo cognitivo, conocimiento de
El informe de trabajo de campo debe incluir al
las madres y MC sobre desarrollo infantil y
menos una descripcin detallada del proceso de
disciplina que se utilizaron posteriormente
recoleccin de informacin, con un balance del
en la evaluacin de impacto.
tipo de muestra y del nmero de encuestados
por grupos. Tambin se deben pormenorizar las
b. Caracterizacin general de la muestra
dificultades operativas encontradas y la manera
cmo se resolvieron. Finalmente, se especifica La evaluacin tuvo como objeto medir el
la muestra efectiva que se levant, las implica- efecto del programa sobre un conjunto de
ciones que esto tiene para el anlisis y las reco- variables de resultado (en particular nutricin
mendaciones para los futuros levantamientos y alimentacin, salud, desarrollo psicosocial
de informacin. y desarrollo cognitivo) en el grupo de nios
participantes en el programa.
28 Unin Temporal Universidad de los Andes Profamilia (2007).
100
Con este objetivo, se dise una evaluacin El informe se organiz segn los grupos a
de tipo cuasi-experimental que consiste en caracterizar y dentro de cada grupo se hizo
la comparacin de las variables de resultado el levantamiento de informacin de los in-
de dos grupos de nios: un grupo de nios dicadores necesarios:
participantes en el programa HCB (llamado
grupo de tratamiento) y un grupo de nios Caracterizacin de los nios de la muestra.
no participantes en el programa (llamado
grupo de control) con caractersticas socio- Caracterizacin de las madres comunita-
demogrficas similares al grupo de nios rias: Sobre la madre comunitaria; Carac-
participantes. terizacin del ambiente de cuidado en el
HCB.
La forma de construccin de la muestra se
puede ver en detalle en el informe meto- Indicadores de Salud.
dolgico de la evaluacin. Bsicamente, el
grupo de tratamiento provino de una muestra As mismo, se exponen los resultados del
nacional de HCB escogida aleatoriamente. anlisis descriptivo:
Por otra parte, el grupo de control provino
de dos sub-muestras diferentes. La primera Indicadores de Vigilancia Nutricional y
(que se denomin Control 1 o G1) consisti Alimentacin: Descripcin de prcticas
en un conjunto de nios no asistentes a HCB, alimentarias y del estado nutricional; Cum-
seleccionados aleatoriamente de una muestra plimiento de los lineamientos del ICBF para
estratificada de hogares con al menos un nio los HCB.
en la edad relevante residente alrededor de
un HCB. La segunda (que se denomin Control Indicadores de Desarrollo Cognitivo: Los
2 o G2) consisti en un conjunto de nios indicadores de desarrollo cognitivo utili-
no asistentes, seleccionados aleatoriamen- zados; Resultados del anlisis descriptivo.
te de una muestra estratificada de hogares
con al menos un nio en la edad relevante Indicadores de Desarrollo Psicosocial: Los
residente en sectores donde no existan HCB, indicadores de desarrollo psicosocial utili-
pero comparables en trminos geogrficos zados; Resultados del anlisis descriptivo.
y socioeconmicos a aquellos donde haba
presencia de HCB. Conocimiento de las Madres sobre Desa-
rrollo Infantil: Los indicadores utilizados;
Resultados del anlisis descriptivo.
El tamao total de la muestra final fue de
27.470 nios entre los 0 y los 6 aos de edad.
Conclusiones.
En particular, 12.925 nios en el grupo de
tratamiento, es decir, el 47% de la muestra
total, 13.329 nios en el grupo de control G1
(alrededor del 48,5%) y finalmente, 1.216
nios en el grupo de control G2 (alrededor
del 4,4%).
101
CAPTULO VII
Captulo VII
Evaluacin costo-beneficio
Chrisroll
La evaluacin costo-beneficio es un anlisis que para determinar si los objetivos econmicos y de
compara todos los costos y beneficios de una eficiencia se lograron.
intervencin, en el cual a los costos y beneficios
se les asigna un valor monetario. La ventaja del En la DSEPP, este tipo de evaluacin se ha utilizado
anlisis costo-beneficio frente a un anlisis de en conjunto con las evaluaciones de impacto, pues
costo-efectividad, es que puede manejar mltiples los impactos resultantes de la evaluacin son un
resultados, y permite comparaciones para gastar insumo bastante preciso para dar un estimativo
en diferentes sectores (por lo que contribuye a la de los beneficios del programa.
eficiente distribucin de recursos) (3ie, 2009).
7.1. Definiciones, usos y aplicacin
La evaluacin costo-beneficio es un anlisis eco-
nmico para la toma de decisiones, usado tanto 7.1.1. Definiciones
en el gobierno como en la gestin de empresas,
con el fin de estandarizar los resultados de un Una definicin que abarca los conceptos prin-
programa o proyecto en trminos de su valor cipales de la evaluacin costo-beneficio es la
monetario1. de la Iniciativa Internacional para Evaluaciones
de Impacto (International Initiative for Impact
En evaluacin, el anlisis costo-beneficio per- Evaluations-3ie)3 citada al comienzo de esta
mite cuantificar en trminos monetarios- tanto seccin. Sin embargo, tambin existe el concepto
los costos como los beneficios posibles de un de costo-efectividad que es distinto al primero.
programa, incluyendo tems para los cuales el A continuacin se plantea la definicin de costo-
mercado no tiene medidas de valor econmico. efectividad para tener claridad en la diferencia
Adicionalmente, permite comparar los costos de entre ambos conceptos:
medidas alternativas que produzcan resultados
o que cumplan objetivos similares. Este anlisis Definicin 1 - Anlisis costo-efectividad
se hace antes y despus de la implementacin
de la poltica, programa o proyecto2: tanto en la El anlisis costo-efectividad es un anlisis del
fase de planeacin para justificar el programa costo de hacer un cambio de una unidad en el
en trminos econmicos, como al final de sta,
1 En el documento se equipara el trmino evaluacin costo-beneficio a anlisis costo-beneficio.

2 En adelante se va a utilizar el trmino programa de manera genrica para referirse al Evaluado (programa, poltica, proyecto, producto,
servicio, organizacin) (Davidson, 2005).
3 Otras definiciones que van en la misma lnea son las de The Green Book del Tesoro de Gran Bretaa (HM Treasury): el anlisis cos-
to-beneficio cuantifica en trminos monetarios todos los costos y beneficios posibles de una propuesta factible, incluyendo tems para
los cuales el mercado no provee una medicin satisfactoria de su valor econmico; el anlisis costo-efectividad compara los costos
de diferentes alternativas de producir el mismo o productos similares.
105
resultado. Su ventaja, comparado con el anlisis Son los beneficios econmicos mayores a
costo-beneficio, es que a menudo los valores los costos del programa?
controversiales del resultado se evitan. Se puede
utilizar para comparar la eficiencia relativa de los Cmo se comparan los costos actuales con
programas para lograr el resultado de inters los de otros programas similares?
(3ie, 2009).4
Cul es la forma ms econmica y eficiente
Ejemplo: Costos y beneficios para un sistema de de lograr los resultados esperados?
informacin
Cules son las consecuencias financieras de
integrarse?
En una evaluacin costo-beneficio de un
sistema de informacin: Cules son los costos de replicar el programa
evaluado en un ambiente diferente?
Los costos incluiran tems como: el precio
del sistema de informacin, el costo de
los servidores para alojar la informacin, Vale la pena realizar el programa que se est
el costo de la instalacin y el costo de la evaluando?
capacitacin a los funcionarios, entre otros.
Cmo afectan los costos la sostenibilidad y
Los beneficios incluiran la cuantificacin resultados del programa evaluado?
de resultados como: la mayor disponibilidad
de informacin confiable, la disminucin 7.1.3. Aplicacin
de tiempos de consulta, la disminucin de
costos de personal asociados a verificar, De acuerdo con el Treasury Board de Canad
validar y consolidar la informacin, entre (1998) el anlisis costo-beneficio se puede aplicar
otros. en la evaluacin de programas cuando:
Se pueden identificar diferentes alternativas.

7.1.2. Usos
Se pueden definir las alternativas de una ma-
La evaluacin costo-beneficio permite:
nera que permita una comparacin equitativa
entre ellas.
Estimar y cuantificar los costos de un programa.
Se pueden estimar los costos y beneficios
Estimar y cuantificar los beneficios de un
del programa, identificando su tiempo de
programa.
ocurrencia para calcular el valor presente
neto del proyecto.
Proporcionar una medida de rentabilidad de
un programa.
A nivel de caractersticas, una evaluacin cos-
to-beneficio se destaca por6:
Elegir la mejor alternativa entre programas
similares.
Determinar la productividad de un programa
en trminos econmicos.
Esto es posible respondiendo a las siguientes
preguntas, entre otras5:
4 Se utiliza a menudo en el sector de la salud, donde puede ser inadecuado monetizar sus efectos.
5 UNICEF, IPEN (2006).
6 UNICEF (2008).
106
Comparar el valor presente y futuro de las es tener un claro entendimiento del resultado
alternativas. esperado del programa. Es necesario examinar
las necesidades que se esperan suplir con el
Informar de manera estructurada a los tomado- programa, definir las restricciones existentes y
res de decisiones gracias a las comparaciones formular los objetivos con el propsito de esta-
costo-beneficio. blecer el punto de vista desde el cual se van a
medir los costos y los beneficios.
Su fortaleza se encuentra en poder establecer
el retorno de la inversin, y su debilidad es la La definicin de los objetivos del programa se
dificultad de asignar un valor monetario a los hace con la ayuda de herramientas como el marco
resultados de algunos beneficios. lgico o cadena de resultados.
7.2. Desarrollo de la Evaluacin Ejemplo: Definicin de objetivos para el caso de

Familias en Accin.
Costo-Beneficio
Aunque no existe una frmula nica para reali- Los principales objetivos que el programa de
zar un anlisis costo-beneficio, pues todos los subsidios condicionados Familias en Accin,
programas son diferentes, se sugiere seguir una de acuerdo con su formulacin inicial y su
secuencia de pasos estndar para tener coherencia desarrollo posterior, ha buscado cumplir son8:
y poder comparar entre un anlisis y otro7:
Mejorar los niveles de salud y nutricin de
1. Identificar los objetivos del programa. los nios y nias de hasta 17 aos
2. Definir otras alternativas. Aumentar la asistencia escolar de esta misma
poblacin
3. Establecer el marco de referencia conceptual.
Por lo tanto, la evaluacin costo-beneficio
4. Estimar el valor econmico de los costos y se va a dedicar a identificar y cuantificar ex-
beneficios mediante una metodologa. clusivamente los costos asociados con estos
dos objetivos, a pesar de que el programa
5. Estimar el valor presente neto. ha podido identificar otros adicionales, es
necesario definir cules son los prioritarios.
6. Estimar la relacin costo-beneficio.
7. Estimar la rentabilidad. Al definir el objetivo del programa, es importan-

te definir lo que va a representar un costo o un
8. Uso de los resultados. beneficio para dicha intervencin pblica.
A continuacin se describen uno a uno estos pasos. 7.2.2 Definir otras alternativas
7.2.1 Identificar los objetivos del programa Para definir los programas/alternativas con los
cuales se va a comparar el programa a evaluar, es
Segn Argirous (2009), el primer paso para la importante9 tener en cuenta lo siguiente:
comprensin de cualquier problema analtico
7 Treasury Board of Canad (1998).

8 DAPR, FIP, DNP (2006).
9 Ibdem.
107
Escoger una variedad significativa de progra- (2009), es importante distinguir y catalogar los
mas similares para asegurar su comparacin recursos reales versus los pecuniarios, y los cos-
con las mejores alternativas. tos y beneficios directos de los indirectos. Esto,
con el fin de no contar dos veces algn costo o
Definir las alternativas a comparar de una beneficio.
forma transparente.
Tambin se debe tener en cuenta que los costos
Cumplir con esos dos requerimientos garantiza y beneficios se distribuyan en el tiempo con una
que la comparacin del costo-beneficio entre el unidad de medicin vlida equivalente. El Treasury
programa y las alternativas genere resultados Board de Canad (1998) hace nfasis en que las
vlidos para la toma de mejores decisiones. personas tienen preferencias intertemporales que
se deben considerar en el anlisis. Por ejemplo,
7.2.3 Establecer el marco de referencia existen un costo de oportunidad asociado con el
conceptual hecho de recibir los ingresos en el presente o si
estos se posponen hasta una fecha futura; asimis-
Este marco permite explicar los supuestos de la lite- mo, no es lo mismo pagar los costos al comienzo
ratura as como los de otros programas de referencia o al final. Adems de esto, es importante tener
con los que se van a calcular los beneficios y los en cuenta el valor de la unidad de medicin que
costos del programa de acuerdo con sus indicadores cambia debido a la inflacin, lo que conduce a la
de resultado o impacto esperados definidos. prdida del poder adquisitivo. La inflacin y la
preferencia temporal son ajustes que se hacen
Con el fin de determinar todos los costos y bene- de manera independiente.
ficios involucrados en el proyecto segn Argyrous
Ejemplo: Definicin del Marco de referencia conceptual para el programa Familias en Accin
Marco de referencia conceptual Programa Familias en Accin, componente nutricional10:
En el marco de referencia se enuncian: i) en una primera columna, los impactos potenciales que
tiene el subsidio del programa y los indicadores asociados a esos impactos, ii) en la siguiente
columna, se discuten, de acuerdo con la literatura econmica y su evidencia, los diferentes be-
neficios asociados al logro de estos impactos, enunciando los ms relevantes, iii) en la tercera
columna se hace referencia a los costos, tomando aquellos en los que incurren el Estado y los
beneficiarios, como el caso de los costos de operacin del programa en este componente y
los costos privados de los beneficiarios para acceder a los subsidios, finalmente, en una cuarta
columna se hacen observaciones importantes a tener en cuenta para el anlisis. A continuacin
se muestra una tabla resumen de este ejercicio:
108
Programa Familias en Accin. Marco de referencia conceptual para la evaluacin costo-beneficio

del componente de salud y nutricin
Indicadores de impacto
medidos con relacin
Observaciones para el clculo
a la poblacin de Beneficios Costos
costo-beneficio
control (diferencias en
diferencias)
Los beneficios y costos son aditivos y
Reduccin del cuidado
Costos de operacin del se miden durante los primeros aos
neonatal.
programa en el subcom- de vida de los nios y durante su vida
Reduccin de costos de
ponente de salud y nutri- laboral (18 a 60 aos).
tratamiento de enferme-
cin para recin nacidos. Se descuentan a una tasa constante
dades crnicas asociadas
Costos privados de los del 10%.
al bajo peso al nacer.
beneficiarios o de sus Los beneficios se miden como una
Reduccin de la morta-
familias para acceder a mejora en los ingresos futuros es-
lidad infantil.
los beneficios. perados.
Reduccin de los cos-
Costo financiero alterna- Los aumentos en ingresos se calculan
tos de enfermedades de
tivo de uso de los recur- suponiendo que las personas ganan
Disminucin de los ndices nios.
sos de las transferencias un salario mnimo durante su vida
de bajo peso al nacer (apli- Aumento de productivi-
o subsidios (incluye los laboral.
ca a la poblacin de nios dad por mayor estatura.
intereses del crdito El beneficio del 3er punto es de muy
recin nacidos) Aumento de productivi-
externo). largo plazo y se propone no medir.
dad por mayor destreza.
No se contabiliza el va- Es difcil separar los costos de ope-
Beneficios para las si-
lor de los subsidios o racin segn cada componente y
guientes generaciones.
transferencias a los be- subcomponente, razn por la cual
El indicador de beneficio
neficiarios como costos se efectuar un clculo separado de
medido en la evaluacin
del programa, dado que beneficios de cada componente, los
(diferencias en diferen-
lo que es un costo para cuales se sumarn y compararn con
cias) es el aumento en el
el gobierno es un be- los costos totales.
peso en gramos al nacer
neficio para las familias Para anlisis C-B por componentes se
en cada grupo de 1000
beneficiarias. presentarn escenarios de asignacin
nios recin nacidos.
de costos a cada componente.
Iguales a los anteriores

Costos de operacin del Los beneficios netos puntos 3 a 6 son
excepto los dos primeros
Programa en el subcom- similares y aditivos a los anteriores.
que no aplican.
ponente de salud y nutri- Parte de los subsidios son contabi-
Los indicadores de im-
cin para nios y nias lizados como costos privados, como
pacto son los cambios en
Disminucin de los indi- hasta seis aos. es el caso de los costos de transporte
el Z score, especialmente
cadores de desnutricin Costos de mejora en las para atender las capacitaciones y
en los ms vulnerables,
y morbilidad (aplica a los IPSs que atienden nios. controles de salud y nutricionales.
o el aumento en talla o
nios de 1 a 6 aos) No se contabilizan las Un aspecto importante para discutir
peso en cada grupo de
transferencias o subsi- en la evaluacin es el supuesto de
1000 nios participantes
dios como costos. permanencia en el tiempo de las ga-
en el Programa. Tambin
Costos privados para nancias por mejor nutricin y menor
son indicadores la reduc-
acceder a los beneficios. morbilidad.
cin en EDA e IRA.
Fuente: DAPR, FIP, DNP (2006).
7.2.4 Estimar el valor econmico de los supuestos y parmetros adoptados se cuantifican

costos y beneficios mediante una los costos y beneficios de un programa en trmi-
metodologa preestablecida nos del valor econmico que estos representan.
En la seccin 7.3 se describen con mayor detalle
De acuerdo con el marco de referencia conceptual las metodologas ms utilizadas para valorar los
presentado, y con la disponibilidad de informacin, costos y beneficios de un programa.
109
Ejemplo: Valoracin econmica de los beneficios en el inicio del programa (t0) o en el momento
asociados al programa Familias en Accin del anlisis (ta) (Treasury Board, Benefit-Cost
Analysis Guide, 1998).
Componente de nutricin - Programa Fami- Con el valor presente neto se pueden sumar y/o
lias en Accin11 restar todos los beneficios y los costos reduci-
dos a una misma unidad, para poder tomar una
El principal beneficio de este componente decisin y dar una recomendacin. La frmula
son las ganancias salariales futuras de los para calcular el VNP se presenta a continuacin:
nios beneficiarios, por lo que es importante
determinar el impacto promedio del total VPN = Valor inicial de la inversin
de menores beneficiados por el programa + suma de los VPN de los beneficios
resultados estadsticamente significativos de todos los perodos del tiempo
de mejor nutricin y salud. VPN de los costos de todos los
perodos de tiempo.
Programa Familias en Accin. Impactos y
beneficios tenidos en cuenta en la evaluacin Ejemplo: Clculo del valor presente neto para un
Costo-beneficio de nutricin programa.
Impacto Beneficio
Si la inversin inicial de un programa fuera
Gramos ganados en mayor $100 y los beneficios fueran $75 y los costos
Incremento del 5% en el in-
peso al nacer: 420 gr. (Para un
greso laboral futuro por cada $30 por 3 aos a una tasa de descuento12 del
total de 24,089 nios menores
0.4 Kg. de mayor peso al nacer
de 1 ao) 10% el VPN sera13:
Indicador de talla para la edad:
Incremento del 2% en el in-
0.25 z-score (Para un total de
greso laboral por un aumento
VPN = -$100 + ($75 - $30)/(1 + 0,1)1 +
251,533 nios entre 0 y 6
aos)
de 0.25 z-score en el indicador ($75 - $30)/(1 + 0,1)2 + ($75 - $30)/(1 + 0,1)3
Fuente: DAPR, FIP, DNP (2006). VPN = -$100 + $40,91 + $37,19 + $33,81
VPN = $11,91
7.2.5 Estimar el valor presente neto
a. Anlisis de sensibilidad del valor presente
Para poder dar una recomendacin es necesario
neto
tener uno o varios criterios de decisin. Estos
criterios de decisin se encargan de determinar si
En los anlisis de costo-beneficio los resultados
un programa es rentable o cul de los programas
estn sujetos a la incertidumbre, por lo cual es
es ms rentable. Con este fin, se calcula el valor
importante saber en qu medida puede llegar a
presente neto (VPN) que se define como:
influir cada variable en el resultado del modelo, y
para este fin se utiliza un anlisis de sensibilidad.
Definicin 2 - Valor presente neto
ste se define como:
El valor presente de todos los beneficios, descon-
Definicin 3 - Anlisis de sensibilidad
tados a la tasa de descuento apropiada, menos el
valor presente descontado de todos los costos a
Un anlisis que determina qu tan sensible es
la misma tasa de descuento. Un VPN es siempre
el resultado de la evaluacin costo-beneficio al
especfico a un determinado punto en el tiempo,
modificar los valores de una variable mantenien-

12 Tasa de descuento: medida financiera que se aplica para determinar el valor actual de un pago futuro.
13 Treasury Board, Benefit-Cost Analysis Guide, 1998, Pg. 40.
110
do las dems constantes, buscando dar un mejor Ejemplo: Clculo del valor presente neto para el
entendimiento del programa (Treasury Board of componente de nutricin del programa Familias
Canad, 1998). en Accin15.
Segn Medina & Correa (2008) este anlisis Teniendo en cuenta que los mayores ingresos
se debe desarrollar teniendo en cuenta que el laborales se proyectan en un horizonte de
comportamiento del programa no es lineal, por trabajo de los 18 a los 60 aos, tomando como
lo que si se produce un cambio en alguna de sus base de incremento de ingresos el salario
variables, es de esperarse que el resto sufran mnimo legal vigente, se ajustan los valores
alguna variacin, segn sea su relacin. con una tasa de desempleo de largo plazo
ponderada segn ubicacin rural-urbana de
b. La incertidumbre y el riesgo en el valor los beneficiarios del programa en 7,4% (pro-
presente neto medio ponderado rural-urbano 2004-2006).
Considerando lo anterior, los beneficios del
Segn Argyrous (2009), el anlisis costo-beneficio programa en VP de los impactos de este com-
normalmente requiere la estimacin de benefi- ponente se presentan en la siguiente tabla.
cios y costos futuros. Su estimacin puede variar El clculo se realiza en dlares constantes y
de acuerdo con la incertidumbre existente y la con una tasa de descuento de 10%.
de la tasa a la cual se descuenta los valores en
diferentes periodos de tiempo. En la seccin 7.3 Valor presente de los beneficios atribuibles al
se describen con mayor detalle las herramientas Programa Familias en Accin en su componen-
para cuantificar la incertidumbre relacionada te de nutricin. Valores en millones de US$
con el riesgo. Se sugiere seguir estos pasos para
Valor Distribucin
desarrollar un anlisis de riesgo14: Beneficio
presente porcentual
Ganancias en ingre-
1. Elaborar un modelo para calcular el valor sos laborales futuros
US$ 21,6 19,3%
presente neto. por mayor peso al
nacer
2. Vincular al modelo la informacin de variables Ganancias en ingre-
sos laborales futu-
con incertidumbre como sus valores mximos ros por reduccin en
US$ 90,2 80,7%
y mnimos y la probabilidad de encontrarse desnutricin
en estos. Beneficios totales de
US$ 111,8 100,0%
nutricin
3. Correr muchas repeticiones del modelo para
obtener resultados del VPN para cada esti-
macin.
El clculo de los costos incluye los gastos
4. Realizar una tabla de frecuencia para identifi- privados del hogar como el mayor gasto
car el VPN que ms se repite y la probabilidad promedio anual en alimentos- y el gasto
de cada uno. adicional en la recepcin del subsidio (trans-
porte, alimentacin, alojamiento, ingreso
5. Utilizar una regla o criterio de decisin para laboral dejado de recibir). Tambin incluye
dar una recomendacin de los resultados los costos pblicos de administracin y de
obtenidos. operacin del programa teniendo en cuenta
el pago de intereses del crdito externo que
financi el programa.
14 Treasury Board,Benefit-Cost Analysis Guide, 1998, Pg. 58.

111
7.2.7 Estimar la rentabilidad

A continuacin se muestra el resultado del
clculo de los costos en valor presente. Un programa se considera rentable si la relacin
beneficio/costo es positiva. Adems, es necesario
Valor presente de los costos atribuibles al compararla con otras estimaciones de rentabilidad
Programa en su componente de nutricin de programas similares. En el clculo de la rentabi-
Valores en millones de US$ lidad del programa se incluye una explicacin de
los costos y beneficios que se dejaron por fuera
Valor Distribucin del clculo antes de los clculos de rentabilidad
Costo
presente porcentual
en valor presente de cada uno de sus objetivos
VP Costo asociado con la
recepcin del subsidio
principales con una tasa de descuento.
US$ 6,0 8,9%
del Programa - Compo-
nente nutricin 7.2.8 Uso de los resultados
VP Mayor gasto directo de
US$ 52,5 78,0%
los hogares en alimentos
Los objetivos principales de realizar un anlisis
VP Costo administrativo costo-beneficio son proporcionar una medida de
del Programa - Compo- US$ 8,8 13,1%
nente nutricin rentabilidad de un programa y permitir elegir la
Costos totales del com-
mejor alternativa entre programas similares. De
US$ 67,3 100,0% esta forma, despus de haber realizado el anlisis
ponente
costo-beneficio, se debe mirar el resultado del
mismo (VPN) y de los programas similares y reco-
mendar segn sea su criterio o regla de decisin.
7.2.6 Estimar la relacin costo-beneficio
Ejemplo: Uso de los resultados de una anlisis
Cuando se tienen los valores en valor presente costo-beneficio
neto, tanto para los beneficios como para los
costos del programa, se estima la relacin costo-
Se tienen 3 programas con los siguientes
beneficio. Esta relacin se obtiene dividiendo el
VPN de los beneficios y costos: programa #
beneficio obtenido con el programa por el costo.
1 VPN Beneficios = $20, y VPN costos = $5
programa # 2 VPN beneficios = $8 y VPN
Ejemplo: Estimacin de la relacin costo-bene-
costos = $8, y programa # 3 VPN beneficios =
ficio para el programa Familias en Accin en el
$12 y VPN costos = $1 y la regla de decisin
componente de nutricin16
es la relacin beneficio/costo.
Relacin beneficio-costo = Relacin beneficio/costo de los programas y

US$111,8/US$67,3 = 1,66 su VPN se presenta a continuacin:
Los valores de beneficio y costo para el Programa # 1: VPN = $20-$5 = $15 y relacin
componente de nutricin dan una relacin beneficio/costo = $20/$5 = $4
de 1,66. Este valor es alto, aunque est sus-
tentado en estimativos conservadores porque Programa # 2: VPN = $8-$8 = $0 y relacin
no considera otros posibles beneficios. Esto beneficio/costo = $8/$8 = $1
quiere decir que por cada dlar invertido
en el programa, se obtienen 1,66 dlares Programa # 3: VPN = $12-$1 = $11 y relacin
de retorno. beneficio/costo = $12/$1 = $12
112
Dado el criterio de relacin beneficio/costo, VP Costo administrativo y ope-

se recomienda el programa # 3; es decir, ste rativo del Programa Compo- US$ 8,8 5,4%
nente de nutricin
es aquel que proporciona mayores beneficios
por cada costo del programa. Es importante VP Gasto directo de los hogares
US$ 5,6 3,4%
resaltar que el programa que genera mayor en educacin
valor presente neto es el # 1 pero se est VP Costo asociado con la recep-
tomando la decisin de acuerdo a otro criterio cin del subsidio del Programa US$ 10,6 6,6%
Componente de educacin
previamente definido.
VP Gasto pblico en financiar
los costos de educacin se- US$ 59,4 36,4%
Ejemplo: Uso de los resultados de una anlisis cundaria de los beneficiarios
costo-beneficio para el programa Familias en VP Costo administrativo y ope-
Accin en su componente de nutricin17 rativo del Programa - Compo- US$ 20,1 12,3%
nente de educacin
VP de los costos totales del
US$ 163,0 100,0%
El clculo consolidado de rentabilidad del Programa
programa incluye los beneficios y costos calcu-
lados en los componentes de nutricin, salud Fuente: DAPR, FIP, DNP (2006).
y educacin. Se calcula el valor presente neto
y la relacin beneficio-costo con una tasa de La proporcin de beneficios generados ms alta
descuento de 10% (valor que refleja el costo es en educacin con un 57% de los beneficios
de oportunidad de los recursos invertidos en del programa, mientras que en los costos, los
el programa). En la siguiente tabla se muestran ms significativos son los generados por el gas-
los beneficios y costos consolidados: to pblico en financiar los costos en educacin
secundaria. Finalmente, en la siguiente tabla
Valor presente de los beneficios y costos totales se resumen los indicadores de rentabilidad
del Programa - Millones de US$ del programa por componentes y para el total.
Distri- Valor presente neto y relacin C-B por compo-

Valor bucin nentes y total del Programa - Millones de US$
Beneficios y costos totales
presente porcen-
tual
Indicador Valor
VP Ganancias en ingresos labo-
rales futuros por mayor peso US$ 21,6 8,3% Componente de educacin
al nacer
Valor presente neto US$ 51,9
VP Ganancias en ingresos labo-
rales futuros por reduccin en US$ 90,2 34,8% Relacin Beneficio-Costo 1,54
desnutricin
Componente de salud y nutricin
VP Ganancias en ingresos la-
borales futuros por los aos US$ Valor presente neto US$ 44,6
56,9%
netos ganados en educacin 147,6
secundaria Relacin Beneficio-Costo 1,66
VP de los beneficios totales del US$ Resultados para el total de Programa

100,0%
Programa 259,4
Valor presente neto US$ 96,4
VP Costo asociado con la recep-
cin del subsidio del Programa US$ 6,0 3,7% Relacin Beneficio-Costo 1,59
- Componente de nutricin
VP Mayor gasto directo de los Fuente: DAPR, FIP, DNP (2006).
US$ 52,5 32,2%
hogares en alimentos
113
en resumir la cuantificacin de los resultados,

El anlisis consolidado muestra una relacin efectos y/o impactos logrados como beneficio
beneficio-costo del programa de 1,59. Este de los usuarios directos del proyecto. Para
valor es alto y muestra la rentabilidad del ello se construye un vector con los distintos
programa. Adicionalmente, presenta un va- tipos de beneficios (financieros, econmicos,
lor presente neto de US$ 96,4 millones, los sociales, medioambientales, polticos). Para
cuales son un beneficio para la sociedad y este anlisis, se excluyen beneficios indirec-
las familias beneficiarias del programa. tos, tales como los que obtendrn futuras
generaciones. Por el lado de los costos, se
cuantifican los costos directos (presupues-
7.3 Metodologas utilizadas to) del proyecto. Finalmente, se calculan
las relaciones entre los beneficios y costos
A continuacin se presentan ciertas metodologas
y, con base en relaciones comparativas con
utilizadas comnmente para desarrollar algunas
proyectos similares, se sacan conclusiones
de las etapas del anlisis costo-beneficio.
acerca de si en general los beneficios directos
superan a los costos directos. Este anlisis es
7.3.1 Los enfoques ms robusto que el anterior y puede realizarse
para los proyectos cuyos resultados puedan
De acuerdo con el manual de evaluacin BOT ser cuantificados. Sin embargo, mantiene
(2004), existen 3 opciones principales para cons- algn elemento de juicio de valor por parte
truir las relaciones beneficio/costo. Los trminos del Equipo Evaluador. Al igual que con la
de referencia del Equipo Evaluador debern opcin anterior, puede ser fortalecido con
especificar la opcin deseada. las consideraciones del Comit Directivo.
a. La primera opcin es un anlisis cualitativo. c. La tercera opcin es la evaluacin econ-

Por un lado, consiste en hacer un anlisis mica de proyectos, tambin conocida como
cualitativo de los beneficios. Algunos pro- evaluacin social de proyectos. En ella, tanto
yectos cuyos resultados sean difciles de los beneficios como los costos de cualquier
cuantificar pueden requerir un anlisis de tipo (financiero, econmico, social, medioam-
este tipo. El Equipo Evaluador debe resumir biental, poltico) son convertidos en variables
los objetivos, resultados y/o efectos ms sig- pecuniarias con el uso de metodologas tales
nificativos logrados por cada alternativa. Por como la disponibilidad de pagar18, entre otras.
el lado de los costos, este anlisis consiste en Se pueden incluir en el anlisis tanto los bene-
cuantificar los costos directos (presupuesto) ficios y costos directos como los indirectos19.
del programa, plan o proyecto y hacer una Son de crucial importancia para este tipo de
valoracin cualitativa de los costos indirectos. anlisis las correcciones de precio sombra para
Finalmente, se aplica un juicio de valor sobre elementos como la tierra, la mano de obra y
si los beneficios totales superan a los costos los bienes importados, los exportados y los
totales del proyecto. Dicho juicio puede ser no intercambiables. El resultado de este tipo
fortalecido con las apreciaciones del Comit de anlisis es una tasa de retorno econmico
Directivo. Las principales debilidades de esta o social. Si la tasa supera ciertos rangos acep-
opcin es que es muy poco robusta y que se tados comnmente por diversos sectores o
limita a establecer algunas percepciones para tipos de proyectos, se considera que tiene
emitir sus conclusiones. una relacin beneficio/costo aceptable. Esta
opcin es la ms robusta y, aunque incluye
b. La segunda opcin es el anlisis de los bene- muchos supuestos, stos se hacen de una
ficios y costos directos. Por un lado consiste manera explcita con una justificacin tcnica
18 En ingls el trmino es willingness to pay.

19 Los costos indirectos tambin son referidos como costos de oportunidad.
114
que puede ser abiertamente discutida. Sus

debilidades principales radican en que no Comparacin # 1: 4 reforestaciones vs. 6
todas las personas estn dispuestas a aceptar siembras de palma (horizonte de tiempo
que se apliquen valores monetarios a ele- de 24 aos)
mentos como un rbol, un bono alimenticio
o an una vida humana. Adicionalmente, se Comparacin # 2: 2 reforestaciones vs. 3
ha comprobado que el ser humano puede siembras de palma (horizonte de tiempo
tomar decisiones con un vector de variables de 12 aos)
por lo cual no es necesaria la conversin del
mismo en una nica medicin pecuniaria20. Con horizontes de tiempos iguales se pueden
comparar las alternativas de forma justa.
Es posible que las tres opciones presentadas no
sean mutuamente excluyentes dadas las parti- Estandarizar por escala: consiste en tener
cularidades de la disponibilidad de informacin alternativas que necesitan diferentes niveles
y del diseo mismo del proyecto- y el Equipo de inversin, por lo cual los resultados del
Evaluador opte por hacer uso de las tres opciones. VPN se deben ajustar segn una escala que
represente niveles de inversin equivalente
7.3.2 Herramientas para construir para compararlas.
alternativas susceptibles de
Ejemplo: Estandarizacin por escala de dos
comparacin
alternativas
De acuerdo con el Treasury Board de Canad
(1998), para estandarizar alternativas compara- Se tiene un programa de reforestacin con una
bles, es importante tener en cuenta factores como inversin de $100 y un programa de siembra
el tiempo, la escala y los recursos ya posedos. de palma con una inversin de $50. Para
A continuacin se explican cada uno de estos poder comparar las alternativas sera vlido:
factores.
Comparacin: reforestaciones vs. 2 siembras
Estandarizar por tiempo: cuando dos alter- de palma (Inversin de $100 para ambas
nativas tienen duraciones o se dan en hori- alternativas)
zontes de tiempo diferentes, stas deben ser
estandarizadas para poder ser comparadas. Con escalas de inversin similares se pue-
Para ello, normalmente se utiliza el horizonte de comparar los VPN de las alternativas de
de tiempo ms largo para ambas o se llevan a forma justa.
una escala de tiempo comparable que incluya
los costos y beneficios en toda la ventana de
tiempo definida. Estandarizar por componentes ya posedos:
en este caso, si la inversin por parte de la
Ejemplo: Estandarizacin por tiempo de entidad incluye recursos que ya son de su
dos alternativas. propiedad, el anlisis realizado debe incluir
lo que pasara con este recurso en cada una
Se tiene un programa de reforestacin que de las alternativas de inversin.
dura 6 aos y un programa de siembra de
palma que dura 4 aos. Para poder comparar
la alternativas sera vlido:
20 Por ejemplo al comprar un carro una persona tiene en cuenta variables como el color, el diseo y los caballos de fuerza adems del
precio. Para la toma de su decisin no otorga un valor monetario a cada una de estas variables.
115
Ejemplo: Estandarizacin por componentes ya valor menor al precio de mercado, obteniendo

posedos de dos alternativas21 una ganancia adicional a la esperada.
c. Valorar costos y beneficios con precios de

Si el gobierno posee un inmueble y una de las mercado posiblemente distorsionados: cuan-
alternativas es renovarlo, el anlisis de cada do los precios de mercado existen pero estn
una de las alternativas debe incluir lo que distorsionados por alguna razn, se debe
pasa con el inmueble. Para poder comparar realizar una estimacin de cul sera el precio
las alternativas es necesario tener en cuenta de mercado sin esta distorsin. Esto, con el fin
los siguientes aspectos de este tipo de bienes: de ajustar los precios de mercados actuales.
Algunas situaciones en que los precios se
No necesariamente tienen la tasa estndar encuentran distorsionados son:
de retorno.
Cuando la moneda est valorada err-
No son elementos que no tienen costo. neamente por efectos de los controles
de cambio extranjeros.
Es necesario incluirlos en todos los esce-
narios, no solamente en el que son ms Cuando los salarios estn inflados por
relevantes. uniones artificiales o la legislacin.
Cuando existen condiciones anti-com-

7.3.3 Herramientas para valorar costos y
petencia como los monopolios.
beneficios22
Cuando los impuestos o tarifas son aplica-
Los costos y beneficios de un porgrama se pue- dos directamente a los bienes o servicios.
den valorar por medio de varias herramientas, las
cuales se pueden utilizar de forma simultnea o Cuando el gobierno subsidia o regula los
independiente. Entre stas se encuentran: precios.
a. Valorar costos y beneficios por medio del d. Valorar costos y beneficios cuando no existen
valor de mercado: consiste en otorgarle el precios de mercado: los valores de los costos
valor que cada costo o beneficio tiene en o beneficios pueden ser difciles de calcular
el mercado, ignorando cualquier otro valor cuando no existen precios de mercado que
agregado que tenga para el consumidor o reflejen el valor del bien o servicio. Algunos
beneficiario del programa. ejemplos de estos casos son:
b. Supervit del consumidor y productor como El valor de ahorrar tiempo de viaje.
componente adicional de valor: esta herra-
mienta parte de la idea que el valor de mer- El valor de seguridad y salud.
cado otorgado a un beneficio o un costo es
el mnimo beneficio social producido por el El valor del medio ambiente.
resultado de un programa, dado que, de hecho,
algunos consumidores estaran dispuestos El valor de la creacin de trabajos.
a pagar ms por el resultado del programa
que su precio de mercado. De igual forma, el Para cada uno de estos, se debe estimar un valor
productor podra incurrir en este supervit al de mercado que represente el costo o beneficio
estar dispuesto a producir lo mismo por un del mismo. Para lo anterior, se sugiere revisar
21 Ejemplo del documento del Treasury Board (1998).

22 Treasury Board,Benefit-Cost Analysis Guide, 1998.
116
bibliografa como: Benefit-Cost Analysis Guide

(1998), Argyrous (2009), UNICEF (2008). E(VPN) = (0,6) ($100) + (0,4)($50)
E(VPN) = $60 + ($20)

Algunas recomendaciones para valorar costos y
beneficios cuando no existe un precio de mercado: E(VPN) = $40
Cuando no existan precios de mercado o estos Segn el valor esperado calculado, se reco-
estn distorsionados, los mtodos principales mendara realizar el programa dado que el
para estimarlos estn basados en la disposi- valor esperado del VPN es positivo.
cin de pago del consumidor o disposicin
de venta del productor.
Por medio de los valores esperados se plantean
posibles escenarios para las diferentes alterna-
Los mtodos de dar valor econmico a los
tivas y se busca identificar aquella con el mayor
costos y beneficios pueden ser aprendidos en
valor esperado del VPN.
corto tiempo. Por otro lado calcular el costo
o beneficio especfico es un tema infinito y
b. Tasa de descuento ajustada por el riesgo:
se debe mirar con cuidado en cada caso.
es la tasa bsica ms un componente extra
ajustado por el riesgo; para ajustar los dife-
Los libros y la literatura pueden proveer
rentes beneficios o costos en los cuales se
aproximaciones y valoraciones de costos o
puede incurrir en el tiempo.
beneficios para los cuales existen valores de
mercado o mtodos de estimarlos de fcil
c. Anlisis de riesgo a travs de una simula-
clculo.
cin: esta es la nica herramienta prctica
para trabajar el riesgo y la incertidumbre.
7.3.4 Herramientas para cuantificar la La simulacin permite predecir los posibles
incertidumbre relacionada al riesgo23 resultados de un modelo de anlisis de costo-
beneficio, dadas las variables que afectan los
Existen tres aproximaciones para cuantificar la resultados. Este proceso permite una visin
incertidumbre y el riesgo en la evaluacin costo- ms completa para poder generar una reco-
beneficio: mendacin del programa o sus alternativas.
Para realizar esta simulacin es necesario un
a. Valor esperado: Se calcula para costos y software especializado que debe cumplir dos
beneficio su valor esperado o equivalente funciones especficas:
certero teniendo en cuenta las probabilidades
de que obtenga uno u otro valor. Seleccionar el set de valores para varia-
bles inciertas, acorde con las probabili-
Ejemplo: Valor Esperado dades obtenidas del anlisis de los datos
de estas mismas variables.
Se tiene un VPN de $100 con una probabilidad
del 60% y un VPN de -$50 con una probabili- Utilizar los sets de datos de las variables
dad del 40%. De acuerdo a esta informacin, inciertas para correr el modelo y calcular
el valor esperado del programa sera: y analizar los posibles resultados del
anlisis costo-beneficio.
23 Treasury Board,Benefit-Cost Analysis Guide, 1998
117
7.4 Estudio de caso: el nivel 1 del Sisbn a 31 de diciembre de 1991

y que tuvieran nios de 0 a 17 aos. A partir de
Familias en Accin24
2006 el Programa se ampli a otras ciudades y en
2008 se presentaron esquemas diferenciales y
Resumen Programa Familias en Accin ampliacin del programa a poblacin desplazada.
Familias en Accin: Impactos en capital Municipios atendidos

Nombre de la
humano y Evaluacin Beneficio-Costo
evaluacin
del Programa
Consultor Unin Temporal Econometra-SEI-IFS Municipios
Ao Esquema de atencin
atendidos
Fecha de con-
Febrero de 2002
tratacin 2002 691 Tradicional
Fecha de finali-
Diciembre de 2006 2006 848 Tradicional
zacin
Costo USD $2.000.000
2008 1091 Esquemas25
7.4.1 El Programa Fuente: Programa Familias en Accin (2008)
A continuacin se explica un poco ms el programa 7.4.2 La evaluacin

y las conclusiones del anlisis costo-beneficio del
ejemplo mencionado a lo largo del documento. El objetivo de la evaluacin fue captar los impactos
en la poblacin beneficiaria del Programa Familias
El Programa Familias en Accin fue concebido en Accin en temas de educacin, salud, nutricin,
inicialmente como parte de una estrategia del oferta laboral, pobreza, ingresos, focalizacin del
Gobierno Nacional, con acciones especficas programa, consumo y realizar un anlisis riguroso
sobre la poblacin ms pobre del pas, con el de Beneficio-Costo (B-C) del programa.
fin de incrementar su nivel de vida. En particular,
busca elevar los niveles de salud y nutricin de La metodologa empleada fue de carcter cuasi
los nios de las familias ms pobres (Sisbn 1). El experimental y se basa en la comparacin de los
Programa tiene dos componentes de subsidios, hogares que recibieron el beneficio del programa
uno nutricional y otro escolar: Finalmente, todos beneficiarios (Grupo Tratamiento) y con hogares
los pagos son entregados a las madres titulares que no recibieron el programa (Grupo Control).
de los ncleos familiares inscritos en el Programa.
Los datos recolectados de entrevistas con 11.500
En un primer paso, el Programa se focaliz en los hogares permitieron comparar grupos de benefi-
municipios de menos de 100.000 habitantes. Las ciarios y no beneficiarios en diferentes momentos
condiciones para esta calificacin incluyeron tam- del tiempo (2002, 2003 y 2006), mediante las
bin: a) que no fueran capital de Departamento; tcnicas ms rigurosas y avanzadas de evaluacin.
b) que tuvieran suficiente infraestructura de salud Adicionalmente, se recolect informacin de las
y educacin; y c) que tuvieran alguna entidad ban- condiciones de los municipios, sus escuelas y sus
caria. En cada municipio, se consideraron elegibles establecimientos de salud, y sobre otra variedad
para el Programa todos los hogares clasificados en de instituciones.
24 Sistema Nacional de Evaluacin de Resultados de la Gestin Pblica (2007).

25 La intervencin con esquemas se implement a partir de 2008 y busca dar un tratamiento diferencial de subsidios de acuerdo a los
tamaos de grandes centros urbanos en los cuales se realiza en estos momentos la ampliacin del Programa Familias en Accin. La
idea que est detrs de una intervencin de este estilo es la de establecer cul esquema es el ms efectivo.
118
Esquema de subsidios
Monto de sub- Edad de Beneficiarios a

Tipo de subsidio Condicin
sidio atencin 2007
1.680.005 nios Asistencia a controles de
Nutricional $46.500 0-6 aos
menores de 7 aos crecimiento y desarrollo
1.118.831 entre 7 y
Escolar primaria $14.000 7-11 aos Asistencia Escolar
12 aos
960.783 jvenes
Escolar secundaria $28.000 12-17 aos Asistencia Escolar
entre 12 y 17 aos
Fuente: Programa Familias en Accin (2008).
7.4.3 Anlisis Costo-Beneficio En nutricin, los beneficios por mayor nutri-

cin de los nios de 1 a 6 aos son ms de
Los resultados muestran una relacin bene- cuatro veces mayores que los derivados de
ficio-costo (B-C) global para el Programa de un mayor peso al nacer.
1,59 y un valor presente neto de US$ 96,4
millones. Ambos valores son altos, a pesar Los beneficios de educacin (56,9% del total),
de las previsiones realistas y conservadoras son ligeramente mayores a los de nutricin. La
adoptadas para su clculo. Esto demuestra la razn de la alta rentabilidad del componente
alta conveniencia y oportunidad que tuvo la de educacin se encuentra en la significativa
destinacin de recursos pblicos a financiar generacin de mayores aos de escolaridad
Familias en Accin. en secundaria rural y urbana que muestra
como impacto neto el Programa, factor que
En nutricin, la evaluacin muestra una rela- se compara muy favorablemente con el costo
cin B-C de 1,66. de lograrlos.
119
CAPTULO VIII
Captulo VIII
Evaluacin institucional
Kavram
Un programa necesita de una institucionalidad Pero adems, es importante conocer las reglas
eficiente que le permita cumplir con su misin y legales, normas, relaciones interinstitucionales
sus objetivos. No slo es importante entender y y arreglos que inciden en su implementacin.
documentar los resultados del programa frente
a sus beneficiarios, sino tambin documentar su Las instituciones, como reglas de juego en una so-
oferta, la cual depende del desempeo de los ciedad, son sistemas de ejecucin de las polticas
individuos y la institucionalidad1 responsables. que estructuran los incentivos en la interaccin
Estudiar las razones por las cuales falla la capaci- entre los individuos, reduciendo la incertidumbre y
dad institucional en los programas permite mejorar en esa medida influyendo en el desempeo de las
su gestin y proveer de manera ms efectiva sus economas(a travs de los costos de transaccin).
bienes o servicios. Douglas North (1996) define a las instituciones
como las reglas del juego y a las organizaciones
Dentro de este marco, la evaluacin institucional como los jugadores.
se ubica en la ejecucin de corto y mediano plazo
del programa, situndose ms adelante en el ci- La institucionalidad que soporta un programa
clo del programa que la evaluacin de procesos puede tener uno o varios actores involucrados
u operaciones (ver captulo de Generalidades). en su coordinacin y ejecucin:
No se trata slo de examinar los procedimientos
de gestin de la institucin, sino tambin deter- Entidades del gobierno (ministerios, progra-
minar si estos llevan al logro de los objetivos mas, hospitales, colegios, entidades nacio-
planeados. Adems, para su anlisis, se sita el nales, regionales y locales, etc.).
programa dentro de un sistema y contexto ms
amplios, no solamente el de una organizacin Organizaciones del sector privado (financie-
responsable. ras, negocios, grandes, medianas y pequeas
empresas, etc.).
Para el desarrollo de una evaluacin institucional,
al igual que para llevar a cabo cualquier tipo de Organizaciones no gubernamentales (ONGs)
evaluacin, es necesario entender la lgica con la locales, nacionales e internacionales y otras
que se cre e implement el programa, su misin, organizaciones civiles.
visin, objetivos y cada uno de sus componentes.
Cooperativas comunitarias.
1 En este documento se utilizan los trminos institucionalidad y capacidad institucional con el mismo significado.
123
Redes o asociaciones de organizaciones. provisin de los servicios, estructura, cultura

organizacional y sostenibilidad3.
Partidos polticos.
Algunos Tips
La evaluacin institucional, entonces, es un tipo
de evaluacin que permite medir el grado de Existen similitudes y diferencias entre la
capacidad institucional que se tiene para llevar evaluacin de procesos y la evaluacin ins-
a cabo determinado programa. titucional:
Las dos hacen un anlisis del uso de los

La capacidad institucional o institucionalidad recursos del programa de acuerdo con
de un programa incluye las reglas legales los objetivos y resultados planeados.
(ej. regulacin de empleo y adquisiciones),
Sin embargo, la evaluacin de procesos
las normas entendidas (ej. de igualdad de
hace un anlisis de los procesos de-
oportunidades o competencia abierta), la
sarrollados en determinado programa,
gobernabilidad (ej. rendicin de cuentas
estudia si se estn llevando a cabo y
democrtica y divisin de responsabilidades
de qu manera afectan el logro de los
entre gobierno y sociedad civil) al igual que
productos y los resultados (ver captulo
los arreglos administrativos y organizacionales
de Evaluacin de Procesos).
(ej. estructura y recursos de organizaciones)2.
La evaluacin institucional, por otro lado,
hace un anlisis de la capacidad institu-
Los principales objetivos de una evaluacin
cional para cumplir con el objetivo de
institucional son:
un programa, lo que incluye examinar
las reglas del juego, factores exgenos
Determinar el grado de capacidad institucio-
y endgenos a la entidad, polticas de
nal actual del programa para llevar a cabo
desarrollo institucional y organizacional,
acciones futuras.
actores, procesos, actividades, objetivos
y flujos de recursos, entre otros.
Identificar las fortalezas de la institucionali-
dad as como los obstculos y debilidades a
remover o eliminar. De esta forma, las principales preguntas a la que
responde son:
Incrementar la efectividad del programa en
la provisin de los productos y el logro de su Qu capacidad institucional tiene el programa
misin. para cumplir con sus objetivos?
Es la capacidad institucional del programa

Establecer los efectos de las reformas es-
viable o sostenible?
tructurales en la capacidad institucional del
programa para alcanzar sus objetivos y utilizar Cmo est funcionando la capacidad insti-
sus recursos. tucional? Entrega servicios de calidad y de
manera eficiente?
Fortalecer la capacidad institucional mediante
la mejora del desempeo de las entidades Qu debilidades u obstculos tiene la ins-
en diversos aspectos como: funciones ad- titucionalidad para cumplir con la misin del
ministrativas y de gestin, efectividad en la programa?
2 Evalsed (n.d).
3 USAID, Center for Development Information and Evaluation (2000).
124
Qu tarea o actividad de la institucionalidad quiere saber cmo estn afectando las rela-
no est funcionando como debera? Por qu? ciones inter o intra institucionales el logro
de sus resultados.
Entiende y opera la capacidad institucional
con el entorno? Se quiere examinar el adecuado cumplimien-
to de las reglas de juego establecidas que
Qu cambios se requieren para que mejoren influyen en el desarrollo del programa y de
los aspectos de la capacidad institucional que sus resultados.
presentan un desempeo deficiente?
Se quieren tomar decisiones estratgicas
8.1 Caractersticas y Usos acerca del fortalecimiento institucional y de
gestin de un programa.
La evaluacin institucional se hace en la etapa
ex-post del programa, en la que el diseo del Se quieren tomar decisiones organizacionales
programa se ha completado. Permite evaluar si la en un programa.
institucionalidad es apta para la implementacin
y entrega de los bienes y servicios planeados. Los Se quieren tomar decisiones financieras en
indicadores de desempeo para evaluar la capa- un programa.
cidad institucional se pueden recoger de manera
peridica a travs de un sistema de seguimiento, 8.2 Desarrollo de la Evaluacin
que sirve como insumo para la evaluacin.
Escoger la metodologa para el desarrollo de una
La evaluacin institucional se caracteriza por: evaluacin institucional depende de lo que se
desea evaluar dentro de la institucionalidad de
Determinar dnde o por qu un rea o acti- un programa. Sin embargo, existen unos pasos
vidad no est funcionando y plantear correc- comunes que deben estar claros antes de aplicar
tivos. una tcnica de anlisis:
Analizar actores, procesos, actividades, obje- Identificar la perspectiva de la evaluacin

tivos, flujos de recursos y factores exgenos institucional.
y endgenos a la entidad.
Especificar la unidad de anlisis: nivel de
Establecer una lnea de base para proponer poltica, organizacin, programa, proyecto,
metas de mejoramiento de la capacidad actividad, tarea.
institucional.
Determinar la metodologa a utilizar para el
Identificar si las polticas de desarrollo insti- anlisis.
tucional y organizacional generan incentivos
hacia la productividad y mejor uso de los Plantear y desarrollar las herramientas de
recursos. levantamiento de informacin necesarias.
Realizarse en el mediano plazo. 8.2.1 Perspectiva de la evaluacin
Por lo tanto, una evaluacin institucional es per- En primer lugar, es importante definir desde qu
tinente cuando, entre otras: perspectiva se va a abordar la evaluacin:
Se tiene un programa que funciona con la Es el objetivo evaluar la capacidad institu-

intervencin de varias organizaciones o de cional de una organizacin o un grupo de
mltiples reas en una misma entidad y se organizaciones para lograr una misin comn?
125
Se van a medir los productos y resultados Informacin sobre el programa a evaluar.

que esta institucionalidad provee? En este
caso, la capacidad institucional es el medio Alcance de evaluacion determinado por la
para lograr los resultados esperados, los cua- perspectiva.
les se miden con indicadores cuantitativos y
cualitativos. Se recomienda desarrollar una Tiempo disponible para la evaluacin.
evaluacin institucional complementada con
una de productos o resultados. Recursos disponibles para la evaluacin.
Se va a examinar cmo funciona la estructura Con la ayuda de estos insumos se identifica si es

organizacional interna y cmo se encuentran posible analizar cada tarea implicada en el logro
distribuidas las funciones del programa? de los resultados o si, ante la falta de tiempo/
Esta evaluacin se puede complemetar con recursos, se puede hacer el anlisis a nivel de
la revisin de los procesos internos de cada actividad, programa o de organizacin involucrada.
componente (recursos humanos, financieros,
administrativos, etc.) de las organizaciones Segn la perspectiva del anlisis de la capacidad
involucradas. Este enfoque de evaluacin per- institucional se puede acotar la informacin que
mite mejorar el funcionamiento organizacional se necesita de la siguiente manera4:
y, de esta forma, la entrega de los productos.
En este caso se recomienda desarrollar una a. Anlisis de la capacidad institucional a nivel
evaluacin institucional complementada con micro (individuo): la informacin necesaria
una evaluacin de procesos. para este nivel hace alusin al recurso hu-
mano dentro de la organizacin, programa o
Se va a hacer el anlisis del uso de determi- poltica. Entre sta se encuentra:
nados recursos como leyes, reglas, normas o
relaciones interinstitucionales? Motivacin de los individuos en la insti-
tucin.
Se va a evaluar la capacidad financiera y
fsica de las agencias ejecutoras, su viabilidad Misin y objetivos del trabajo realizado
y sostenibilidad? por los individuos en la institucin.
Se van a revisar las polticas de personal, Incentivos financieros y no financieros.

sistema de recompensas o capacidad indi-
vidual de los participantes en las agencias Habilidades y perfiles de los individuos
involucradas en el programa? de la organizacin.
Para las tres ltimas se recomienda desarrollar b. Anlisis de la capacidad institucional a nivel
una evaluacin institucional del programa en el de la(s) organizacin(es): la informacin nece-
aspecto enunciado. saria se centra en la capacidad de gestin, y el
desempeo de tareas y funciones especficas.
8.2.2 Unidad de anlisis Es importante tener informacin sobre:
Para determinar la unidad de anlisis se profun- Misin de la(s) organizacin(es).

diza un poco ms en la perspectiva de la capa-
cidad institucional a evaluar, de acuerdo con los Procesos y funciones que realiza(n), como
siguientes elementos: los hace(n) y cules son sus resultados.
4 Rosas (2008). Una ruta metodolgica para evaluar la capacidad institucional. Revista: Poltica y Cultura. Vol. 30. Pgs. 119-134.
Mxico.
126
Relaciones entre organizaciones y otros pero adicionalmente se requiri que la evaluacin

programas. analizara cmo estos resultados fueron factores
generadores de un mejor estado de desarrollo
Recursos (fsicos y financieros) con los institucional. En consecuencia, se desarroll una
que cuenta(n) para cumplir con sus tareas evaluacin de resultados en conjunto con la insti-
y funciones. tucional. Para informacin ms detallada acerca
de la evaluacin, se recomienda ver el documento
c. Anlisis de la capacidad institucional a nivel de Evaluacin Final del Programa.
macro (contexto institucional): se requiere
informacin de la(s) organizacin(es) y su rela- Por otro lado, vale la pena recalcar que la informa-
cin con el entorno en el que se desempea(n): cin que es necesaria levantar tambin depende
de la metodologa escogida para realizar la eva-
Rgimen jurdico que rige el sector (nor- luacin institucional, como se ver ms adelante
mas, leyes, cambios legales, reformas en la seccion 8.3 (Metodologas).
constitucionales, etc.).
8.2.4 Levantamiento de informacin
Rgimen econmico.
Existen diferentes mtodos de recoleccin de
De esta manera se identifica la unidad de analisis informacin que dependen del tipo de infor-
y se delimita el tipo de informacin que sta re- macin requerida y de los recursos disponibles.
quiere, para proceder a seleccionar la metodologa En este tipo de evaluacin se puede usar infor-
de anlisis y las herramientas de levantamiento macin tanto de la oferta como de la demanda
de informacin. del programa. En el anexo 11.1 se presenta una
tabla que resume las tecnicas ms utilizadas por
8.2.3 Metodologa de anlisis el PNUD, que se adaptan en gran medida a los
mtodos utilizados en seguimiento y evaluacin.
A partir de la informacin de insumos, actividades,
productos, resultados e impactos del programa, es Entre ellos existen algunos mtodos que son par-
necesario identificar la metodologa adecuada para ticipativos e incluyen a gran parte de los actores
el anlisis de los componentes de la capacidad involucrados en la organizacin durante su imple-
institucional. El evaluador debe hacer un balance mentacin. Esto crea un sentido de pertenencia
de los objetivos y el alcance de la evaluacin, de y promueve acciones conjuntas que pueden ser
la perspectiva y la unidad de anlisis y escoger ms sostenibles que acciones tomadas de manera
una metodologa apropiada poder establecer de individual. Sin embargo, estos mtodos demandan
qu manera influy la capacidad institucional del mayor esfuerzo y dedicacin de tiempo, as como
programa en el logro de sus objetivos. un aplicado estudio de los actores involucrados
para que todos se encuentren debidamente re-
Por ejemplo presentados. Por lo general, para complementar
este anlisis interno se incluye un enfoque de
Este ejercicio se puede ver en la evaluacin de la las percepciones que tienen los beneficiarios
capacidad institucional del Programa de Apoyo y no beneficiarios del programa en cuanto a su
al Fortalecimiento de la Procuradura General de capacidad institucional.
la Nacin (PGN)5, que analizo los cambios en las
habilidades de la Procuradura para ejercer de Una vez se conoce el tipo de informacin que
una mejor manera sus funciones misionales. La se necesita para determinar la evolucin de las
evaluacin encontr los factores que explicaban la tareas, actividades, programas u organizaciones,
obtencin de los resultados del Programa en la PGN, es importante plantear la manera ms eficiente de
5 PGN, BID, DNP (2008).
127
recolectarla dentro de las restricciones existen- 8.3 Metodologas utilizadas

tes, aspectos como: el tipo de organizacin, si la
evaluacin se va a hacer interna o externamente La seleccin de la metodologa depende de
y la disponibilidad de informacin secundaria, ciertos factores7:
archivos, informacin primaria como encuestas
o grupos focales, etc. Tipo de organizacin u organizaciones dentro
de la institucionalidad a evaluar.
8.2.5 Anlisis de la informacin
Facilidad de comparacin entre organiza
Despus de tener la informacin de cada unidad ciones.
de anlisis recolectada, se examina mediante la
metodologa si la capacidad institucional cumpli Facilidad de comparacin en el tiempo.
los objetivos planteados, haciendo explicitas cu-
les son sus debilidades y fortalezas. Es posible que Modo de recoleccin de informacin.
se desarrolle una triangulacin, lo que significa
el uso de tres o ms perspectivas estadsticas Objetividad de los instrumentos de medicin.
distintas, cualitativas o cuantitativas.
Uso de medidas cuantitativas y/o cualitativas.
Evaluacin es interna o externa.
El uso de los resultados en este tipo de evalua-
ciones al interior de la(s) institucin(es) permite:
Practicidad y simplicidad de las medidas.
Estudiar tanto los aspectos organizacionales
A continuacin, se presentan unas de las meto-
como los estructurales que interviernen en
dologas ms conocidas para la evaluacin de la
el logro de los objetivos del programa.
capacidad institucional.
Identificar la capacidad institucional actual
para lograr ciertos objetivos o entregar de- 8.3.1 La metodologa SADCI
terminados productos6.
El Sistema de Anlisis de Capacidad Institucional
Encontrar puntos dbiles e implementar (SADCI) fue creado por Alain Tobelem8 con el
cambios en la organizacin. objetivo de:
Formular actividades, procedimientos o nuevas Identificar el grado de capacidad institucional

estructuras institucionales para optimizar la actual para llevar a cabo determinadas acciones;
entrega de productos. evaluar los obstculos y debilidades a remover o
eliminar y establecer las acciones y planes reque-
Comparar las diferentes organizaciones que ridos para ello9.
prestan el servicio.
8.3.1.1 El proceso
Proponer correctivos en las relaciones orga-
nizacionales. La metodologa propone examinar el programa
con una estructura similar a la del marco lgico
Mejorar la entrega de bienes y servicios. o cadena de resultados, lo que implica10:
6 CNC para DEPP, DNP (Mayo 2010).

8 Vase Alain Tobelem (1992).
9 Ozlak y Orellana (2000).
10 Para mayor detalle y explicacin acerca de la metodologa, ver Ozlak y Orellana (2000).
128
Determinar el objetivo general del programa A continuacin, se muestra un ejemplo del tipo
u organizacin analizada: establecer lo que de formularios de acuerdo con los niveles a ana-
el programa contribuye a lograr en el mediano lizar. En primer lugar, est el Formulario A donde
o largo plazo. se describen los objetivos especficos, cada uno
de los indicadores cuantitativos que les hacen
Plantear los objetivos particulares de cada seguimiento, el impacto esperado y los benefi-
componente del programa u organizacin: ciarios directos o indirectos.
comprobar si contribuyen al objetivo ge-
neral y si se pueden medir con indicadores Formulario A: Objetivos especficos13
cuantitativos (ej: cunto se va a entregar?),
cualitativos (ej: para qu?) o cronolgicos 01
Objetivo Especfico Formulario A
Empresas pequeas y medianas en reas tradicionalmente dinmicas y exportadoras
(ej: cundo?). 04 asistidas por el programa.
Indicadores Cuantitativos
Describir las actividades o subcomponentes 1800 empresas que pasaron a exportar como resultado de proyectos integrales de exportacin
y algn porcentaje adicional quedan vinculadas de alguna forma con elmercado trasnacional.
de cada objetivo: estos son definidos como Impacto Esperado

Aumento de la cantidad de empresas certificadas internacionalmente.
el conjunto de procesos que permiten la Generacin de una cultura exportadora (efecto imitacin).
Diversificacin de mercados/productos.
transformacin de los insumos bsicos del Beneficiarios/vctimas
proyecto en productos concretos11. Beneficiarios

Empresarios y empleados de las exportadoras y de los servicios de consultoria.
Fisco nacional y provincial.
Cmaras
Detallar las tareas de cada actividad o sub-

Fuente: Ozlak y Orellana, 2000.
componente: stas son definidas como ac-
ciones, asignadas a una agencia o individuo
responsable, con fecha de finalizacin precisa El Formulario B descompone los objetivos espe-
y un producto intermedio concreto12. cficos en actividades.
La formulacin de objetivos, actividades y tareas Formulario B: Actividades

del programa es clave en la evaluacin, pues va a por objetivos especficos
permitir identificar los problemas que se encuen-
tran en cada uno de los niveles. A partir de all, la 01:00
Descripcin del Objetivo Especfico Formulario B
Empresas pequeas y medianas en reas tradicionalmente dinmicas y exportadoras
01:01
metodologa seala las condiciones a resolver para 01:02
01:03
asistidas por el programa.
que las tareas y actividades se puedan desarrollar 01:04

01:05 01
Cdigo de Actividad:
exitosamente, pues la presencia de dificultades 01:06
01:07 Descripcin de Actividad
01:08
va a repercutir en el logro del objetivo. De esta 01:09
04:00
240.000 h/h y un nmero de h/h a determinar destinadas a estudios de prefactibilidad
de proyectos de reconversin presentados por los PYMES y para la preparacin de
forma, se descubren los dficit y se propone una 04:01
04:02
proyectos integrales.
estrategia para superar la brecha de capacidad. 04:03

04:04
04:05
04:06
04:07
Para localizar los dficit, se aplican entrevistas y en- 04:08
cuestas a los actores clave de la(s) organizacin(es)

involucrada(s), que posteriormente se transcriben
en varios formularios o un software especfico.
Esto posibilita presentar la informacin de manera El Formulario C desagrega las tareas de cada ac-
estructurada y clasificar los dficit encontrados tividad con un gran nivel de detalle: el producto
en el programa. esperado, la fecha de conclusin, las unidades
responsables y un resumen de los dficit de
capacidad. Esta minuciosidad es la que permite

12 bidem.
13 El objetivo tambin puede empezar con un verbo en infinitivo, sin embargo, para ser fiel al ejemplo, se toma de manera literal del
documento de Ozlak y Orellana (2000).
129
determinar los dficit que se manifiestan en los 8.3.1.2 Los productos

problemas existentes en la ejecucin de tareas,
dado que si stas no se encuentran detalladas Los productos resultantes de esta metodologa
al mximo, es probable que escondan problemas son:
u obstculos de diferente gravedad14.
Identificacin de los dficit de capacidad
Formulario C: Tareas por Actividad institucional en varias reas, examinando
sus posibles causas. El dficit equivale a las
01.
Descripcin de la actividad Formulario C brechas entre lo deseado (objetivos de la or-
01.
005.
240.000 h/h y un nmero de h/h a determinar destinadas a estudios de prefac-
tibilidad de proyectos de reconversin. ganizacin a nivel de programas) y lo obtenido
010.
015. Cdigo de Tarea: 01.01.005 institucionalmente (lo que las instituciones
020.
025.
Descripcin de Tarea
efectivamente consiguen).
02. En funcin de los proyectos presentados luego de la campaa publicitaria prevista,
005. se derivan a esta actividad los
010.
015.
Producto Esperado
Insercin y establecimiento del vnculo entre la empresa y el Programa.
Listado de las brechas que representan obs-
020.
03. Fecha de conclusin: tculos para la realizacin de las tareas y la
005.
010.
Unidades Responsables consecucin de los objetivos del programa.
015. 09 PYME X.X. 10 Ejecutivo de cuenta
020. Sumario de Dficit de Capacidad:
04.
005.
DCI 1: [ S ]
DCI 4: [ S ]
DCI 2: [ S ]
DCI 5: [ S ]
DCI 3: [ S ]
DCI 6: [ S ]
Clasificacin de los deficit en diferentes tipos
de acuerdo con sus posibles causas.
Propuesta de Componentes de Desarrollo

Con una revisin meticulosa de los obstculos Institucional (CDI) para fortalecer la institucin
que impiden la terminacin de las tareas, se y solucionar los dficit.
identifican los principales problemas y sus causas.
Clasificacin de tipos de dficit
Al final, se proponen las estrategias para la supe-
racin de las brechas existentes entre lo planeado
y el actual cumplimiento de tareas, actividades Leyes, reglas, normas - reglas de juego:
y objetivos. trabas normativas, factores culturales o pau-
tas de interaccin socialmente aceptadas
Este ejercicio se puede complementar con en- que se convierten en restricciones para las
cuestas a la poblacin beneficiaria del programa, tareas a desarrollar.
con el propsito trazar la ruta crtica de imple-
mentacin del programa evaluando la coherencia Relaciones interinstitucionales: existencia
entre el anlisis de oferta y el de demanda. Esta de competencias superpuestas o duplica-
metodologa propone orientar el anlisis a tres cin de esfuerzos, acciones que dependen
tipos de escenarios en la aplicacin del programa: de otras organizaciones, requisitos para
cumplimiento de las tareas.
Casos exitosos.
Estructura organizacional interna y distri-
Casos promedio. bucin de funciones: responsabilidades no
estn claramente delimitadas, distribucin
Casos no exitosos. de funciones no es la ptima, unidad res-
ponsable no tiene recursos o estructura.
Con base en los insumos mencionados se esta-
blecen las fortalezas, debilidades y oportunidades
para lograr el xito de la aplicacin del programa.
130
La metodologa SADCI se puede utilizar tanto

Capacidad financiera y fsica de las agencias
para analizar los dficit de gestin en una or-
ejecutoras: falta de recursos o insumos para
lograr los objetivos. ganizacin como su relacin con los resultados
del programa.
Polticas de personal y sistema de recom-
pensas: polticas de personal y desempeo 8.3.2 La metodologa PROSE15
de las personas con tareas gerenciales o
tcnicas. La metodologa de Autoevaluacin Participativa,
Orientada a Resultados (PROSE Participatory,
Capacidad individual de los participantes Results-Oriented Self-Evaluation) fue desarro-
en las agencias involucradas en el proyecto: llada por una ONG llamada Pact y el Centro
capacidad individual de implementacin de del Desarrollo para la Educacin (Education
cada una de las tareas. Development Center). Tiene como objetivo eva-
luar y mejorar las capacidades institucionales
Los formularios de captura de los dficit son simi- y hacer comparaciones entre organizaciones
lares para los tipos de dficit 1 a 5 y se organizan relacionadas, a las cuales se les llama cohorte.
de la siguiente forma: Tambin mide y caracteriza en el tiempo cmo
las actividades de fortalecimiento institucional
afectan la capacidad organizacional. Adicional-
Formulario D: Dficits por Tarea
mente permite construir capacidades al interior
Descripcin de tarea de una organizacin as como seleccionar, im-
015.
020. plementar y seguir el cambio organizacional y
05.
005. Descripcin de tarea Grado 3 las estrategias de desarrollo.
010. Para todas las tareas de la actividad, los exportadores argentinos no cuentan con
015. una cultura cambio e innovacin que
020.
06. DCI relativos a relaciones interinstitucionales Grado 5 Uno de los instrumentos utilizados en este
005.
010. mtodo es la DOSA (Discussion-Oriented Or-
015. DCI relativos a org. interna/dist. de funciones Grado 2
020. El Ministerio de Economa y Obras y Servicios Pblicos, especialmente en el mbito
ganizational Self-Assessment, Autoevaluacin
07.
005.
de su Secretara de Comercio e
Organizacional Orientada a la Discusin), un
006.
010.
DCI relativos a capacidad fsica y financiera Grado 5 cuestionario con preguntas tanto de discusin
015.
020. DCI relativos a polticas de personal Grado 5 como individuales y las instrucciones para res-
021.
ponderlas16.
8.3.2.1 El proceso
Dentro del formulario, cada dficit debe estar
codificado y relacionado con su respectiva tarea, Esta herramienta permite evaluar una unidad
actividad y objetivo especfico. de anlisis especfica dentro del programa, una
organizacin o un grupo de organizaciones. Los
El seguimiento de los objetivos, actividades, tareas pasos a seguir para su desarrollo son:
y evolucin de los dficit se puede hacer con el
mismo sistema computacional, incluyendo en l Definir la cohorte de organizaciones que
un mdulo de monitoreo con las tareas a desa- participan en el cumplimiento de la misin
rrollar para corregir los dficit con el mismo nivel del programa.
de detalle que las otras tareas. De esta forma se
mantiene al da la informacin de monitoreo en Reunir a las organizaciones involucradas
todas las reas. Para mayor informacin respecto en un taller para disear la herramienta de
a este mtodo ver Ozlak y Orellana (2000). evaluacin.
15 Ibdem.
16 Para ver un ejemplo e informacin detallada al respecto, ver pgina web de USAID.
131
Determinar las tareas, actividades o capaci- Aprendizaje organizacional (trabajo en

dades crticas para cumplir con el objetivo y equipo, manejo de informacin).
que se quieren medir o resaltar.
Manejo estratgico (planeacin, gober-
Disear dos tipos de preguntas, para discusin nabilidad, misin del programa, sosteni-
e individuales. Las preguntas para discusin bilidad).
permiten que el grupo reflexione acerca de
aspectos clave minimizando el sesgo; las Entrega del servicio (procesos de entrega
preguntas individuales capturan la opinin y sostenibilidad).
de los miembros del grupo sobre estos temas
en una escala ordinal. Calificar estos temas de acuerdo con las res-
puestas de los cuestionarios en una escala
Una vez el instrumento est diseado se ordinal hasta que haya acuerdo en el grupo
aplica a cada una de las organizaciones de acerca de los puntajes.
la cohorte.
Analizar los resultados estadsticamente.
En caso de que se use la herramienta DOSA,
el facilitador maneja un grupo de discusiones 8.3.2.2 El producto
con respuestas individuales a cuestionarios
de 100 tems. Los participantes responden Son dos tipos de informes de calificacin, uno
de manera annima evaluando las prcticas de capacidad institucional en el que se pueden
en las siguientes reas (1=fuerte desacuerdo; ver reflejadas sus fortalezas y debilidades en
2=en desacuerdo; 3=neutral; 4=de acuerdo; cada una de las tareas o actividades, y otro de
5= fuertemente de acuerdo): consenso que muestra el grado de homogeneidad
en las respuestas de calificacin la capacidad
Relaciones externas (comunicaciones, institucional.
entre otras).
Por lo tanto, el DOSA es un instrumento que
Gestin de recursos financieros (presu- permite identificar las actividades o tareas
puestacin, manejo de recursos). crticas para el logro de los objetivos en las
cuales hay consenso en torno a su funciona-
Gestin de recursos humanos (capacita- miento (Tabla, todo el cuestionario en Levinger
cin, supervisin). y Bloom, 1997).
Cuestionario DOSA
Preguntas 3 y 4 - rea de Recursos Humanos
Fuertemente Fuertemente
Desacuerdo Neutral De acuerdo
en desacuerdo de acuerdo
Tenemos las competencias

del personal apropiadas 1 2 3 4 5
para lograr nuestra misin
Tenemos el adecuado
nmero de personas para 1 2 3 4 5
lograr nuestra misin
Fuente: Levinger y Bloom (1997).
132
Debido a que el proceso de construccin de Se asigna una calificacin a cada rea de

las calificaciones es participativo, puede tomar capacidad (ej: 1 = necesita atencin urgente
bastante tiempo llegar a los resultados de la y mejora; 2 = necesita atencin; 3 = necesita
evaluacin. Esta calificacin se hace en sesiones mejora; 4 = necesita mejorar en aspectos
de trabajo para responder a los cuestionarios definidos; 5 = espacio para alguna mejora;
individuales y a los cuestionarios con preguntas 6 = no hay necesidad de mejora inmediata).
para discusin. Se puede considerar como una Las reas de capacidad definidas son:
autoevaluacin, pues son los actores de la or-
ganizacin los que evalan su propio trabajo y Gobernabilidad (junta, objetivo, liderazgo,
las preguntas se pueden enfocar a evaluar cmo arreglos institucionales).
est funcionando la capacidad institucional en el
logro de los resultados del programa. Prcticas de gestin (estructura organi-
zacional, manejo de informacin, pro-
8.3.3 La metodologa OCAT17 cedimientos administrativos, personal,
planeacin, desarrollo de programas,
La metodologa OCAT (Organizational Capacity reporte de programas).
Assessment Tool Herramienta de Anlisis de Recursos humanos (desarrollo, funciones,
Capacidad Organizacional) es una tcnica de organizacin del trabajo, prcticas de
Monitoreo y Evaluacin Participativa (PME) desa- supervisin, salario y beneficios).
rrollada por la ONG Pact, debido a la necesidad
de evaluar su impacto en las actividades de Recursos financieros (contabilidad, pre-
construccin de capacidad organizacional. Esta supuesto, inventario, reportes, control).
herramienta se utiliza para diagnosticar las forta-
lezas y debilidades de una organizacin y provee Entrega de servicios (experiencia sectorial,
una lnea de base para mejorar las intervenciones anlisis de impacto).
en sus resultados.
Relaciones externas (relaciones pblicas,
colaboracin entre organizaciones).
El desarrollo organizacional es un proceso
continuo que optimiza el desempeo de una Sostenibilidad (del programa, del be-
organizacin en relacin con sus objetivos, neficio, organizacional, financiera, de
recursos y entorno18. recursos).
El anlisis se desarrolla con el apoyo de un

8.3.3.1 El proceso equipo evaluador y otro equipo de personas
externas a la organizacin que pueden dar una
Puede hacerse de manera interna o externa a la mirada objetiva e independiente. Resulta til
organizacin utilizando formatos de anlisis con incluir tantos participantes como sea nece-
siete reas de capacidades, cada una de stas sario dependiendo de su conocimiento o de
con otros elementos adicionales. Los pasos a la necesidad de que entiendan las fortalezas
seguir son: y debilidades de la capacidad institucional.
Tambin se pueden aadir personas al equipo
El equipo evaluador emplea diversas tcnicas de acuerdo al objetivo de la evaluacin.
de recoleccin de informacin como grupos
focales o entrevistas para recoger la informa- En un formato de evaluacin se califican en
cin necesaria para el anlisis. conjunto las diferentes reas, con base en
17 Booth, W. y R. Morin (1996).

18 Ibdem.
133
informacin recolectada. Los puntajes indican cin y su gestin, como para examinar la capacidad
los aspectos a mejorar. que tiene la organizacin u organizaciones para
la entrega de bienes o servicios.
Monitoreo y Evaluacin Participativa
(Participatory Monitoring and Evaluation - PME) PACT OCAT
Ejemplo hoja de evaluacin
parte B - Prcticas de Gestin
Es un proceso democrtico para examinar los
valores, progreso, restricciones y logros de pro-
1. Estructura organizacional
yectos por parte de los actores involucrados.
a. Tiene estructura organi-
Reconoce y valora las contribuciones sutiles
zacional con lneas de-
de personas a nivel local y las empodera para 1 2 3 4 5 6
finidas de autoridad y
involucrarse y contribuir al proceso de desa- responsabilidad
rrollo19. Sus principales caractersticas son:
2. Sistemas de informa-
Origen y objetivo de las preguntas: las cin
preguntas de evaluacin emergen de los a. Existen los sistemas para
1 2 3 4 5 6
intereses y prioridades de los participantes. levantar, analizar y difun-
dir datos e informacin
Utilidad y aplicacin: los participantes 3. Procedimientos admi-
desarrollan un entendimiento de los ob- nistrativos
jetivos e importancia de la evaluacin y a. Existen procedimientos
de la habilidad de conducir evaluaciones 1 2 3 4 5 6
administrativos y manua-
significativas. les y son adoptados
b. Son los manuales y pro-
Desarrollo de habilidades: a travs de la 1 2 3 4 5 6
cesos actualizados de
participacin en la actividad de evaluacin, manera permanente
se desarrolla la habilidad de levantamiento,
anlisis y utilizacin de la informacin. 4. Personal
a. Las prcticas de empleo
Lugar de control: participacin en activida- de personal se encuen-
1 2 3 4 5 6
des de monitoreo y evaluacin empodera tran claramente definidas
a los participantes para que se hagan y son adoptadas
responsables por analizar y articular el 5. Planeacin
impacto que un proyecto est teniendo a. Planes de operacin son
1 2 3 4 5 6
de acuerdo con sus prioridades. desarrollados, revisados,
actualizados y reflejan un
plan estratgico
8.3.3.2 El producto20 b. Recursos son planeados
1 2 3 4 5 6
El OCAT provee clasificaciones numricas para y asignados de manera
cada rea de capacidad y adems permite des- correcta
cribir estas ltimas segn estados progresivos c. Insumos para los inte-
1 2 3 4 5 6
de desarrollo organizacional. Adicionalmente, grantes estn incluidos
en la planeacin
identifica las fortalezas y las debilidades que se
d. Personal est involucrado
encuentran en la capacidad de la organizacin. Se 1 2 3 4 5 6
en la planeacin
puede emplear tanto para evaluar una organiza-
19 Booth y Morin (1996).

20 Para ver un formulario completo y mayor explicacin: http://www.pactworld.org/ocat.html Pact.Washington.
134
6. Desarrollo del programa programa, y sealar los procesos/actividades/

a. Actores y personal estn tareas que la componen para poder desagre-
involucrados en el dise- 1 2 3 4 5 6 garla.
o, planeacin y evalua-
Disear una serie de indicadores que reflejen
cin del programa
el desarrollo de estos procesos y darles una
b. Existe un sistema de M&E
ponderacin en el logro del objetivo o la
que incorpora la identifi-
misin.
cacin de indicadores y 1 2 3 4 5 6
procesos para modifica- Calificar cada indicador usando mtodos de
cin de programas recoleccin de informacin como entrevistas,
7. Reporte del programa informacin secundaria, grupos focales, entre
a. Reporta regularmente ac- otros.
1 2 3 4 5 6
tividades y resultados de
la evaluacin Al final, si aplica, tambin se pueden agregar
b. Publica y difunde repor- para lograr una calificacin de toda la capa-
1 2 3 4 5 6 cidad institucional.
tes en lecciones apren
didas
8.3.4.2 El producto
Fuente: Booth y Morin, 1996.
Una tarjeta de puntuacin o Scorecard que enu-

La OCAT es una auto-evaluacin organizacional mera y califica los principales indicadores de
participativa, aunque se puede adaptar para ser procesos/actividades/tareas de la capacidad
desarrollada de manera externa. institucional. Si existe un resultado que se refiere
a mltiples organizaciones puede ser til hacer un
8.3.4 La Lista de chequeo S/No o Tarjeta de indicador en trminos del nmero o porcentaje
puntuacin (Scorecard)21 de las organizaciones que llegan o superan un
determinado nivel, o calificar un mismo indicador
Este tipo de herramienta se puede utilizar para para cada organizacin.
analizar procesos, productos o caractersticas de
una organizacin o un arreglo institucional. Por Estos procesos deben estar enunciados sin ambi-
lo que para ser aplicada en la evaluacin institu- gedades, de manera transparente y concisa, y la
cional de un programa, es necesario que la lista calificacin debe tener muy clara la respuesta de
califique aspectos de la capacidad institucional S o No. La tarjeta de puntuacin puede ser una
existente frente a sus productos resultantes. En herramienta fcil y no costosa pues no requiere
la tarjeta de puntuacin o Scorecard se enuncian de intermediario para procesar los datos o de
una serie de caractersticas o actividades de la un experto en el tema, se puede hacer interna o
institucionalidad que se quiere evaluar, a las externamente y se puede levantar informacin
cuales se les aplica una calificacin de s o no, a travs de entrevistas, observacin o documen-
para despus agregarlas a nivel de programa. tos. El resultado es una lista de caractersticas o
indicadores clave de una organizacin califica-
8.3.4.1 El proceso dos. Esta se utiliza para: hacer comparaciones
entre entidades o seguimiento a indicadores a
Determinar lo que se quiere medir, la capa- travs del tiempo, medir reas de capacidad bien
cidad institucional para el desarrollo de un definidas con base en criterios determinados,
135
contrastar las percepciones con observaciones de manera progresiva, integral y focalizada,

empricas, tener calificaciones cuantitativas en reconociendo el papel de los agentes privados
reas de capacidad institucional. Estos insumos y la sociedad civil organizada en el mercado
permiten proponer correcciones a las reas que habitacional.
mostraron indicadores con avance restringido y
hacer seguimiento al progreso de estos. Fortalecer las capacidades de las instituciones
del nivel nacional para que ejerzan un rol ms
activo en la implementacin de la PVPD y el
8.4 Estudio de caso: Poltica de papel de las entidades territoriales como sus
Vivienda y Tierras para PD ejecutores, a partir de la dinamizacin de las
herramientas de gestin y la adopcin de un
Evaluacin de la Capacidad Institucional de los sistema efectivo de incentivos.
componentes de Vivienda y Tierras de la Pol-
tica de Atencin a la Poblacin en Situacin de Minimizar los costos de transaccin, tanto en
Desplazamiento22 (2010). las barreras de acceso para la PSD como en
los trmites asociados en los que incurren los
8.4.1 La Poltica actores que intervienen en la materializacin
de una solucin de vivienda.
El objetivo general de la poltica propuesta por
el gobierno nacional era garantizar el derecho a En relacin con la poltica de tierras, el gobierno
la vivienda adecuada a la poblacin desplazada nacional ha desarrollado lineamientos con base
de manera progresiva, en consideracin con sus en un diagnstico que aborda tres problemas
condiciones culturales y de vulnerabilidad, a principales23:
travs de instrumentos que permitan avanzar en
la satisfaccin del goce efectivo de los derechos. La magnitud del despojo de tierras frente
Para lograrlo, se establecieron los siguientes a un universo de hogares para restituir sus
objetivos especficos: derechos, que es cercano al medio milln.
La complejidad que supone la misma resti-

Mejorar la articulacin de la Poltica de Vi- tucin, por cuanto se reconoce que existen
vienda para la Poblacin Desplazada (PVPD) distintos tipos de vctima y por ende distintos
con los componentes de la poltica de aten- derechos o expectativas de derechos. Por cada
cin integral a la Poblacin en Situacin de predio normalmente hay reclamos de distintas
Desplazamiento (PSD), a travs del fortale- vctimas y los procesos de cada vctima estn
cimiento de los sistemas de informacin, la interrelacionados pero no necesariamente
comunicacin entre las entidades del Sistema ocurren al mismo tiempo.
Nacional de Atencin Integral a la Poblacin
Desplazada (SNAIPD) y la continuidad de las Una limitada capacidad institucional por
intervenciones, de tal forma que se brinde lo que, en primer trmino, las vctimas no
una atencin integral, sostenible y progresiva. cuentan con asistencia permanente para
la compilacin de informacin y pruebas.
Adecuar los instrumentos de la PVPD a las Tampoco se ha logrado una adecuada coordi-
condiciones especficas de vulnerabilidad de nacin de funciones, que actualmente estn
dicha poblacin y los grupos poblacionales dispersas, y finalmente, la entrega material
que la componen, para asegurar el acceso de enfrenta dificultades por falta de seguridad
la PSD a una solucin de vivienda adecuada, y suficiente gestin institucional.
22 Informe metodolgico e Informe Final de la Evaluacin de la capacidad institucional de los componentes de vivienda y tierras de la
poltica de atencin a la poblacin en situacin de desplazamiento. Centro Nacional de Consultora (C.N.C) para Direccin de Evaluacin
de Polticas Pblicas, Departamento Nacional de Planeacin. Mayo a diciembre de 2010.
23 Sntesis con base en los documentos publicados por el gobierno nacional de lineamientos de poltica pblica en materia de tierras.
136
En este marco, la nueva poltica se ha planteado proteccin, la reparacin y la formalizacin).

como objetivo general contribuir a restablecer Contempla, a su vez, la tipologa de las vctimas
el goce efectivo de los derechos de la poblacin entendidas bajo las categoras de la vinculacin
desplazada, en riesgo de desplazamiento y otras con la tierra en calidad de propietarios, posee-
vctimas del despojo de la tierra y el territorio, me- dores, ocupantes, tenedores y la vinculacin
diante un enfoque de acceso a la justicia integral y de las comunidades tnicas con sus territorios
diferencial. La nueva poltica en materia de tierras indgenas y afrocolombianos, as como el em-
ha definido los siguientes objetivos especficos: prendimiento de gestiones integrales para la
restitucin y el acceso a la justicia.
Restituir los derechos y las expectativas de
derechos sobre la propiedad de la tierra y El segundo corresponde a la adecuacin y
los territorios a las vctimas del despojo, ajuste de un marco normativo para la resti-
atendiendo a la magnitud y complejidad de tucin integral, que incorpore los criterios
este fenmeno, y contribuyendo al esclare- de las nuevas formas de justicia transicional
cimiento de la verdad de las modalidades y y el fortalecimiento jurisdiccional para la
efectos del despojo. restitucin tierras.
Desarrollar programas para la restitucin de
El tercero est relacionado con los ajustes
tierras y territorios de manera integral y con
institucionales necesarios para la gestin inte-
enfoque diferencial, incluyendo acciones
gral de la restitucin, a partir de la adecuacin
de prevencin, proteccin, formalizacin y
institucional de unidades especializadas para
garantas de no repeticin.
el cumplimiento de dicho propsito, el forta-
Disear y poner en marcha un sistema de lecimiento de las funciones de las entidades
atencin a las vctimas, oportuno, gil y de encargadas de la gestin de la restitucin y
bajos costos, que facilite su acceso a la justi- la creacin de la comisin intersectorial de la
cia, en articulacin con la poltica de verdad, poltica de tierras para la poblacin desplaza-
justicia y reparacin. da, la poblacin en riesgo de desplazamiento
y otras vctimas de del despojo.
Adecuar y fortalecer la administracin de jus-
ticia relacionada con la poltica de restitucin 8.4.2 La evaluacin
de tierras y territorios.
El objetivo de la evaluacin era: Valorar si la ca-
Contribuir a reparar el menoscabo a la po- pacidad de gestin de las instituciones es suficiente
blacin afectada por la prdida del uso de para responder de manera eficiente y oportuna a la
la tierra objeto del despojo. realizacin de los derechos de las vctimas, en otras
palabras, si las entidades valoradas estn dotadas
Contribuir a mejorar las condiciones de vida de los correspondientes recursos y si en consecuen-
de la poblacin objetivo de esta poltica cia pueden responder a la demanda creciente de
mediante su articulacin con otras polticas, servicios de una poblacin altamente vulnerable
especialmente las de verdad, justicia y repa- que representa cerca del 10% de la poblacin del
racin, vivienda y generacin de ingresos. pas, para el caso concreto a efectos de garantizar
el derecho a la reparacin integral de las personas
El enfoque dado a la poltica por parte del go- desplazadas a travs de vivienda y tierras.
bierno nacional se concentra bsicamente en tres
puntos articuladores: 8.4.3 Metodologa
El primero de ellos se relaciona con la concep- La metodologa adoptada para el desarrollo de la

cin integral de la restitucin (las modalidades evaluacin institucional fue el Sistema de Anlisis
de la restitucin en s misma, la prevencin, la de Capacidad Institucional (SADCI)24.
137
Para el desarrollo del estudio, el Centro Nacional sent un porcentaje por encima del 85% en esos
de Consultora empez haciendo un diagnstico aspectos. Se destaca el caso de las Oficinas de
general de la poltica de atencin a la PSD, con Registro e Instrumentos Pblicos (ORIP) donde se
el propsito de tener un dimensionamiento del encontr un reducido 38%, explicado principal-
problema y un anlisis de la institucionalidad mente por ausencia de normatividad concerniente
vigente, debido a la complejidad del problema a acciones concretas frente a personas que no
y de las entidades vinculadas a estas polticas. son poseedores.
Posteriormente se realizaron unos mapas institu-
cionales y fichas tcnicas de cada organizacin, Despus de analizar las problemticas con tablas,
para luego aplicar la metodologa SADCI con el se realiz un resumen del total de instituciones
desarrollo de una evaluacin desde la ptica de que participaron dentro de la implementacin de
la oferta y la demanda. la poltica de tierras. Se observ que la entidad
que evidenci las mayores brechas en capacidad
Las mediciones de los dficits institucionales fue- institucional para dar una respuesta adecuada a
ron el resultado de entrevistas adelantadas a las las necesidades fueron las ORIP, con un acumulado
instituciones de acuerdo con un instrumento de de cerca del 58%, seguidas por la Fiscala General
captura de informacin que calific una serie de de la Nacin con un 43,3%. A pesar de que las
criterios acordados de antemano con el Departa- otras instituciones analizadas presentan menores
mento Nacional de Planeacin (DNP), los puntajes brechas se destaca que ninguna de ellas alcanza
variaron entre 1 y 5, en donde 1 correspondi a la una capacidad cercana al 100%, slo Accin Social
calificacin ms baja y 5 a la calificacin ms alta. se ubic por encima del 80%, el restante tiene
El anlisis de estas entrevistas permiti identificar en promedio un 40% de brecha en capacidad.
una serie de logros y cuellos de botella (dficits)
con respecto a la normatividad, las relaciones Posteriormente se identificaron una serie de lo-
interinstitucionales, la organizacin interna de gros y cuellos de botella (dficits) con respecto
cada programa, su capacidad financiera y fsica, a la normatividad, las relaciones interinstitucio-
y su poltica de personal. El anlisis se present nales, la organizacin interna de cada programa,
por institucin. su capacidad financiera y fsica, y su poltica de
personal.
A continuacin se exponen, a manera de ejemplo,
los resultados de la metodologa con respecto a Finalmente, con base en la informacin de las
la normatividad. En este caso, la mayora de las entrevistas y el anlisis de los dficits, la firma
instituciones manifest tener deficiencias en el realiz una propuesta institucional para la poltica
tema normativo, slo el Ministerio Pblico pre- de atencin a la poblacin desplazada.
24 Oszlak, O. y E. Orellana. La capacidad del Anlisis Institucional: Aplicacin de la Metodologa SADCI. Documentos TOP sobre gestin
Pblica. Buenos Aires, Centro de Desarrollo y Asistencia Tcnica en Tecnologa para la Organizacin pblica., 2000.
138
Problemtica relacionada con la normatividad

(datos en porcentajes, donde 1= 0% y 5=100%)
SNR ORIP INCODER IGAC CNRR FISCALA MIN. PUB. ACCIN SOC.
Criterios
1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5
Todas las funciones estn definidas en la normatividad X X X X X X X X
Cuenta con instrumentos para materializar la norma X X X X X X X X
Los empleados conocen las normas X X X X X X X X
Los empleados implementan las normas X X X X X X X X
La normatividad actual es suficiente y facilita las tareas X X X X X X X X
Las normas son de fcil aplicacin X X X X X X X X
La normatividad recoge con claridad la competencia

X X X X X X X
del programa
La normatividad que cubre este programa tiene un en-

X X X X X X X X
foque diferencial
La normatividad que cubre este programa tiene un en-

X X X X X X X X
foque territorial
Conocimiento de la PTPD propuesta X X X X X X X X
Cambios de normatividad requeridos para ajustar sus

X X X X X X X X
actividades a la PTPD propuesta
Promedio 59.1 38.6 59.1 72.7 68.2 70.5 88.6 75.0
Fuente: C.N.C. para DEPP DNP (2010).
Dficits por aspectos evaluados

(datos en porcentajes, donde 1= 0% y 5=100%)
Interinstitu- Org. Cap. Finan. Polit.

Instituciones* Normativo Promedio
cional Interna y Fsica Personal
Snr 59,1 70,8 65,0 68,8 70.8 66.9
Orip 38,6 37,5 65,0 18,8 50.0 42.0
Incoder 59,1 66,7 60,0 68,8 58.3 62.6
Igac 72,7 62,5 65,0 50,0 54.2 60.9
Cnrr 68,2 75,0 85,0 68,8 79.2 75.2
Fiscala 70,5 62,5 75,0 25,0 50.0 56.6
Ministerio
88,6 70,8 90,0 56,3 70.8 75.3
Pblico
Accin Social 75,0 87,5 90,0 75,0 83.3 82.2
Fuente: C.N.C. para DEPP DNP (2010).

Nota: SNR: Superintendencia Notariado y Registro; CNRR: Comisin Nacional de Reparacin y Reconciliacin.
139
CAPTULO IX
Captulo IX
Glosario
Gkuna
Actividades: lo que el programa hace con sus Ciclo de vida de la intervencin: perodo temporal
insumos para lograr su misin. Las actividades que abarca desde que se concibe y disea la in-
del programa resultan en productos. tervencin hasta que se manifiestan sus impactos.
Actores implicados o involucrados: Instituciones Comit de seguimiento de la evaluacin: estruc-

o Entidades pblicas o privadas, organizaciones tura formal de apoyo a la gestin del proceso
no gubernamentales, universidades, asociacio- evaluativo que facilita y propicia la participacin
nes profesionales y empresariales o empresas de los actores clave.
privadas, entre otros, que participan, directa o
indirectamente, en la planificacin, ejecucin, Efecto: cambio, intencionado o no, debido directa
seguimiento y evaluacin de una poltica. o indirectamente a una intervencin.
Benchmarks (punto de referencia): son datos de Enfoque estructurado: este enfoque tiene como
desempeo usados para hacer comparaciones. Un objetivo hacer la recoleccin de todos los datos
programa puede usar su informacin de lnea de de manera homognea y similar. Ver Ramirez
base para comparar con un segundo levantamiento (2009) y Menon Et Al (2009).
de informacin o contra otro programa.
Enfoque semi-estructurado: este enfoque hace la
Beneficiarios: el grupo especfico de personas recoleccin de los datos de manera heterognea,
(fsicas o jurdicas) que se benefician directa o con la utilizacin de instrumentos diferentes. Ver
indirectamente de una intervencin, tambin Trochim (2006).
llamado grupo beneficiario o tratamiento.
Insumos: recursos financieros, humanos y ma-
Beneficios: es el valor o la utilidad de los resultados teriales empleados en una intervencin. En un
de una intervencin. Estos sern generalmente programa, los insumos son el soporte de las
los objetivos finales del programa, pero puede actividades.
tambin aludirse a aquellos beneficios que no
sean imputables directamente al programa en s. Intervencin: cualquier programa, plan, poltica u
otra forma de planificacin diseada para producir
Cadena de resultados: es la secuencia causal de cambios en la poblacin objetivo.
una intervencin de un programa que estipula
la secuencia para lograr los objetivos deseados, Jerarqua de objetivos: clasificacin de objetivos
comenzando con los insumos, pasando por las a distintos niveles; por ejemplo: objetivos finales,
actividades y los productos, y culminando en el objetivos especficos y medidas de resultado y
efecto directo, el impacto y la retroalimentacin. realizacin.
143
Muestreo: seleccin de una proporcin de indi- motores de la evaluacin para impulsar su puesta
viduos o casos a partir de una gran poblacin. en marcha. Pueden tener su origen en un mandato
reglamentario o en otro tipo de motivaciones. A
Objetivo del proyecto o programa: se refiere a los partir de ellos se define el objetivo general de
resultados fsicos, financieros, institucionales, so- la evaluacin.
ciales, ambientales o de otra ndole que se espera
que el proyecto o programa contribuya a lograr. Proyecto: nivel ms concreto de programacin
o unidad mnima de planificacin. Intervencin
Objetivo especfico: es la razn inmediata de un planificada destinada a lograr ciertos objetivos
proyecto, el efecto que se espera que el proyecto especficos con un presupuesto dado y dentro
vaya a lograr si se completa con xito y a tiempo. de cierto perodo de tiempo.
Objetivo final: declaraciones especficas me- Rango de un conjunto de informacin: se defi-

diante las cuales se considera el cumplimiento ne como la diferencia entre la observacin ms
deseado de los programas de intervencin social. grande y la ms pequea. No obstante, aunque
Las razones principales por las que un programa/ es una medida muy fcil de calcular, el problema
poltica existe. Se encuentran en el primer nivel del rango es que desconoce toda la informacin
de la jerarqua de objetivos. que se encuentra entre las observaciones que
acotan la muestra.
Productos: son el resultado de las actividades
del programa. Los productos del programa de- Resultado o efecto: efectos directos e inmediatos
ben generar los resultados deseados para sus producidos por la ejecucin de una intervencin.
participantes.
Seguimiento: proceso continuo y sistemtico de
Programa: grupo de proyectos o servicios rela- recoleccin de datos para verificar lo realizado
cionados y dirigidos hacia el logro de objetivos y sus resultados, tanto en trminos fsicos como
especficos. financieros. Ofrece informacin necesaria para
mejorar la gestin y aplicacin de la intervencin
Propsitos de la evaluacin (motivaciones para as como para su evaluacin.
evaluar): razn o razones que motivan a los pro-
144
CAPTULO X
Captulo X
Bibliografa de apoyo
Jean-Pierre Chretien
Accin Social (2007, Octubre). Informe Final de Resultados, Banco Asitico de Desarrollo, Operations Evaluation De-
Evaluacin del Programa Red de Seguridad Alimentaria partment (OED). Guidelines to Avoid Conflict of Interest
RESA. Informe desarrollado por el Centro de Estudios in Independent Evaluations, Abril 2005. Disponible
Regionales Cafeteros y Empresariales (Crece) para en: www.adb.org/documents/guidelines/evaluation/
Accin Social, Presidencia de la Repblica. Bogot. independent-evaluation.pdf
Anderson, A. (2007). The Community Builders Approach Banco Mundial (2006). Consulting Service Manual
to Theory of Change: A Practical Guide To Theory 2006: A Comprehensive Guide to the Selection of
Development. USA. New York. The Aspen Institute Consultants, Washington DC. Disponible en: si-
Roundtable on Community Change. teresources.worldbank.org/INTPROCUREMENT/
Argyrous, George (2009). Evidence for Policy and Decision- Resources/2006ConsultantManual.pdf
Making: A Practical Guide. Sydney, NSW, AUS: UNSW Banco Mundial, Sourcebook for Evaluating Global and
Press. Regional Partnership Programs: Indicative Principles
Arrow, Kenneth, Maureen Cropper, George Eads, Robert Hahn, and Standards, Grupo de Evaluacin Independiente y
Lester Lave, Roger Noll, Paul Portney, Milton Russell, Red del CAD. Disponible en: siteresources.worldbank.
Richard Schmalensee, Kerry Smith & Robert Stavins org/EXTGLOREGPARPRO/Resources/sourcebook.pdf
(1996). Is There a Role for Benefit-Cost Analysis in En- Barber, Michael (2009). Instruction to Deliver: Tony Blair,
vironmental, Health, and Safety Regulation?. Science. the Public Services and the Challenge of Achieving
Ascott, Elizabeth (2006). Benefit Cost Analysis of Wonderworld Targets. UK. Politicos Publishing Ltd; illustrated edition.
Drive Overpass in San Marcos, Texas. Applied Research Beck T. (2006). Evaluating Humanitarian Action Using OECD/
Project. Texas State University. DAC Criteria.
Asian Development Bank (2007). Guidelines for Preparing a Bent Flyvbjerg, Mette K. Skamris Holm & Sren L. Buhl (2002).
Design and Monitoring Framework. En: Project Perfor- Underestimating Costs in Public Works Projects: Error
mance Management System (Second edition). or Lie? Journal of the American Planning Association,
vol. 68, no. 3, Summer 2002.
B.O.T. (2004). Manual de evaluacin expost de proyectos:
Bent Flyvbjerg, Mette K. Skamris Holm & Sren L. Buhl
Versin 1, para Convenio Andrs Bello. Bogot.
(2005). How (In)accurate Are Demand Forecasts in
Baker, Judy (2000). Evaluacin del impacto de los proyectos
Public Works Projects? The Case of Transportation.
de desarrollo en la pobreza: Manual para profesionales.
Journal of the American Planning Association, vol. 71,
Washington: Banco Mundial, IEG, Poverty Analysis,
no. 2, Spring 2005.
Monitoring and Impact Evaluation Thematic Group.
Bent Flyvbjerg, Nils Bruzelius & Werner Rothengatter (2003).
Bamberger, Michael (2006). Conducting Quality Impact
Megaprojects and Risk: An Anatomy of Ambition.
Evaluations under Budget, Time and Data Constraints.
Cambridge University Press.
Washington: Banco Mundial, IEG, Poverty Analysis, Best, Joel (2001). Damned Lies and Statistics: Untangling
Monitoring and Impact Evaluation Thematic Group. Numbers from the Media, Politicians, and Activists.
Bamberger, Michael (2010). Reconstructing Baseline data University of California Press.
for impact evaluation and results measurement. The Bliss, M. & Emshoff, J. (2005). Workbook for Designing a
World Bank, Prem Notes. November 2010, Number 4. Process Evaluation. Atlanta (Georgia), Department of
Special series on The Nuts and Bolts of M&E Systems. Economy-Georgia State University.
Bamberger, Michael (Editor) (1999). Integrating quantitative Blundell, Richard & Monica Costa Dias (2000). Evaluation
and qualitative research in development projects. Methods for Non-experimental Data. Fiscal Studies,
Washington: World Bank. Directions in development. 21 (4): 427-468.
Bamberger, Rugh & Mabry (2006). Real World Evaluation: Boardman, A; Greenberg, D; Vining, A & Weimer, D (1996).
Working under Budget, Time, Data, and Political Cons- Cost-Benefit Analysis: Concepts and Practice. Upper
traints. Thousand Oaks (California), Sage Publications. Saddle River, N.J. Prentice Hall.
147
Booth, W. & R. Morin (1996). Assessing Organizational Capa- vity Performance and Effectiveness. Department for
city through Participatory Monitoring and Evaluation International Development.
Handbook. Preparado para Pact Ethiopian NGO Sector DEPP (2010). Metodologas DEPP: Seleccin de la evaluacin.
Enhancement Initiative. Washington, USAID. Documento para discusin. DEPP, DNP. Bogot.
Boyle, P.; Lyons, K. & Bamberger, M. (2007). Strengthening DEPP (n.d). Lineamientos metodolgicos, la Evaluacin
Results-based Evaluation in Colombia. DNP, Social Ejecutiva (E2). Direccin de Evaluacin de Polticas
Impact. Pblicas. Secretara Tcnica de Sinergia, Departamento
Campbell & Stanley (1963). Experimental and Quasi- Nacional de Planeacin. Colombia.
Experimental Designs for Research. DEPP, DNP (2006). Evaluacin Ejecutiva: Informe Final.
Cavanos, G. (1999). Applied probability and statistical Direccin de Evaluacin de Polticas Pblicas. Secre-
methods. McGraw Hill. Virginia Commonwealth Uni- tara Tcnica de Sinergia, Departamento Nacional de
versity. Planeacin. Colombia.
Centro Nacional de Consultora (2010, Diciembre). Informe DEPP, DNP (2006, Marzo). Informe de Lnea de Base reali-
Final de la Evaluacin de la capacidad institucional de zado para la Evaluacin intermedia del programa de
los componentes de vivienda y tierras de la poltica Vivienda de Inters Social Urbana. Crece, Manizales.
de atencin a la poblacin en situacin de desplaza- DEPP, DNP (2010). Evaluacin Ejecutiva (E2) Programa Estra-
miento. Direccin de Evaluacin de Polticas Pblicas, tegia Territorios Digitales: Aprovechamiento de las TIC
Departamento Nacional de Planeacin. en Colombia. Consultora realizada por Julio Villarreal.
Centro Nacional de Consultora (2010, Mayo). Informe DEPP, DNP (2011). Diplomado en monitoreo y evaluacin
metodolgico de la Evaluacin de la capacidad insti- de polticas pblicas. Mdulo Evaluaciones.
tucional de los componentes de vivienda y tierras de Desrosieres, Alain (2004). The Politics of Large Numbers: A
la poltica de atencin a la poblacin en situacin de History of Statistical Reasoning. Harvard University
desplazamiento. Direccin de Evaluacin de Polticas Press.
Pblicas, Departamento Nacional de Planeacin. DNP (2009). Gua Metodolgica para la formulacin de
Chakravarty, Sukhamoy (1987). Cost-benefit analysis, indicadores. Departamento Nacional de Planeacin,
The New Palgrave: A Dictionary of Economics, v. 1, Bogot.
pp. 68790. Duflo, Esther, Rachel Glennerster & Michael Kremer (2008).
Charles, A.; Steve, J. & Lawrence, K. (2001). Quality Manage- Using Randomization in Development Economics
ment for Industrial Process. En: Quality Management Research: A Toolkit. En: Handbook of Development
Review. Economics, vol. 4, ed. T. Paul Schultz & John Strauss,
Comit Conjunto de Estndares para la Evaluacin Educati- 3895-3962. Amsterdam: North-Holland.
va, Programme Evaluation Standards: How to Assess Dupuit, Jules (1969). On the Measurement of the Utility of
Evaluations of Educational Programmes, 2 ed., Sage Public Works. En: Readings in Welfare Economics, ed.
Publications, Thousand Oaks, CA. Managing for De- Kenneth J. Arrow & Tibor Scitovsky.
velopment Results (MfDR) Initiative. Disponible en: Eckstein, Otto (1958). Water-resource Development: The
www.mfdr.org Economics Of Project Evaluation. Harvard University
Cutler, Carol & Russel, Ruth (2008). Using mixed methods Press, Cambridge.
in pilot testing. ESCAP (2009). Evaluation Guidelines. ESCAP Monitoring
DANE (2001). Metodologa para la formulacin de planes and Evaluation System. United Nations, Economic and
estadsticos. Bogot. Social Commission for Asia and the Pacific (ESCAP).
DANE (2002). Consideraciones metodolgicas para la cons- Evalsed (n.d). Los recursos para la evaluacin del desarrollo
truccin de indicadores. Mimeo. Bogot. socio-econmico. Comisin Europea. http://ec.europa.
DANE (2004). Aspectos Metodolgicos de la Planificacin eu/regional_policy/sources/docgener/evaluation/
Estadstica. Direccin de Regulacin, Planeacin, evalsed/index_en.htm
Normalizacin y Estandarizacin - DIRPEN, Bogot. Feinstein O. & G. Ingram (2003). Lessons Learned from World
DANE (2004). Lnea Base: aspectos metodolgicos. Bogot. Bank Experiences in Joint Evaluation, Documento de
Danida (1998-1999). Guidelines for an Output and Outcome sala sometido a la Red de Evaluacin, OCDE, Pars,
Indicator System. Copenhagen, Danida. Francia. Disponible en: http://www.oecd.org/dataoecd/
Danida (1999, Noviembre). Output and Outcome Indicators secure/15/13/31736431.pdf
System Manual. Copenhagen, Danida. Fenton, Dave (2008). Three key relationships in the service
DAPR, FIP, DNP (2006, Diciembre). Informe final Evaluacin delivery chain. Achieving Superior Delivery Chain
de impacto del programa Familias en Accin Subsi- Management: Information Management Magazine.
dios condicionados de la red de apoyo social. Unin Ferrara, A. (2010). Cost-Benefit Analysis of Multi-Level Gover-
temporal IFS, Econometra y SEI. Bogot. nment: The Case of EU Cohesion Policy and US Federal
Davies, Rick (2003). Network Perspective in the Evaluation Investment Policies. London & New York, Routledge.
of Development Interventions: More than a Metaphor. FIDA (Fondo Internacional de Desarrollo Agrcola), Conflict
Paper presented at the EDAIS Conference New Direc- of Interest of Consultants and Widening the Pool of
tions in Impact Assessment for Development: Methods Evaluation Specialists.
and Practice, November 2425. Folland, Sherman; Allen C. Goodman & Miron Stano (2007).
Dearden, E. & Jones, E. (2002). Tools for Development: A The Economics of Heath and Health Care. Fifth ed.
Handbook for Those Engaged in Development Acti- Pearson Prentice Hall, New Jersey.
148
Fondo del Medio Ambiente Mundial, Monitoring and Eva- Kosub, Jeffry (2010). Transitioning to a Greener Fleet: A Cost-
luation Policy, Febrero de 2006, Disponible en: http:// Benefit Analysis of a Vehicle Fleet Program at the Texas
www.undp.org/gef/05/documents/me/GEF_ME_Poli- General Land Office in Austin, Texas (2010). Applied
cies_and_Precedures_06.pdf Research Projects. Texas State University, Paper 329.
Garca, Sandra. (2009). Evaluaciones ejecutivas en el contexto Disponible en: ecommons.txstate.edu/arp/329http://
de la evaluacin. Bogot, Universidad de los Andes- ecommons.txstate.edu/arp/329
Escuela de Gobierno. Kusek, J. & Rist, R. (2004). Ten Steps to a Results-Based
Gestin para Resultados de Desarrollo (GpRD), Second Monitoring and Evaluation System. A Handbook for
International Roundtable Marrakech 2004; Annex 1: Development Practitioners. Washington, World Bank.
Promoting a Harmonized Approach to Managing for Kusek, Judy & Gorgensen, Marelize (2010). Making Monitoring
Development Results: Core Principles. Disponible en: and Evaluation Systems Work: A Capacity Development
www.mfdr.org/documents/2CorePrinciples05Feb04. Toolkit. Washington, World Bank.
pdf Kusek, Judy & Rist, Ray (2005). Manual Para gestores del
Girishankar, Navin (2001). Evaluating the Public Sector Re- Desarrollo. Diez Pasos hacia un Sistema de Seguimiento
form. Guidelines for Assessing Country-Level impact of y evaluacin basado en resultados. Banco Mundial,
Structure Reform and Capacity Building. Operations Washington.
Evaluation Department. Washington, The World Bank. Kusters, Cecile et al. (2011). Making Evaluations Matter: a
GNUD (2007). CCA and UNDAF Guidelines. Disponible en: practical guide for evaluators. Centre for Development
www.undg.org/?P=232 Innovation, Wageningen University & Research centre.
GNUD (2007). CCA/UNDAF Monitoring and Evaluation Lettieri, J. & Nelson, E. (2004). Theory of Lean Production.
Guidelines. Disponible en: www.undg.org/index. Washington, National Academy of Business.
cfm?P=259 Levinger, B. & E. Bloom (1997). Introduction to DOSA: An
GNUD, Human Rights Based Approach to Development. Outline Presentation. Disponible en: www.edc.org/
Disponible en: www.undg.org/index.cfm?P=74 int/capdev/dosafile/dosintr.htm
Gmez, Ana (2007). Metodologa de evaluaciones estratgicas Lindley, D. V. (1985). Making Decisions, 2. edicin, John
(Documento de discusin). DNP-Sistema Nacional de Wiley & Sons.
Evaluacin de Resultados de la Gestin Pblica, Bogot. Little, I. M. D. & Mirrlees, J. A. (1994). The Costs and Benefits
Grgens, Marelize & Kusek, Jody (2010). Making Monitoring of Analysis: Project Appraisal and Planning Twenty
and Evaluation Systems Work: A Capacity Development Years On. En: R. Layard & S. Glaister (eds), Cost Benefit
Toolkit. Washington, World Bank. Analysis 2nd ed., Cambridge University Press.
Gupta, Anju (2002). Review of Impact Evaluation Methodo- Lusthaus Charles, Marie-Hlne Adrien, Gary Anderson &
logies Used By the Operations Evaluation Department Fred Carden (1999). Enhancing Organizational Per-
Over Past 25 Years. Banco Mundial-IEG, Poverty Analysis, formance: A toolbox for self assessment. International
Monitoring and Impact Evaluation Thematic Group, Development Research Centre, Canad.
Washington. Maass, Arthur (ed) (1962). Design Of Water-resource Systems:
Hacking, Ian (1990). The Taming of Chance. Cambridge New Techniques For Relating Economic Objectives,
University Press. Engineering Analysis, And Governmental Planning.
Heyer, Molly (2001). A Bibliography for Program Logic Mo- Cambridge, Harvard University Press.
dels/Logframe Analysis. Evaluation Unit, International Mackay, Keith (2007). Cmo crear sistemas de SyE que
Development Research Centre. contribuyan a un buen gobierno. Banco Mundial-IEG.
Hirshleifer, Jack (1960). Water Supply: Economics, Techno- Poverty Analysis, Monitoring and Impact Evaluation
logy, and Policy. Chicago, University Of Chicago Press. Thematic Group, Washington.
HM Treasury. The Green Book, Appraisal and Evaluation in Malik, Khalid (2002). Manual de seguimiento y evaluacin de
Central Government. London, The Stationery Office. resultados. Nueva York, Oficina de Evaluacin del PNUD.
International Development Association (2002). Measuring Mark M.; Henry G. & Julnes G. (2000). Evaluation: An Inte-
Outputs and Outcomes in IDA Countries. Disponible grated Framework For Understanding, Guiding, And
Improving Public And Nonprofit Policies And Programs.
en: siteresources.worldbank.org/IDA/Resources/Semi-
Jossey-bass.
nar%20PDFs/measuring%20outputs.pdf
McCawley, P. (2001). The Logic Model for Program Planning
Kellogg Foundation (1998). Evaluation handbook.
and Evaluation. Moscow, University of Idaho.
Kellogg Foundation (2004). Evaluation Logic Model Deve-
McKean, Roland N. (1958). Efficiency In Government Through
lopment Guide: Using Logic Models to Bring together
Systems Analysis: With Emphasis On Water Resources
Planning, Evaluation, and Action.
Development. New York, Wiley.
Khandker, S.; Koolwal, G & Samad, H. (2009). Handbook on
McNamara, Carter (2006). Basic Guide to outcomes-based
Quantitative Methods Of Program Evaluation. Banco
evaluation for nonprofit organizations with very limited
Mundial-IEG, Poverty Analysis, Monitoring and Impact
resources, adaptado de: Field Guide to Nonprofit Pro-
Evaluation Thematic Group, Washington.
gram Design, Marketing and Evaluation. Authenticity
Khandker, S.; Koolwal, G & Samad, H. (2010). Handbook
Consulting, LLC, Minneapolis, Minnesota.
on Impact Evaluation. Banco Mundial-IEG, Poverty
McNamara, Carter (2006). Basic Guide to Program Evalua-
Analysis, Monitoring and Impact Evaluation Thematic
tion. Disponible en: managementhelp.org/evaluation/
Group, Washington.
program-evaluation-guide.htm
149
Medina, Eva. (2002). Modelos economtricos e informacin OCHA (2007). Guidelines: Results-Oriented Planning &
estadstica. UNAM, Facultad de economa. Monitoring, pg. 11. Naciones Unidas, Resolution
Menon, S.; Karl, J. & Wignaraja, K. (2009). Handbook On Adopted by the General Assembly: Triennial Com-
Planning, Monitoring And Evaluating For Development prehensive Policy Review of Operational Activities
Results. United Nations Development Programme, for Development of the United Nations System, A/
New York. RES/59/250, Agenda del 59 Periodo de Sesiones,
Mikel, H. & Schroeder, R. (2004). Six Sigma: The Breakthrough Punto 90 (b).
Management Strategy. New York, McGraw Hill. OECD (1999). Improving Evaluation Practices: Best Practice
Mishan, E.J. (1982). Cost-Benefit Analysis, Third Edition. Guidelines for Evaluation and Background Paper.
George Allen & Unwin Ltd, London. OECD (2002). Glosario de los principales trminos sobre
Mohr, Lawrence B. (1995). Impact Analysis for Program Eva- evaluacin y gestin basada en resultados. En: Eva-
luation. Thousands Oaks (California), Sage Publications. luation and aid effectiveness, No. 6. Development
Morgan, Peter (1999). An Update on the Performance Moni- assistance Committee.
toring of Capacity Development Programs. What are Ozlak, O. & Orellana E. (2000). El anlisis de la capacidad
we Learning?. Paper presented at the meeting of the institucional: aplicacin de la metodologa SADCI,
DAC Informal Network on Institutional and Capacity Documentos TOP sobre gestin Pblica. Buenos Aires,
Development held in Ottawa, May 3-5. Centro de Desarrollo y Asistencia Tcnica en Tecnologa
Morra, L. & Friedlander, A. (2001). Evaluaciones mediante para la Organizacin pblica.
estudios de caso. Departamento de Evaluacin de Patton, Michael Q. (1997). Utilization- Focused Evaluation
Operaciones del Banco Mundial, Washington. The New Century Text. 3th ed., Sage Publications.
Morra, L. & Rist, R. (2009). The Road to Results: Designing Patton, Michael Q. (2002). Qualitative Evaluation and Re-
and Conducting Effective Development Evaluations. search Methods, 3rd ed. Thousand Oaks (CA), Sage
Washington, World Bank. Publications.
Morse, Janice M. & Lyn Richards (2002). The Integrity of Patton, Michael Q. (2008). Utilization-Focused Evaluation,
Qualitative Research. En: Read Me First for a Users 4th ed. Thousand Oaks (CA), Sage Publications.
Guide to Qualitative Methods, J. M. Morse & L. Richards Patton, Michael Q. (2009). Outcome Mapping: Building,
(eds). Thousand Oaks (CA), Sage Publications. Learning and Reflection into Development Programs.
National Audit Office & Vose, D. (1996). Measuring costs Ottawa, International Development Research Centre.
and benefits: A guide on cost benefit and cost effec- Pawson, Ray (2006). Evidence-Based Policy: A Realistic Pers-
tiveness analysis. pective. New Brunswick (New Jersey), Sage Publications.
North, Douglas (1996). Institutions, institutional change and Pearce, David & Markandya, Anil (1989). Contingent Va-
economic performance. Cambridge University Press. luation. En: Environmental Policy Benefits: Monetary
OCDE (1991). DAC Principles for Evaluation of Develop- Valuation, OECD.
ment Assistance, Comit de Asistencia al Desarrollo PMA (2000). WFP Principles and Methods of Monitoring
(CAD). Pars, Francia. Disponible en: www.oecd.org/ and Evaluation, perodo de sesiones anual de la Junta
dataoecd/21/32/41029845.pdf Ejecutiva. Roma, 22 a 26 de Mayo.
OCDE (2000). Effective Practices in Conducting a Multi-donor PNUD (1997). Monitoreo y evaluacin orientados a la obten-
Evaluation. Pars, Francia. Disponible en: www.oecd. cin de resultados: Manual para los administradores
org/dataoecd/10/28/2667318.pdf de programas. Oficina de Evaluacin y Planificacin
OCDE (2002). Glossary of Key Terms in Evaluation and Estratgica.
Results-Based Management, Comit de Asistencia al PNUD (2006). La poltica de Evaluacin del PNUD, Docu-
Desarrollo (CAD). Pars, Francia. Disponible en: www. mento de la Junta Ejecutiva DP/2005/28. Disponible
oecd.org/dataoecd/29/21/2754804.pdf en: www.undp.org/eo/documents/Evaluation-Policy.pdf
OCDE (2005). DAC Workshop on Joint Evaluations: Cha- PNUD (2007). Ensuring Quality Control and Policy Cohe-
llenging the Conventional Wisdom the View from rence: BDP Quality Assurance and Clearance Process.
Developing Country Partners. Comit de Asistencia al
Direccin de Polticas de Desarrollo. Disponible en:
Desarrollo (CAD), Nairobi, Kenya. Disponible en: www.
intra.undp.org/bdp/clearance_process.htm
oecd.org/dataoecd/20/44/34981186.pdf
PNUD (2007). Guidelines for an Assessment of Development
OCDE (2006). DAC Guidance for Managing Joint Evalua-
Results (ADR), Oficina de Evaluacin, Nueva York.
tions, Comit de Asistencia al Desarrollo (CAD).
Disponible en: intra.undp.org/eo/documents/ADR/
Pars, Francia. Disponible en: www.oecd.org/da-
framework/ADR_Guide.pdf
taoecd/28/14/37484787.pdf
PNUD (2007). Standard Third-Party Cost-Sharing Agree-
OCDE (2008). Guidance on Conflict Prevention and Pea-
ment. Direccin de Alianzas. Disponible en: content.
cebuilding Activities: Working Draft for Application
undp.org/go/groups/brsp/Non-Core/Formats/?g11n.
Period. Disponible en: www.oecd.org/secure/pdf-
enc=ISO-8859-1
Document/0,2834 ,en_2157136130097720_3977
PNUD (2007). The Evaluation of Results Based Management
4574_1_1_1_1,00.pdf
at UNDP. Oficina de Evaluacin, Nueva York.
OCDE. Criteria from Evaluating Development Asstan-
PNUD (2008). Practice Note on Capacity Assessment.
se, Comit de Asistencia al Desarrollo (CAD). Dis-
PNUD (2008). Programme and Operations Policies and
ponible en: www.oecd.org/document/22/0,2340,
Procedures. Disponible en: content.undp.org/go/
en_2649_34435_2086550_1_1_1_1,00.html
userguide
150
PNUD (2008). UNDP Strategic Plan, 2008-2011: Accelerating Sistema Nacional de Evaluacin de Resultados de la Gestin
Global Progress on Human Development. Documen- Pblica (2007, Octubre). Metodologa de evaluaciones
to de la Junta Ejecutiva DP/2007/43 (en virtud de estratgicas. Versin para discusin.
DP/2007/32), reedicin. Social Impact (2008). Strengthening Results-based Eva-
PNUD (2009). Assessment of Development Results (ADR) luation in Colombia. Prepared for the Departamento
Guidelines. Oficina de Evaluacin, Nueva York. Dis- Nacional de Planeacin by Social Impact, Inc. Dr. Philip
ponible en: intra.undp.org/eo/documents/ADR/ADR- Boyle, Karen Lyons & Dr. Michael Bamberger.
Guide-2009.pdf Squire, Lyn & Van der Tak, Herman G. (1995). Economic Analy-
PNUD (2009). Manual de planificacin, seguimiento y eva- sis of Projects, A World Bank Research Publication, 8th
luacin de los resultados de desarrollo. Programa de Edition. The Johns Hopkins University Press, Baltimore.
las Naciones Unidas para el Desarrollo, Nueva York. Suchman, Edward A. (1967). Evaluative Research: Principles
PNUD (n.d). Knowing the What and the How, RBM in UNDP: and Practice in Public Service Action Programs. New
Technical Note. Disponible en: www.undp.org/eo/ York, Russell Sage Foundation.
documents/methodology/rbm/RBM-technical-note.doc Talbot, Colin (2010). Performance in Government: The
PNUD. RBM in UNDP: Technical Note. Evolving System of Performance and Evaluation Mea-
PNUD. Supporting Capacity Development: The UNDP surement, Monitoring, and Management in the United
Approach. Disponible en: www.capacity.undp.org/ Kingdom. Independent Evaluation Group - ECD,
indexAction.cfm?module=Library&action=GetFile&- Working Paper Series No. 24, November. The World
DocumentAttachmentID=2141 Bank, Washington.
Portney, Paul R. (1950). Benefit-Cost Analysis. En: The Library Taylor-Powell, E. & Henert, E. (2009). Developing a logic
Of Economics and Liberty. Proposed Practices For Eco- model: Teaching and training guide. University of
nomic Analysis Of River Basin Projects. Washington, Wisconsin-Extension.
U.S. Govt. Print. Off. Tevfik F. Nas (1996). Cost-Benefit Analysis: Theory and
Procuradura General de la Nacin (PGN), Banco Interame- Application. Thousand Oaks (CA), Sage.
ricano de Desarrollo (BID), Departamento Nacional The International Initiative for Impact Evaluation (3ie) (2009).
de Planeacin (DNP) (2008, Agosto). Programa de Impact Evaluation Glossary
apoyo al fortalecimiento de la Procuradura General Tijms, Henk (2004). Understanding Probability: Chance
de la Nacin, Contrato de Prstamo BID 1459 OC-CO. Rules in Everyday life. Cambridge University Press.
Evaluacin Final del programa. Bogot. Tobelem, Alain (1992). Institutional capacity analysis and
Purdon, S.; Lessof, C.; Woodfield, K & Bryson, C. (2001). development system (ICADS). LATPS Occasional Pa-
Research Methods For Policy Evaluation (National per Series N9. Public Sector Management Division,
Centre for Social Research. Department for Work and Technical Department Latin America and the Caribbean
Pensions Research Working Paper No. 2). Region of the World Bank.
Ravallion, Martin (2008). Evaluating Anti-poverty Programs. Treasury Board of Canada Secretariat (1998). Benefit-Cost
En: Handbook of Development Economics, vol. 4, T. Analysis Guide. Ottawa.
Paul Schultz & John Strauss (eds.), 3787-3846. Am- Trochim, William & Donnelly, James (2006). The Research
sterdam, North-Holland. Methods Knowledge Base, 3rd Edition.
Robertson, D. & Smith, H. (2005). Six-Sigma Methodology UNDP (1999). Selecting Key Results Indicators, Suggestions
Applied to Industrial Process. En: Quality Management and Practical Advice from EO and OSG. Disponible
Review. en: stone.undp.org/undpweb/eo/evalnet/docstore3/
Rosas, A. (2008). Una ruta metodolgica para evaluar la yellowbook/documents/key_indicators.pdf
capacidad institucional. Revista: Poltica y cultura. UNEG (2005). Norms for Evaluation in the UN System.
Vol. 30. Pg. 119-134. Mxico. Disponible en: www.unevaluation.org/unegnorms
Rossi P.; Lipsey M. & Freeman H. (2004). Evaluation: A Sys- UNEG (2005). Standards for Evaluation in the UN System.
tematic Approach. Sage publications. Disponible en: www.unevaluation.org/unegstandards.
Salmen, Lawrence F. (1987). Listen to the People: Participant UNEG (2007). Ethical Guidelines for Evaluation. Dis-
Observation Evaluation of Development Projects. New ponible en: www.uneval.org/search/index.
York, Oxford University Press. jsp?q=ethical+guidelines
Scriven, Michael (1991). Evaluation Thesaurus, Fourth edition. UNEG (2007). Role of Evaluation in RBM: Final Report,
Sage Publications. Reunin General Anual. Disponible en: cfapp1-
Servicio de Calidad a la Atencin Sanitaria-Sescam (2002). La docs-public.undp.org/eo/evaldocs1/uneg_2006/
gestin por procesos, disponible en: www.chospab.es/ eo_doc_722014901.pdf
calidad/archivos/Documentos/Gestiondeprocesos.pdf UNEG (2007). The Role of Evaluation in Results-Based
Shadish, Cook & Campbell (2002). Experimental & Quasi- Management. Disponible en: www.unevaluation.
Experimental Designs for Generalized Causal Inference. org/papersandpubs/documentdetail.jsp?doc_id=87
Boston, Houghton Mifflin. UNEG (2008). UNEG TrainingWhat a UN Evaluator Needs
Sigler, Stephen M. (1990). The History of Statistics: The to Know?, Mdulo 1.
Measurement of Uncertainty before 1900. Belknap UNEG, Guidance on Integrating Human Rights and Gender
Press/Harvard University Press. Equality Perspectives in Evaluations in the UN System.
151
UNFPA (2000). Institutionalization of Results-based Ma- USAID (2010). Performance Monitoring and evaluation TIPS,
nagement at UNFPA. Disponible en: www.unfpa.org/ Baselines and Targets. No. 8, second edition.
results/index.htm Valadez, J. & M. Bamberger (ed.) (1994). Monitoring and
UNFPA (2000). RBM at UNFPA. Oficina de Gestin Basada Evaluating Social Programs in Developing Countries.
en los Resultados. Disponible en: www.unfpa.org/ Washington, D.C.: Economic Development Institute of
results/index.htm the World Bank Series, World Bank.
UNFPA (2004, Agosto). Programme Managers Planning Volle, Michel (1984). Le mtier de statisticien 2. ed.,
Monitoring & Evaluation Toolkit. Tool Number 6: Pro- Econmica.
gramme Indicators. Part I: Identifying Output Indicators World Bank (1996). Performance Monitoring Indicators. A
- The Basic Concepts. Division for Oversight Services. Handbook for Task Managers. Washington, Operations
Disponible en: www.hfrp.org/publications-resources/ Policy Department.
browse-our-publications/indicators-definition-and- World Health Organization (2000). Outcome Evaluation.
use-in-a-results-based-accountability-system United Nations Development Programme, New York.
UNICEF (1991). EVALUATION A UNICEF Guide for Monito- World Health Organization (2000). Process Evaluation. United
ring and Evaluation Making a Difference?. Oficina Nations Development Programme, New York.
de Evaluacin. Zaltsman, Ariel (2006). Desarrollo de la capacidad de eva-
UNICEF (1998). Democratic Evaluation: A proposal for luacin: Experiencias con la institucionalizacin en
strengthening the evaluation function in International cinco pases latinoamericanos. Serie Documentos de
Development Organizations. Documento de trabajo Trabajo, no. 16. Washington, Banco Mundial.
#3, Mayo.
Unicef (2008). Toolkit on evaluation. United Nations Muestreo (Sampling)
Childrenss Fund/ Egypt Country Office.
Unicef, International Program Evaluation Network-IPEN (2006). Adr, H. J., Mellenbergh, G. J., & Hand, D. J. (2008). Advising on
New Trends in Development Evaluation. Evaluation
research methods: A consultants companion. Huizen,
Working Papers, Issue # 5. UNICEF regional Office for
The Netherlands: Johannes van Kessel Publishing.
CEE/ CIS and IPEN.
ASTM E105 Standard Practice for Probability Sampling Of
Unin Temporal IFS Econometra S.A. SEI (2004). Informe
Materials
anlisis de resultados de las primeras convocatorias
ASTM E122 Standard Practice for Calculating Sample Size to
de programa Jvenes en Accin. Consultora para
Estimate, With a Specified Tolerable Error, the Average
la evaluacin de impacto del Subprograma Jvenes
for Characteristic of a Lot or Process
en Accin.
ASTM E1402 Standard Terminology Relating to Sampling
Unin Temporal Universidad de los Andes Profamilia
ASTM E141 Standard Practice for Acceptance of Evidence
(2007). Evaluacin del impacto del programa Hogares
Comunitarios de Bienestar del ICBF, Informe de Lnea Based on the Results of Probability Sampling
de Base. DEPP, DNP. ASTM E1994 Standard Practice for Use of Process Oriented
United Way of America (1996). Measuring Program Outcomes: AOQL and LTPD Sampling Plans
A Practical Approach. Alexandria, Virginia. ASTM E2234 Standard Practice for Sampling a Stream of
United Way of America. Outcome measurement What and Product by Attributes Indexedby AQL
why? An overview. Outcome measurement resource Bartlett, J. E., II, Kotrlik, J. W., & Higgins, C. (2001). Organiza-
network. Disponible en: www.liveunited.org/Outcomes/ tional research: Determining appropriate sample size
Resources/What/OM_What.cfm for survey research. Information Technology, Learning,
UNSSC, Draft Technical Brief: Outcomes. and Performance Journal, 19(1) 4350.
USAID (1996). Selecting Performance Indicators. En: Per- Chambers, R L, and Skinner, C J (editors) (2003), Analysis of
formance Monitoring and Evaluation. TIPS, No. 6. Survey Data, Wiley, ISBN 0-471-89987-9
Disponible en: www.dec.org/pdf_docs/pnaby214.pdf. Cochran, William G. (1977). Sampling Techniques (Third ed.).
USAID (1996). Establishing Performance Targets. En: Per- Wiley. ISBN0-471-16240-X.
formance Monitoring and Evaluation. TIPS, No. 8. Deming, W. Edwards (1966). Some Theory of Sampling. Dover
Disponible en: www.dec.org/pdf_docs/pnaby226.pdf. Publications. ISBN0-486-64684-X. OCLC166526.
USAID (1997). Performance Monitoring and Evaluation, Deming, W. Edwards (1975) On probability as a basis for
TIPS, No. 11. action, The American Statistician, 29(4), pp146152.
USAID (1998). Managing for Results at USAID, ponencia Gy, P (1992) Sampling of Heterogeneous and Dynamic Ma-
preparada por Annette Binnendijk para el Curso prctico terial Systems: Theories of Heterogeneity, Sampling
sobre gestin y evaluacin de la actuacin profesional. and Homogenizing
Nueva York, 5 a 7 de Octubre. http://www.statpac.com/surveys/sampling.htm.
USAID (1998). Guidelines for Indicator and Data Quality. En: Kish, Leslie (1995) Survey Sampling, Wiley, ISBN 0-471-
Performance Monitoring and Evaluation. TIPS, No. 12. 10949-5
Disponible en: www.dec.org/pdf_docs/pnaca927.pdf. Korn, E L, and Graubard, B I (1999) Analysis of Health Surveys,
USAID (2000). Measuring Institutional Capacity, Recent Wiley, ISBN 0-471-13773-1
Practices in Monitoring and Evaluation. TIPS, No. 15. Lohr, Sharon L. (1999). Sampling: Design and Analysis. Dux-
Disponible en: www.dec.org/usaid_eval/#004. bury. ISBN0-534-35361-4.
152
Pedhazur, E., & Schmelkin, L. (1991). Measurement design The Social Science Research Laboratory (SSRL) - San Diego
and analysis: An integrated approach. New York: Psy- State University.
chology Press. UK Longitudinal Studies Centre - University of Essex
Srndal, Carl-Erik, and Swensson, Bengt, and Wretman, Jan
(1992). Model Assisted Survey Sampling. Springer-
Capacidad organizacional, construccin
Verlag. ISBN0-387-40620-4.
Smith, T. M. F. (1984). Present Position and Potential Develo- institucional, fortalecimiento institucional,
pments: Some Personal Views: Sample surveys. Journal desarrollo organizacional
of the Royal Statistical Society. Series A (General) 147
(The 150th Anniversary of the Royal Statistical Society): Center for Democracy and Governance (1998). Handbook
208221. doi:10.2307/2981677. http://www.jstor. of Democracy and Governance Program Indicators.
org/stable/2981677. JSTOR2981677 Washington, U.S. Agency for International Development.
Smith, T. M. F. (1993). Populations and Selection: Limitations Christian Reformed World Relief Committee (1997). Part-
of Statistics (Presidential address). Journal of the Royal nering to Build and Measure Organizational Capacity.
Statistical Society. Series A (Statistics in Society) 156 Grand Rapids, Mich.
(2): 144166. doi:10.2307/2982726. http://www.jstor. Cooper, S.; and R. O.Connor (1993). Standards for Organi-
org/stable/2982726. JSTOR2982726 (Portrait of T. zational Consultation: Assessment and Evaluation
M. F. Smith on page 144) Instruments. Journal of Counseling and Development
Smith, T. M. F. (2001). Biometrika centenary: Sample sur- 71: 651-9.
veys. Biometrika 88, (1): 167243. doi:10.1093/ Counterpart International (n.d). CAP Monitoring and Evalua-
biomet/88.1.167. http://biomet.oxfordjournals.org/ tion Questionnaire.
cgi/content/abstract/88/1/167. Counterpart International (n.d). Manual for the Workshop on
Smith, T. M. F. (2001). Biometrika centenary: Sample surveys. Development of a Training and Technical Assistance
In D. M. Titterington and D. R. Cox. Biometrika: One Plan (TTAP).
Hundred Years. Oxford University Press. pp.165194. Counterpart International (n.d). Institutional Assessment
ISBN0-19-850993-6. Indicators.
Stuart, Alan (1962) Basic Ideas of Scientific Sampling, Hafner Drucker, P. & C. Roseum (1993). How to Assess Your Nonpro-
Publishing Company, New York fit Organization with Peter Druckers Five Important
Walonick, David S. (1997). A Selection from Survival Statis- Questions: User Guide for Boards, Staff, Volunteers
tics. ISBN 0-918733-11-1. Published by: StatPac, Inc., and Facilitators. Jossey Bass.
8609 Lyndale Ave. S. #209A, Bloomington, MN 55420 Eade, D (1997). Capacity-Building: An Approach to People-
Whittle, P. (May 1954). Optimum preventative sampling. Centred Development. Oxford, Oxfam.
Journal of the Operations Research Society of America Fowler, A.; L. Goold & R. James (1995). Participatory Self As-
2 (2): 197203. http://www.jstor.org/stable/166605. sessment of NGO Capacity, INTRAC Occasional Papers
Series No. 10. Oxford.
Encuesta (survey) Hatry, H.; L. Blair; D. Fisk; J. Grenier; J. Hall & P. Schaenman
(1992). How Effective Are Your Community Services?
Procedures for Measuring Their Quality. Washington,
De Leeuw, E.D. (2001). I am not selling anything: Experiments
The Urban Institute.
in telephone introductions. Kwantitatieve Methoden, International Working Group on Capacity Building for NGOs
22,41-48. (1998). Southern NGO Capacity Building: Issues and
Dillman, D.A. (1978) Mail and telephone surveys: The total Priorities. New Delhi, Society for Participatory Re-
design method. New York: Wiley. search in Asia.
European Survey Research Association International Working Group on Capacity Building for NGOs
Groves, R.M. (1989) Survey Costs and Survey Errors. New (1998). Strengthening Southern NGOs: The Donor
York: Wiley. Perspective. Washington, USAID & The World Bank.
http://whatisasurvey.info/ Kelleher, D. & K. McLaren with R. Bisson (1996). Grabbing
Joint Program in Survey Methodology (JPSM) - University of the Tiger by the Tail: NGOs Learning for Organiza-
Maryland-College Park and University of Michigan- tional Change. Canadian Council for International
Ann Arbor Cooperation.
Mellenbergh, G.J. (2008). Chapter 9: Surveys. In H.J. Adr Lent, D. October (1996). What is Institutional Capacity?. On
& G.J. Mellenbergh (Eds.) (with contributions by D.J. Track: The Reengineering Digest, 2 (7): 3. Washington,
Hand), Advising on Research Methods: A consultants U.S. Agency for International Development.
companion (pp. 183-209). Huizen, The Netherlands: Lusthaus, C.; G. Anderson & E. Murphy (1995). Institutional
Johannes van Kessel Publishing. Assessment: A Framework for Strengthening Organi-
Methodology and Statistics for the Social and Behavioral zational Capacity for IDRCs Research Partners. IDRC.
Sciences - Utrecht University, the Netherlands Mentz, J.C.N. (1997). Personal and Institutional Factors in
Survey Design and Measurement Initiative Capacity Building and Institutional Development.
Survey Research Methods Section of the American Statistical European Centre for Development Policy Management
Association Working Paper No. 14.
153
Morgan, P. & A. Qualman. (1996). Institutional and Capa- Organizational Capacity Indicator: Christian Reformed World
city Development, Results-Based Management and Relief Committee. Grand Rapids, Mich.
Organisational Performance. Canadian International Smith, P.; L. Kendall & C. Hulin (1969). The Measurement of
Development Agency. Satisfaction in Work and Retirement. Rand McNally.
OECD (2002). Glosario de los principales trminos sobre Hackman, J.R.; and G.R. Oldham (1975). Job Diagnostic Survey:
evaluacin y gestin basada en resultados. Development of the Job Diagnostic Survey. Journal of
Development assistance Committee - Pact (n.d). What is Applied Psychology 60: 159-70.
Prose?. Evaluation and aid effectiveness No. 6. Goodstein, L.D. & J.W. Pfeiffer, eds (1985). Alexander Team
PNUD (2009). Manual de planificacin, seguimiento y eva- Effectiveness Critique. The 1995 Annual Developing
luacin de los resultados de desarrollo. Programa de Human Resources. Pfeiffer & Co.
las Naciones Unidas para el Desarrollo, New York. Bourgeois, L.J.; D.W. McAllister & T.R. Mitchell (1978). Prefe-
Renzi, M. (1996). An Integrated Tool Kit for Institutional De- rred Organizational Structure: The Effects of Different
velopment. Public Administration and Development Organizational Environments Upon Decisions About
16: 469-83. Organizational Structure. Academy of Management
Renzi, M. (n.d). The Institutional Framework: Frequently Journal 21: 508-14.
Asked Questions. Unpublished paper. Management Kraut, A. (1996). Customer and Employee Surveys and Orga-
Systems International. nizational Surveys: Tools for Assessment and Change.
Sahley, C. (1995). Strengthening the Capacity of NGOs: Cases Jossey Bass Publishers.
of Small Enterprise Development Agencies in Africa. UNDP Capacity Building and CapBuild Software: magnet.
INTRAC NGO Management and Policy Series. Oxford. undp.org
Save the Children (n.d). Institutional Strengthening Indicators: Sustainable development measurement: iisd1.iisd.ca/measure
Self Assessment for NGOs. USAIDs New Partnerships Initiative Resource Guide: www.
UNDP (1997). Capacity Assessment and Development, Tech- info.usaid.gov/pubs/npi
nical Advisory Paper No. 3. Management Development World Bank: www.worldbank.org/html/oed/instdtxt.htm
and Governance Division, New York. International Union for the Conservation of Nature and
Bureau for Policy and Program Coordination (1995). USAID.U.S. Capacity building: www.iucn.org/themes/ssp/
PVO Partnership. Policy Guidance. Washington: U.S. Conservation monitoring: www.wcmc.org.uk/capacity_buil-
Agency for International Development. ding
Office of Private and Voluntary Cooperation (1998). USAID
Support for NGO Capacity-Building: Approaches, Desempeo en el gobierno
Examples, Mechanisms. Washington, U.S. Agency for
International Development.
Office of Private and Voluntary Cooperation (1998). Results Cave, M.; M. Kogan, et al., Eds. (1990). Output and Performance
Review Fiscal Year 1997. Washington, U.S. Agency for Measurement in GovernmentThe State of the Art.
International Development. London, Jessica Kingsley Publishers.
NPI Learning Team (1997). New Partnerships Initiative: A Comptroller and Auditor General (1998). Benefits Agency:
Strategic Approach to Development Partnering. Wash- Performance Measurement. London, National Audit
ington, U.S. Agency for International Development. Office.
NPI Learning Team (1997). Institutional Capacity Needs Comptroller and Auditor General (2000). Good Practice in Per-
Assessment. formance Reporting in Executive Agencies and Non-De-
Whorton, J. & D. Morgan (1975). Measuring Community Perfor- partmental Public Bodies. London, National Audit Office.
mance: A Handbook of Indicators. University of Oklahoma. Comptroller and Auditor General (2001a). Measuring the
World Bank (1996). Partnership for Capacity Building in Performance of Government Departments. London,
Africa: Strategy and Program of Action. Washington. National Audit Office.
World Learning (1998). Institutional Analysis Instrument: An Gershon, P. (2004). Releasing Resources for the Frontline:
NGO Development Tool. Independent Review of Public Sector Efficiency (Ger-
shon Review). London, HM Treasury.
HM Treasury (2001). Choosing the Right FABRIC - A Framework
Herramientas de medicin de capacidad for Performance Information. London, HM Treasury.
institucional Jowett, P. & M. Rothwell (1988). Performance Indicators in
the Public Sector. Macmillan.
Discussion-Oriented Organizational Self-Assessment: National Audit Office (2006). PSA Targets: Performance Infor-
www.edc.org/int/capdev/dosafile/dosintr.htm mation Survey Report. London, National Audit Office.
Institutional Development Framework: Management Systems Talbot, C. (1998). Output and Performance AnalysisTime
International. Washington. to Open Up the Debate. Public Money and Manage-
Pact. Organizational Capacity Assessment Tool: www.pact- ment 18(2).
world.org/ocat.html Talbot, C. (2010). Theories of PerformanceOrganizational
New TransCentury Foundation. Dynamic Participatory Insti- and service improvement in the public domain. Oxford,
tutional Diagnostic. Arlington, Va. Oxford University Press.
154
Aleatoriedad Hoddinott, John & Emmanuel Skoufi (as.) (2004). The Impact
of PROGRESA on Food Consumption. Economic Deve-
lopment and Cultural Change, 53 (1): 37-61.
Abadie, Alberto; Joshua D. Angrist & Guido W. Imbens (2002).
Imbens, Guido & Joshua Angrist (1994). Identification and
Instrumental Variables Estimates of the Effect of Sub-
Estimation of Local Average Treatment Effects. Eco-
sidized Training on the Quantiles of Trainee Earnings.
nometrica, 62 (2): 467-476.
Econometrica, 70 (1): 91117.
Kish, Leslie (1987). Statistical Design for Research. New
Angrist, Joshua; Eric Bettinger; Erik Bloom; Elizabeth King &
York, Wiley.
Michael Kremer (2002). Vouchers for Private Schooling
Miguel, Edward & Michael Kremer (2004). Worms: Identifying
in Colombia: Evidence from a Randomized Natural Expe-
Impacts on Education and Health in the Presence of
riment. American Economic Review, 92 (5): 1535-1558.
Treatment Externalities. Econometrica, 72 (1): 159-217.
Banerjee, Abhijit; Shawn Cole; Esther Duflo & Leigh Linden
Moffitt, Robert (2003). The Role of Randomized Field Trials
(2007). Remedying Education: Evidence from Two
in Social Science Research: A Perspectiva from Eva-
Randomized Experiments in India. Quarterly Journal
luations of Reforms from Social Welfare Programs.
of Economics, 122 (3): 1235-1264.
NBER Technical Working Paper 295. National Bureau
Behrman, Jere & John Hoddinott (2005). Programme Eva-
of Economic Research, Cambridge, MA.
luation with Unobserved Heterogeneity and Selective
Quandt, Richard (1972). Methods for Estimating Switching
Implementation: The Mexican PROGRESA Impact on
Regressions. Journal of the American Statistical Asso-
Child Nutrition. Oxford Bulletin of Economics and
ciation, 67 (338): 306-310.
Statistics, 67 (4): 547-569.
Ravallion, Martin (2008). Evaluating Anti-Poverty Programs.
Behrman, Jere; Susan Parker & Petra Todd (2009). Long-Term
En: Handbook of Development Economics, vol. 4, T.
Impacts of the Oportunidades Condicional Cash-
Paul Schultz and John Strauss (eds.), 3787-3846.
Transfer Program on Rural Youth in Mexico. En: Poverty,
Amsterdam, North-Holland.
Inequality, and Policy in Latin America, Stephan Klasen
Roy, Andrew D. (1951). Some Thoughts on the Distribution
& Felicitas Nowak-Lehmann (eds.), 21970. Cambridge,
of Earnings. Oxford Economic Papers, 3 (2): 135-146.
MA: MIT Press.
Schultz, T. Paul (2004). School Subsidies for the Poor:
Bjr klund, Anders & Robert Moffi tt. (1987). The Estimation
Evaluating the Mexican PROGRESA Poverty Program.
of Wage Gains and Welfare Gains in Self-Selection Mo-
Journal of Development Economics, 74 (1): 199-250.
dels. Review of Economics and Statistics, 69 (1): 42-49.
Skoufias, Emmanuel & Vincenzo di Maro (2007). Conditional
Dammert, Ana (2007). Heterogeneous Impacts of Conditional
Cash Transfers, Adult Work Incentives, and Poverty.
Cash Transfers: Evidence from Nicaragua. Working
Policy Research Working Paper 3973, World Bank,
Paper, McMaster University, Hamilton, ON, Canada.
Washington.
De Janvry, Alain; Frederico Finan; Elisabeth Sadoulet & Renos
Todd, Petra & Kenneth Wolpin (2006). Assessing the Impact
Vakis (2006). Can Conditional Cash Transfer Programs
of a School Subsidy Program in Mexico: Using a Social
Serve as Safety Nets in Keeping Children at School and
Experiment to Validate a Dynamic Behavioral Model
from Working When Exposed to Shocks? Journal of
of Child Schooling and Fertility. American Economic
Development Economics, 79 (2): 349-373.
Review, 96 (5): 1384417.
Djebbari, Habiba & Jeffrey Smith (2008). Heterogeneous
Impacts in PROGRESA. IZA Discusin Paper 3362.
Institute for the Study of Labor, Bonn, Germany. Mtodo de pareo o correspondencia
Duflo, Esther; Rachel Glennerster & Michael Kremer (2008). (propensity score matching)
Using Randomization in Development Economics
Research: A Toolkit. En: Handbook of Development
Bryson, Alex; Richard Dorsett & Susan Purdon (2002). The
Economics, vol. 4, T. Paul Schultz and John Strauss
Use of Propensity Score Matching in the Evaluation
(eds.), 3895962. Amsterdam: North-Holland.
of Active Labour Market Policies. Working Paper 4.
Gertler, Paul (2004). Do Conditional Cash Transfers Improve
Department for Work and Pensions, London.
Child Health? Evidence from PROGRESAs Control
Caliendo, Marco & Sabine Kopeinig (2008). Some Practical
Randomized Experiment. American Economic Review,
Guidance for the Implementation of Propensity Score
Papers and Proceedings, 94 (2): 336-341.
Matching. Journal of Economic Surveys, 22 (1): 31-72.
Gin, Xavier; Dean Karlan & Jonathan Zinman (2008). The
Chen, Shaohua; Ren Mu & Martin Ravallion (2008). Are There
Risk of Asking: Measurement Effects from a Baseline
Lasting Impacts of Aid to Poor Areas? Evidence for
Survey in an Insurance Takeup Experiment. Working
Rural China. Policy Research Working Paper 4084.
Paper, Yale University, New Haven, CT.
World Bank, Washington.
Heckman, James J. & Edward J. Vytlacil (2000). Local Instru-
Dehejia, Rajeev (2005). Practical Propensity Score Matching:
mental Variables. NBER Technical Working Paper 252.
A Reply to Smith and Todd. Journal of Econometrics,
National Bureau of Economic Research, Cambridge, MA.
125 (12): 355-364.
Heckman, James J. & Edward J. Vytlacil (2005). Structural
Efron, Bradley & Robert J. Tibshirani (1993). An Introduction
Equations, Treatment Effects, and Econometric Policy
to the Bootstrap. Boca Raton (Florida), Chapman & Hall.
Evaluation. Econometrica 73 (3): 669-738.
155
Fan, Jianqing (1992). Design-Adaptive Nonparametric Regres- En: Handbook of Development Economics, vol. 4, T.
sion. Journal of the American Statistical Association, Paul Schultz and John Strauss (eds.), 3847-3894.
87 (420): 998-1004. Amsterdam, North-Holland.
Fan, Jianqing (1993). Local Linear Regression Smoothers
and Their Minimax Efficiencies. Annals of Statistics,
21 (1): 196-216.
Doble diferencia
Godtland, Erin; Elisabeth Sadoulet; Alain de Janvry; Rinku
Murgai & scar Ortiz (2004). The Impact of Farmer- Bell, Brian; Richard Blundell & John van Reenen (1999). Ge-
Field-Schools on Knowledge and Productivity: A Study tting the Unemployed Back to Work: An Evaluation of
of Potato Farmers in the Peruvian Andes. Economic the New Deal Proposals. International Tax and Public
Development and Cultural Change, 52 (1): 129-158. Finance, 6 (3): 339-360.
Hahn, Jinyong; Keisuke Hirano & Dean Karlan (2008). Adap- Bertrand, Marianne; Esther Duflo & Sendhil Mullainathan
tive Experimental Design Using the Propensity Score. (2004). How Much Should We Trust Differences-in-Di-
Working Paper 969. Economic Growth Center, Yale fferences Estimates? Quarterly Journal of Economics,
University, New Haven, CT. 119 (1): 249-275.
Heckman, James J.; Hidehiko Ichimura & Petra Todd (1997). Chaudhury, Nazmul & Dilip Parajuli (2006). Conditional
Matching as an Econometric Evaluation Estimator: Cash Transfers and Female Schooling: The Impact of
Evidence from Evaluating a Job Training Programme. the Female School Stipend Program on Public School
Review of Economic Studies, 64 (4): 605-654. Enrollments in Punjab, Pakistan. Policy Research Wor-
Heckman, James J.; Hidehiko Ichimura & Petra Todd (1998). king Paper 4102. World Bank, Washington.
Matching as an Econometric Evaluation Estimator. Gruber, Jonathan (1994). The Incidence of Mandated Maternity
Review of Economic Studies, 65 (2): 261-294. Benefits. American Economic Review, 84 (3): 62241.
Heckman, James J.; Robert LaLonde & Jeffrey Smith (1999). Hirano, Keisuke; Guido W. Imbens & Geert Ridder (2003).
The Economics and Econometrics of Active Labor Mar- Efficient Estimation of Average Treatment Effects
ket Programs. En: Handbook of Labor Economics, vol. Using the Estimated Propensity Score. Econometrica,
3,Orley Ashenfelter & David Card (eds.), 1865-2097. 71 (4): 1161-1189.
Amsterdam, North-Holland.
Jalan, Jyotsna & Martin Ravallion (1998). Are There Dynamic
Hirano, Keisuke; Guido W. Imbens & Geert Ridder (2003).
Gains from a Poor-Area Development Program? Journal
Efficient Estimation of Average Treatment Effects
of Public Economics, 67 (1): 65-85.
Using the Estimated Propensity Score. Econometrica,
Khandker, Shahidur R.; Zaid Bakht & Gayatri B. Koolwal
71 (4): 1161-1189.
(2009). The Poverty Impacts of Rural Roads: Evidence
Horowitz, Joel (2003). The Bootstrap in Econometrics. Sta-
tistical Science, 18 (2): 211-218. from Bangladesh. Economic Development and Cultural
Imbens, Guido (2000). The Role of the Propensity Score in Change, 57 (4): 685-722.
Estimating Dose-Response Functions. Biometrika, 87 Ravallion, Martin; Emanuela Galasso; Teodoro Lazo & Ernesto
(3): 706-710. Philipp (2005). What Can Ex-Participants Reveal about
Imbens, Guido (2004). Nonparametric Estimation of Average a Programs Impact? Journal of Human Resources, 40
Treatment Effects under Exogeneity: A Review. Review (1): 20830.
of Economics and Statistics, 86 (1): 4-29. Thomas, Duncan; Elizabeth Frankenberg; Jed Friedman;
Jalan, Jyotsna & Martin Ravallion (2003). Estimating the Jean-Pierre Habicht; Mohammed Hakimi Jaswadi;
Benefit Incidence of an Antipoverty Program by Pro- Nathan Jones; Christopher McKelvey; Gretel Pelto;
pensity-Score Matching. Journal of Business and Bondan Sikoki; Teresa Seeman; James P. Smith; Cecep
Economic Statistics, 21 (1): 19-30. Sumantri; Wayan Suriastini & Siswanto Wilopo (2004).
Lechner, Michael (2001). Identification and Estimation of Iron Deficiency and the Well-Being of Older Adults:
Causal Effects of Multiple Treatments Ander the Con- Preliminary Results from a Randomized Nutrition
ditional Independence Assumption. En: Econometric Intervention. Los ngeles, University of California.
Evaluation of Labor Market Policies. Van de Walle, Dominique & Ren Mu (2008). Rural Roads and
Ravallion, Martin (2008). Evaluating Anti-Poverty Programs. Poor Area Development in Vietnam. Policy Research
En: Handbook of Development Economics, vol. 4, T. Working Paper 4340. World Bank, Washington.
Paul Schultz & John Strauss (eds.), 3787-3846. Am-
sterdam, North-Holland.
Rosenbaum, Paul R. (2002). Observational Studies. New York
Variables instrumentales
& Berlin, Springer-Verlag.
Rosenbaum, Paul R. & Donald B. Rubin (1983). The Central Andrabi, Tahir; Jishnu Das & Asim Ijaz Khwaja (2006). Students
Role of the Propensity Score in Observational Studies Today, Teachers Tomorrow? Identifying Constraints on
for Causal Effects. Biometrika, 70 (1): 41-55. the Provision of Education. Cambridge (Massachussets),
Smith, Jeffrey & Petra Todd (2005). Does Matching Overcome Harvard University.
LaLondes Critique of Nonexperimental Estimators? Angrist, Joshua (1990). Lifetime Earnings and the Vietnam
Journal of Econometrics, 125 (12): 305-353. Era Draft Lottery: Evidence from Social Security Ad-
Todd, Petra (2007). Evaluating Social Programs with Endoge- ministration Records. American Economic Review, 80
nous Program Placement and Selection of the Treated. (3): 313-335.
156
Blundell, Richard & Monica Costa Dias (2008). Alternative Wooldridge, Jeffrey (2001). Econometric Analysis of Cross
Approaches to Evaluation in Empirical Microeco- Section and Panel Data. Cambridge, MA, MIT Press.
nomics. CeMMAP Working Paper 26/08. Centre for
Microdata Methods and Practice, Institute for Fiscal
Studies, London.
Regresin discontinua
Glewwe, Paul & Hanan G. Jacoby (1995). An Economic Analysis
of Delayed Primary School Enrollment in a Low Income Buddelmeyer, Hielke & Emmanuel Skoufi (as.) (2004). An
Country: The Role of Early Childhood Nutrition. Review Evaluation of the Performance of Regresin Disconti-
of Economic Statistics, 77 (1): 156-169. nuity Design on PROGRESA. Policy Research Working
Heckman, James J. (1997). Instrumental Variables: A Study Paper 3386. World Bank, Washington.
of Implicit Behavioral Assumptions Used in Making Duflo, Esther (2003). Grandmothers and Granddaughters: Old
Program Evaluations. Journal of Human Resources, Age Pension and Intrahousehold Allocation in South
32 (3): 441-462. Africa. World Bank Economic Review, 17 (1): 1-26.
Heckman, James J. & V. Joseph Hotz (1989). Choosing among Galasso, Emanuela & Martin Ravallion (2004). Social Protec-
Alternative Nonexperimental Methods for Estimating tion in a Crisis: Argentinas Plan Jefes y Jefas. World
the Impact of Social Programs: The Case of Manpower Bank Economic Review, 18 (3): 367-400.
Training. Journal of the American Statistical Association, Hahn, Jinyong; Petra Todd & Wilbert van der Klaauw (2001).
84 (408): 862-874. Identification of Treatment Effects by Regression
Heckman, James J. & Richard Robb (1985). Alternative Me- Discontinuity Design. Econometrica, 69 (1): 201-209.
thods for Estimating the Impact of Interventions. En: Ravallion, Martin (2008). Evaluating Anti-poverty Programs.
Longitudinal Analysis of Labor Market Data, James En: Handbook of Development Economics, vol. 4,T. Paul
Heckman and Burton Singer (eds.), 156-245. New Schultz & John Strauss (eds.), 3787-3846. Amsterdam,
York, Cambridge University Press. North-Holland.
Heckman, James J. & Edward J. Vytlacil (2000). Causal Para-
meters, Structural Equations, Treatment Effects, and
Randomized Evaluations of Social Programs. Chicago, Tcnicas cualitativas
University of Chicago.
Heckman, James J. & Edward J. Vytlacil (2005). Structural Anfara, Vincent & Norma Mertz (2006). Theoretical Fra-
Equations, Treatment Effects, and Econometric Policy meworks in Qualitative Research. Thousand Oaks
Evaluation. Econometrica, 73 (3): 669-738. (California), Sage Publications.
Imbens, Guido & Joshua Angrist (1994). Identification and Barbour, Rosaline (2007). Doing Focus Groups. London, Sage.
Estimation of Local Average Treatment Effects. Eco- Chase, Susan (2005). Narrative Inquiry: Multiple Lenses,
nometrica, 62 (2): 467-476. Approaches, Voices. En: Denzin, Norman and Yvonne
Khandker, Shahidur R. (2006). Microfinance and Poverty: Lincoln (eds.), pp. 651-679. The Sage Handbook of
Evidence Using Panel Data from Bangladesh. World Qualitative Research. Thousand Oaks, London, New
Bank Economic Review, 19 (2): 263-286. Delhi: Sage.
Moffitt, Robert (2008). Estimating Marginal Treatment Effects
Creswell, John W. (2007). Qualitative Inquiry & Research
in Heterogeneous Populations. Economic Working Pa-
Design. London, Sage Publications.
per Archive 539. Johns Hopkins University, Baltimore,
Davies, R. & Dart, J. (2005, abril). Most Significant Change
MD. Disponible en: www.econ.jhu.edu/people/moffi
(MSC) Technique A Guide to Its Use. Disponible en:
tt/welfl s0_v4b.pdf.
www.mande.co.uk/docs/MSCGuide.pdf
Morduch, Jonathan (1998). Does Microfinance Really Help
the Poor? New Evidence on Flagship Programs in Ban- Denzin, Norman & Yvonne Lincoln (eds.) (2005). The Sage
gladesh. Princeton (New Jersey), Princeton University. Handbook of Qualitative Research. Thousand Oaks,
Pitt, Mark & Shahidur Khandker (1998). The Impact of London, New Delhi, Sage.
Group-Based Credit Programs on Poor Households in Denzin, Norman & Yvonne Lincoln (eds.) (2003). Strategies
Bangladesh: Does the Gender of Participants Matter? of Qualitative Inquiry. London, Sage Publications.
Journal of Political Economy, 106 (5): 958-998. Flick, Uwe (1998). An Introduction to Qualitative Research.
Ravallion, Martin & Quentin Wodon (2000). Does Child Thousand Oaks, London, New Delhi, Sage.
Labour Displace Schooling? Evidence on Behavioural Flick, Uwe (2002). Qualitative Research State of the Art.
Responses to an Enrollment Subsidy. Economic Journal, Social Science Information, 41 (1): 5-24.
110 (462): 158-175. Flick, Uwe (2007). Designing Qualitative Research. London,
Semykina, Anastasia & Jeffrey M. Wooldridge (2005). Estima- Sage.
ting Panel Data Models in the Presence of Endogeneity Kornblit, Ana La (coord.) (2007). Metodologas cualitativas
and Selection: Theory and Application. Working Paper. en ciencias sociales: Modelos y procedimientos de
Michigan State University, East Lansing. anlisis. Buenos Aires, Biblos.
Todd, Petra (2007). Evaluating Social Programs with En- Kvale, Steinar (2007). Doing Interviews. London, Sage.
dogenous Program Placement and Selection of the Layder, Derek (1993). New Strategies in Social Research.
Treated. En: Handbook of Development Economics, Cambridge, Polity Press.
vol. 4, T. Paul Schultz and John Strauss (eds.), 384794. Levin, B. (1993) Collaborative research in and with organi-
Amsterdam, North-Holland. zations. Qualitative Studies in Education, 6.
157
Lewis-Beck, Michael et al. (eds.) (2004). The SAGE Ency- Schwandt, Thomas (2007). The SAGE Dictionary of Qualitative
clopedia of Social Science Research Methods, 3 vol. Inquiry. Thousand Oaks, Sage Publications.
Thousand Oaks, Sage. Valles, Miguel (2003). Tcnicas cualitativas de investigacin
Marshall, Catherine & Gretchen B. Rossman (1995). Desig- social. Madrid, Sntesis.
ning Qualitative Research. Thousand Oaks, London,
New Delhi, Sage. Evaluacin participativa rpida -
Miles, M. B., & A. M. Huberman (1994). Qualitative Data
Analysis: An Expanded Sourcebook. Thousand Oaks Participatory Rural Appraisal (PRA)
(California), Sage Publications.
Patton, Michael (1982). Practical Evaluation. Newbury Park Chambers, Robert (1993). Challenging the Professions:
(California), Sage Publications. Frontiers for Rural Development. London, Intermediate
Patton, Michael (1987). How to Use Qualitative Methods Technology Publications.
in Evaluation. Newbury Park (California), Sage Publi- Chambers, Robert (1983). Rural Development: Putting the
cations. Last First. Essex, Longmans.
Patton, Michael (1990). Qualitative Evaluation and Research Chambers, Robert (1997). Whose Reality Counts? Putting
Methods. Newbury Park (California), Sage Publications. the First Last. London, Intermediate Technology Pu-
Patton, Michael (2002). Qualitative Research and Evaluation blications.
Methods. Sage Publications. Thailand (1987). Proceedings of the 1985 International
Patton, Michael (2003). Qualitative Evaluation Checklist. Conference on Rapid Rural Appraisal. Khon Kaen
Michigan, Western Michigan University. (Thailand): Khon Kaen University.
Rapley, Tim (2007). Doing Conversation, Discourse and Singh, Kamal (2001). Handing over the Stick: The Global
Document Analysis. London, Sage Publications. Spread of Participatory Approaches to Development.
Ruane, Janet M. (2005). Essentials of Research Methods: A En: Edwards and Gaventa (eds.). Global Citizen Action,
Guide to Social Science Research. Malden, Blackwell. pp. 163-175. Boulder, Lynne Rienner Publishers.
158
CAPTULO XI
Captulo XI
Anexos
Valentyna Chukhlyebova
11.1 Mtodos ms utilizados de recoleccin de informacin
Mtodo Descripcin Ventajas Retos
Depende de sistemas de
seguimiento y evaluacin
que hayan establecido
Usa indicadores de desempeo para Puede ser un mtodo indicadores y objetivos
Sistema de Segui-
medir avances, especialmente los fiable y rentable para de base y que recaben in-
miento y Evalua-
resultados reales en relacin con evaluar los avances de formacin fiable respecto
cin
los resultados esperados. productos y efectos. a las metas a lo largo del
tiempo, as como datos
relacionados con los in-
dicadores de efectos.
La documentacin existente, in-

La evidencia documental
cluida la informacin cuantitativa
puede ser difcil de codi-
y descriptiva de la intervencin,
Documentos ficar y de analizar como
sus productos y efectos, tales como
e informes Son rentables. respuesta a las preguntas
documentos sobre las actividades de
existentes de inters. Dificultad de
desarrollo de capacidad, los informes
verificar la fiabilidad y
de donantes y otras evidencias que
validez de los datos.
sirvan de prueba.
Proporcionan un enfoque estan-

darizado para obtener informacin Informar sobre uno mis-
sobre un amplio abanico de temas Son tiles para reunir mo puede llevar a sesgos.
de un nmero grande o diverso de datos descriptivos en Los datos pueden ofrecer
partes interesadas. Normalmente mltiples frentes de una imagen general pero
se emplean tcnicas de muestreo manera rpida y con carecen de profundidad.
Cuestionarios
para obtener informacin sobre sus un costo relativamente Pueden no proporcionar
actitudes, creencias, opiniones, per- bajo. Fciles de analizar. informacin adecuada
cepciones, nivel de satisfaccin, etc. Ofrece el anonimato a los para el contexto. Estn
en relacin con las operaciones, encuestados. sujetos a errores de mues-
insumos, productos y factores de treo.
contexto.
Solicitar respuestas individuales a Pueden necesitar ms

preguntas predeterminadas disea- tiempo. Pueden ser dif-
das para obtener informacin a fondo Facilitan una cobertura, ciles de analizar. Pueden
Entrevistas sobre las impresiones o experiencias variedad y profundidad ser costosas. Potencial-
de las personas, o para saber ms mayor sobre un tema. mente, el entrevistador
sobre sus respuestas a cuestionarios puede hacer que las res-
o encuestas. puestas sean sesgadas.
Conlleva el empleo de una forma de

observacin detallada para obtener Permite ver las operacio-
Puede ser difcil categori-
informacin precisa in situ sobre nes de un programa en el
zar o interpretar los com-
cmo funciona el programa (activi- momento en que tienen
Observacin portamientos observados.
dades en curso, procesos, debates, lugar. Se puede adaptar
in situ Puede resultar caro. Suje-
interacciones sociales y resultados a los acontecimientos
to a posibles sesgos en la
observables tal y como se pueden en el momento en que
seleccin (de los sitios).
ver directamente durante el desa- ocurren.
rrollo de una iniciativa)
161
Mtodo Descripcin Ventajas Retos
Se entrevista a un pequeo grupo

(de 6 a 8 personas) para estudiar
en profundidad las opiniones de las
Medio rpido y fiable de
partes interesadas, los puntos de
obtener las impresiones
vista similares o divergentes, o sus Puede ser difcil analizar
comunes de las diversas
consideraciones sobre una iniciativa las respuestas. Requiere
Entrevistas partes interesadas. Ma-
o poltica de desarrollo, as como un facilitador cualificado.
de grupo nera eficiente de obtener
para obtener informacin sobre sus Puede ser difcil de pro-
informacin variada y con
comportamientos, su comprensin gramar.
alto grado de profundi-
y percepcin de una iniciativa, o
dad en un corto plazo.
para recopilar informacin sobre
los cambios tangibles e intangibles
resultantes de una intervencin.
Entrevistas cualitativas en profun-

Puede proporcionar un
didad, a menudo individuales, con
entendimiento de los
una amplia variedad de partes inte-
problemas y ofrecer Sujeto a sesgos en la
resadas que tienen un conocimiento
recomendaciones para muestra. Requiere tener
Informadores de primera mano de las operaciones
solucionarlos. Puede alguna forma de verificar
clave y el contexto de la iniciativa. Estos
proporcionar diferentes o corroborar la informa-
expertos comunitarios pueden pro-
perspectivas sobre un cin.
porcionar un conocimiento especial
tema nico o sobre varios
y una comprensin de los problemas
temas.
y las soluciones recomendadas.
Aade credibilidad. Pue-

de servir como una fuen-
Una revisin por pares o por un grupo Costo de la consultora y
te ms de informacin
de referencia compuesto de expertos gastos conexos. Requiere
Paneles de (experta) que ofrezca una
externos para proporcionar insumos asegurar la imparcialidad
expertos mayor profundidad. Pue-
en temas tcnicos o de otro gnero y la ausencia de conflictos
de verificar o confirmar la
cubiertos por la evaluacin. de inters.
informacin y los resulta-
dos en un rea temtica.
Implica un examen exhaustivo me-

diante la comparacin cruzada de Requiere un tiempo y re-
casos, para obtener informacin a til para estudiar en ma- cursos considerables, de
Casos de fondo con el objetivo de comprender yor detalle los factores los que generalmente no
estudio la dinmica operacional, las activi- que contribuyen a los disponen las evaluacio-
dades, los productos, los efectos y productos y efectos. nes. Puede ser difcil de
las interacciones de un proyecto o analizar.
programa de desarrollo.
Fuente: PNUD (2009).
162
11.2 Perfiles para evaluaciones de procesos
Requisitos Mnimos
Personal
Experiencia profesional
Educacin
especifica
Director y personal de mayor rango
Seis (6) aos de experiencia es-

pecfica profesional en temas
Ttulo profesional en economa, relacionados con la formulacin
ingeniera o administracin. e implementacin de reformas
Director institucionales, organizacionales,
Ttulo de postgrado en Ingeniera, estudios de eficiencia en cadenas
administracin, gerencia, procesos. de implementacin o procesos
de modernizacin en entidades
pblicas o privadas.
Tres (3) aos de experiencia espe-

Ttulo profesional en administra-
cfica profesional en procesos de
cin, ingeniera, economa.
reingeniera institucional, modi-
Profesionales con las si- ficaciones a estructuras adminis-
Titulo de postgrado en temas rela-
guientes caractersticas: trativas, adecuacin de plantas
cionados con gerencia, administra-
de personal gestin humana en
cin, procesos, ingenieras o reas
cualquier organizacin pblica o
administrativas.
privada.
Fuente: DSEPP, DNP.
Algunas precisiones:
En los casos que se realice una evaluacin de procesos, es necesario solicitar un experto en el tema (po-
siblemente ingeniero industrial)
Se recomienda complementar los mtodos cuantitativos con mtodos cualitativos y, por lo tanto, contar
con una persona experta en el diseo y anlisis de este tipo de herramientas
No siempre es necesario tener una educacin de pregrado acorde con el perfil del experto. Puede ser
suficiente con la maestra o el doctorado.
Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interaccin social como lo son la
Antropologa, la Historia, la Economa, la Sociologa, la Demografa o las ciencias sociales aplicadas como la
Administracin, el Derecho, la Pedagoga y el Urbanismo. Se puede, para mayor claridad, no poner ciencia
social y definirla, sino incluir las profesiones de acuerdo con las necesidades de la evaluacin.
La ingeniera incluye la ingeniera ambiental, civil, industrial y de sistemas. Se puede, para mayor claridad,
no poner ingeniera y definir a cules comprende, sino incluir las profesiones de acuerdo con las nece-
sidades de la evaluacin.
163
11.3 Perfiles para evaluaciones de productos
Cargo Estudios Experiencia

Ttulo universitario en Economa, Ad- Mnimo 6 aos de experiencia en eva-
ministracin de Empresas, Ingeniera, luacin y gestin de programas, en el
Un (1) Director del
Ciencias Sociales y Estudios de Maes- diseo o ejecucin de polticas pblicas
Proyecto
tra culminados en reas relacionadas en reas relacionadas con el tema de
con el objeto del contrato. la evaluacin.
Un profesional espe-
Ttulo universitario en Economa, Mnimo 3 aos de experiencia en des-
cializado en temas de
Administracin de Empresas, Inge- empeo, gestin e indicadores y/o
Planificacin, desem-
niera, rea de las ciencias sociales herramientas de diseo o planificacin
peo, gestin, anlisis
con postgrado en reas afines de programas, anlisis costo-eficiencia.
costo-eficiencia
Ttulo Universitario en Economa, Ad-
1 o 2 profesionales es- Mnimo 5 aos de experiencia en traba-
ministracin de Empresas, Ingeniera,
pecializados en cada jos de economa en el rea de poltica
y estudios de postgrado en economa,
uno de los temas clave pblica sobre cada uno de los temas
administracin pblica, y/o otras reas
de la evaluacin clave.
afines al presente proyecto
Personal de apoyo
Nivel profesional, 2 aos de experiencia
en trabajo de campo y/o conocimiento
en los sectores del programa a evaluar
Profesionales Ttulo universitario
y/o en evaluacin de programas (siste-
mas manejo de software aplicables a
evaluacin social y econmica).
Fuente: DSEPP, DNP
En los casos que se realice una evaluacin de procesos, es necesario solicitar un experto en el tema (po-
siblemente ingeniero industrial)
Antropologa, la Historia, la Economa, la Sociologa, la Demografa o las ciencias sociales aplicadas como la
sidades de la evaluacin
164
11.4 Perfiles para la E2+

En general, las E2+ por ser evaluaciones de corto plazo requieren de un proceso rpido de contratacin por lo
que estn dirigidas a consultores individuales con estudios y experiencia relevante en la gestin y evaluacin
de programas y polticas que cumplan con los requisitos enumerados a continuacin:
Perfil con postgrado en administracin pblica, economa, ciencias sociales o polticas, derecho o reas
afines, y que acredite experiencia en las siguientes reas:
rea 1: Experiencia mnima de tres (3) aos en Evaluacin y Seguimiento de programas o polticas,
mtodos cuantitativos y/o cualitativos, planeacin estratgica
rea 2: Experiencia mnima de cuatro (4) aos en diseo, gestin, planeacin y/o evaluacin de pol-
ticas en el rea de la evaluacin
Antropologa, la Historia, la Economa, la Sociologa, la Demografa, o las ciencias sociales aplicadas como la
165
11.5 Perfiles para evaluaciones de resultados

Titulo universitario en Economa,
Mnimo 6 aos de experiencia en evalua-
Administracin de Empresas, Inge-
cin y gestin de programas, en el diseo
Un Director del Proyecto niera, Ciencias Sociales y Estudios
o ejecucin de polticas pblicas en reas
de Maestra culminados en reas re-
relacionadas con el tema de la evaluacin.
lacionadas con el objeto del contrato.
Un profesional especia- Ttulo universitario en Economa,
Mnimo 3 aos de experiencia en desempe-
lizado en temas de Pla- Administracin de Empresas, Inge-
o, gestin e indicadores y/o herramientas
nificacin, desempeo, niera, rea de las ciencias sociales
de diseo o planificacin de programas.
gestin con postgrado en reas afines
Mnimo 3 aos de experiencia en uso de
Ttulo universitario en antropologa, tcnicas cualitativas para el anlisis de
Un profesional especia-
sociologa, ciencia poltica, psicologa informacin en el rea de evaluacin y/o
lizado en mtodos cua-
o ciencias sociales y postgrado en coordinacin o ejecucin de diseo o an-
litativos40
reas afines lisis cualitativo en grupos de poblaciones
con caractersticas diferentes
Personal de apoyo
Nivel profesional, 2 aos de experiencia y
conocimiento en los sectores del programa
Profesionales Ttulo universitario o poltica a evaluar y/o en evaluacin de
programas (sistemas manejo de software
aplicables a evaluacin social y econmica).
Fuente: DSEPP, DNP.
Se recomienda complementar los mtodos cuantitativos con cualitativos y, por lo tanto, contar con una
persona experta en el diseo y anlisis de este tipo de herramientas
El perfil del muestrista debe ser en muestreo y no en recoleccin de informacin.
El perfil del coordinador de trabajo de campo en sentido contrario al anterior.
166
11.6 Perfiles para evaluaciones de impacto

Mnimo 10 aos de experiencia en eva-
Titulo universitario Ingeniera y Cien- luacin y gestin de programas, en el
cias Sociales, y Estudios de Maestra diseo o ejecucin de polticas pblicas
Un (1) Director del Proyecto
culminados en reas relacionadas con en reas relacionadas con el tema de
el objeto del contrato. la evaluacin y/o trabajos en mtodos
estadsticos y economtricos.
Uno (1) o dos (2) profesio-
Ttulo universitario en Economa, Ma- Mnimo 3 aos de experiencia en trabajos
nales especializados en el
temticas o estadstica y estudios de economtricos o estadsticos en el rea
rea de estadstica y eco-
postgrado en estadstica o econometra de la evaluacin.
nometra
Mnimo 3 aos de experiencia en uso
Ttulo universitario en antropologa, de tcnicas cualitativas para el anlisis
1 profesional especializado sociologa, ciencia poltica, psicologa de informacin en el rea de evaluacin
en mtodos cualitativos41 o ciencias sociales y postgrado en y/o coordinacin o ejecucin de diseo
reas afines o anlisis cualitativo en grupos de po-
blaciones con caractersticas diferentes
1 o 2 profesionales espe-
ministracin de Empresas, Ingeniera, Mnimo 5 aos de experiencia en trabajos
cializados en cada uno de
y estudios de postgrado en economa, de economa en el rea de poltica pblica
los temas clave de la eva-
administracin pblica, y/o otras reas sobre cada uno de los temas clave.
luacin
afines al presente proyecto
Personal de apoyo
en los sectores del programa o poltica a
evaluar y/o en evaluacin de programas
(sistemas manejo de software aplicables
a evaluacin social y econmica).
Digitadores, encuestado-
Educacin secundaria
res, personal de campo
Fuente: DSEPP, DNP.
En caso de que la metodologa de evaluacin sea compleja es bueno requerir un Doctorado, lo cual, bajo
criterio del interventor se puede suplir con aos de experiencia.
En los casos que se realice una evaluacin de impacto, es esencial la participacin de una persona experta
en la utilizacin de mtodos cuantitativos, y/o econometrista, y/o estadstico
Para las evaluaciones de impacto se recomienda complementar los mtodos cuantitativos con mtodos
cualitativos y, por lo tanto, contar con una persona experta en el diseo y anlisis de este tipo de herra-
mientas
Antropologa, la Historia, la Economa, la Sociologa, la Demografa, o las ciencias sociales aplicadas como
la Administracin, el Derecho, la Pedagoga y el Urbanismo.
La ingeniera incluye la ingeniera ambiental, civil, industrial y de sistemas.
167
11.7 Perfiles para Lneas de Base

Personal Directivo
8 aos de experiencia en evaluacin y
gestin de programas, en el diseo o
Un (1) Director del Proyecto Ciencias Sociales y Estudios de post-
ejecucin de polticas pblicas en reas
grado culminados en reas relaciona-
sociales.
das con el objeto del contrato.
Ttulo Universitario en Economa, Ma-
Un (1) profesional especiali- 3 aos de experiencia en trabajos econo-
temticas o estadstica y estudios de
zado en el rea de estadstica mtricos o estadsticos en el rea social,
postgrado en estadstica o econo-
y econometra financiera, microeconmica o laboral.
metra
Un (1) profesional especiali- 5 aos de experiencia en trabajos de
Matemticas o estadstica y estudios
zado en el diseo de poltica economa en el rea de poltica pblica
de postgrado en economa, adminis-
pblica social social.
tracin pblica, y/o otras reas afines
al presente proyecto
3 aos de experiencia en el desarrollo
Un profesional especialista
de evaluaciones cualitativas, manejo
en trabajo social o comu- Ttulo Universitario en ciencias sociales
de trabajos comunitarios, direccin de
nitario
grupos focales
Personal de apoyo
Profesionales Ttulo Universitario
en los sectores de gestin y/o evaluacin
de programas sociales
Fuente: DSEPP, DNP.
En caso de que la metodologa de evaluacin sea compleja es bueno requerir un Doctorado, lo cual, bajo
criterio del interventor se puede suplir con aos de experiencia.
En los casos que se realice una evaluacin de impacto, es esencial la participacin de una persona experta
en la utilizacin de mtodos cuantitativos, y/o econometrista, y/o estadstico.
Para las evaluaciones de impacto se recomienda complementar los mtodos cuantitativos con mtodos
cualitativos y, por lo tanto, contar con una persona experta en el diseo y anlisis de este tipo de herra-
mientas.
Las ciencias sociales mencionadas incluyen ciencias relacionadas con la interaccin social como lo son
la Antropologa, la Historia, la Economa, la Sociologa, la Demografa, la Ciencia Poltica o las ciencias so-
ciales aplicadas como la Administracin, el Derecho, la Pedagoga y el Urbanismo. Se puede, para mayor
claridad, no poner ciencia social y definirla, sino incluir las profesiones de acuerdo con las necesidades
de la evaluacin.
168
11.8 Perfiles para evaluacin institucional

Ttulo universitario en Eco-
noma, Administracin de
Empresas, Ingeniera, Cien- Mnimo 6 aos de experiencia en evalua-
cias Sociales y con nivel m- cin y gestin de programas, en el diseo
Un Director del Proyecto
nimo de Estudios de Maes- o ejecucin de polticas pblicas en reas
tra culminados en reas relacionadas con el tema de la evaluacin.
relacionadas con el objeto
del contrato.
Ttulo universitario en eco-
Mnimo cinco (5) aos de experiencia en
noma, ciencia poltica, de-
temas relacionados con la estructura y fun-
recho, y postgrado con nivel
Experto en instituciones cionamiento, manejo de procesos, tiempos
mnimo de especializacin
y movimientos del Estado colombiano, y/o
en reas afines con el pro-
derecho administrativo.
yecto.
Ttulo universitario en Eco-
Un profesional especializado noma, Administracin de
Mnimo 3 aos de experiencia en temas
en temas relacionados con la Empresas, Ingeniera, reas
relacionados con la evaluacin.
evaluacin de las ciencias sociales y con
postgrado en reas afines
Personal de apoyo
2 aos de experiencia y conocimiento en los
sectores del programa o poltica a evaluar y/o
en evaluacin de programas, levantamiento
de informacin cuantitativa o cualitativa
(sistemas manejo de software aplicable a
evaluacin social y econmica).
Fuente: DSEPP, DNP.
con una persona experta en el diseo y anlisis de este tipo de herramientas.
169
Agradecemos a todos aquellos que
colaboraron en la realizacin de esta
cartilla y que por uno u otro motivo
hoy no hacen parte de la Direccin.

Guía Parala Evaluación de Políticas Públicas Sinergia DNP 12 Ideas

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Guía Parala Evaluación de Políticas Públicas Sinergia DNP 12 Ideas

Transféré par

Droits d'auteur :

Formats disponibles

Gua para la Evaluacin de Polticas Pblicas

Serie de Guas Metodolgicas Sinergia

Direccin General Direccin de Seguimiento

Diseo, Diagramacin e Impresin

Departamento Nacional de Planeacin, 2012

Impreso y hecho en Colombia

6.4 Construccin de Lneas de Base................................................................................................ 91

8.4.2 La evaluacin .................................................................................................................................. 137

Muestreo (Sampling).............................................................................................................................. 152

El seguimiento al Plan Nacional de Desarrollo y la evaluacin de Polticas Estratgicas

El componente de evaluaciones de Sinergia tiene como propsitos la consolidacin y

ORLANDO GRACIA FAJARDO

La Direccin de Seguimiento y Evaluacin de Pol- interior del gobierno. La estrategia se desarrolla

de los tipos de evaluaciones ms utilizados en en prctica, efectos, resultados e impactos.

el proceso sistmico de observacin, me- El programa logra su objetivo?

1 Ver mapas de procesos Evaluacin de Polticas Estratgicas, DEPP, DNP (2010).

Tipos de evaluacin y sus caractersticas

Perspectiva Tipo Caractersticas

Anlisis antes de implementacin de programa para determinar efectos que

Alcance Hace un anlisis rpido de la articulacin y consistencia entre insumos, procesos,

Impacto Determinar el impacto asociado exclusivamente a la intervencin de un programa

Compara todos los costos y beneficios de un programa asignado un valor mo-

Participativa Valora la percepcin como insumo para identificar el resultado

Fuente: BOT (2004), anlisis del autor.

1.3 Definicin del alcance de la Anlisis de actores

En el proceso de identificar los objetivos, metas

4 Morra y Rist (2009).

ejecutar en el ao en curso. Una vez ratificada se

1.3.1 Paso 1: Identificar el programa a El fin ltimo de la teora de cambio es desa-

Justificacin de los gastos Para mayor nivel de detalle acerca de la teora de

5 Kellogg Foundation (2004).

Qu preguntas pueden contribuir a diferenciar

Insumos: Cuntos recursos humanos, finan-

Insumos Procesos Productos Resultados Impactos

Los efectos del programa pueden concebirse como las trans-

Fuente: Menon, S. Karl, J. & Wignaraja, K. (2009). Adaptacin del Autor.

Procesos: Con qu rapidez se est haciendo? 1.3.3 Paso 3: La cadena de entrega

Fuente: Grupo de evaluacin DSEPP, DNP.

1.3.4 Paso 4: El mapeo de informacin Ejemplo: Programa Familias en Accin (2004)

El mapeo de informacin10 de la evaluacin en

10 Levantamiento de informacin secundaria del programa.

1.4.1 Cmo seleccionar el tipo a las que debera responder y la informacin

Tiempo de implementacin vs. Tipo de evaluacin

Como es la Cuales son los

Evaluar necesidad Monitoreo Institucional Evaluacin Resultados

Marco Lgico Procesos Medio Trmico Productos Impactos

Son eficientes Cuales fueron

Fuente: Anlisis del autor.

1.4.1.1 Etapa de planeacin y diseo cin es necesaria, qu opinan los actores de su

1.4.1.2 Etapa de implementacin cumpliendo. Teniendo en cuenta lo anterior, se

11 Grupo de evaluacin, DEPP.

Actores Informacin Recursos

Conocer experiencias Cules son las prioridades de los

Cules serian los impactos poten- Orientar recursos,

Etapa de planeacin y diseo del programa

Comparar todos los cos- Son los beneficiarios econmicos

Actores que Informacin Recursos

Antes o durante implemen-

Hacer un anlisis de las El programa es capaz de producir lo

Etapa de implementacin del programa

Qu capacidad institucional tiene el pro-

Actores que Recursos Inters

Cules fueron los produc-