Memorias Seminario Porque Evaluar Gasto Publico Baja PDF

SEMINARIO INTERNACIONAL
Por qué evaluar

¿ el Gasto público ?
Experiencias internacionales
y el caso colombiano
2
1
1 2 3
¿POR QUÉ EVALUAR EL
GASTO PÚBLICO?
Experiencias internacionales y el
caso colombiano
Seminario Internacional
Departamento Nacional de Planeación
Autores
Alberto Carrasquilla
Álvaro Reyes
Alejandro Gaviria
Alberto Abadie
Antanas Mockus
Beatriz Londoño
Carolina Rentería
Carlos Medina
Daniel Bogoya
Eric Bettinger
François Bourguignon
Jaime Tenjo
José Leibovich
Juan Carlos Echeverry
Keith Mackay
Manuel Fernando Castro
Mauricio Cárdenas
Orazio Atanasio
Paul Johnson 3
¿Por qué Evaluar el Gasto Público?

Santiago Montenegro
www.dnp.gov.co
Dirección
Santiago Montenegro Trujillo
Subdirección
Mauricio Santamaría
Director de Evaluación de Políticas Públicas

Manuel Fernando Castro Quiroz
¿Por qué evaluar el gasto público?

Experiencias internacionales y el caso colombiano
Diseño y diagramación
Sinergia - DNP
Catalina Cortés Murcia
© Departamento Nacional de Planeación, 2004

Calle 26 No. 13 - 19
Teléfono 5960300 / 5663666
Bogotá, D.C., Colombia
Impreso y hecho en Colombia

Printed in Colombia
CONTENIDO
Presentación 9
INSTALACIÓN
Palabras de Apertura
Santiago Montenegro 12
François Bourguignon 15
PRIMERA SESIÓN
Valor y beneficios de la evaluación para fortalecer el diseño de

políticas y la calidad del gasto público
Retos y perspectivas de la evaluación y la información en Colombia 21

Santiago Montenegro
7
Comentarios
La respuesta del gobierno a la necesidad de evaluación desde la 40
perspectiva fiscal y de presupuesto
Alberto Carrasquilla
Modernización del presupuesto, evaluación y calidad del gasto público 51

Antanas Mockus
Beneficios de la evaluación, enfoques y alternativas 68

François Bourguignon
SEGUNDA SESIÓN
Experiencia internacional en evaluación de políticas públicas, e

implicaciones para el caso Colombiano
Valor de la evaluación para la definición de políticas: el caso del

Reino Unido 82
Paul Jonson
El Sistema australiano de seguimiento y evaluación 96

Keith Mackay
Comentarios
Experiencia internacional en evaluación de políticas públicas:
lecciones para Colombia 107
Manuel Fernando Castro
TERCERA SESIÓN
Evaluación periódica y gasto público en Colombia

Panel de discusión
8 Evaluación y gasto público en Colombia 123

Mauricio Cárdenas
La evaluación del gasto del Estado 132

Juan Carlos Echeverry
Evaluación y reforma al Estatuto Orgánico de Presupuesto 139

Carolina Renteria
Evaluación y sostenibilidad fiscal en Colombia 149

José Leibovich
CUARTA SESIÓN
Lecciones de las evaluaciones de impacto de programas sociales en

Colombia
Evaluación de Familias en Acción y Hogares Comunitarios 155

Orazio Atanasio
Evaluaciones de impacto de corto plazo del programa Empleo

en Acción 174
Álvaro Reyes
Cupones en escuelas privadas en Colombia: impacto de corto y

y largo plazo del programa PACES 195
Eric Bettinger
Comentarios
Red de Apoyo Social: comentarios sobre la evaluación de corto plazo 206
Alberto Abadie
Evaluación de la calidad de la educación básica en Colombia:

Pruebas Saber 215
José Daniel Bogoya
Comentarios
Implicaciones de política de las evaluaciones de impacto de 9

programas sociales en Colombia 227
Jaime Tenjo
QUINTA SESIÓN
Implicaciones de las evaluaciones de impacto para la política social y

agenda de evaluación para los próximos cinco años
Panel de discusión
La agenda futura 231

Alejandro Gaviria
Reflexiones en torno a la evaluación en Colombia 239

Beatriz Londoño
Restricciones institucionales a la evaluación del gasto público

social en Colombia 245
Carlos Medina
CIERRE
10
Presentación
Una valoración general de la gestión del Estado en Colombia no puede ignorar
que el incremento del gasto público de los últimos años no necesariamente
ha estado acompañado por un mejoramiento de similares proporciones en
los principales indicadores sectoriales. Por el contrario, el crecimiento del
gasto sí ha traído consigo un deterioro continuo en las finanzas del Estado.
Tanto o más preocupante que lo anterior, es la imposibilidad de establecer
si los mayores esfuerzos de financiación pública realizados han producido los
efectos esperados en el mejoramiento de la calidad de vida de la población
con costos razonables.
Un buen ejemplo de esto es el incremento del gasto en los sectores social y de

defensa (incluyendo seguridad) los cuales han determinado en mayor medida
el rápido crecimiento del gasto público total. El gasto social pasó de 11%
del PIB en 1994 a 14,9% en 2004, y se mantuvo en niveles históricamente
altos (74% del total del gasto público en promedio) durante el período 1998-
1
2004 . No obstante, los logros en materia social no parecen haber respondido
proporcionalmente al incremento en los recursos destinados al mismo. Si bien
recientemente se ha registrado un incremento importante en la cobertura de
la educación, en la mayor parte del período su desempeño fue moderado.
Adicionalmente, no existe un seguimiento robusto de la evolución de los
logros en calidad que permitan comparar internacionalmente lo alcanzado
por el país en esta materia, mientras que las pocas observaciones aisladas lo
dejen en una posición muy rezagada. En salud, a pesar de que en materia de
aseguramiento se ha avanzado en el período, el significativo incremento en los 11
recursos que se destinan a este sector plantea un gran interrogante sobre su

costo – efectividad.
Por su parte, el gasto en defensa y seguridad pasó de 2,1% a 4,01% del PIB,
entre 1990 y 2003, lo que representó un aumento de 130% en 13 años.
En este caso, además del rápido crecimiento se debe tener en cuenta que
el nivel alcanzado duplica el promedio de la región al tiempo que produce
inflexibilidades sobre el presupuesto público, al concentrar un 26% de los
2
gastos del gobierno central .
1
DNP
2
DNP- Ministerio de Defensa
A pesar de la magnitud de los recursos públicos invertidos en los sectores
social y de defensa, dada la insuficiencia de evaluaciones del gasto y los
programas públicos, hasta el momento se conoce poco sobre los efectos de
estas inversiones. En particular, no es posible determinar si la orientación de las
políticas ha sido las más adecuada en términos de eficiencia, si los programas
llegan a la población objetivo y si responden a sus necesidades, si es la forma
menos costosa de realizar las intervenciones; o si tienen los niveles de calidad
requeridos.
Prueba de esto es que sólo un 4,13% del presupuesto de inversión de la

nación era objeto de algún tipo de evaluación en el año 2002 lo cual pone
en evidencia que las decisiones de prolongar, suspender, sustituir o modificar
programas y políticas así como de asignar recursos a los mismos, se ha tomado
en alto grado con conocimiento insuficiente de los factores reales de éxito o
fracaso. El desconocimiento del impacto y la calidad del gasto es aún más
grave si se toma en cuenta el agudo desbalance fiscal del país observado desde
mediados de los años noventa. Esta situación y la existencia de restricciones
fiscales de mediano y largo plazo corroboran la necesidad de incorporar y
fortalecer los mecanismos para medir el impacto y los efectos de las políticas
y el gasto, con el fin de contribuir a mejorar su eficiencia y calidad.
En Colombia, el Departamento Nacional de Planeación, a través del Sistema

Nacional de Evaluación de Resultados de la Gestión Pública (Sinergia) tiene
como misión evaluar, hacer seguimiento y difundir los resultados de los
programas y las políticas públicas, así como contribuir al establecimiento de
12 una gestión orientada por resultados que vincule la evaluación con la asignación
de los recursos.
Por lo anterior, Sinergia presenta las Memorias del Seminario Internacional

“¿Por qué evaluar el gasto público?: Experiencias internacionales y el caso
colombiano”, el cual se llevó a cabo en Bogotá entre el 2 y 3 de septiembre
de 2004. Estas memorias recogen los resultados del Seminario. En ellas se
encuentran las diferentes opiniones y perspectivas sobre el valor y la factibilidad
de la evaluación (con énfasis en la evaluación de impacto) en un escenario de
restricción fiscal así como también las lecciones del diseño, implementación e
institucionalización de la evaluación de impacto.
INSTALACIÓN
INSTALACIÓN
Palabras de apertura
Santiago Montenegro∗
S eñor François Bourguignon, Vicepresidente Senior y Economista en Jefe

del Banco Mundial; doctor Guillermo Perry, Economista en Jefe para
América Latina del Banco Mundial; José Darío Uribe, Gerente Técnico
del Banco de la República; Ana Lucía Muñoz, Representante Encargada del
Banco Interamericano de Desarrollo; querido José Leibovich, Subdirector
Nacional de Planeación; Manuel Fernando Castro, Director de Sinergia;
Senador Oscar Darío Pérez y otros parlamentarios aquí presentes; señores
ex Ministros; señores conferencistas; señoras y señores:
Es muy grato para Planeación Nacional convocar a este seminario

conjuntamente con el Banco Mundial, el Banco Interamericano de Desarrollo
y el Banco de la República. Quiero agradecer inmensamente a todos ustedes
su concurrencia. Nos complace muchísimo el entusiasmo que esta idea de
un seminario sobre evaluación del gasto público ha despertado en nuestros
coorganizadores y en los distinguidos expertos nacionales e internacionales
que nos acompañan. A todos ellos y al diligente equipo de colaboradores
que se pusieron a disposición de la organización, muchísimas gracias.
Agradecimientos especiales a Manuel Fernando Castro por el esfuerzo que ha
hecho organizando este seminario.
14
Quiero en primer lugar saludar muy afectuosamente a François Bourguignon,
quien nos honra con su presencia. El doctor Bourguignon es no solo un alto

directivo del Banco Mundial, si no un académico de las más altas calidades.
Cuando estábamos en la Universidad de los Andes con José Leibovich,
tuvimos el honor de iniciar el primer programa de la escuela de verano con
él como profesor internacional invitado, programa que gracias a su éxito
inicial hoy ya se ha institucionalizado. Su presencia en este foro, junto con el
acompañamiento del BID, el Banco de la República y todas las personas aquí
reunidas, demuestra la importancia del tema que nos ocupa para las políticas
de desarrollo económico y social de Colombia.
* Director del Departamento Nacional de Planeación (DNP)
INSTALACIÓN
La evaluación es un instrumento de la gerencia pública moderna con toda

la teoría aplicable a muchos modelos de gobierno, pero ante todo debe
ser una práctica permanente. La gente quiere que los gobiernos resuelvan
sus problemas y para que los ciudadanos sean los reales beneficiarios de la
acción del Gobierno, se requiere conocer a quienes y en que medida están
beneficiando las políticas y el gasto público. Los efectos que de ellos se derivan
no son solo técnicos en el sentido de mejorar las políticas y los programas en
la administración, son en esencia políticos en la medida que contribuyen a
hacer más transparente, eficiente y legítima la labor de gobernar. En Colombia
los dos aspectos revisten gran importancia.
Una valoración de la gestión del Estado no puede ignorar que el incremento

del gasto público de los últimos años no ha estado acompañado por mejoras
proporcionales en los principales indicadores sociales. Por el contrario, el
crecimiento del gasto sí ha generado un continuo deterioro en las finanzas
públicas y ambos aspectos han contribuido a minar la confianza de los
ciudadanos en el Estado. Un buen ejemplo de esto es el incremento del
gasto en el sector social, el cual, junto con el de defensa, ha determinado en
mayor medida el rápido crecimiento del gasto público total. Los logros en
materia social, aunque importantes, en algunos aspectos no parecen haber
correspondido al incremento en los recursos destinados a sectores como
educación, salud y saneamiento básico, por solo mencionar algunos.
En educación, las coberturas registraron un incremento moderado durante el

periodo 1994 - 2004 y no existe un seguimiento robusto de la evolución de los
logros en calidad, el cual permita comparar internacionalmente lo alcanzado
en el país en esta materia. En salud, a pesar de que en aseguramiento se 15

ha avanzado, el significativo incremento en los recursos que se destinan a
este sector plantea un gran interrogante sobre su costo efectividad. Lo propio
ocurre en saneamiento básico, sector en el que hay indicios de que los recursos
asignados a través del Sistema General de Participaciones entre 1996 y 2003
(cerca de 6,4 billones), habrían sido suficientes para alcanzar coberturas de
100% en acueducto y de 95% en alcantarillado. Un nivel muy superior al
actual, de solo 88% en acueducto y 74% en alcantarillado.
A pesar de la magnitud de los recursos públicos invertidos, la insuficiencia de

evaluaciones del gasto y los programas públicos ha impedido conocer mejor
los efectos de esas inversiones. En particular, no es posible determinar con
certeza si la orientación de las políticas ha sido las más adecuada en términos
INSTALACIÓN
de eficiencia, si los programas llegan a la población objetivo y responden a

sus necesidades, si es la forma menos costosa de realizar las intervenciones
o si tienen los niveles de calidad requeridos. Prueba de lo anterior es que
un porcentaje muy bajo, 4,1% del Presupuesto de Inversión de la Nación,
era objeto de evaluaciones a profundidad antes de 2002. Esto sugiere que
buena parte de las decisiones de prolongar, suspender, sustituir o modificar
programas y políticas, así como de asignar recursos a los mismos, se han
tomado por lo menos con conocimiento insuficiente de los factores reales de
éxito o de fracaso.
El desconocimiento del impacto y calidad del gasto es aún más grave si se tiene
en cuenta el agudo desbalance fiscal del país observado desde mediados de
los años 90. Esta situación, además de la existencia de restricciones fiscales de
mediano y largo plazo, corrobora la necesidad de incorporar y fortalecer los
mecanismos para medir el impacto y los efectos de las políticas y el gasto.
En Colombia, el Departamento Nacional de Planeación a través del Sistema

Nacional de Evaluación de Resultados de la Gestión Pública (Sinergia), tiene
como misión evaluar y hacer seguimiento a los resultados de los programas
y las políticas públicas, así como contribuir al establecimiento de una gestión
orientada por resultados. Este sistema ha sido reestructurado y fortalecido en
el marco de la reforma del Estado que ha puesto en marcha esta administración.
Es en el marco de esta reforma, que las discusiones, experiencias y reflexiones
que serán objeto de atención en este seminario, buscan contribuir al propósito
de incrementar la eficiencia en la utilización de los escasos recursos y a mejorar
el impacto de las políticas del Estado.
16
Para Planeación, es un motivo de gran complacencia poder reunir en este

evento a un grupo tan destacado de académicos y expertos en todos estos
temas. Estoy seguro que sus conocimientos y aportes se reflejarán en
importantes discusiones. Bienvenidos entonces todos y de nuevo muchísimas
gracias por su concurrencia.
INSTALACIÓN
Palabras de apertura
François Bourguignon*
S eñor Ministro de Hacienda, Alberto Carrasquilla; señor Director del

Departamento Nacional de Planeación, Santiago Montenegro; estimados
colegas de la mesa inaugural; estimados colegas de la academia; señoras
y señores:
Como Santiago Montenegro ayudó a presentar los nexos que tengo con
Colombia, quiero empezar por eso. Quiero agradecer la invitación, decirles
que es un placer para mí estar de vuelta en Colombia después de varios años,
encontrar de nuevo muchos amigos que tengo aquí, y sobre todo volver
a Colombia en un momento en el cual la coyuntura política económica es
mucho más brillante que las últimas veces que visité este país. Esto desde
un punto de vista totalmente personal, pero ahora déjenme poner de nuevo
el sombrero de vicepresidente del Banco Mundial y hablar de un modo más
oficial sobre este seminario.
Es un honor para el Banco Mundial apoyar este seminario internacional que

respalda el Gobierno de Colombia, en su objetivo de continuar promoviendo
la rendición de cuentas y la transparencia en el manejo de recursos públicos
destinados a programas gubernamentales. Agradezco al Gobierno de Colombia
por su decisión de organizarla. Este Seminario va a permitir intercambiar 17
experiencias internacionales en el área del monitoreo y la evaluación de

impacto, que sirvan para fortalecer el esfuerzo que hace Colombia, como
también otros países y organismos internacionales, en promover la eficacia
de sus intervenciones y programas. Con esto, el Gobierno de Colombia
está demostrando una vez más su liderazgo en el ámbito del monitoreo y la
evaluación.
Ejemplo de este liderazgo, es la unidad de evaluación Sinergia del Departamento

Nacional de Planeación que cuenta con más de diez años de experiencia en
* Vicepresidente Senior y Economista en Jefe del Banco Mundial

INSTALACIÓN
el área del monitoreo y la evaluación, y se ha convertido en un ejemplo para

otros países latinoamericanos que buscan implementar sistemas de monitoreo.
Otro ejemplo de liderazgo, son las recientes evaluaciones de impacto de
3
los programas sociales que integran la Red de Apoyo Social . Gracias a los
resultados tanto del monitoreo que hace Sinergia, como de la evaluación del
impacto de programas como Familias en Acción (uno de los pioneros en la
evaluación de programas de transferencias condicionadas en efectivo), ha sido
posible alcanzar mejoras en su diseño.
Por ejemplo, la reciente evaluación del impacto de Familias en Acción

demostró que esta intervención tiene efectos positivos sobre la nutrición,
sobre la educación, sobre la salud de las familias más pobres del país. Más
que eso, esa evaluación dio una medida exacta de esos efectos. Sin estos
resultados hubiera sido imposible saber si la intervención estaba cumpliendo
con las metas establecidas a priori por el programa, o si los beneficios sociales
estaban encima de los costos. Tampoco sería posible en el futuro examinar
como el diseño inicial del programa podría ser mejorado.
De igual manera, Colombia ha sido uno de los pioneros en la evaluación de

impacto en otros campos de la política social, como los bonos educativos o
4
‘vouchers’ para los alumnos de colegio, como los colegios en concesión y
como el programa Escuela Nueva.
El Banco Mundial está muy interesado en conocer la experiencia de Colombia

en materia de evaluaciones. Nos motiva el hecho de ser testigos del éxito
de los programas que se implementan en Colombia, y también nos interesa
18 porque esta experiencia colombiana es importante para otros países y en
general para la comunidad ligada a las tareas del desarrollo. Por otra parte,
nos interesa porque el banco monitorea las gestiones realizadas por los países
en desarrollo para la consecución de los objetivos de desarrollo del milenio.
Entre esos objetivos ustedes saben que existe la meta de reducir la pobreza a
la mitad entre ahora y 2015. Estamos conscientes de que lograr este objetivo,
así como los demás que se concentran sobre la mortalidad infantil, la educación
3
La Red de Apoyo Social (RAS), está integrada por los programas Familias en Acción, Jóvenes en
Acción y Empleo en Acción.
4
Bonos Educativos o ‘Private School Vouchers’, estrategia implementada por el Programa de
Ampliación de Cobertura de la Educación Secundaria y Media (PACES), conocida como “Becas
Paces”.
INSTALACIÓN
y otros, exige mejorar nuestra comprensión de cuál es la mejor manera de

hacer que el gasto público se traduzca en resultados eficaces; a saber, en
menos pobreza, personas más educadas, mayor esperanza de vida, mejor
salud y más oportunidades. Esta comprensión depende de una evaluación
rigurosa de nuestras políticas, pues sin ella los actores políticos están limitados
a un mero juego de adivinanzas, algo que seguramente a veces les conviene
pero que va en contra del bienestar social.
Las técnicas de evaluación han avanzado muchísimo en los últimos años.

Disponemos de más información y de mejor calidad, que proviene entre
otros de encuestas domiciliarias detalladas. Disponemos también de métodos
más poderosos de análisis. Hablaré más tarde en la mañana de varios métodos
disponibles. Por el momento solo quiero destacar el interés y el poder de la
evaluación de impacto, basado en planes de experimento donde se comparan
grupos de individuos expuestos a un programa con grupos de individuos no
expuestos a los programas. Se observa la diferencia entre los dos grupos en
todas la dimensiones del bienestar, es decir en términos del nivel de ingreso,
en términos de la asistencia escolar, en términos de la participación laboral
de la gente, en términos de la participación de las personas en el proceso de
decisión pública, en términos de salud, etc. Estas evaluaciones de impacto
permiten un análisis que cubre todas esas dimensiones.
Es cierto que estas evaluaciones tienen un costo, aunque éste me parece

moderado y es decreciente con el número de evaluaciones que se emprenden,
es decreciente con la experiencia. También es cierto que hay situaciones
donde es difícil y a veces es imposible utilizar esos métodos. Sin embargo, el
beneficio en términos de la eficacia de las políticas y las ventajas que procuran 19

para su manejo son tales, que es importante utilizarlas cada vez que se puede.
Los beneficios de esos métodos son tales que el Banco Mundial está tomando
iniciativas para explotar más sistemáticamente evaluaciones de impacto y
enriquecer el conocimiento común en ciertos campos de política, en particular
en esos programas de transferencias condicionadas en efectivo como Familias
en Acción, como el programa Progresa / Oportunidades en México, y como
Bolsa Familia en Brasil. Se busca también mejorar nuestro conocimiento de
proyectos de mejoramiento de los barrios desfavorecidos o reformas de los
servicios públicos en el campo de educación y de salud.
INSTALACIÓN
La idea es, con la acumulación de evaluaciones de proyectos en varios campos,

construir una base de conocimientos que va a permitir mejorar con el tiempo
los consejos que podemos dar a los países que tratamos de ayudar.
Señor Ministro, señor Director, señoras y señores; creo que estamos viviendo
ahora un momento importante en la teoría y la práctica del desarrollo. Me
parece que con esas técnicas de evaluación, estamos traspasando límites y
adentrándonos en un terreno donde el rigor científico está lo suficientemente
desarrollado como para servir aún con más eficacia que antes a la meta de
terminar con la pobreza que mina el potencial humano, y no solo en Colombia
sino en todo el mundo. Este seminario constituye un paso importante en el
traspaso de esos límites.
20
PRIMERA SESIÓN
Valor y beneficios de la evaluación para fortalecer

el diseño de políticas y la calidad del gasto público
PRIMERA sesión
Retos y perspectivas de la evaluación

y la información en Colombia
Santiago Montenegro*
C uando Manuel Fernando Castro me invitó a participar en este

seminario le propuse que, además de evaluación, era necesario hablar
de la información, porque si bien la evaluación es un instrumento para
generar información, a su vez requiere de buena información para obtener
resultados de calidad. Desde el primer día de gobierno el tema de la información
se volvió una de las obsesiones de la reforma del Estado. Recuerdo que en
algún momento me llamó el Presidente de la República a pedirme el número
de empleados de la rama ejecutiva del Gobierno Nacional Central, dato que
yo no tenía. Entonces llamé al Departamento Administrativo de la Función
Pública, entidad responsable de proveer y sistematizar esta información y
tampoco lo tenía.
Aunque parezca increíble, no existía en el año 2002 un dato preciso sobre

el numeró de funcionarios y contratistas del Estado en el nivel central
y mucho menos en los demás niveles de gobierno. Pasaron los días y nos
dimos cuenta que tampoco sabíamos con exactitud cuantos niños asistían a
las escuelas y colegios públicos, cuantos docentes en total tenía el sistema
22
de educación pública y como estaban los docentes y estudiantes distribuidos
regionalmente. Constatamos que la información sobre el desempeño fiscal de

los departamentos y municipios no solo era precaria sino tardía, con más de dos
años de rezago, y que no existía, y aún no existe, información adecuada sobre
el destino final de los recursos de transferencias para la salud, la educación
o el saneamiento básico con lo cual es imposible medir el impacto de dichos
recursos sobre los beneficiarios o el desarrollo social del país.
Entonces, desde esos primeros días del Gobierno, en el Departamento

Nacional de Planeación se nos empezó a volver una verdadera obsesión el
* Director del Departamento Nacional de Planeación (DNP)
PRIMERA sesión
tema de la información, de su pertinencia y de su calidad. Por eso hemos

hecho muchos esfuerzos para mejorar la información, pues sin este insumo no
hay evaluación y sin estas dos herramientas no puede haber una buena gestión
pública ni un estado moderno.
• Introducción
Quiero comenzar diciendo que el gobierno tiene una estrategia de información

que hace parte del programa que el Presidente de la República encargó al
DNP y que se conoce como el Programa de Renovación de la Administración
Pública (PRAP). Este programa descansa sobre tres pilares fundamentales: un
Estado gerencial, un Estado participativo y un Estado descentralizado.
Hace falta un Estado gerencial, una nueva cultura de lo público, un Estado que
funcione por resultados. Nosotros hemos estado acostumbrados en Colombia,
y en buena parte de los países en desarrollo, a ver cuantos recursos se dirigen
a los sectores, pero no vemos el otro lado. ¿Qué sale de esos recursos? ¿Cuál
es el producto de esos recursos en términos de coberturas, en términos de
calidad de la educación? Junto a ese Estado gerencial, hemos pensado que
tiene que reforzarse la participación ciudadana en la definición, en la ejecución
y en la vigilancia de las tareas públicas. Por eso los Consejos Comunales de
Gobierno, las Audiencias Públicas Anticorrupción, las Audiencias Públicas
del Plan Nacional de Desarrollo, los Consejos de Ministros Televisados de
rendición de cuentas y las Veedurías Ciudadanas que ha promovido y puesto
en marcha esta administración. Por último, como tercer pilar de la reforma del
Estado, se ha buscado profundizar la descentralización, evitando duplicidades
entre el Gobierno central y los entes territoriales, y delegando funciones y 23

competencias en el orden territorial de una manera ordenada y donde sea
posible.
Como estrategias generales de la Reforma del Estado, hemos trabajado

sobre dos bases. Primero lo que hemos llamado la reforma administrativa
propiamente dicha, lo que también hemos definido como las reformas
verticales, que tienen que ver con el rediseño organizacional por sectores de la
rama ejecutiva del Gobierno Nacional central. Un subproducto de esto ha sido
un ajuste muy importante en el número de funcionarios de la administración
pública. El gasto de funcionamiento del gobierno ( gastos generales y gastos de
personal) ha caído un punto del PIB entre 2002- 2005. Pero el programa tiene
PRIMERA sesión
otro eje mucho más estructural e importante que son las llamadas reformas
transversales o de largo plazo. Estas reformas buscan superar los problemas
profundos de la administración que afectan transversalmente a todo el Estado
y en este sentido tenemos avances en los siguientes aspectos:
• Programa de empleo público: el Congreso aprobó una Ley de Carrera

Administrativa en 2005.
• Programa de Gestión de Activos del Estado;
• Programa de Defensa Jurídica de la Nación;
• En marcha, reforma al Sistema Presupuestal
• Reforma a la Gestión por Resultados propiamente dicha, sobre la que voy a
hablar más adelante;
• Estrategia de Control Interno;
• Programa de gobierno Electrónico el cual hemos reforzado, dando
continuidad a lo iniciado en el gobierno anterior;
• Estrategia de Sistemas de Información sobre la cual voy a hacer también
referencia;
• Estrategia de reducción de trámites;
• Nuevo Sistema de Contratación Pública, con un proyecto de Ley de
contratación que busca reemplazar a la Ley 80;
• Reforma al Sistema Regulatorio y de Control.
A manera de conclusión en esta parte, quiero subrayar que la estrategia de

información y de fortalecimiento de la evaluación es, entonces, un componente
central del programa general de Renovación de la Administración Pública que
ha puesto en marcha este gobierno.
24
• Consideraciones generales sobre la información y la

evaluación
La información es un bien público que el mercado no provee espontánea

5
ni adecuadamente y que los ciudadanos necesitan . Cumple con todos los
6
atributos de los bienes públicos, pues es un bien no excluyente y de uso
colectivo. Debido a lo anterior estamos ante un mercado de la información
5
Musgrave, Richard, Peacock, Allan T. (Editors) 1967. Classics in the Theory of Public Finance.
Macmillan.
6
Head J. 1974. Public Goods and Public Welfare. Durham, North Carolina: Duke University
Press; Pigou, Arthur Cecil. 1962. A study in public finance. Macmillan.
PRIMERA sesión
imperfecto y por ello, existen argumentos para que exista una intervención del
Estado. La intervención del Estado debe estimular la oferta de información,
con datos, encuestas, registros, etc.; promover la demanda por información
y la cultura del uso de la información; y también garantizar el acceso a los
medios de intercambio, con canales de difusión y sistemas de información.
La información es, a su vez, un instrumento que contribuye a la gobernabilidad

en la medida en que afecta las relaciones entre las entidades de la administración
pública, en todos sus órdenes y la comunidad. De ahí que de acuerdo con los
principios fundamentales de la estadística oficial definidos por las Naciones
Unidas7, los gobiernos deben producir, compilar y facilitar en forma imparcial
las estadísticas básicas de utilidad para que los ciudadanos puedan ejercer su
derecho a mantenerse informados.
La información pública y en tiempo real es el mayor disuasivo de la corrupción,

el despilfarro y la ineficiencia. Esto ya lo hemos comprobado; si existe
información y si un funcionario público, un alcalde, un gobernador, sabe que
va a haber información en tiempo real y que esa información va a ser pública,
este piensa dos veces antes de dar un mal uso a esos recursos. Buena parte
de la crisis fiscal de los entes territoriales de los años 90, se debió a que no
existían sistemas de información que le permitiera saber a los ciudadanos los
recursos que estaban recibiendo las regiones y por supuesto la efectividad de
los mismos. La situación ha cambiado radicalmente a partir del año 2000, no
solo porque existen sistemas de información, sino porque ha estado en pie la
Ley 617 que le puso un gran orden a las finanzas territoriales. Pero el tema de
la información ha sido crucial en ese proceso.
25

Ahora bien, para hacer transparente y eficiente la gestión pública no basta
con facilitar el acceso a la información. Se requiere, en particular, contar con
herramientas de evaluación que, por un lado, permitan hacer un mejor uso
de la información (estimular la demanda) y por otro, permitan generar mayor
información y sobre todo evidencia para mejorar los procesos de definición
de políticas y asignación del gasto. Respecto a esto último, algo que ha sido
muy poco reconocido en nuestro contexto es que, por sus efectos sobre la
7
Naciones Unidas. 1994. Principios Fundamentales de las Estadísticas Oficiales, Comisión de
Estadística de las Naciones Unidas, Nueva York.
PRIMERA sesión
calidad y la eficiencia en la programación y asignación del gasto, especialmente

en momentos de restricciones fiscales como los de Colombia, la evaluación es
un instrumento adicional de sostenibilidad fiscal 8.
Se deben distinguir, sin embargo, los conceptos de evaluación y seguimiento:

La evaluación consiste en una valoración exhaustiva de la causalidad entre una
intervención del Estado y sus efectos (positivos, negativos, esperados o no)
para determinar su relevancia, eficiencia, efectividad, impacto y sostenibilidad.
Por su parte, el seguimiento es la comparación de los avances de una política
o programa frente a unas metas propuestas, pero no examina la causalidad
entre las intervenciones y sus efectos.
Entre los tipos de evaluación más relevantes para una administración pública
moderna y de calidad se cuentan la evaluación de gestión, la evaluación
financiera y, en un lugar muy destacado, la evaluación de impacto.
• La Evaluación de Gestión, tiene su foco de análisis en las actividades, metas,

procesos administrativos y uso de los recursos necesarios para el logro de
los objetivos propuestos por un programa o una entidad; por ejemplo la
gestión departamental o la gestión de los hospitales públicos.
• La Evaluación Financiera, analiza las dinámicas de ejecución y uso de los recursos

a través del tiempo; por ejemplo la situación fiscal de los departamentos o
la sostenibilidad financiera de las empresas industriales y comerciales del
Estado, etc.
26
• La Evaluación de Impacto, mide la eficiencia económica en la prestación de
un servicio o la ejecución de un programa y, lo más importante, valora el

logro de las políticas en términos de efectos sobre los beneficiarios o sobre
los objetivos de desarrollo de un país. Algunos ejemplos de este tipo de
evaluaciones los vamos a discutir en este seminario, Familias en Acción,
Empleo en Acción, etc.
En resumen, la información es un prerrequisito de la evaluación y esta

última, a su vez, es una herramienta para producir información de calidad
8
Journal of Budgeting, OECD, 2001.
PRIMERA sesión
para la gestión pública. Es una herramienta para que las decisiones públicas
más trascendentales puedan basarse en evidencia más que en ideologías
o consideraciones puramente políticas. La evaluación y la información,
entonces, son una condición necesaria para el mejoramiento continuo de la
administración pública. En Colombia, tanto la información como la evaluación
son todavía débiles, y debido a su potencial para contribuir al mejoramiento
de la gobernabilidad y a la modernización del Estado nos hemos propuesto
fortalecerlas.
• La información en Colombia
Según nuestro diagnóstico los principales problemas detectados en el país con

respecto a la información son:
• La producción de información es escasa, su calidad deficiente, la periodicidad

irregular y el acceso limitado.
• Hay alta duplicidad en la generación, es decir, distintas entidades producen
en forma deficiente, la misma información;
• Existen pocos incentivos para su producción y uso;
• Hay dispersión en los sistemas de información, una muy débil interoperabilidad
entre estos e ineficiencia en la asignación y uso de las inversiones en estos
sistemas.
• Existen pocos incentivos para la demanda de información por parte de los
ciudadanos, empresas y organizaciones de todo tipo.
Encontramos que la información es insuficiente y poco pertinente para tareas

fundamentales como: diseñar mejores políticas públicas, orientar la gestión
27
del Gobierno al logro de resultados, ejercer control, hacer rendición de

cuentas, hacer más transparente la gestión pública y promover la participación
democrática de la ciudadanía.
Hay, sin embargo, unos importantes avances normativos que vale la pena
resaltar:
• La Ley 489 del 1998 que creó el Sistema General de Información de la

Administración Pública;
• En el Plan Nacional de Desarrollo se introdujo una norma muy importante,
el artículo 17, que obliga al suministro de información a todas las entidades
públicas y aún al sector privado que tiene que ver o está interactuando con
el sector público;
PRIMERA sesión
Hemos hecho también avances institucionales importantes dentro del

Programa de Renovación de la Administración Pública:
• Una reforma de sistemas de información;
• Una reforma al Programa de Gobierno Electrónico;
• La creación de la Comisión de Políticas y Gestión de la Información, Coinfo,

con el decreto 3816 del año 2003.
Quisiera detenerme en esta última innovación institucional. El Coninfo es

la creación de una comisión intersectorial que permitirá definir y armonizar
las tecnologías de información y las políticas de información que requiere
el Estado. Es una instancia transversal sin burocracia, es más un comité. Lo
que había sucedido en Colombia hasta su creación, es que cada Ministerio
o Departamento Administrativo tenía sus propias políticas. Los sistemas de
información no se hablaban, no compartían estándares. Se llegó a extremos
como el de la DIAN, donde existían 18 sistemas de información que no se
comunicaban entre ellos.
Con esta comisión se han hecho ya avances importantes entre los cuales
quisiera resaltar tres:
• Se ha logrado una optimización del presupuesto de tecnologías de información

y telecomunicaciones en todo el Estado. Esto ha incluido un inventario de
las tecnologías de información y comunicaciones, una racionalización de la
capacidad instalada, y la generación de importantes economías de escala.
28
• Se están introduciendo metodologías y estándares para la integración de los

sistemas de información.
• Se ha definido una estrategia de Gobierno Electrónico en trámites, pagos y

firmas en línea.
Durante la vigencia 2005, el Coinfo evaluó un total de 154 proyectos de

9
inversión en sistemas de información ; en el periodo de enero a diciembre, la
distribución de esa inversión fue a software misional en 59%, infraestructura
9
Existe la comisión que preside el señor Vicepresidente y una secretaría técnica que hace los
estudios técnicos correspondientes.
PRIMERA sesión
tecnológica en un 38% y un 3% a los llamados ERPs o sistemas de gestión

10
financiera y administrativa (gráfico 1).
Gráfico 1 • Distribución de inversiones en sistemas de información
Durante el 2005
el comité evaluó 59%
154 proyectos por
un valor de
$ 387.516.139.676
y autorizó
levantamientos
de previo
3%
concepto por un 38%
valor de
$ 340.235.499.027
Fuente: Coinfo
Además de lo anterior, una de las reformas de las que se espera un mayor

29
impacto en la modernización del Estado, es la de los sistemas de información

pública y de gobierno electrónico. En este aspecto, para mejorar la producción,
el manejo y el uso de la información, se han implementado sistemas de
información específicos, cuatro de los cuales ya están en funcionamiento y
cinco más se encuentran en desarrollo (cuadro 1).
10
Se refiere a sistemas de información de gestión financiera y administrativa. Enterprise Resource
Planning (ERP).
PRIMERA sesión
Cuadro 1 • Sistemas de Información
En funcionamiento En desarrollo
SIGOB: Seguimiento a Metas
SUIT: Sistema Unificado de Trámites
Presidenciales
SUIP: Sistema Único de
Información de Personal SIGA: Sistema de Gestión de Activos
(modernización - fase 2)
SIFA: Seguimiento a proyectos de SUIFP: Sistema Unificado de Inversión
inversión (ampliar cobertura) y Finanzas Públicas
SICE: Sistema Integral de Contratación

SIIF: Sistema Integrado de Electrónica
Información Financiera (fase 2) SIDJN: Sistema de Defensa Judicial de
la Nación
Fuente: DNP - PRAP
Todos estos sistemas buscan, en conjunto, mejorar la producción, el manejo

y el uso de la información, además de definir estándares de las tecnologías de
información y comunicaciones, y estándares de seguridad en su manejo.
Quiero resaltar tres de los sistemas mencionados. En primer lugar, el llamado

Sigob o Sistema de Programación y Gestión de Metas Presidenciales el cual
es una poderosa herramienta que el Departamento Nacional de Planeación,
30 junto con la Presidencia de la República, han puesto en operación para hacer
seguimiento y control permanente a la gestión y a los resultados del Plan
Nacional de Desarrollo. Lo destacable es que cualquier ciudadano puede

entrar y consultar en que van las metas del Gobierno en tiempo real y que
las entidades ejecutoras interactuan en línea estableciendo un vinculo entre
los resultados y las inversiones asignadas. Los ministerios y entidades se
comprometen con esas metas y tienen que defenderlas públicamente, y por
supuesto al interior del Gobierno. El señor Presidente se reúne de forma
periódica con los ministros y los directores administrativos para hacer
monitoreo de las metas de cada sector. Contiene metas del Gobierno para
el cuatrienio, registra avances en línea de los objetivos del Plan Nacional de
Desarrollo, y contiene indicadores numéricos y verificables.
PRIMERA sesión
En segundo lugar, el Sistema Único de Información de Personal (SUIP),

compila la información sobre la planta de personal. El SUIP es un sistema en
línea, que contiene los cambios y las novedades en personal, los cuales son
actualizadas permanentemente por todas las entidades del Estado. Con él
se puede alcanzar una administración más eficiente del recurso humano con
base en información desde la selección de los funcionarios públicos hasta el
retiro. Está diseñado para que empiece a inter-operar con el SIIF del Ministerio
de Hacienda, particularmente con la cuenta de pago del beneficiario final.
Además, plantea la creación de un centro de servicios compartidos con una
base única de datos de personal y de nómina.
El SUIP se usará para identificar la viabilidad presupuestal de la creación de

cargos y para hacer pública la hoja de vida de los funcionarios, incluyendo, por
supuesto, el nombre y el salario correspondiente. Sobre esto todavía hay una
gran discusión y estamos determinando jurídicamente hasta donde podemos
llegar, pero sin duda cualquier ciudadano va a poder entrar y ver entidad por
entidad quien trabaja allá, y otra información básica de la hoja de vida.
Finalmente resalto el llamado Sistema de Información de Seguimiento a

Proyectos de Inversión (SPI). Este sistema apoya el seguimiento, revisión y
control de los proyectos y permite hacer consultas regionalizadas, pues es un
sistema georeferenciado de todos los proyectos del orden nacional en el país.
Este sistema fortalece en materia de seguimiento la gestión del Gobierno en
general y en particular la del Departamento Nacional de Planeación. Aumenta
la capacidad de respuesta para interactuar con entes ejecutores y diversos
organismos del Estado. Los ciudadanos también van a tener acceso en línea a
este sistema. 31

• La evaluación y el seguimiento de las políticas y el gasto en

Colombia
La importancia de la evaluación y el seguimiento del gasto público se resalta

cuando constatamos el aumento del gasto total como porcentaje del PIB
tuvo un incremento muy significativo después de la Constitución de 1991.
De hecho pasó de 15% a 21,4%, y el gasto social pasó de 11,2% a 14,9%,
entre 1994 y 2004. Así, el gasto total aumentó en 43% y el gasto social en
35% (gráfico 2).
PRIMERA sesión
Gráfico 2 • Gasto público vs. Gasto social: 1994 – 2004

(% PIB)
25.00
21.45
20.00
14.95
15.00
10.00
1994 1995 1996 1997 1998 1999 2000 2001 2002 pr 2003pr 2004py
Gasto social Gasto público
*corresponde a PGN más empresas del Estado que contribuyen al gasto social
Fuente: DNP-Dirección de Estudios Económicos
Pero el problema con este incremento, es que los principales indicadores

sociales no mejoran en la magnitud de los recursos públicos invertidos:
• Entre 1995 y 2002, en educación se produjo un incremento de 30% real en

recursos, pero la matrícula básica oficial aumento sólo 18%.
• Entre 1996 y 2001, cayó 0,8% la atención en la Red Pública Hospitalaria,

mientras su gasto total en términos reales creció 25%.
• Entre 1994 y 2002, se invirtieron $78 billones del año 2002 en las regiones
y entre 2003 y 2006 se habrán invertido $52 billones por transferencias, de
32 los cuales el 80% se destinan a educación, salud y saneamiento.
Asimismo, el crecimiento de ese gasto, trajo durante varios años, un deterioro

continuo en las finanzas del Estado. La situación fiscal de mediano y largo
plazo requerirá obtener mejores resultados con menores o iguales recursos.
Todo esto, implica determinar con certeza si la orientación de las políticas y
programas es la más adecuada en términos de impacto, eficiencia, calidad,
eficacia y sostenibilidad.
Lo anterior resalta la importancia de fortalecer la evaluación en el país, y esto

es precisamente lo que fundamenta la labor desarrollada por el DNP con el
Sistema Nacional de Evaluación de Resultados de la Gestión Pública (Sinergia).
PRIMERA sesión
Este sistema, que fue ajustado y mejorado durante esta administración, tiene
11
origen en la Constitución de 1991 , la cual ordenó crearlo con el objetivo de
12
orientar la gestión al logro de resultados .
Sin embargo, aún se evalúa un porcentaje muy reducido del presupuesto. Las
deficiencias de información a las que he hecho referencia, elevan los costos de
las evaluaciones. Es insuficiente la difusión de los resultados del seguimiento y la
evaluación. Es precaria aún la cultura de evaluación y seguimiento en el sector
público, y existe una débil vinculación entre el presupuesto y la evaluación,
Es de anotar que la evaluación en Colombia se acaba de reformar con un

documento Conpes muy reciente, el 3294 de 2004, que reforma a Sinergia.
Con este documento de política se pretende fundamentalmente:
• Vincular la evaluación y el presupuesto;
• Darle impulso a la demanda de evaluación vía incentivos, con los ciudadanos,

presupuestales e institucionales;
• Impulsar las evaluaciones de impacto, para lo cual existe una agenda de

evaluaciones 2002 - 2006;
• Fortalecer la rendición de cuentas con nuevos mecanismos;
• Mejorar la información, como busca la reforma del Estado.
Asimismo, se busca a través de este documento Conpes fortalecer los tres 33

principales componentes de Sinergia:
• Seguimiento a resultados, con metas numéricas y seguimiento en tiempo

real a los indicadores del Plan de Desarrollo;
• Evaluaciones focalizadas, con resultados de impacto, financieros y de

gestión;
11
Artículos 343 y 344.
12
Ver Ley 152 de 1994, Artículo 29.
PRIMERA sesión
• Difusión de resultados y Rendición de cuentas, con los informes al congreso,

con los reportes en línea a la ciudadanía, foros de discusión, reportes
virtuales y bases de datos públicas.
Algunos ejemplos de lo que se ha hecho en evaluación son:
• Red de Apoyo Social (RAS): Familias, Jóvenes y Empleo en Acción;
• Programa de Renovación de la Administración Pública (PRAP);
• Programa de Apoyo Directo al Empleo;
• Hogares Comunitarios y Desayunos Escolares;
• Sistema General de Participaciones;
• Apoyo a mediana y pequeña empresa;
• Vivienda de Interés Social.
En cuanto a la evaluación financiera, están los indicadores fiscales

departamentales y municipales, en lo cual el DNP ha invertido un importante
esfuerzo para hacerle conocer a la ciudadanía en las regiones, en los
departamentos y los municipios, los recursos que están llegando, sus recursos
propios y los indicadores de evaluación de su uso. También hemos trabajado
en el tema de sostenibilidad financiera de varias Empresas Industriales y
34 Comerciales del Estado.
En evaluación de gestión se han desarrollado indicadores de gestión

departamentales; se han hecho estudios de gestión sectoriales, por ejemplo
hospitales; y se ha trabajado en el análisis de las transferencias de agua potable y
saneamiento básico. Algunos Ejemplos de estos ejercicios son los siguientes:
En el programa Familias en Acción.
• Aumentó sustancialmente el consumo de alimentos de los niños, 15%,

particularmente en proteínas;
PRIMERA sesión
• Mejoraron las condiciones de nutrición representadas en mayor crecimiento.

En promedio, los niños menores de 2 años beneficiarios son 0,78 de un
centímetro más altos que los no beneficiarios;
• Incrementó de forma importante la asistencia escolar, entre 5% y 13%

en niños y jóvenes en edades de 14 a 17 años, y se registró una reducción
significativa del trabajo infantil;
• Se evidenció además que los efectos del programa son mayores en las zonas
rurales que en las zonas urbanas.
En el programa de Hogares Comunitarios, la evaluación mostró:
• Un importante aumento en la talla promedio de los niños;
• Un efecto de largo plazo sobre el desempeño de los niños en las escuelas,

los de 12 a 17 años que asistieron a Hogares Comunitarios tienen una
probabilidad 28% mayor de asistir a la escuela y 14% mayor de aprobar el
último año;
• Además, un aumento de 39% en la participación laboral femenina.
La evaluación de gestión en las Transferencias de Agua Potable y Saneamiento

Básico ( las líneas gruesas del gráfica 3), muestran que entre 1996 y 2003,
si se hubieran invertido en forma eficiente los recursos, hoy deberíamos
tener 100% de cobertura en acueducto, contra 88% que tenemos en este
momento, y deberíamos tener un 95% de cobertura en alcantarillado, contra 35

74% que tenemos hoy. SEMINARIO INTERNACIONAL
PRIMERA sesión
Gráfico 3 • Evolución de la cobertura nacional en acueducto y

alcantarillado
105%
100%
100%
95% 95%
90% 88%
85%
80% 83%
75% 74%
70%
65% 70%
60%
1996 1997 1998 1999 2000 2001* 2002 2003
Acueducto --------- Acueducto (p)
Alcantarillado --------- Alcantarillado (p)
Fuente: DANE (ENH – ECH), Cálculos DDUPA-DNP
Hemos hecho evaluaciones especializadas en otros sectores. En el tema de

hospitales analizamos 488 instituciones, establecimos un índice sintético de
eficiencia y cruzamos eso contra indicadores como gasto total y número de
consultas (gráfica 4). Así rankeamos de 1 a 488 todos los hospitales del nivel 1
y también todos los hospitales de nivel 2 y 3.
Gráfico 4 • Eficiencia técnica relativa vs. Costo unitario de las consultas

médicas
36 Índice de Eficiencia
100
90
80 Hospital de Turbaco Bolívar
70
60
488 hospitales
50
de nivel 1 de 40
C e ntros y Puestos de Salud
complejidad 30 Puerto Inírida G uanía
20
con camas, 10
2001 0
0 50 100 150 200 250 300 350 400 450 500 550 600 650
G asto To tal /N ú m e ro de
C onsultas (M iles de pesos)
Fuente: DNP
PRIMERA sesión
Otro ejemplo son las evaluaciones de las finanzas departamentales (cuadro

2). Anualmente Planeación Nacional realiza esta evaluación y la hace pública
para todos los departamentos y municipios del país. Los resultados muestran
quienes ocupan los primeros y los últimos lugares en desempeño fiscal, lo que
ha generado múltiples discusiones en el nivel local y nacional . Sin embargo,
estas evaluaciones son de gran importancia para la ciudadanía ya que ésta
puede ejercer un control social sobre estos resultados.
Cuadro 2 • Ranking de desempeño fiscal 2003 de los departamentos

Evaluación de finanzas departamentales
Resultados 2003 Resultados 2003
Depto Depto
Índice fiscal Posición Índice fiscal Posición
CASANARE 68,63 1 CASANARE 68,63 1
RISARALDA 67,42 2 RISARALDA 67,42 2
CESAR 67,21 3 CESAR 67,21 3

SUCRE 65,50 4
SUCRE 65,50 4
META 62,72 5
META 63,52 5
ATLÁNTICO 61,77 6
ATLANTICO 62,72 6
CALDAS 61,28 7
CALDAS 61,77 7
BOYACÁ 60,97 8
BOYACA 61,28 8
QUINDÍO 59,4 9
QUINDIO 60,97 9
ANTIOQUIA 59,37 10
ANTIOQUIA 59,40 10
BOLÍVAR 58,78 11
BOLIVAR 59,37 11
NARIÑO 58,16 12
NARIÑO 58,78 12
CMARCA 57,5 13
CMARCA 58,16 13 CÓRDOBA 57,4 14 37
CORDOBA 57,50 14 HUILA 56,48 15

HUILA 57,40 15 MAGADALENA 56,48 16
Fuente: DDT - DNP
• Principales retos de la información y la evaluación en

Colombia
De acuerdo con todo lo anteriormente expuesto existen importantes retos

para la información y la evaluación en Colombia los cuales pueden ser
planteados tanto por el lado de la oferta como de la demanda.
PRIMERA sesión
Por el lado de la oferta se requiere:
• Identificar y generar la información oficial básica para el funcionamiento

eficiente del Estado (registros y encuestas);
• Lograr estándares de calidad que hagan confiable y oportuna la
información;
• Promover la producción y actualización permanente de la información;
• Fortalecer la capacidad de evaluación del país;
• Introducir incentivos que hagan de la evaluación una práctica permanente;
• Vincular la evaluación a la programación y ejecución del gasto
• Hacer que la información sea pública y en línea.
En cuanto a los retos por el lado de la demanda tenemos:
• Establecer sanciones y estímulos al uso de información,;

• Facilitar acceso a la información;
• Promover ejercicios de rendición de cuentas;
• Continuar promoviendo que las entidades del Estado informen,
especialmente en el nivel territorial.
• Hacer más transparente la presupuestación.
• Sensibilizar sobre la importancia de evaluación dentro del Gobierno
Ahora bien, también tenemos importantes retos en materia de desarrollo de

instrumentos:
38
• Se requieren cambios institucionales para que la escuela, el hospital o el

municipio registren información en línea, es muy importante que esta
cultura se introduzca a nivel de la fuente primaria de la información.
• Hay que continuar y profundizar las reformas de los sistemas de información

y evaluación.
• Falta introducir estándares de interoperabilidad, integralidad y seguridad en

los sistemas de información;
• Se deberá buscar institucionalizar y fortalecer los instrumentos de

recolección de información.
PRIMERA sesión
• Habrá que vincular el seguimiento y la evaluación con el proceso

presupuestal.
• Se deberá incrementar el porcentaje del presupuesto que es evaluado;
• Hay que establecer normatividad que haga obligatoria la evaluación de los

principales programas y políticas del Estado
• Conclusiones
Desde principios de los 90’s Colombia ha experimentado importantes

avances en materia de evaluación e información. Desde 2002 con la reforma
del Estado introducida por esta administración se ha buscado fortalecer estas
dos herramientas y convertirlas en rasgos distintivos de una administración
orientada hacia resultados y de cara al ciudadano.
Para este gobierno, la información es el insumo fundamental para la

gobernabilidad y la principal herramienta de cualquier política pública. Sin
información no es posible evaluar y sin evaluación no puede haber políticas
de calidad. Es mucho lo que se ha avanzado pero aún hace falta un largo
camino por recorrer. El reto hacia adelante es por supuesto profundizar y
hacer sostenibles todas estas reformas.
39

PRIMERA sesión
La respuesta del Gobierno a la

necesidad de evaluación desde la
perspectiva fiscal y de presupuesto
Alberto Carrasquilla*
M uchas gracias. Me siento muy contento de estar en este seminario,

me parece una gran oportunidad y de una gran importancia.
Especialmente me siento contento de que nos acompañe en estas
discusiones François Bourguignon, que es un gran conocedor y un gran amigo
de este país.
Este es un seminario que se llama ¿Por qué evaluar el gasto público? y yo voy a
comenzar con una respuesta personal a esta pregunta. Cuando yo me gradué
de la universidad hubiera contestado que para nada, porque el gasto público
no sirve para nada, el gasto público óptimo es aproximadamente el 0% del
PIB. Ese era mi análisis en ese momento.
Posteriormente fui a trabajar a Paraguay y allí me encontré en un barrio

residencial de una gran opulencia con la siguiente escena: era una casa muy
grande y en frente toda la calle estaba pavimentada con un faro de luz; la
siguiente casa era una un poco más modesta, la calle estaba despavimentada
40
y no había luz; la siguiente casa era muy grande, despavimentada y sin faro
de luz. Entonces en un espacio muy pequeño en un barrio residencial muy

alto de la ciudad de Asunción, vi como se daban soluciones privadas a unas
necesidades públicas. Como yo no tomé muchos cursos de gasto público y de
ese tipo de cosas en la universidad, esto fue algo que aprendí en ese recorrido,
con una experiencia muy sencilla y personal: entendí que era necesario, hasta
cierto nivel, la solución de problemas de adquisición de bienes públicos.
De modo que quiero dividir mi presentación en dos partes a la luz de

esta experiencia, y mirar el caso colombiano desde un punto de vista
* Ministro de Hacienda y Crédito Público
PRIMERA sesión
concreto y desde el punto de vista de la coyuntura. La primera es una parte

macroeconómica y la segunda toca algunos aspectos microeconómicos
especialmente importantes desde el punto de vista colombiano.
• Aspectos macro del gasto público
De mis trabajos en Paraguay, que es el primer o segundo país de más bajo

gasto público en América Latina, un continente a su vez de relativo bajo gasto
público en la perspectiva internacional, yo saco tres conclusiones grandes:
• En primer lugar, que el gasto público está asociado con externalidades

positivas, eso lo veía yo en esos barrios mientras caminaba por ahí.
• En segundo lugar, que la seguridad y la justicia son bienes públicos

importantes, generan la necesidad de gasto público.
• Tercero, que el gasto público fortalece el capital humano, que si bien es un

bien privado requiere de unas economías de agregación, unas economías
de consolidación y unas economías de escala, para que la inversión sea lo
más rentable posible, y sobre esto hay bastantes resultados.
La evidencia empírica es que el gasto público no necesariamente lleva a la

solución de ninguno de esos tres problemas, el gasto público no necesariamente
implica mejores resultados. Yo podría enumerar más pero ninguno de esos tres
problemas está garantizado con simplemente gastar más plata y presupuestar
más recursos y hacer mayores esfuerzos en materia tributaria para aumentar 41

el gasto público. SEMINARIO INTERNACIONAL
Quisiera recordar algunas de las ideas de un libro importante liderado por

13
Vito Tanzi que a mi me impresionó mucho. Es un recorrido por la historia
del gasto público en el siglo XX a nivel mundial y tiene algunas enseñanzas
generales basado en la experiencia de muchos países, de las cuales yo extraigo
tres para organizar esta discusión:
13
Vito Tanzi and Ludger Schuknecht, Public Spending in the 20th Century: A Global Perspective.
Cambridge and New York: Cambridge University Press, 2000.
PRIMERA sesión
• La primera es que es improbable que el progreso en términos de objetivos

sociales y económicos se pueda desprender del gasto público adicional.
Esta es una primera premisa importante para responder la pregunta que
nos reúne hoy.
• Segundo, algo que es más subjetivo, los resultados sugieren que con
políticas inteligentes los gobiernos pueden alcanzar los mismos objetivos
sociales y económicos con niveles de gasto muchos menores. Ahí viene el
concepto de políticas inteligentes.
• En tercer lugar, esto no implica que tengamos que irnos hacia un Estado
del estilo de los que yo concebía como el mejor Estado posible cuando
me doctoré en economía, se demuestra que la existencia del Gobierno es
importante.
Como mostraba Santiago Montenegro, el gasto público en Colombia ha

crecido de una manera muy sustancial (ver Gráficos 1 y 2). Si se mira el
gasto del Gobierno Nacional se obtiene un gráfico bastante impresionante y
bastante conocido en nuestro país, pero eso no es todo el Estado. El Estado
en Colombia toma muchas más decisiones. Por ejemplo: toma decisiones
de refinación de petróleos para convertirlos en gasolina, toma decisiones
en materia de producción y distribución de gas, toma decisiones en materia
de generación y distribución de energía; toma muchas decisiones que hacen
que la participación del gasto público como tal sea una parte importante de
nuestro Producto Interno Bruto.
Gráfico 1• Evolución del gasto público en Colombia

Millones de pesos de 1994
18000000
42
16000000
14000000
12000000
10000000
8000000
6000000
4000000
2000000
0
1990
1991
1992
1993
1996
1997
1998
1999
2000
2001
2002
2003
Fuente: Confis
PRIMERA sesión
Gráfico 2 • Evolución del gasto público en Colombia

% del PIB
25
20 19,9 20,2
20 18,6 18,4
16,7
15,3 16,1
15 13,4
11,8 12,6
9,4 10 10,6
10
0
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
Fuente: Confis
El siguiente gráfico es para mí el más interesante y el más importante (ver

Gráfico 3). Aquí está una descripción de la relación entre los aumentos del
gasto público en Colombia y un indicador muy primitivo de cual es nuestra
productividad, la llamada Productividad Total de los Factores (PTF). Es
un indicador que ha sido criticado, pero si se estima cuanto vale esa PTF
y se relaciona con los esfuerzos que estamos haciendo los colombianos en
materia de gasto público, se encuentra con que la relación, siendo generosos,
podríamos decir que no es clara.
Gráfico 3 • Gasto Público y Productividad Total de los Factores (PTF)
43
25 Gasto % PIB 2.45

PTF 2.4
20
2.35
15 2.3
2.25
10 2.2
2.15
5
2.1
0 2.05
1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003
Fuente: Ministerio de Hacienda y Crédito Público

PRIMERA sesión
El siguiente gráfico muestra la relación entre gasto público como porcentaje del
PIB y ese indicador de nuestra productividad como Colombianos (ver Gráfico
4). En el eje horizontal están medidas las relaciones de gasto a producto y
en el eje vertical está medida la productividad total de los factores. Aparece
una figura similar a una “n”. Esa “n” quiere decir que hay una relación positiva
para ciertos niveles de gasto público y una relación negativa a partir de ciertos
niveles de gasto público, 15% o 16% del producto. En otras palabras, en este
momento Colombia cuenta con una relación que no es clara, entre la manera
como estamos gastando nuestros esfuerzos, nuestros recursos, y los efectos
que se están produciendo a nivel de los tres grandes problemas: la generación
de externalidades, la adquisición de bienes públicos y el fortalecimiento del
capital humano.
Gráfico 4 • Gasto como % del PIB y PTF
2,4
2,35
2,3
2,25
2,2
2,15
8 10 12 14 16 18 20 22
44
El siguiente gráfico muestra la Productividad Total de los Factores (ver Gráfico

5), pero quizás la más importante es una medida adicional; ese es el siguiente
gráfico (ver Gráfico 6), el cual muestra un indicador objetivo con múltiples
limitaciones pero que mide las principales variables sociales; es el Índice
de Desarrollo Humano (IDH), que tiene en cuenta las principales variables
sociales. Es una relación interesante entre el gasto público y el desarrollo social,
es una relación estrecha, muy parecida a la que se presenta entre el gasto
público y la productividad. Se ve una relación positiva muy clara entre niveles
relativamente bajos del gasto público, similares a los que hoy en día tiene
PRIMERA sesión
Paraguay con 8%, 9%, 10% del producto, y el desarrollo humano. Pero de
nuevo, tal y como uno lo puede observar con la productividad, tiene también
el efecto “n”. Tiene el efecto en el cual mayores flujos de gasto público no
necesariamente se relacionan con mayores desarrollos en calidad de vida.
Gráfico 5 • Crecimiento de la PTF
3%
2%
1%
0%
-1%
-2%
-3%
1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003
-4%
Gráfico 6 • Gasto Público e Índice de Desarrollo Humano (IDH)
0,8 22
45
0,78 20

Ïndice de Desarrollo Humano
0,76 18
0,74 16
% del PIB
0,72 14
0,7 12
0,68 10
0,66 8
1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002
Fuente: DNP
PRIMERA sesión
Lo anterior sugiere dos posibilidades. Una es la posibilidad de un joven

economista que dice: “lo que hay que hacer es recortar el gasto público”;
y otra es una visión que diría: “lo que pasa es que pasados ciertos niveles
donde el gasto público tiene efectos muy directos y muy fáciles de medir en
una primera etapa, hay un momento en el cual el gasto público es mucho
más difícil de que surta los efectos buscados a nivel de las externalidades, a
nivel la adquisición de los bienes públicos relevantes y por lo tanto a nivel de
los resultados en productividad del resto de la economía y en calidad de vida
para la población en general”. Llega un momento en el cual el simple hecho
de gastarse un peso adicional no tiene ningún efecto. Creo que, y esa va a ser
mi premisa de trabajo para la siguiente parte de mi exposición, nosotros en
Colombia hace rato estamos en la fase de difícil efecto.
Así, al responder la pregunta de ¿Por qué evaluar el gasto público?, la respuesta

ya no sería que el gasto público debe ser cero, sería por el contrario: porque
el país se encuentra desde hace por lo menos unos años en una etapa, en
una fase del desarrollo, en la cual el gasto público si no se hace bien no tiene
absolutamente ningún efecto en términos de equidad, de distribución del
ingreso y de justicia social. Por decirlo de otra manera, cada peso adicional
recaudado es un peso que no aporta a la productividad y no aporta al desarrollo
social, si no se hace bien el gasto. En ese punto, un componente esencial del
éxito o del fracaso es la evaluación de cada peso que nos gastamos.
• Aspectos micro del gasto público
El gráfico que se presenta a continuación muestra la relación entre los

46 gastos en educación y la cobertura (ver Gráfico 7). Son unos recursos que
se recogen de los contribuyentes y se gastan, y eso es lo que se denomina

educación. Es muy importante que la evaluación sea realizada con criterios
internacionalmente asociados. En el gráfico se ve la relación entre el gasto
público, o sea el esfuerzo que hacen los contribuyentes, y la cobertura, que es
el indicador más sencillo que se puede utilizar para medir si eso es educación,
aunque no en todos los casos exista una relación de causalidad entre estos
dos indicadores.
PRIMERA sesión
Gráfico 7 • Gasto en Educación y Cobertura
Secundaria Primaria Nacional Gasto Educación
90 5.5
85 5
80 4.5
75 4
70
3.5
65
3
60
55 2.5
50 2
45 1.5
40 1
1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002
Fuente: DNP
En Colombia existe un vacío en la relación gasto público/indicadores

comparativos de calidad debido a que las evaluaciones que se realizan no
tienen en cuenta las experiencias internacionales en el mismo campo. Esto
trae como consecuencia afirmaciones y resultados inexactos y poco creíbles.
Tal es el ejemplo del expositor que afirmaba que la calidad de la educación
en Colombia había desmejorado; decía que en el año ‘80 y tantos’, teníamos
10% de los bachilleres que tomaban el examen del ICFES, o sea el examen de
evaluación de la secundaria, en el nivel alto, y que 20 años más tarde solo 8%
estaba en el nivel alto. En cualquier país del mundo 10% de la gente está en el 47

nivel alto y 10% está en el nivel bajo. Una afirmación así no es creíble, lo que SEMINARIO INTERNACIONAL
se debe hacer es una comparación rigurosa con los demás países en América
Latina en cuanto al peso gastado marginalmente en educación pública versus
privada para analizar los indicadores de calidad.
Por lo tanto el gráfico No. 7 no permite evaluar el gasto público ya que

simplemente hace relación a la parte de cobertura. La afirmación propuesta, a
manera de hipótesis es que un peso gastado en Colombia en educación rinde
mucho menos socialmente y en términos de ganancias en productividad, que un
peso gastado en México o un peso gastado en Chile. La validación o refutación
de esta hipótesis no es posible debido a la inexistencia de información.
PRIMERA sesión
En el tema de salud existe un indicador de cantidad y es el número de camas

hospitalarias que existen en el país, en relación con el gasto público (ver
gráfico 8). Igualmente es un indicador insuficiente porque no es posible saber
si en Colombia el peso gastado en el margen en adquirir una cama nueva va
a rendir mejor en términos de mejorar la salud de los colombianos, que un
peso invertido para una cama hospitalaria en México, en Chile o en otro país
de referencia. Es decir, el mejor uso posible de ese peso de salud debe ser el
estandarte y en la medida en que se compare la situación con otros países será
posible establecer la mejoría del sector.
Gráfico 8 • Gasto en salud vs. Número de camas hospitalarias

Hospitales de II y III nivel
Gasto salud Camas

3 17500
2.5 17000
2 16500
16000
1.5
15500
1
15000
0.5 14500
0 14000
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
48
Fuente: DNP
Otro indicador utilizado en materia de salud son las consultas de urgencias.

Igualmente es muy poca la relación que se puede observar en estos niveles
cuantitativos disponibles (ver Gráfico 9).
PRIMERA sesión
Gráfico 9 • Gasto en salud vs. Número de consultas en urgencias

Hospitales de II y III nivel
Gasto salud Consultas urgencias
3 4000000
3500000
2.5
3000000
2
2500000
1.5 2000000
1500000
1
1000000
0.5
500000
0 0
1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003
Fuente: DNP
• Conclusiones
La reflexión final de ésta ponencia es que el gasto público tiene una

productividad marginal decreciente. El panorama actual colombiano no es
muy positivo ya que existen serias deficiencias en el gasto en los sectores salud
y educación. El agravante consiste en que las mediciones realizadas en este
tema no son contundentes debido a que no se contemplan las comparaciones 49
internacionales, por lo menos con los demás países de la región.

Las dos posibilidades para la solución del problema son: reducir el gasto público
o crear los incentivos adecuados para volverlo eficiente. La primera opción no
se contempla en este caso. Por el contrario existen muchas posibilidades que
el gasto público afecte positivamente la productividad y la calidad de vida de los
Colombianos, aunque es muy exigente. Lograr esos retornos a la inversión que
hacemos los colombianos y que hacen los contribuyentes es muy exigente. El
hecho de no contar con indicadores comparativos internacionales demuestra
la necesidad de impulsar el trabajo de evaluación rigurosa, por lo cual sería
posible poner esta estrategia bajo el rubro de incentivos. Actualmente el país
se encuentra en una fase de difícil progreso, de difícil justificación del peso
PRIMERA sesión
adicional de gasto público, y en la fase en que se debe justificar todo ese

incremento de gasto público que se ha hecho.
Finalmente y después de lo planteado en la exposición se puede decir que en

Colombia existe un problema microeconómico importante que se relaciona
directamente con los incentivos, con la evaluación, etc. La pertinencia de este
Seminario radica en que se analizarán casos específicos de gasto público en
Colombia como los programas de Familias en Acción, entre otros.
50
PRIMERA sesión
Modernización del presupuesto,

evaluación y calidad del gasto público
Antanas Mockus*
¿Q ué llevó a Bogotá a ser tan receptiva a propuestas construidas

desde Sinergia? Había incertidumbre sobre el crecimiento futuro
de ingresos fiscales locales. La ciudad quería además tener en el
gasto público una herramienta para transformarse, entonces no era aceptable
que el gasto fuera inflexible, fuera inercial. Se entendía que había que gobernar
el gasto, que el gasto debía ser gobernable. De ahí viene la receptividad de la
ciudad a las propuestas de modernización del presupuesto, y el desarrollo de
esas propuestas es lo que quiero contar.
Gestión de ingresos en Bogotá D.C.
Voy a empezar por los resultados y el primero es el tema de gestión de

ingresos. En estas discusiones la gente muchas veces dice o “mejor gestión de
ingresos” o “más austeridad y gasto más eficiente”. En el caso de Bogotá se
asumió radicalmente cada estrategia, como si de ella dependiera todo. Nos la
jugamos toda a recaudar mejor. Nos la jugamos toda a gastar mejor. Este sería
el mejor resumen de las experiencias que se exponen a continuación.
51
En el año 1990 Bogotá, por impuestos locales, recaudó US$ 200 millones
14
y en el 2003 recaudó US$ 750 millones . Para que esto fuera posible se
implementaron varias medidas como la unificación del predial, el mecanismo
de los auto avalúos en impuesto predial (fue clave el estatuto orgánico de la
ciudad que permitió el auto avalúo), la racionalización tributaria, la sobre-tasa
de la gasolina, el recaudo simplificado y el sistema de sanciones. Todo el tiempo
la ciudad a lo largo de estos trece años estuvo produciendo innovaciones.
Además la buena gestión de los activos de la ciudad (las empresas de servicios,
básicamente) y la venta de la mitad de las acciones de la empresa de energía,
* Ex alcalde de Bogotá
14
Dólares de diciembre de 2001.
PRIMERA sesión
le generaron el equivalente a más de un año de ingresos libres, ingresos éstos

de otro tipo, no permanentes, que permitieron inversiones extraordinarias
en los últimos cinco años. Sin embargo, este tipo de gasto también genera
mucha preocupación por el efecto de arrastre: es casi inevitable que cuando
se hace gasto público se cause gasto público futuro y es parte de lo que la
modernización pretende atender: saber claramente cómo el gasto presente
presiona el gasto futuro.
Gráfico 1 • Aumento del ahorro público y Crecimiento de la inversión,

Bogotá D.C.
Miles de millones de pesos constantes del 2003
Py: proyección 2500 Ingresos Corrientes con ICA Y Reforma Tributaria Nacional
Pr: preliminar
2000 Ingresos Corrientes
(Escenario Pasivo)
Los ingresos 1500
corrientes Ahorro
1000
incluyen reforma
tributaria 500
nacional y no Gastos de Funcionamiento Sin reestructuración ni austeridad
0
incluyen Fondo
1990
1992
1994
1996
1998
2000
2002
2004 (py)
2006 (py)
Nacional de
Regalías (FNR)
52
Fuente: SHD, Dirección Distrital de Presupuesto y Dirección de Estudios Económicos
En el gráfico (ver Gráfico 1), se pueden ver las curvas de gastos de

funcionamiento e ingresos desde 1990 y sus proyecciones para 2004, 2005,
y 2006. Está lo que hubiera sido el escenario inercial y lo que logramos,
sobretodo vía Reforma Tributaria Nacional. El Gobierno Nacional nos ayudó,
pero sobretodo pesó más en términos de dinero el aumento que autorizó el
Concejo de Bogotá en industria y comercio. Además de la curva de gastos
de funcionamiento, está la que hubiera sido sin política de austeridad, sin la
reestructuración y sin la modernización del presupuesto.
PRIMERA sesión
Sin embargo, una de las ideas claves para mí de la aproximación de

presupuesto por resultados, fue no concentrar la atención exclusivamente en
la oposición entre gastos de funcionamiento y gastos de inversión. Cuando se
hace presupuesto por resultados, cada resultado se prorratea y se mira qué
componente tiene de costos de funcionamiento y qué componente tiene de
inversión.
Quiero subrayar que en el gráfico (ver Gráfico 1), se señala el aumento del
ahorro y se presenta lo que hubiera sido el escenario inercial. Este último,
abría colocado la ciudad en una incapacidad de emprender nuevas tareas
y de ampliar coberturas, como lo viene haciendo y como lo quiere seguir
haciendo.
• Pilar 1: Bogotá, laboratorio de consistencias
A continuación quiero presentar el boceto de los ‘pilares’ o las más grandes

prioridades en el trabajo en Bogotá. En primer lugar, creo que Bogotá es un
pequeño laboratorio de consistencias (ver Figura 1), es decir, en esos trece
años: ¿qué pasa si usted trata de ser consistente?
Figura 1• Bogotá laboratorio de consistencias
Separación de Responsabilidad
poderes fiscal
53

Estado Social de Derecho
Protección a la
Corresponsabilidad
vida
Fuente: Autor
PRIMERA sesión
Bogotá es un pequeño laboratorio de consistencias (ver Figura 1). En Colombia

hay una constitución que claramente tiene los dos lados: Estado Social y Estado
de Derecho. Esto segundo significa garantías a derechos como la vida: durante
trece años se puso un énfasis enorme en la protección a la vida. Pero también
está el tema social, es un Estado Social y eso genera expectativas y genera
obligaciones. Entonces una de las apuestas que se hizo desde la administración
fue respetar la separación de poderes. Eso hace a veces un poco más lentos los
procesos, pero los hace infinitamente más sólidos. Cuando poderes distintos
se vinculan voluntariamente, por convicción, a una misma política pública, esa
política pública resulta contundente. El tema de la responsabilidad fiscal es un
principio que se volvió axiomático en Bogotá, es decir; Gobierno de Bogotá
que llegue a desordenar las finanzas pasa a la picota pública por décadas.
El tema de corresponsabilidad, que también es un tema de la Constitución
hace parte importante ya de nuestra experiencia, ya que se logró generar
conciencia de que las familias, los particulares, el sector privado y la sociedad
civil son corresponsables. Estos son los pilares uno, los pilares fundamento,
que fijan ambiciosas prioridades y criterios de éxito para el modelo.
• Pilar 2: El ciudadano, eje de la gestión
En el último Plan de Desarrollo escribimos una de esas frases que suenan

bonitas y que luego se van desarrollando por la vía de un elemental imperativo
de consistencia: El ciudadano, eje de la gestión. La figura muestra los pilares
asociados a esta perspectiva (ver Figura 2).
Figura 2 • El ciudadano eje de la gestión
54
Continuidad: Corresponsabilidad
construir sobre y autorregulación

lo construido
Los recursos públicos

recursos sagrados:
Validación El Transparencia,
externa Ciudadano rendición de cuentas,
Eje de la austeridad y
racionalización del
gestión
Más y mejores
canales de
interacción En cada
con el Gestión compartida: acción un
ciudadano coordinación y aprendizaje
trabajo en equipo
Fuente: Autor
PRIMERA sesión
Un pilar interesante fue Continuidad, “vamos a jalarle a la continuidad, vamos

a construir sobre lo construido”. Con Jaime Castro lo hicimos, con Peñalosa
lo hicimos. Lo que hicimos fue superar un poco el machismo ese clásico que
dice: “¿yo por qué voy a criar hijos de otros?”, y decirnos: “no, hombre, al
revés, mi deber es criar hijos de otros y si acaso queda plata podría engendrar
yo uno o dos adicionales”.
Corresponsabilidad y autoregulación. Al lado del concepto un poco económico

de corresponsabilidad ilustrado por el impuesto voluntario (63.000 familias
pagaron voluntariamente 10% más) también se planteó que también hay
corresponsabilidad en la autoregulación de los individuos y las organizaciones
y en la mutua regulación entre ciudadanos y entre organizaciones. Por eso
resultó tan importante la receptividad y el compromiso de las comunidades,
de los gremios, etc., con las acciones de cultura ciudadana (reducción de
muertes por accidentes y por homicidios, ahorro de agua, respeto a la cebra
y al cinturón de seguridad, respeto a la hora zanahoria y después a la hora
optimista).
El otro axioma fue Recursos sagrados. Los recursos públicos son recursos
sagrados. Esto implica transparencia, rendición de cuentas, austeridad,
racionalización del gasto.
Luego está la búsqueda de más Canales de interacción con el ciudadano. Lo
virtual, lo telefónico y lo presencial se desarrollaron mucho en estos últimos
tres años y veremos algunos resultados al final.
Gestión compartida. Se trabajó mucho la idea de liderazgo colectivo, de

liderazgo en equipo, coordinación y trabajo en grupo, mucha coordinación 55

horizontal. Existe una matriz de sistematización periódica de resultados por
objetivos y por sector, se hacían reuniones con el coordinador de objetivo
y con el coordinador de sector, esto permitía que las acciones fueran leídas
desde dos perspectivas, desde el sector y desde los objetivos, doble lectura que
tiene sus ventajas al aumentar el seguimiento y multiplicar las oportunidades
de coordinación.
Validación externa. Existe una experiencia muy exitosa en Bogotá que se

llama Bogotá como vamos. Es una alianza de la Fundación Corona que es una
ONG, la Cámara de Comercio de Bogotá que es tal vez la mejor expresión
del sector privado de la ciudad, y la casa editorial del Tiempo. Cada tres
meses se publica un informe con cerca de 200 indicadores y la mayoría de la
PRIMERA sesión
información la suministra el propio distrito obligatoriamente. Otra parte de

la información es el resultado de encuestas que Bogotá cómo vamos produce
independientemente cada año, y que son muy profundas y permiten evaluar
otros aspectos. Cada administración tiene la posibilidad de incluir nuevos
indicadores en la evaluación pero no puede prescindir de ninguno de los ya
existentes.
En cada acción un aprendizaje. Un principio pedagógico adoptado fue que

cada acción debe dejar un saldo pedagógico o hay que tratar de buscarle el
saldo pedagógico. Aunque la estrategia educativa tiene muchos críticos, es
necesario invertir en ésta con el fin de generar conciencia en la ciudadanía.
• Presupuesto inteligente para Bogotá D.C.
El tema del Presupuesto Inteligente consiste en la combinación de el

Presupuesto orientado a resultados y el Marco de gasto en mediano plazo.
La implementación de este esquema fue difícil ya que era necesario que los
funcionarios fueran aprendiendo a traducir todo al nuevo lenguaje y, para ello,
se adaptaran a veces superficialmente a la propuesta del presupuesto por
resultados. La asimilación de la filosofía ha sido gradual.
En el 2000 se presentó el presupuesto por resultados y desde entonces

año tras año la discusión presupuestal y el debate en el Concejo se fija cada
vez más en las metas que en los rubros. Dicho de otro modo se cuenta ya
con la elaboración y discusión de un presupuesto por resultados. Lo de la
contabilidad minuciosa de costos para cada producto es lo que está todavía
56 por acabar de desarrollar. Lo que hay por ahora en muchos casos es una
especie de prorrateo: por ejemplo, un estudiante de colegio en Bogotá debe

estar costando como millón trescientos mil pesos año; entonces por prorrateo
se intenta establecer cuánto de eso es gasto de inversión y cuánto de eso es
gasto de funcionamiento. Este todavía no es un análisis riguroso realista, es
como una conjetura, pero ya a la gente le toca que le sumen sus gastos de
funcionamiento y sus gastos de inversión. El tema del precio unitario que va
emergiendo en esto es importante, pues así la discusión del presupuesto ya
no es si ampliar la partida en cierto número (de pesos), sino si ampliar la meta
(cuántos estudiantes nuevos).
PRIMERA sesión
Los retos iniciales fueron formulados en la Secretaria de Hacienda de la siguiente

manera. Un propósito deseable contemporáneo es impulsar el ejercicio
efectivo de control social, pero no hay control social si no hay información
apropiable y utilizable. Entonces, se necesita producir una información que
la ciudadanía y sus líderes puedan utilizar y aprovechar. De ahí se dedujo la
necesidad de que la información presupuestal anual contenga una información
sobre resultados esperados. Obviamente una vez que usted tiene información
muy específica sobre resultados esperados, se dispara la demanda sobre los
resultados obtenidos. Se pasa de la proyección de resultados, a la evaluación
de resultados obtenidos.
Otra manera de formular esto, complementaria a los retos iniciales como

los vivió Hacienda, era preguntarse cómo orientar el gasto hacia el logro de
beneficios sociales sostenibles. Cuando se quiere orientar el gasto se debe saber
qué cosas se va a exigir o que cosas pueden ser objeto de control. Orientar
racionalmente el gasto es imposible si no se tiene claro lo que produce la
institución, en este caso particular la Alcaldía.Lo anterior cambia la forma en
que se toman las decisiones; enfatizando resultados, permitiendo visibilizar
la relación entre resultados esperados y gasto presente, e introduciendo
conciencia de la presión del gasto hacia el futuro.
Entonces de una manera más gráfica, esto es lo que les dije que todavía está
en desarrollo (ver Figura 3), el Presupuesto Inteligente.
Figura 3 • Presupuesto Inteligente

Referente de política y Marco de 57
de disponibilidad Gasto

real de recursos SEMINARIO INTERNACIONAL
de Mediano Costos de
en el mediano Costeo
Plazo actividades,
plazo Basado en procesos,
Actividades productos,
Compromisos políticas
Presupuesto
exigibles de Orientado a
Resultados con la Resultados
Ciudad
Soportado en:
Políticas
Sistemas Integrados de Información
y en una Estrategia de Comunicación y Difusión
Otras iniciativas de • Gestión de Activos y Pasivos

mejoramiento en Hacienda: • Modelo de Sostenibilidad Fiscal
Fuente: Autor
PRIMERA sesión
Este modelo es susceptible de cambios y mejoras. Actualmente hay avances

significativos en la mayoría de los sectores, existen los documentos de marco
de gasto de mediano plazo y se ha discutido cómo se relaciona el marco
de gasto de mediano plazo con las políticas, con las estrategias del Plan de
Desarrollo y con las políticas y estrategias sectoriales, por ejemplo con los
comités especializados en política social. Entonces ideas y pesos empiezan a
discutirse sincrónicamente, simultáneamente. Además, existe la idea con los
gerentes, con los secretarios que cuando un funcionario pone una meta éste
adquiere el compromiso de su cumplimiento.
Igualmente, quedan otras cosas que hay que hacer aún. El Modelo de
Sostenibilidad Fiscal Global, los cálculos, las proyecciones, tienen que
completarse. La Gestión de Activos y Pasivos, un tema en el que Bogotá también
ha avanzado y que en la capitalización de la empresa de energía funcionó
muy bien, todavía tiene mucho por mejorar. En efecto, la ciudad es dueña
de patrimonios grandísimos en empresas como la ETB y la gestión de eso
se hace buscando que la ETB sea lo mejor dirigida posible. Pero además,
hace falta desarrollar el Sistema de Información Hacendaria, se necesita desde
Hacienda tener una cierta visión de si la gestión de los activos (y en particular
de las empresas) es la más adecuada o no. Puede haber diferencias de opinión
entre lo que la empresa en su entusiasmo propone y lo que el Distrito quisiera
disponer (o al revés, donde la empresa ya ha alcanzado gran autonomía).
En síntesis, el Presupuesto Inteligente consiste en estas tres cosas: Marco de

gasto de mediano plazo, Presupuesto orientado a resultados, y Costeo basado en
actividades. Componentes que se soportan en las políticas, en los sistemas
58 integrados de información, y en una estrategia de comunicación y difusión.
• Presupuesto orientado a resultados
La frase “presupuesto orientado a resultados” es muy sencilla y resume buena

parte de la filosofía: el presupuesto se estructura en términos de resultados
con el fin de orientar el lenguaje presupuestal hacia el ciudadano, facilitando
la rendición de cuentas. Todavía hay mucho por recorrer, no me declaro para
nada satisfecho, pero se ha empezado a transformar el laberinto presupuestal
en algo que tiene sentido para el ciudadano. Como procedimiento gerencial
de asignación de recursos funciona, porque integra los resultados al proceso
presupuestal de tal manera que son los resultados la unidad gerencial de
PRIMERA sesión
asignación y rendición de cuentas. Integra el proceso presupuestal al proceso

de planeación, los conecta, lo uno viene desde lo macro, lo otro viene de lo
anualizado; y además, permite que haya responsabilidad de los gerentes sobre
las políticas, reduce el divorcio entre la política y la ejecución.
Menciono a estas alturas algo impresionante que pasó en el equipo, en cierto

momento dejamos de hablar en millones de pesos. Hablábamos en cupos
escolares: “usted está proponiendo hacer un parque que significa dejar por un
año veinte mil jóvenes sin educación”. Entonces la gente de Infraestructura,
15
la gente del IDRD , María Isabel Patiño en el IDU16 decía: “no, no, entonces
nosotros conseguimos nuestra plata por otro lado”. Era clarísimo que lo de
Estado Social de Derecho se favorecía con este tipo de equivalente universal.
En el siguiente cuadro presento un ejemplo que muestra cómo en el nuevo

Presupuesto orientado a resultados al lado de lo programado aparece la meta:
está la plata y está la meta (ver Cuadro1).
Cuadro 1 • Ejemplo de Presupuesto Orientado a Resultados
Cifras en Giros vigencia + Giros

Programación 2002 Resultado
millones de Meta reservas
de meta
pesos
Inversión Funcionamiento Inversión Funcionamiento
Prestación
del servicio 827.309 36.309 824.010 36.751
educativo
-No. de 59
cupos creados

48.000 57.452
en el sistema
educativo oficial
Prestación del
servicio de 4.759 973 5.696 984
bibliotecas
-No. de
usuarios de la
2.400.000 3.682.052
red distrital de
bibliotecas.
-Oferta
bibliográfica de
191.000 195.931
BIBLIORED (No.
de volúmenes)
PRIMERA sesión
Cifras en Giros vigencia + Giros

Programación 2002 Resultado
millones de Meta reservas
de meta
pesos
Inversión Funcionamiento Inversión Funcionamiento
Apoyos
especiales a 39.144 1.278 35.854 1.292
estudiantes
-No. de
niños atendidos
137.000 137.928
diariamente con
refrigerios
Sistema de
atención al 7.409 3 10.463 4
usuario
-Porcentaje
de quejas
solucionadas
por atención 70 100
al usuario que
efectivamente se
resuelven
Fuente: Secretaría de Educación Distrital
El cuadro presenta un ejemplo del nuevo Presupuesto orientado a resultados; al

lado de lo programado aparece la meta, posteriormente la plata y finalmente
la meta (ver Cuadro1). En el primer caso de este ejemplo está Número de
60 cupos creados en sistema educativo oficial y se ve que en ese año se sobrepasó
la meta que era 48.000, se lograron 57.452. En Prestación del servicio de
biblioteca la meta era 2.400.000 usuarios y se superaron los tres millones.

Oferta bibliográfica, número de libros, se pasó de 191.000 libros a 195.931.
PRIMERA sesión
Figura 4: Ejemplo de Presupuesto Orientado a Resultados
RECURSOS
PRESUPUESTO DE PRODUCTO
FUNCIONAMIENTO OBJETIVO (efecto)
Puentes vehiculares Disminuir los tiempos de
- Personal construidos y
- Servicios Públicos viaje y los costos de
mantenidos
$ 1.449.455.601 operación vehicular
Número de puentes para hacer más
vehiculares eficiente y competitiva
construidos: la ciudad
3
PRESUPUESTO DE Velocidad promedio de
INVERSIÓN Número de circulación vehicular
puentes (km/h): 28
- Construcción de vehiculares
puentes vehiculares y mantenidos:
peatonales 6
$ 16.452.341.843
Total Producto: Lo que la entidad

$17.901.797.444 entrega a terceros
Fuente: Instituto de Desarrollo Urbano (IDU)
El ejemplo que se puede ver en la siguiente figura es del IDU (ver Figura 4). 61

Aquí también se clasifica, presupuesto de funcionamiento y presupuesto de
inversión. Dentro de eso está Construcción de puentes, obviamente con esa
plata se hace más que esto. Está el número de puentes vehiculares construidos, y
el número de puentes vehiculares mantenidos. Esto es lo que la entidad entrega
como resultado a la ciudad, pero lo que la comunidad realmente recibe es el
impacto. Entonces vemos que la velocidad promedio de circulación vehicular de
la ciudad mejora, pasa de 26 km/h a 28 km/h. Obviamente en todo esto siempre
hay detalles de causalidad, de imputación y de atribución que son complejos;
o sea, no es tan sencillo como una fábrica de tuercas y tornillos de comienzos
del siglo XX.
PRIMERA sesión
• Marco de gasto de mediano plazo
En el tema del marco de gasto en mediano plazo, entra en juego una proyección
de los recursos que se hace de arriba hacia abajo, teniendo en cuenta
el crecimiento económico, variables macro y las prioridades de política
generales. Hay también estimaciones de abajo hacia arriba del costo actual, y
en el mediano plazo de las políticas existentes. Esta estimación es hecha por
los propios ejecutores, son lo que se bautizó como necesidades reales, cuya
satisfacción debía además proyectarse en el tiempo. Recuerdo que mi primer
ejercicio en esta dirección fue increíble, le pedía en 1995 a la Secretaría de
Obras proyectar el mantenimiento de las vías de la ciudad y me abocaba en
un solo año a resolver treinta años de descuido. Eran sumas tan astronómicas
que simplemente servían para decir: “no es posible arreglar el tema”. Hoy,
gracias al marco de gasto de mediano plazo hemos temporalizado, esto es
proyectado en el tiempo, el proceso de superar la brecha y esto permite un
proceso iterativo de decisiones que concilian costos con recursos disponibles.
Esto educa mucho en el tema de políticas nuevas. Si usted quiere lanzar una
política nueva, o le ayuda a la ciudad a crearse nuevos ingresos o le ayuda a
decidir que políticas viejas pueden pasar al archivo.
El proceso del marco de gasto de mediando plazo en detalle es como sigue. Hay
una política presupuestal que se explicita, que se consigna en un documento.
Se establecen unas cuotas plurianuales preliminares, ese se llama Documento
de lineamientos del marco de gasto de mediano plazo. Luego hay un desarrollo
de estrategias dentro de las entidades en contexto de lo expresado en la parte
general del Plan de Desarrollo, o sea los planes estratégicos en este momento
62 ya de cada cinco años. Finalmente, hay una fase de integración de la planeación
con la presupuestación: análisis, conciliación de iniciativas y presupuesto.
El Marco de gasto de mediano plazo es más que un conjunto de proyecciones de

gasto. Es un proceso de toma de decisiones donde el referente de análisis son
las políticas y las necesidades de recursos para alcanzar los beneficios sociales.
Es un proceso de asignación, o preasignación, donde el monto asignado a una
vigencia es tan importante como la dirección, la evolución del recurso en el
tiempo. Esto ya lo había dicho en otras palabras.
PRIMERA sesión
• Relación con la modernización administrativa
Bogotá son 64 entidades, 20 localidades y 53.000 servidores públicos. Los

objetivos del Plan de Desarrollo en este caso en el plan del 2001 al 2004
fueron siete, y había un objetivo con un nombre absolutamente exigente,
potencialmente esclavizante: “Gestión pública admirable”. Una vez se plantea
un objetivo de esa manera no hay salida distinta a la de encontrar la manera
de cumplir con las expectativas generadas.
Parte de lo propuesto bajo el objetivo fue adecuar la institucionalidad. Se

propuso reducir el número de instituciones agrupándolas en 20 y esas 20
jerarquizarlas de tal modo que quedaran solo 10 sectores, con el fin de facilitar
el reconocimiento ciudadano de las responsabilidades. La meta perseguida
era simplificar la administración lo suficiente como para que la mayoría de los
ciudadanos puedan identificar claramente a las entidades responsables de los
principales servicios. Pero el Concejo todavía no ha aprobado eso y no sabemos
17
si lo va a hacer . Lo interesante es la relación entre la matriz de sectores y
objetivos del Plan de Desarrollo (los dos mecanismos de coordinación que ya
mencioné) y el tema de obtener los resultados especificados. La complejidad
de la matriz se reduce considerablemente cuando se tiene un presupuesto
por resultados, simplemente cada resultado debe ser clasificado por objetivo
y sector. Entonces el sector X produce el resultado Y, dentro del objetivo Z.
Así de simple y claro.
En resumen:
63
• Inventariar los productos y pactar los resultados, son dos cosas que facilitan
la doble lectura y racionalización: por objetivos macro de desarrollo y por
sector;
• Anteriormente mencioné el tema de equivalencias y lo que ayudan a la

priorización, puede que entidad por entidad esto también haya ayudado
mucho, pero ustedes no se imaginan en el consejo de gobierno cuanto
ayudaba poder comparar resultados distintos;
17
Después de presentado el proyecto once veces, hoy sabemos que rindieron siempre ponencias
positivas, pero nunca la aprobaron (marzo 2005).
PRIMERA sesión
• Convergencia entre presupuestación y planeación.

El control y evaluación se hace desde Planeación Distrital con el Sistema de
Seguimiento al Plan de Desarrollo (SEGPLAN). Se hace también fortaleciendo
el Control Interno en todas las entidades. Y aquí juega también un papel
impresionante la validación externa, ya mencioné Bogotá como vamos. La banca
multilateral es también una interlocución muy interesante; así como la de los
calificadores de riesgo, que aunque se meten más en la parte de ingresos,
este tipo de cosas los anima mucho porque ven que se está construyendo
capacidad de prever el gasto a futuro. También se ha dado bastante validación
externa de otro tipo con las distinciones: Naciones Unidas en el 2003, Unesco
a mediados de este año, y también Ciudades Digitales premió a Bogotá como
la ciudad que más avances había hecho en esos temas en Latinoamérica.
Detrás de esta historia probablemente hubo gente de la cual buena parte se

formó inicialmente en Sinergia (DNP). Gente que se inició y se entusiasmó
allá, pero se sintió un poco aburrida porque era muy difícil que lo que hacían
tuviera el impacto que se esperaba inicialmente. Entonces estas personas
encontraron en Bogotá el laboratorio de consistencia y dijeron: “pues aquí nos
creen, aquí nos hacen caso, aquí tienen más ganas de estar en la vanguardia de
las formas de administración”. La ciudad venía mejorando su situación fiscal
y le pareció atractivo acoger esas dos herramientas de modernización del
presupuesto.
• Mejoras en el servicio al ciudadano

64
En Brasil existen lo que en Bogotá se llaman Super Cades, que son bajo un
solo techo varias entidades estatales, todos con el mismo uniforme, todos los
cubículos parecidos o iguales. El letrero a la entrada de cada cubículo no es
“Registraduría Nacional: se expiden cédulas”, sino es “Se expiden cédulas”,
firmado sutilmente, en letra pequeña, “Registraduría Nacional”; importa más
el qué que el quién. Esto permite a la ciudadanía llevarse una percepción de
Estado integral. Para el ciudadano es demasiado complicado saber cual es
la sutil diferencia entre el IDRD18 y el IDCT19. En las encuestas realizadas se
percibe frecuentemente que la ciudadanía va aprendiendo poco a poco estas
diferencias.
18
Instituto Distrital de Recreación y el Deporte.
19
Instituto Distrital de Cultura y Turismo.
PRIMERA sesión
Por lo anterior en el Distrito se enfatizaron tres canales integrales de servicio:

presencial, telefónico y virtual. Hay un teléfono, el 195, que recibe quejas y da
información, del cual la ciudad se siente bastante orgullosa. Hay unos portales y
en ellos se colocó toda la contratación que sobrepasa un tope de 2 millones de
pesos. Se hacen algún tipo de adjudicaciones de trabajo relativamente simples
mediante inscripción previa de proveedores y realizando sorteos sobre la lista
de proveedores. Estos procesos, facilitados por la tecnología, representan
avances en materia de transparencia. El Super Cade no podría funcionar si
no fuera por la posibilidad de dejar una huella absolutamente clara de las
decisiones que toma cada funcionario. Esto permite que el funcionario que
en cada cubículo se sienta con el ciudadano a atenderlo tome las decisiones y
20
mande sólo una parte menor para que se resuelva en el back office , teniendo
en cuenta que también este back office ha adquirido una estructura distinta
con la nueva tecnología.
Identificamos que de los 53.000 servidores del distrito 2.053 eran personas
dedicadas permanentemente a servir al ciudadano. En alguna época recibieron
el nombre de “ventanilleros”, o sea empleados de ventanilla, que luego dejó de
usarse (durante un tiempo prácticamente se prohibió la designación). Entonces
hicimos encuestas con ellos, identificamos sus necesidades de entrenamiento,
vimos que no todas las personas deberían estar ahí, para unos pocos, menos
del 5%, era urgente buscar una alternativa. Luego con los otros se construyó la
idea de un equipo transversal de servicio al ciudadano. Entre varias entidades
y sus servidores que atendían público, se construyó un equipo de las personas
encargadas de atender a los ciudadanos. Luego el modelo se propagó. Todos
los abogados del distrito conformaron otro equipo transversal. Imagínense,
recién expedido el nuevo régimen disciplinario, el Procurador General de la 65

Nación le da una conferencia a todos los abogados del Distrito, o a todos los
Jefes de Control. Estos equipos transversales cundieron como metodología
y hacia el final había más de 4.000 servidores en varios grupos, unos 7 u 8
equipos transversales creando una especie de solidaridad estatal por encima
de la camiseta de entidad.
Resalto algunos logros en materia de servicio al ciudadano: 141 trámites

mejorados, ampliación de horarios de atención y reducción del tiempo de pago
de servicios de hora y media a media hora para la mitad de los ciudadanos y
20
Inglés para “oficina trasera”.
PRIMERA sesión
cinco minutos para la otra mitad (atendidos en Rapicades). Los retos en materia
de atención a los ciudadanos en cuanto a los trámites se debe en buena parte
al hecho de que la mayoría de los bogotanos no tienen cuenta bancaria por lo
que no les reciben los pagos de servicios públicos en los bancos. Esto implica
que la mayoría de los pagos se realizan en los sitios denominados Cades.
La ineficiencia y la demora en los trámites eran insostenibles. Actualmente
existen los Rapicades, centros que cumplen la misma función que los Cades
pero los trámites son mucho más ágiles, lo que ha traído como consecuencia
el aumento de la satisfacción de los ciudadanos en este tema específico. Este
servicio subió en imagen favorable de los ciudadanos de 63% en 2000 a 82%
en 2003 y 88% en 2004.
• Hitos
Control de gastos de funcionamiento: cultura tributaria y gestión de

ingresos. Todos recuerdan que 63.000 familias pagaron predial voluntario
en el 2002, en 2003 bajó a 40.000 el número de voluntarios, pero ese año
habíamos subido bases de muchos predios y vehículos, y ajustado tarifas
del ICA. Resulta increíble que se haya mantenido alto el nivel de gente que
paga voluntariamente más. ¿Por qué pago la gente más? Pues confianza en el
Gobierno, justicia social, valoración del aporte de la infraestructura pública a
la calidad de vida fueron las tres razones más mencionadas. Pero una señora
dio una razón elemental que me pareció maravillosa, es la mejor razón que he
oído: “este año puedo”. Algún día alguien hará una tesis doctoral en economía
sobre tributos voluntarios y programación de los aportes altruistas a la vida
colectiva. Es decir, uno debería poder darse el lujo de programar su carga
66 tributaria a lo largo de su vida. Por lo menos sería correcto que los egresados
de universidades públicas tributáramos un poco más, y sería muy cómodo que

nos permitieran escoger cuando tributar un poco más.
Presupuesto por resultados. Sobre esto mencioné lo básico: inventario

de todos los productos; prorrateo de gastos de funcionamiento y gastos de
inversión por producto; presentación y discusión del proyecto de presupuesto
desde los resultados.
Implementación. Al principio lo que se hizo fue un diagnóstico, pero no

agresivo, de cómo eran las prácticas. ¿Quién era el mago del presupuesto
en cada entidad? ¿Quién acumulaba todo el poder asociado a que solo él (o
PRIMERA sesión
ella) entendía el ‘tejemaneje’ de los rubros de manera que el jefe solo podía
acudir a él (o ella) a pedirle ayuda? Recuerdo un Director Administrativo en
la Universidad Nacional que decía: “¡Rector yo le consigo eso!”, pero nada
de mostrar como lo hacía. Era como si dijera: “de algún lado le saco ese
dinero”; por eso era el mago y su opacidad era total. Imagínense un pobre
ciudadano enfrentado a esto. Entonces en la secretaría de hacienda se dijo:
“reconstruyamos las reglas, las atribuciones y las funciones informales y
pongamos en marcha el prototipo en paralelo”. En otras palabras, se dijo
“juguemos a que se puede hacer también de otra manera pero no del todo
desde ahora, empecemos haciéndolo como siempre pero también hagámoslo
así”. Eso permitió una transición suave y me parece que fue una idea muy
útil.
Marco de gasto a mediano plazo. Ya expuse esto en detalle, y el resumen

es que se debe prever cómo el gasto actual presiona el gasto futuro, y construir
sostenibilidad con ese diálogo interactivo entre políticas y proyecciones.
Transparencia. Principalmente, en Bogotá el tema de la transparencia se

evidencia en las sesiones del Concejo donde los funcionarios exigen al Alcalde
el cumplimiento de las metas propuestas. Adicionalmente existen múltiples
mecanismos de seguimiento a la gestión como el programa Bogotá cómo
Vamos, el SEGPLAN y todo lo que aporta la independencia de poderes.
Un último lugar entre los hitos lo ocupa lo más importante: el mejoramiento

del Servicio al ciudadano.
67

PRIMERA sesión
Beneficios de la evaluación, enfoques

y alternativas
François Bourguignon*
E sta presentación es más técnica que la que acaban de oír. Si queremos

contestar a la pregunta ¿por qué evaluar el gasto público?, tenemos que
preguntarnos: ¿cómo vamos a evaluar el gasto público? y además ¿qué
es la evaluación del gasto público? Hay varias políticas y programas que están
atrás del gasto público, y para acercarse a ellas se debe tener en cuenta que
el tipo de evaluación o el tipo de pregunta que se hace, depende del tipo de
política. Entonces existe un mapa, el cual es importante tener en mente, con
los tipos de políticas y medidas que queremos evaluar, y con los diferentes
métodos de evaluación.
Motivación, desafíos y alcance de la evaluación de políticas
Pasemos a algunas definiciones. Voy a definir la evaluación simplemente como

el ejercicio de tratar de ver si un programa o una política son factibles desde un
punto de vista económico. Por factible lo que tenemos en la mente es el costo
de las medidas de política económica y de los programas públicos: ¿es factible?,
¿cuánto va a costar?, etc. Queremos saber cuál es el impacto en términos de
68 desarrollo sobre toda la población y en particular sobre los pobres y otros
sectores de la población, es lo que podemos definir como los beneficios.
Aunque sean palabras que pasaron de moda, me parece importante insistir

en el hecho de que lo que nos interesa realmente es comparar los costos y
los beneficios. Digo que son palabras que pasaron de moda porque cuando
empecé en la universidad la economía pública era algo muy importante, y en
esos días la aprendíamos con manuales sobre el análisis de costo-beneficio.
Parece que eso desapareció un poco de nuestro interés, pero al fin y al cabo
lo que nos interesa cuando estamos comparando varias políticas es la relación
de sus costos y sus beneficios, y es importante tener eso en la mente. Eso en
* Vicepresidente Senior y Economista en Jefe del Banco Mundial

PRIMERA sesión
particular quiere decir que queremos cuantificar lo que encontramos, pues sin
cuantificación obviamente es imposible medir beneficios y costos, y comparar
políticas.
El desafío en la evaluación, es el desafío de lo contrafáctico. Entonces el

problema es el siguiente: queremos evaluar una política, pero para evaluar
una política necesitamos una referencia. ¿Cuál es la referencia?, pues es el
mundo, el país o la economía sin esa política. El problema en general es que
no podemos observar lo contrafáctico y por eso necesitamos diseñar métodos
para imaginar como el mundo sería con la política o con el programa, o como
el mundo sería si el programa no fuera implementado.
En cuanto al alcance, el rango de aplicación de la evaluación son todas las

políticas. Creo que hay que tomar en cuenta que en la decisión de política
pública hay políticas que tienen un foco que es más microeconómico, pero
también queremos evaluar políticas que tiene implicaciones para toda la
economía. Queremos por ejemplo evaluar una política de liberalización
comercial, queremos evaluar cual es el impacto de un acuerdo comercial
con un país grande al norte de Colombia. ¿Como hacemos? Necesitamos
instrumentos para ir no solamente a ver cuál va a ser la ganancia posible total
para Colombia al firmar un acuerdo de ese tipo, también necesitamos saber
cuál va a ser el impacto sobre los pobres, cuál va a ser el impacto sobre el
sector rural, y cual va a ser el impacto sobre tal categoría de población.
Además, en esto hay un rango de métodos de evaluación que se pueden

definir según los siguientes criterios: de acuerdo al ‘timing’ o el momento en
que hay que evaluar una política (antes de decidir la política, o después de 69

que la política se implementó); de acuerdo a la manera en la cual se imagina lo
contrafáctico; y según el tipo de datos que se necesitan.
A continuación se presenta una lista de algunos programas y políticas de

orientación microeconómicos susceptibles de ser evaluados:
• Impuestos directos e indirectos

• Programas de transferencias, en particular transferencias condicionadas
en efectivo
• El gasto social, la producción de servicios sociales en el campo de la salud,
de la educación, del micro crédito
PRIMERA sesión
• La infraestructura, proyectos de red de agua potable y saneamiento,

carreteras rurales, etc.
Las políticas macroeconómicas podrían ser entre otras:
• Reformas del sector financiero

• El comercio
• El régimen de cambio
• El tipo de respuesta a choques macroeconómicos que un gobierno puede
tener.
No existe una dicotomía entre estos dos grupos de políticas. Hay algunas
que son micro orientadas pero que tienen un impacto macroeconómico. Por
ejemplo un cambio en el sistema de impuestos indirectos, un cambio en la
cobertura del IVA, va a afectar a las familias dependiendo de su consumo;
pero eso también va a cambiar el sistema de precios en la economía en
general, y si el sistema de precios se modifica quiere decir que la asignación
de recursos dentro de la economía se va a modificar. Entonces esta es una
política que tiene un impacto de nivel macroeconómico, y así vemos que no
hay una dicotomía entre los dos tipos de políticas.
Quiero mencionar además para la referencia las reformas de tipo

organizacional. En el Banco Mundial tenemos mucha demanda en este sentido:
¿cuál es el impacto de las políticas de privatización sobre la pobreza?, ¿cuál es
el impacto de las políticas de descentralización que ustedes han recomendado
70
en varias circunstancias?, ¿cuál es el impacto sobre la pobreza? Son políticas
de una definición un poco distinta de las precedentes, y por eso hice la

diferenciación.
Esta ponencia se enfocará básicamente en las políticas micro orientadas.
• Dimensiones de los métodos de evaluación
Un aspecto importante acerca de los métodos de evaluación es su ubicación

en las tres siguientes dimensiones:
PRIMERA sesión
• Ex-ante vs. ex-post. Ex-ante se enfoca en el diseño y ex-post se enfoca

en impactos.
• Parcial vs. Equilibrio General. Toma en cuenta o no, el efecto de las

políticas sobre los sistemas de precios y el equilibrio económico.
• Comportamiento vs. Aritmética. Basada o no, en alguna representación

del comportamiento económico.
Ex-ante vs. ex-post. La evaluación que se hace antes de tomar la decisión sobre
los programas a implementar es indispensable para poder diseñar políticas
óptimas y exitosas. Esta forma de evaluar se diferencia de aquella que evalúa
las políticas de acuerdo a sus resultados, pero este tema se profundizará más
adelante.
Según la siguiente dimensión, parcial vs. equilibrio general, por un lado es

posible evaluar políticas suponiendo que estas no tienen ningún impacto
sobre el conjunto total de la economía, no cambian el sistema de precios en
particular. Por otro lado, se puede tener en cuenta el impacto de la política
sobre el cambio de precio. Por ejemplo, para evaluar una política que va a
cambiar la oferta del trabajo tenemos que tomar en cuenta el impacto que eso
puede tener sobre la estructura de salarios.
Finalmente, creo que los métodos se oponen sobre la dimensión del

comportamiento. Los métodos toman o no toman en cuenta la reacción en
términos de comportamiento de los individuos, de los hogares; observan o no 71
cambios en su comportamiento. Desde este punto de vista voy a oponer los
métodos basados en el comportamiento vs. métodos aritméticos donde no hay
ninguna representación del comportamiento económico.
• Análisis de incidencia o Micro simulación aritmética
Voy a hablar en detalle sobre un método que talvez sea el más sencillo. Se
llama en la literatura análisis de incidencia, y también ahora muchas personas
se refieren a él como micro simulación aritmética. Creo que es realmente el
método de evaluación más antiguo en economía, tiene sus limitaciones pero
es importante e interesante acordarnos de la utilidad de este tipo de análisis.
PRIMERA sesión
Tomemos un ejemplo en el campo de los impuestos, tenemos un cambio en

el sistema impositivo. Digamos que sea el sistema impositivo indirecto, un
cambio que va a modificar los precios de los bienes de consumo; o supongamos
que tenemos un cambio en el gasto total del Gobierno en un sector social
como la educación. Esta es la política que queremos evaluar. El método es
bastante sencillo, vamos a observar hogares, individuos, mediante encuestas
de hogares, y vamos a definir o suponer que la restricción presupuestaria de
ese hogar se modifica por el cambio impositivo. Los precios de los bienes de
consumo se modifican, claramente la restricción presupuestaria se cambia y
entonces el hogar va a tener que pagar más por ciertos bienes o pagar menos
por otros bienes. Eso lo podemos simplemente contar observando la canasta
de consumo de ese hogar; por ejemplo se afirmaría que ese hogar va pagar
10% más sobre alimentos y va a pagar 10% menos sobre vestidos. ¿Cuál es
el balance para ese hogar en particular? ¿es positivo, es negativo?, ¿cuánto
representa el balance con respecto al ingreso total? Cuando hacemos este
tipo de afirmaciones estamos haciendo una operación aritmética y sacamos
completamente del análisis que el hogar puede cambiar su comportamiento
porque el sistema de precios ha cambiado.
Se puede hacer el mismo tipo de análisis cuando se modifica el gasto público

en educación. Si se observa, por ejemplo, a todos los hogares con un niño en
la escuela primaria pública, se calcula cual es el costo promedio de un niño
en la escuela primaria y se dice: “ese hogar recibe un subsidio del Estado que
corresponde al costo de la escolarización de su niño, y si el Gobierno decide
modificar el gasto entonces el subsidio de ese hogar se va a cambiar de esta
manera”. Ese es el tipo de método de incidencia que se practica desde hace
72 mucho tiempo. Este análisis puede ser ex – ante o ex – post, si es que podemos
mirar cual ha sido el impacto de cambiar el sistema impositivo o podemos

imaginar cual sería el impacto de cambiarlo. Es aritmético y es equilibrio parcial
porque no tomamos en cuenta reacciones del comportamiento. Como en el
ejemplo de los impuestos indirectos, para analizar el impacto del sistema de
impuestos indirectos al sistema de precios que corresponden a los hogares,
uno necesita algo como un modelo que corresponda al equilibrio general, que
tome en cuenta el equilibrio general de toda la economía.
Un problema del análisis de incidencia es que en general se observa la parte

monetaria del bienestar de un hogar, simplemente porque es difícil muchas
veces observar en las encuestas de hogares otra dimensión. No pondré a
Colombia como ejemplo dado que este tipo de estudios se viene realizando
PRIMERA sesión
desde hace varias décadas. Creo que lo primero fue un estudio que es de los
años 60, si me acuerdo bien, por Marcelo Selowsky, que era sobre el impacto
distributivo del gasto público en Colombia. El segundo estudio fue realizado
por Carlos Eduardo Vélez y eso se hizo en los años noventa, y en los dos casos
hay este tipo de gráfico (ver Gráfico 1).
Por lo anterior expondré el caso de Indonesia. En el gráfico se puede ver la

distribución del gasto en educación, primario, secundario, terciario. La curva
de abajo es para la educación terciaria y uno ve cual es la distribución de ese
gasto entre los hogares. Cuando los hogares son clasificados se hace por nivel
ascendente de ingreso. Así por ejemplo en este gráfico se puede ver que más
o menos 80% de hogares, los más pobres, solamente reciben 10% del gasto
público total en el terciario. Si uno mira el primario es al contrario, uno va a
encontrar que 80% de los hogares reciben más que 80% del gasto público
en el primario.
Gráfico 1• Incidencia de Beneficio del Gasto en Educación

Indonesia, 1989
Distribución acumulada
de gasto en subsidios (%)
100
90
Primaria
80
Secundaria
70
Superior 73
60

Terciaria SEMINARIO INTERNACIONAL
50 Todo el
sistema
40
30 Gasto
20
10
0
0 20 40 60 80 100
Distribución acumulada
de población (%)
Fuente: Autor
PRIMERA sesión
De igual manera, podemos tener este tipo de distribución en varias

dimensiones más. Si el interés es en individuos, se puede hacer una distinción
entre hombres y mujeres, una distinción por grupos étnicos, etc. Lo que es
interesante con este tipo de análisis es que si la información está disponible en
la encuesta inicial, entonces no hay problema para utilizarla. También lo que
es interesante es que uno puede identificar, como lo dije antes, ganadores y
perdedores de cualquier cambio de política.
• ¿Cuáles son las limitaciones de este análisis?
Este tipo de análisis tiene varias limitantes. La primera es que hay hipótesis
que se hacen para imputar un valor al gasto público que puede ser discutible.
Cuando uno dice que un hogar está recibiendo un subsidio por cada niño que
está asistiendo a la escuela, no es muy claro: ¿es el hogar?, ¿son los padres
que están recibiendo ese subsidio?, o ¿es una inversión en el capital humano
del niño que él va a transformar en ingreso cuando sea adulto? Se puede
afirmar que dependiendo de lo que se asuma allí se van a tener diferentes
resultados.
Otra limitante se presenta al observar la expansión del gasto público en un

campo como la educación o en un campo como la salud. Hay dos maneras
de expender el gasto público. Uno puede expender en la cobertura de un
servicio público y uno puede expender en la calidad, o puede expender la
cantidad de servicio público que uno está dando a cada usuario de ese servicio
público. Si queremos ver la manera en la cual la cobertura está cambiando,
no podemos mirar una encuesta hoy día y afirmar que los comportamientos
74 no van a cambiar con el tiempo. De hecho los cambios en la cobertura se han
presentado principalmente por que las familias que no enviaban a sus hijos a
la escuela, están comenzando a hacerlo, y esto quizás es un efecto de oferta
en el sentido que hay más escuelas en el vecindario, o las escuelas son de
mejor calidad; o es un efecto de demanda, el hogar tiene más ingreso o tiene
transferencias condicionadas sobre el hecho de que mande a sus niños a la
escuela y por eso lo está haciendo.
Por lo anterior es posible afirmar que con los métodos de micro simulación
aritmética realmente no se puede influenciar el comportamiento ni tampoco
representarlos. Esto es un límite bastante importante de estos métodos, sin
embargo yo quisiera insistir sobre el uso y la utilidad de ese tipo de análisis.
PRIMERA sesión
En países desarrollados se hace, hay software para hacerle seguimiento al

impacto de cualquier cambio en el sistema de impuestos y transferencias
que es sumamente complicado en muchos países: ¿cuál es el impacto sobre
la distribución?, ¿quién está ganando y quién está perdiendo?, etc. No veo
ningún problema en hacer la misma cosa en un país como Colombia, en países
latinoamericanos donde existe la información, donde existe el “know how”
para hacer eso. Realmente una ayuda a la decisión y a la evaluación en el
campo de la política pública tendría que ser este tipo de instrumento. Existe
ya como lo vimos, pero no existe de una manera sistemática.
• Evaluación de impacto ex-post y Cuasi experimentación

aleatoria
Déjenme ahora pasar a otro tipo de evaluación que es más bien ex - post. Me
parece que cuando uno está hablando de evaluación, sobretodo de evaluación
de impacto, uno realmente tiene ese tipo de evaluación en mente. ¿Cuál es
la limitación de una evaluación ex – post, que simplemente es la comparación
entre antes y después de la aplicación de una medida de política económica?
El problema de esa comparación es que muchas cosas están pasando al mismo
tiempo que la medida. Eso quiere decir que aislar el efecto del impacto de esa
medida, es difícil simplemente comparando dos situaciones en el tiempo; por
eso necesitamos métodos adicionales.
Uno de esto métodos, la cuasi experimentación aleatoria, es muy poderoso.

Consiste en comparar grupos de individuos expuestos a la política o el
programa, con grupos de individuos que no son expuestos. Entonces, ¿cómo
75
se puede pensar este asunto? Como se trata de experimentar, entonces

una manera muy sencilla es decir: “vamos a implementar este programa en
tal parte del país en este conjunto de comunidades, y vamos a utilizar este
otro conjunto de comunidades como grupo de control”. Vamos a comparar
después de un cierto tiempo los dos grupos y las diferencias nos van a dar
simplemente el impacto del programa. Si seleccionamos los grupos, o las
comunidades, de una manera totalmente aleatoria entonces sabemos muy
bien, con la ley de los números grandes, que la diferencia es exactamente el
impacto del programa. Esto es algo muy poderoso, siempre y cuando uno se
pueda poner en este tipo de situación.
PRIMERA sesión
Voy a dejar de lado un ejemplo en Kenya que se discutió bastante en la

21
literatura , pues el ejemplo típico es la evaluación que se hizo aquí en
Colombia de Familias en Acción. En ella simplemente se compararon grupos
de gente expuestos al programa y otros grupos. Se aprovechó el hecho de que
había una implementación del programa progresiva en el tiempo, entonces la
comparación tuvo en cuenta el hecho de que algunas familias iban a tener uno
o dos años de rezago en el programa. Se hizo esto mismo en otros países y
es una ilustración muy buena de este método, cuyos resultados se darán a
conocer a profundidad más adelante en este seminario.
Ventajas, costos y limitaciones de este método: la ventaja es realmente el

hecho de que si el experimento se hace bien, entonces los resultados no
se pueden discutir. En el caso de Familias en Acción, la evaluación se hizo
bien. No hay ninguna duda de que la escolaridad aumentó, que el peso de
22
los niños aumentó de tal manera, etc . Eso en el debate político es algo muy
importante. Segundo, es técnicamente sencillo, no hay modelos, simplemente
uno está comparando dos conjuntos de resultados y muchas veces eso se
puede combinar con encuestas de hogares. Eso quiere decir que hay una
manera de reducir el costo de conseguir la información sobre esos grupos
diferentes. Un aspecto positivo es que con este método se pueden conocer los
cambios en el comportamiento de la gente, igualmente se pueden monitorear
los aspectos monetarios como no monetarios del bienestar.
Limitaciones de este tipo de método. Solamente se pueden aplicar esas técnicas

a un rango limitado de programas y políticas. Con seguridad es muy bueno
cuando estamos hablando de proyectos piloto, es seguro muy bueno cuando
76 estamos hablando de programas que tienen un rezago en su implementación.
Sin embargo, es un poco más difícil cuando uno tiene programas grandes que
tienen que ser implementados de una sola vez y obviamente es mucho más
difícil cuando uno está hablando de políticas como los impuestos. Es muy
21
Randomized evaluation of deworming in schools in Kenya (por M. Kremer): 27% de los estudiantes
tratados tenían infección de moderada a aguda vs. 52% en los grupos de control; la inasistencia
escolar se redujo 25%; efectos “spillover”. (Evaluación aleatoria de la desparacitación en escuelas
en Kenya).
22
4-8 puntos porcentuales de aumento en asistencia escolar; niños de 0 – 6 años, más altos y con
mayor peso. Evaluación de Familias en Acción, presentación realizada por Orazio Attanasio del
Instituto de Estudios Fiscales, Londres.
PRIMERA sesión
difícil de hacer experimentos arbitrarios en los que se le comunique a la gente

de un día para otro que dejará de pagar impuestos, o por el contrario que
deberá pagar el doble. Por esta razón esta metodología no se puede aplicar a
todos los programas.
Segundo problema: esto mide el impacto de una política pero no dice nada
sobre la razón por la cual esa política tiene ese impacto. No nos dice mucho
lo que podría ser el resultado de cambiar el diseño de la política. Ya sabemos
que Familias en Acción produjo el impacto que conocemos, pero no sabemos
si había otra política con un costo más o menos parecido que hubiera podido
producir mejores resultados. De cierta manera, si después de un rato
queremos mejorar, reformar el sistema, necesitamos esa información. Este
método, por definición, porque es ex – post, no permite diseñar políticas.
El Banco Mundial está muy interesado en esto, tenemos una iniciativa

23
que se llama Development Impact Evaluation (DIME) , donde la idea es
precisamente ir un paso más allá en las evaluaciones de impacto. Estamos
coleccionando varias evaluaciones de programas que son similares; programas
como Familias en Acción, lo tenemos en México, lo tenemos en Brasil, lo
tenemos en Bangladesh, lo tenemos en Nepal, lo tenemos en muchos países.
La idea es tomar todas estas evaluaciones y decir: “bueno, ¿qué aprendemos
comparando esos programas que tenían diseños distintos y al mismo tiempo
que son aplicados a poblaciones distintas?, ¿cómo cambia el resultado cuando
uno está cambiando el diseño?, ¿cómo cambian los resultados cuando uno
cambia la población que está recibiendo el programa?”. Pensamos que esa es
una manera de seguir acumulando conocimiento sobre esos programas, en el
campo de transferencias condicionadas ya tenemos 20 casos. 77

• Modelos de comportamiento ex - ante
Hay modelos ex – ante que por necesidad están construyendo lo contrafáctico

utilizando técnicas de modelización económica. No voy a pasar más tiempo
en esto, hay muchos ejemplos en la literatura. Lo que quiero señalar es la
comparación con el tipo de método que acabamos de ver. Claro que esta
técnica ex ante nos permite de cierta forma predecir el impacto final de
23
Inglés para “Evaluación de Impacto del Desarrollo.”
PRIMERA sesión
acuerdo con el programa a implementar. Tenemos esta herramienta y la

podemos utilizar y seguramente la utilizamos, implícita o explícitamente, al
momento de diseñar una política.
Sin embargo, la gran diferencia entre este método y el anterior es que los
modelos de comportamiento ex ante están basados en una representación del
comportamiento de los hogares. Esto implica un elemento de incertidumbre
que es simplemente nuestra capacidad como economistas y científicos sociales
de representar y conocer el comportamiento de la gente.
• Conclusiones
• La evaluación es un componente necesario en la construcción de políticas:

es mejor tenerla explícita que implícita, y por lo tanto debatible.
Espero haberles mostrado que definitivamente hay varios métodos, pero por
el momento olvidemos los métodos y simplemente miremos la evaluación
como una práctica general. Así, creo que para contestar a la pregunta: ¿porqué
evaluar el gasto público?, es importante decir que la evaluación es de una
manera u otra un componente necesario de la política, de la gestión de política
económica. Esto en el sentido de que de todos modos cualquier debate que
tome lugar en el campo de política económica, debería estar basado sobre
algún tipo de evaluación. Sin embargo muchas veces la evaluación es muy
implícita: “yo estoy a favor de esa política porque me parece que es mejor”;
y si uno está presionando la persona dice: “me parece mejor porque está
78
haciendo eso y eso”; pero no hay nada realmente analítico, no hay nada
cuantificado atrás de eso. Desde es punto de vista es mejor tener alguna
cuantificación, tener algún argumento analítico que nos permita plantear las
ventajas y las desventajas de una política con respecto a otra. Por lo menos el
debate público, el debate sobre una política económica, se hace mucho más
eficiente y al fin vamos a tomar decisiones que pueden ser mucho mejores.
• La evaluación es una manera de canalizar el diálogo en la política económica

(análisis de costo - beneficio).
Es mucho más fácil discutir sobre los resultados de un ejercicio de evaluación

totalmente explícito, que discutir sobre la base de la intuición acerca de lo que
puede hacer una política. Es mucho más fácil discutir sobre lo que hay atrás
PRIMERA sesión
de un análisis de costo – beneficio, atrás de una evaluación, que simplemente

discutir de una manera vaga.
• La evaluación es un incentivo en la etapa de implementación de políticas.
Otra ventaja, quizás un poco más ligada a la evaluación ex – post basada en

experimentos aleatorios, es el hecho de que la evaluación es un incentivo
para alguien responsable de un programa de política pública. Si la evaluación
se hace ex – post, como el responsable sabe que va a haber una evaluación
dentro de dos o tres años o dentro de un año, entonces este va a tener un
incentivo para asegurarse de que el programa funcione bien, un incentivo para
estar seguro de que la gestión del programa sea correcta.
• Hay una superioridad en términos de economía política en los métodos

ex – post y cuasi experimentos aleatorios.
Creo que la ventaja es definitivamente el hecho de que tenemos mucho más

certidumbre sobre los resultados, y que hay mucha menos ambigüedad en
la discusión. Me llamó mucho la atención lo que ha pasado en México con el
programa Progresa. Este fue un programa emprendido por la administración
pasada, por el PRI. Hubo una evaluación muy buena y de cierta manera es un
ejemplo que se debe seguir. A partir de los resultados se dijo: “ese programa
es bueno”. En México como en otros países existe el hábito de que una nueva
administración simplemente elimina lo que hizo la administración precedente,
sobre todo cuando hay un cambio de partido. Sin embargo, cuando vino la
administración siguiente, como ya se sabía que los resultados eran bastante 79
favorables, era muy difícil decir: “nos vamos a olvidar de Progresa”. Entonces

lo que hicieron fue decir: “vamos a quedarnos con Progresa”; solo cambiaron
el nombre para apropiarse, y lo llamaron Oportunidades. De modo que este
tipo de continuidad en las políticas y programas es algo que realmente se
puede dar a partir de ese tipo de evaluación.
• No olvidar el simple micro simulación aritmética.
Igualmente, si es posible comparar unos programas con otros como propone

la iniciativa DIME del Banco Mundial, podríamos ir más allá. Podríamos decir:
“¿cómo es el caso en ese país, con ese tipo de recursos y con ese tipo de
programa?”; y responder: “se aumentó la escolaridad en tanto, y con el otro
PRIMERA sesión
se aumentó mucho más con el mismo tipo de programa y con el mismo tipo
de costo”. Eso es una superioridad que viene de la fuerza y la robustez de
los resultados de la comparación de evaluaciones de impacto ex - post. No
obstante, no quiero que con esta visión muy ideal se olviden de los métodos
mucho más sencillos como la micro simulación aritmética. De nuevo esto es
algo que se puede hacer, es algo que es barato, y es algo que de manera
continua está dando mucha información. Igualmente se debe seguir con la
modelización ex – ante para asegurar que las políticas se diseñen bien.
Un punto que debí haber hecho antes, es que hay maneras de combinar
los distintos métodos; pero eso se hace un poco demasiado técnico en
este momento. Quiero además agregar que sí hay que mirar el impacto
macroeconómico de esas políticas, se hacen muchos progresos al hacer un
24
nexo entre macroeconomía, microeconomía y el impacto distributivo .
• Algunas políticas son difíciles de evaluar.
Hay otras políticas como reformas organizacionales que son mucho más difíciles
de evaluar. Hay algunos intentos con técnicas de evaluación de impacto, pero
no es necesariamente muy fácil, porque no se está realmente analizando lo
que se quisiera analizar. De manera que la situación no es que para cualquier
tipo de política tenemos un método de evaluación que se debe seguir. Lo que
tenemos es un rango de métodos que se aplican a varios tipos de políticas, hay
algunas que son mejores, y algunas que son peores, hay algunas que toman
menos recursos, y algunas que toman más recursos. Sin embargo, lo digo una
vez más, creo que lo importante es definitivamente evaluar.
80
24
Bourguignon, François; Pereira da Silva, Luiz A. (Editores). 2003. The impact of economic
policies on poverty and income distribution : evaluation techniques and tools. World Bank - Oxford
University Press. New York.
SEGUNDA SESIÓN
Experiencia internacional en evaluación de

políticas públicas, e implicaciones para el caso
colombiano
SEGUNDA sesión
Valor de la evaluación para la

definición de políticas: el caso del
Reino Unido
Paul Johnson*
H ablaré sobre la evaluación en el Reino Unido en el contexto de

asignación del gasto. Este es sólo uno de los temas que voy a tratar
ya que una de las cosas que quiero dejar en claro es que la evaluación
es solo una parte del proceso, y ni siquiera es la parte más importante para
asegurar una correcta asignación del gasto. Así que voy a tratar algunos aspectos
adicionales. Hablaré sobre el uso de la evidencia de una manera más amplia.
Hablaré sobre la Revisión del Gasto y sobre otros procesos implementados en
el Reino Unido para asignar el gasto. Hablaré sobre lo que nosotros llamamos
25
Objetivos ASP, que son una serie de objetivos de resultados que tienen los
departamentos en el Reino Unido. Diré algo sobre algunas evaluaciones
específicas, y finalmente, hablaré sobre el papel de las evaluaciones y algunos
elementos que hemos encontrado para hacerlas efectivas.
Evaluación del gasto en el Reino Unido
En el Reino Unido hay demasiado gasto público y no todo está sujeto a una
82
evaluación rigurosa. £450 billones son cerca del 40% del ingreso nacional
que es gasto público en el país. No todos estos recursos son evaluados en

ninguna forma. La suma de dinero que va a los pensionados semana a semana,
o año a año, simplemente se asigna y no se evalúa. Gran parte del presupuesto
destinado a mantener las escuelas y los hospitales en funcionamiento no es
evaluado, pero un gran número de iniciativas e incrementos en el gasto si son
evaluados. Es el gasto marginal el que está sujeto a la evaluación.
La evaluación de la política y el uso de la evidencia en la política y en la

asignación del gasto, ocurre de tres formas diferentes y casi simultáneas:
* Microeconomista Jefe, HM Treasury, Reino Unido
25
Objetivos del Acuerdo de Servicio Público — Public Service Agreement Targets
SEGUNDA sesión
• Prioridades a largo plazo: el Gobierno fija amplias prioridades en el largo

plazo, y diré algo sobre la salud en este contexto, porque el Gobierno ha
percibido que el gasto real en salud aumentará bastante rápido año tras año.
Así que diré algo sobre cómo surgió este elemento y sus consecuencias en el
uso sensible del gasto.
• Revisiones del Gasto cada dos años: Probablemente este es el aspecto más
importante para entender los procesos de asignación del gasto. Hablaré
sobre las Revisiones del Gasto, lideradas por el Tesoro y por el Departamento
Financiero del Reino Unido, el cual asigna los recursos a los departamentos de
gasto.
• Programas específicos: por ejemplo algunos de los programas de bienestar

en los cuales se propone trabajar son: el Nuevo Trato, Mantenimiento de
Subsidios de Educación; y uno o dos más.
Antes de entrar en materia, permítanme poner la evaluación en contexto. Cada

método de asignación del gasto requiere de mucho más que una evaluación,
éste requiere de:
• Valoración clara sobre los temas claves a ser alcanzados por el gobierno;
• Objetivos claros;
• Excelente monitoreo de los avances;
• Evaluación de impacto de la política. 83

En lo concerniente a la valoración de los temas claves a ser alcanzados por un
Gobierno, diré algo en particular sobre la salud. Observar las comparaciones
internacionales, entender cómo están funcionando actualmente los servicios
de bienestar, entender actitudes de los beneficiarios, son todos aspectos
importantes de la valoración.
En cuanto a los objetivos claros para la política, mencioné anteriormente los

Objetivos del Acuerdo de Servicio Público (Objetivos ASP). Estos son una
guía para este Gobierno, ya que indican la forma en que se asigna y usa el
gasto público. Existen cerca de cien objetivos de este tipo, como por ejemplo:
SEGUNDA sesión
que el 85% de niños de 11 años de edad deberían alcanzar cierto nivel de

logro educacional; que el 50% de todos los jóvenes deben tener la aspiración
de llegar a la universidad; que nadie debe esperar por una operación más
de seis meses; que los índices de criminalidad en un área particular deben
bajar a determinado nivel; que el número de inmigrantes ilegales debe caer
en cierta proporción en determinado número de años. Es decir, para cada
servicio público existen unos objetivos claramente definidos que el Gobierno
públicamente se ha comprometido alcanzar.
Un gran acuerdo en evaluación, monitoreo y en el proceso de política pública,

centra todos estos objetivos. Esto tiene una clara ventaja en términos de
claridad, en términos de mantener al Gobierno, a los departamentos y a
quienes deliberan, en términos de rendición de cuentas. Tienen por supuesto
algunas desventajas potenciales, ya que el gobierno tiene múltiples objetivos
y no todos se podrán enfocar a objetivos particulares. Ciertamente, en los
sectores de la salud y de la educación se han presentado algunas preocupaciones
sobre la forma en que estos objetivos han alterado el comportamiento de
manera inapropiada, y en la manera en que se mantienen los departamentos
y el Gobierno en materia de rendición de cuentas.
En cuanto al proceso de monitoreo y seguimiento, el señor Santiago

26
Montenegro habló esta mañana sobre la importancia de la información. Estoy
de acuerdo con todo lo que él dijo y es importante lo que mencionaba sobre
la dificultad de encontrar la información que se necesita. Creo que uno de los
grandes avances en el proceso de elaboración de las políticas públicas en el
Reino Unido durante los últimos cuatro o cinco años, es que la disponibilidad
84 de información de calidad, oportuna y de largo plazo, se ha convertido en un
elemento demasiado importante en el proceso de toma de decisiones.
¿Por qué es importante una información de calidad, oportuna y de largo

plazo? Porque puede prevenir desastres. Quiero decirles algo sobre dos de
los peores desastres en materia de políticas públicas en el Reino Unido en los
últimos 15 años. Ambos empezaron, obviamente, en un proceso pobre de
elaboración de política pública y causaron más daño del necesario, porque no
existía información o porque ésta no llegaba a tiempo.
26
Director del Departamento Nacional de Planeación.
SEGUNDA sesión
Uno de estos desastres fue una reforma al sistema pensional en el que se

les daba a las personas la oportunidad de pasar de pensiones ocupacionales
colectivas a pensiones personales. En principio esta era una excelente
política, pero fue pésimamente diseñada porque incentivaba a las compañías
de pensiones a persuadir a los usuarios a pasarse al sistema de pensiones
personales. El resultado de esto fue que se pasaron a este sistema cerca de
veinte o treinta veces más el número de personas esperadas, y la cuenta de
compensación estaba acercándose a los US $20 billones. La razón para que se
acercara a esta cifra tan absurdamente grande, era que no había información
ni monitoreo sobre lo que estaba sucediendo en ese momento.
Un ejemplo más reciente fue la debacle que tuvimos con la privatización de

los ferrocarriles. Al privatizar hace ocho o nueve años, la compañía dejada
a cargo de los ferrocarriles no tenía información y no había recolectado
información sobre el estado de sus activos o sobre el estado de las líneas
férreas. El resultado fue que muchos trenes se descarrilaron y personas
murieron porque no había suficiente información, y ahora el costo de corregir
esto se acerca a los £10 billones.
Creo que estos son dos excelentes ejemplos, en diferentes áreas, pero
permiten establecer por qué una inversión seria y una buena información
puede ahorrarle grandes cantidades de dinero al Gobierno. Una buena
información además facilita la descentralización, la toma de decisiones y el
aprendizaje mutuo. Ahora tenemos muy buena información del desempeño
de las escuelas. Las escuelas y los padres conocen qué tan bien se está
desempeñando individualmente una escuela con relación a cualquier otra, lo
cual es una buena forma de llevar este desempeño a través del sector. 85

Adicionalmente, una información oportuna permite una intervención rápida y
efectiva. Permítanme darles algunos ejemplos donde se han utilizado fuentes
de información para manejar las políticas públicas en el Reino Unido. François
27
Bourguignon nos habló sobre los grupos de información de los hogares y su
28
uso para buscar efectos distributivos de la política . Este es probablemente
el modelo más duradero de información y datos que hemos hecho y genera
información sobre todos los cambios al sistema de impuestos y beneficios,
27
Vicepresidente Senior y Economista en Jefe del Banco Mundial
28
Ver Pobreza y evaluación de políticas públicas: enfoques y alternativas, François Bourguignon
(Vicepresidente Senior y Economista en Jefe del Banco Mundial).
SEGUNDA sesión
y sobre muchos otros aspectos del gasto público. Este permite al Gobierno
observar quienes ganan y quienes pierden con los diferentes cambios.
Recientemente, tenemos por primera vez datos e información sobre cada

niño en cada escuela del país. Este sistema le hace seguimiento a los niños
desde los cinco años de edad hasta los 16, así que podemos observar cuál es su
desempeño en los exámenes año a año, y por tanto cuál es el desempeño de
cada escuela para cada niño. Además, podemos ver si las escuelas se despeñan
bien para los niños de 16 años bien sea porque los niños que entraron a la
escuela están bien preparados o porque la escuela está aportando un valor
agregado. Esta se ha convertido en la herramienta más valiosa para la política de
educación y para asegurar que una intervención ocurre cuando es necesaria.
Además tenemos datos diarios y semanales sobre niveles de criminalidad, sobre

las listas de espera en hospitales, sobre el éxito de operaciones particulares
en los hospitales, sobre la confiabilidad de los servicios férreos, los cuales
permiten saber quienes están prestando estos servicios y cuales sistemas
deben reaccionar rápidamente a los eventos que se estén presentando, y que
permiten al Gobierno central dirigir recursos sonde se necesiten, y aún más
importante, en algunas instancias permite a la ciudadanía usar esta información
para manejar su propio desempeño.
Finalmente en cuanto a la información, quiero hacer énfasis en la importancia

de ésta a largo plazo y longitudinalmente. Posiblemente, el mayor desafío en
la evaluación de políticas en algunas áreas, es que estas políticas no tienen un
impacto en el presente, pero continúan teniendo un impacto de largo tiempo
86 en el futuro. Si se piensa en políticas de cuidado a la niñez, ¿cuál es su impacto?
Eso no se sabrá sino hasta el momento en el que los niños crezcan. Si se piensa
en una política de pensiones, ¿cuál es su impacto? Eso sólo se sabrá hasta que
las personas se retiran de la vida laboral. Por esto es que nosotros invertimos
grandes cantidades de dinero en bases de datos y de información muy grandes
y de largo plazo, lo que nos permite hacer seguimiento a las personas en
partes significativas de sus vidas.
• Salud, un ejemplo específico
Uno de los cambios más grandes que el Gobierno del Reino Unido ha
implementado es el incremento anual del gasto en salud. Se ha planeado un
SEGUNDA sesión
incremento anual cercano al 7%, lo que ha generado un aumento del gasto en

29
salud del 4,5% del PIB a cerca del 8% del PIB en un período de diez años.
Este es un magnífico incremento.
¿Por qué ha pasado esto? Un reporte muy significativo publicado en 2002

recomendaba estos grandes incrementos en el gasto, ya que se observaba que:
la salud en el Reino Unido era peor en comparación con otros países con similar
desarrollo; el gasto en el Reino Unido era menor en comparación con estos
países; y que el número de doctores per cápita era menor. Así que, mirando
al futuro de esta situación, se veía que se iba a deteriorar significativamente
porque no había planeación para el número de doctores. Todo esto contribuía
a la generación de resultados muy escasos en materia de salud. Parte de esto
era resultado de unos pobres procesos de valoración, evaluación y monitoreo
de la política en el pasado, lo que se debía simplemente por el cambio de
ideologías entre los gobiernos. Esto es un ejemplo claro de cómo se hace la
política; si se mira la experiencia del Reino Unido y se compara con la de otros
países, se puede determinar claramente dónde hay brechas en la inversión, y
esa brecha se cierra. Ahora, esto no ha llevado a la más cercana y efectiva de
las evaluaciones de los incrementos en el gasto, dado que estos incrementos se
han planeado para los próximos años. Sin embargo, las estructuras reformadas
y los sistemas de difusión están en constante monitoreo y evaluación.
Con respecto a la evaluación de impacto de las intervenciones médicas, se creó

30
el Instituto Nacional de Excelencia Clínica (NICE) . Esta es una organización
nacional diseñada para reunir la información sobre el costo efectividad de
las diferentes intervenciones médicas. Hay algo sorprendente al interior de
un servicio nacional de salud: diferentes hospitales, diferentes autoridades 87

en materia de salud y diferentes doctores, usan procedimientos distintos y
diferentes medicinas para tratar las mismas enfermedades, lo que genera
grandes ineficiencias. Por esto, este instituto está adelantando un proceso
efectivo y de largo plazo al proveer recomendaciones, y a menudo no solo
genera recomendaciones sino que insiste que ciertas intervenciones clínicas
bajo ciertas circunstancias deben ser las que se usen en lugar de la diversidad
de intervenciones utilizadas a lo largo y ancho del país hasta el momento.
29
PIB: Producto Interno Bruto — Gross Domestic Product (GDP)
30
National Institute of Clinical Excellence.
SEGUNDA sesión
La salud en el Reino Unido es un buen ejemplo si se quiere una respuesta a la

pregunta ¿por qué evaluar? La salud en el país ha llegado al lugar donde está
hoy gracias a la evaluación realizada a la efectividad de las intervenciones.
Pero la necesidad de una nueva organización como el Instituto Nacional
de Excelencia Clínica, demuestra además la necesidad no solo de evaluar
el impacto de las políticas, sino de asegurar que todos entiendan lo que
representan esas evaluaciones para confirmar que las políticas se están
cambiando apropiadamente.
• Midiendo la productividad
Finalmente quiero hablar sobre la medición de la productividad. Es muy

complicado medir la productividad en los servicios públicos. De hecho, muchas
convenciones estadísticas nacionales miden el resultado de los servicios
públicos como el insumo de los servicios públicos, así que en ese sentido la
productividad nunca cambia. En el Reino Unido, el resultado de la educación
fue definido como el número de personas con buena educación: mientras el
gasto en educación aumentaba y el número de personas bien educadas se
mantenía igual, la medida de productividad fue muy bajo, y esto no fue una
sorpresa. De hecho, medir la productividad en los sectores salud y educación,
obteniéndola bien, promocionándola y entendiendo en qué es que se tiene
que ser productivo, es otra parte muy importante de la reforma del servicio
público y de la asignación del gasto. No profundizaré en los detalles de esto,
pero creo que es una de las herramientas económicamente y analíticamente
más grandes que tiene el Gobierno del Reino Unido en este proceso desde
hace un buen tiempo. Esto está continuamente pasando para asegurarnos
88 que en el futuro mediremos mucho mejor la productividad de los servicios
públicos.
• Revisiones del Gasto
Hablaré ahora sobre el proceso clave de asignación del gasto en el Reino

Unido, que es el Proceso de Revisión del Gasto. Esto se hace cada dos años y es
un proceso bilateral entre el Tesoro y los departamentos de gasto, los cuales
definen los límites de gasto para esos departamentos para los siguientes tres
años.
SEGUNDA sesión
Esto se lleva a cabo dentro de una clara restricción fiscal. En el Reino Unido
tenemos unas reglas fiscales que en esencia dicen lo siguiente: primero, el
Gobierno no prestará dinero excepto para invertir, es decir que el gasto actual
debe igualar la cantidad de impuestos recaudados en el ciclo económico, y el
promedio de préstamos del gobierno para gasto debe ser cero; segundo, la
deuda total del Gobierno no debe superar el 40% del PDB.
Así que, en una mano se tienen esas reglas fiscales, y claramente tenemos
un proceso de fijación de impuestos que los aumenta dependiendo de las
tasas de impuestos y el estado de la economía, y así sucesivamente. Esto fija
un tope de gasto total, y el Proceso de Revisión del Gasto lo distribuye entre
los departamentos de gasto definiendo cuánto debe ir a salud, educación,
transporte, medio ambiente, etc.
Entonces, ¿para qué tener esa Revisión del Gasto? Para asegurar que el
Gobierno no gaste más de lo que puede, teniendo un proceso regular en el
que el Tesoro trabaja con los departamentos de gasto fijando su presupuesto.
Este ayuda a los ministros a pensar claramente sobre lo que quieren lograr
con el gasto. Promueve el valor del dinero desde el centro hasta el interior de
los departamentos, y promueve una estructura de planeación a largo plazo.
Figura 1 • El ciclo de la Revisión del Gasto(RG)
RG2002
Año 1 Año 2 Año 3
89

2002-03 2003-04 2004-05 2005-06 2006-07
RG2004
Año 1 Año 2 Año 3
planeación
RG2004
Fuente: Autor
SEGUNDA sesión
La figura 1 muestra cómo funciona el ciclo de la Revisión del Gasto. Lo que

dice es que en 2002 se fijaron los planes de gasto para los años 2003 – 2004,
2004 – 2005 y 2005 – 2006. En la Revisión del Gasto recién terminada, la
de 2004, los planes de gasto han sido fijados para los próximos 3 años. En
general el año de empalme no cambia entre cada revisión de gasto, por lo que
mientras ésta se realiza cada dos años mirando tres años hacia adelante, el año
inmediatamente siguiente a la revisión del gasto no tiende a cambiar. En este
proceso hay obviamente cierto grado de flexibilidad, pero en general es muy
difícil para los departamentos cambiar el total de gasto asignado una vez sus
gastos totales se han fijado.
Entonces, ¿cómo funciona realmente la Revisión del Gasto?
• Fase 1, Preparación (Prioridades estratégicas, revisiones de recorte, etc.);

• Fase 2, Presentaciones departamentales;
• Fase 3, Escrutinio y asignación de gasto (acuerdo ministerial)
• Fase 4, Implementación y entrega.
Los departamentos remitirán al Tesoro una visón sobre cuáles son sus
prioridades y por qué, cuáles son los resultados que quieren alcanzar y por
qué, y sobre qué está funcionando en su área de gasto y por qué. Luego,
se lleva a cabo un escrutinio en el que participan el Tesoro, la Oficina del
Gabinete y el Departamento del Primer Ministro, el que tiende a llegar a
acuerdos ministeriales. Este es un proceso basado en la evidencia en el que la
evaluación juega un papel importante.
90
Déjenme darles un ejemplo de un proceso en particular, que es cómo se llevó

a cabo la ronda en la que se fijaba el gasto en educación este año. De cierta
manera, he visto esto desde las dos partes porque fui el jefe del Departamento
de Educación hasta hace tres meses y ahora trabajo en el Tesoro, así que he
visto que han hecho con la evidencia que nosotros entregamos.
El Departamento de Educación reúne evidencia sobre la existencia de

presiones de gasto, por ejemplo cambios demográficos: hay más personas
de 16 años de edad y menos personas de 5 años de edad que en épocas
anteriores. El departamento provee evidencia sobre impactos de política: los
impactos de un amplio número de políticas sobre los resultados en educación,
SEGUNDA sesión
y luego, de manera importante, el impacto de los resultados de la educación

sobre resultados económicos a largo plazo.
A partir de ese punto, se lleva a cabo una identificación de prioridades de

política. Luego, viene una especie de sistema para buscar posibles paquetes
de gasto y para determinar cuál es su relación entre ellos, y cuál es la relación
entre los gastos y los resultados. Así que, nuevamente, es un modelo en el
que se tiene una idea de lo que se está negociando, y luego se decide sobre la
cantidad total asignada.
• Algunos ejemplos de evaluaciones particulares
Les daré algunos ejemplos de evaluaciones, algunas son específicas y

algunas son ligeramente diferentes. Está el caso del impacto de los salarios
y tasas sobre los cálculos de retorno. Esta es una parte muy importante que
determina ampliamente la política educativa. Sabemos que los retornos de la
educación superior en el Reino Unido son altos, y que eso ha llevado a cambios
significativos a la política de educación superior, incluyendo el incremento de
la contribución que es esperada para los estudiantes de pregrado.
Hay algunas evaluaciones específicas, por ejemplo, del programa de

Mantenimiento de los Subsidios Educativos, el cual financia a las personas de
16 años para que sigan asistiendo a la escuela. Parte de este proceso viene
de la valoración. Sabemos que la tasa de asistencia escolar en el Reino Unido
31
es casi la más baja de los países miembros de la OCED en términos de
personas de 16 y 17 años que están estudiando tiempo completo; además
sabemos que los retornos para mantenerse en la escuela son altos, y por lo 91

tanto una política para hacer algo al respecto resulta apropiada. Una posible
política es subsidiar a los niños más pobres para que sigan estudiando, y esa
fue una política que fue experimentada de manera efectiva, evaluada y con su
efectividad demostrada, y luego fue implementada a lo largo del país. Este es
un buen ejemplo de cómo una evaluación debe llevarse acabo.
Otra área con un significativo aumento del gasto del Gobierno es la educación
preescolar y el cuidado de niños. Esta es un área en la que es muy difícil
evaluar los efectos de largo plazo. Sin embargo, en 1997 se implementó una
3
Organización para la Cooperación Económica y el Desarrollo – Organisation for Economic Co-
operation and Development (OECD).
SEGUNDA sesión
evaluación de impacto sobre los efectos que tenían el cuidado y educación en

la etapa preescolar en los resultados a futuro, haciendo un seguimiento a los
niños desde que tenían tres años de edad hasta que llegaran a los primeros
años de escuela. Esto ayudó a identificar elementos efectivos e inefectivos
en el cuidado de los preescolares, y ha proporcionado realmente una buena
evidencia sobre qué elementos son importantes en este sector para el
futuro.
El uso de la evaluación es algo relativamente reciente. Todos los nuevos

programas de importancia están sujetos ahora a alguna forma de evaluación
al interior del Gobierno, aunque la evaluación significa cosas diferentes para
la gente. Algunas de estas evaluaciones son evaluaciones de impacto reales,
y algunas otras son evaluaciones de procesos. No obstante, muchas políticas
son ajustadas cuando ya han sido elaboradas, y las diferentes maneras de
deliberarlas las pueden hacer más o menos efectivas. Otras han seguido
específicamente los impactos cuantitativos de las políticas.
Hoy tenemos cientos de pilotos y evaluaciones, y uno de los problemas a

que se enfrentan los evaluadores es que como hay tantos otros pilotos en
funcionamiento, es difícil encontrar una muestra que no esté siendo afectada
por otros pilotos. El elemento más productivo de todo esto es que el
número de economistas e investigadores en el gobierno se ha incrementado
drásticamente, lo que de por sí es una buena cosa. Sin embargo, los científicos
sociales siguen siendo una proporción menor frente a número de hacedores
de política (policy makers).
92 • Evaluación del Nuevo Pacto para los Jóvenes

Mencionaré algo muy breve sobre El Nuevo Pacto para los Jóvenes. Cuando
este Gobierno fue elegido por primera vez en 1997, se fijó como una de
las prioridades la reducción del desempleo a largo plazo que se evidenciaba
entre los jóvenes, por lo que puso en marcha algo llamado el Nuevo Pacto.
Este proporciona bienestar social para trabajar, ayudar, educar y dar apoyo
personal a jóvenes desempleados por largo tiempo. El Gobierno, además,
implementó una gran evaluación, probablemente la más grande que se haya
hecho en el Reino Unido. Tiene docenas de proyectos buscando el impacto
de los procesos, y mostró una proporción positiva de costo beneficio.
SEGUNDA sesión
Quiero mencionar tres temas que surgieron de este proceso: no hubo piloto
real, administración del conocimiento, y tentación a sobreestimar.
No hubo pilotaje real. Por ser una prioridad tan grande para el Gobierno no
se realizó una fase piloto, por lo que evaluar se convirtió en algo muy difícil.
Lo que tuvimos que hacer al final, fue comparar qué pasaba efectivamente
entre la población entre 18 y 24 años de edad, contra lo que pasaba en grupos
de edad mayores y en grupos de edad menores. No fue algo perfecto y
ciertamente algo no tan bueno como lo hubiese sido una prueba piloto, pero
no fue del todo malo.
Administración del conocimiento. Hay una cuestión real en materia de

administración del conocimiento y esto ha sido un problema para el Gobierno,
y no sé si sea un problema en Colombia. Hay una gran cantidad de información
recolectada si se está haciendo una evaluación como esta, y se tiene que
entender cómo se acomoda a la amplia investigación de fondo, y a las otras
evaluaciones que se estén haciendo. En el Reino Unido hay mayor movilidad del
empleo en el Gobierno que en la academia. Así, administrar el conocimiento y
entender realmente el efecto de qué aprender de la evaluación es mucho más
difícil de lo que se pudo anticipar.
Tentación a sobreestimar. Políticamente existe una tentación a sobreestimar.

La evaluación mostró una proporción positiva de costo beneficio, cerca
de 20.000 jóvenes más se encontraban trabajando gracias al programa.
Luego, aproximadamente 300.000 mil jóvenes pasaron por el programa, los
políticos decían: “tenemos 300.000 personas más trabajando!”. Esto no es
necesariamente bueno para el proceso de las políticas públicas. 93

• Conclusiones sobre la evaluación de políticas en el Reino

Unido
En conclusión, la evaluación de las políticas está bien adoptada en la mayoría

de los departamentos, se ha mejorado mucho en función su papel clave
dentro de la asignación del gasto. Vale la pena decir que es importante tener
un tesoro pendiente de esto, y generando demanda de la evaluación. Dejar
ésta en manos exclusivamente de los departamentos no ha funcionado bien.
La política es mejor como un resultado. Como dije antes, se trata más de un
gran acuerdo que de evaluación en sí. Una buena línea de base y una buena
SEGUNDA sesión
valoración son demasiado importantes, y como lo dije anteriormente un buen

monitoreo es vital.
Algo absolutamente crucial, que fue también mencionado por François

32
Bourguignon , es entender por qué las intervenciones son muy importantes.
Les daré un ejemplo en el campo de la educación. Hemos tenido mucho éxito
en el aumento de la asistencia escolar de los niños de 11 años de edad a
través de recomendaciones e insistencias a los profesores, sobre la forma que
ellos enseñan en las escuelas primarias. Esto tuvo un mayor impacto sobre
los resultados de los niños de 11 años. Pero, ¿por qué? Es asombroso que el
Gobierno pueda ir y decirle a los profesores cómo deben enseñar y que esto
tenga un gran impacto. ¿Es porque ellos no sabían cómo se enseñaba? ¿Es
porque había un gran problema de información? ¿Es porque había un problema
de incentivos y aunque sabían hacerlo no lo hacían? Así que entender esto y
hacer algo al respecto, es un primer paso de la solución. Entender cómo se
debe dar el siguiente paso es vital.
Finalmente, quiero mencionar algunos elementos que nos encontramos,

elementos que no se pueden dejar de lado: Monitoreo y evaluación, fechas de
corte, resistencia a ensayos aleatorios de control.
Monitoreo y evaluación: he hecho sobre la evaluación como solo una parte del
proceso que está compuesto por valoración, objetivos claros y monitoreo
y seguimiento a resultados. Además hablé sobre la importancia de una
información rica para hacer el monitoreo.
94 Fechas de corte: la evaluación lleva tiempo. Por ejemplo, usualmente lleva largo
tiempo entender el impacto de las intervenciones en políticas de cuidado a la

niñez; lleva cerca de 25 o 30 años. Los políticos no tienen este tiempo ni
tampoco el resto de nosotros. Inclusive las evaluaciones relativamente simples
llevan tiempo, ya que conocer el impacto real de una evaluación mínimo lleva
5 años y esto es mucho tiempo. Por esto el proceso de entender lo que la
información anterior nos dice es muy importante en la toma de decisiones.
Casi nunca las decisiones, por lo menos en el Reino Unido, se toman cuando se
sabe absolutamente todo y se tiene la seguridad que la política ha funcionado y
que va a funcionar; estas decisiones se basan en algunas evaluaciones, algunas
32
Ver Pobreza y evaluación de políticas públicas: enfoques y alternativas, François Bourguignon
SEGUNDA sesión
valoraciones y algo de análisis y entendimiento.
Resistencia a ensayos aleatorios de control. Hay alguna resistencia a ensayos

aleatorios de control. Los políticos se resisten mucho a esto. De esta manera,
las mejores formas de evaluación no son posibles, por las razones expuestas
por François Bourguignon de equidad percibida.
Capacidad limitada en la comunidad investigadora y en el Gobierno. Nos hemos

encontrado una capacidad limitada de la comunidad investigadora. Como lo
dije, el número de evaluaciones ha aumentado por docenas en los últimos
siete años, pero encontrar personas que realmente hagan buenas evaluaciones
cuantitativas es difícil. Ustedes son muy afortunados de tener a Orazio Atanasio
trabajando con ustedes, porque nos encantaría que él trabajara con nosotros
en algunas de nuestras evaluaciones. Por otro lado, hay una capacidad limitada
en el Gobierno entre los economistas y los hacedores de política. Es muy
importante incentivar la educación en el lado de la demanda.
Finalmente quiero resaltar, nuevamente, que los resultados son raramente

no ambiguos y completos, por lo que la administración del conocimiento, la
interpretación y el entendimiento son vitales. La evaluación es una ciencia,
pero creo que el hacer políticas públicas es un arte.
95

SEGUNDA sesión
El sistema australiano de seguimiento

y evaluación
Keith Mackay*33
E l siguiente documento presenta y describe dos generaciones diferentes

de sistemas de seguimiento y evaluación que han existido en Australia.
La primera, estuvo vigente una década completa, desde 1987 hasta
1997 y la segunda ha existido desde 1997 hasta el presente. Cada una de
estas generaciones de seguimiento y evaluación ha sido única, cada una de
ellas ha aportado lecciones aprendidas y contrastes y todas se desarrollaron
durante ciertos periodos de tiempo; es decir no son estáticas. A continuación
se exponen estas dos generaciones.
Primera Generación: 1987 - 1997
La primera generación comenzó a finales de los años 80 y se fundamentó en

diversas reformas del sector público: se fijo un marco de gasto de mediano
plazo; se introdujo un programa de gestión y presupuesto; se presentó una
devolución considerable de carácter individual a direcciones gubernamentales
que incluyó por ejemplo un sistema de costo de funcionamiento, y una
consolidación considerable de la línea de artículos del gasto. En ese momento,
96 el nuevo gobierno Laborista, que había llegado al poder en 1983 había heredado
una difícil situación presupuestal. Sin embargo, el Gobierno fue exitoso en
reducir su gasto total de 30% al 23% del PIB en un periodo de 5 años.
La génesis de esta primera generación del Sistema de evaluación y seguimiento

se convirtió per se en una fuerte demanda para la evaluación. Había gran
demanda del gobierno central, de muchos ministros importantes. El Ministro
* Oficial Senior de Evaluación, Departamento de Evaluación de Operaciones, Banco Mundial

33
Keith Mackay trabajó en el Ministerio de Hacienda Australiano (Departamento Financiero), por
11 años, en áreas relacionadas con análisis presupuestal y asesoría de política, y la gestión del
sistema de Evaluación y Seguimiento.
SEGUNDA sesión
de Hacienda y el Primer Ministro solicitaban que se implementara la evaluación

ya que ellos entendían que la evaluación podría ayudar en diferentes áreas
mediante la identificación de estrategias para recortar el gasto o reorientarlo
hacia los más pobres.
Igualmente entendían que la evaluación es un vehículo para aumentar la

eficiencia y eficacia del gasto público, así como también que con ésta se
podrían soportar relaciones de “accountability” dentro del gobierno, entre el
ejecutivo y el parlamento, entre los ministerios sectoriales y sus ministros, y
con el Departamento Financiero, que en ese momento era la institución más
importante del gobierno. Finalmente, ellos entendían que la evaluación tenía
el potencial para mejorar la gestión de programas gubernamentales.
El Departamento Financiero fue pionero en la evaluación y jugó un papel

protagónico en el diseño de las reformas del sector público. También realizó
diagnósticos para establecer e identificar las fortalezas y debilidades de las
formas de evaluación implementadas en el Gobierno federal. El resultado de
dicho diagnóstico de línea base, fue la producción de un documento que aportó
evidencia sólida que demostró que los ministerios sectoriales estudiados no
estaban realizando una buena evaluación.
Un aspecto importante a resaltar de este diagnóstico, es que logró un

entendimiento común acerca de los problemas y dificultadas con respecto a
la evaluación en el Gobierno. Esto incitó a que el Departamento Financiero
y el Primer Ministro propusieran al Gabinete, que no es una decisión fácil de
tomar en el sistema gubernamental australiano, la construcción de un sistema
de evaluación que involucrara a todo el gobierno. 97

Los ministerios sectoriales individuales no tardaron en reaccionar ante las
propuestas de la creación de dicho sistema; algunos estaban de acuerdo, otros
no se entusiasmaron con la idea , y otros se oponían a lo que consideraban
una violación de sus prerrogativas, una intervención en sus “terrenos”.
No obstante el Gabinete, aceptó en su totalidad las recomendaciones del
Departamento Financiero. En nuestro sistema Parlamentario una decisión
tomada por el Gabinete tiene, en efecto, el poder de una ley. A diferencia
de los países con regímenes presidencialistas, nosotros nunca realizamos
reformas al sector público mediante el sistema legislativo, simplemente por
que así opera el sistema Parlamentario.
SEGUNDA sesión
No discutiré en detalle los formalismos de la decisión tomada por el Gabinete,

pero sí quisiera resaltar unos aspectos claves del proceso: (i) cada programa
debe ser evaluado cada 3 a 5 años; (ii) cada Departamento debe formular
un plan de evaluación (de 3 años de duración, los ministerios sectoriales son
responsables de realizar evaluaciones); (iii) todas las propuestas de presupuesto
presentadas al Gabinete deben tener su respectivo plan de evaluación y; (iv) la
mayoría de las evaluaciones deben ser publicadas.
i. Cada programa debe ser evaluado cada 3- 5 años
En la práctica esto implicaba que se evaluaban puntos particulares de cada

programa los cuales estuvieran enfocados hacia aspectos de eficiencia
y efectividad, en otras palabras se evaluaba hasta qué punto se estaban
cumpliendo o no los objetivos. Asimismo se evaluaba si los objetivos de los
proyectos eran o no consistentes con la política actual del Gobierno.
ii. Cada Departamento debe formular un plan de evaluación de 3

años de duración
Esto fue importante ya que obligó a los Ministerios sectoriales a establecer

una infraestructura interna, un sistema para formular el plan de trabajo.
Generalmente un diputado precedía un comité y éste decidía cuáles programas
debían ser evaluados cada año y cual debería ser el enfoque de cada una de
estas evaluaciones. Generalmente estas decisiones estaban influenciadas por el
Departamento Financiero, sin embargo no en todas las ocasiones los aportes
de dicho Departamento eran tenidas en cuenta. Igualmente estos planes
98 de 3 años incluían las evaluaciones de mayor importancia, de importancia
estratégica tales como programas de inversión, programas problemáticos,

programas piloto, o programas de particular importancia política.
Un aspecto importante de resaltar en este punto, es el hecho que los

Ministerios sectoriales eran responsables de hacer evaluaciones. Esto no
implica que los Ministerios sectoriales hicieran todas las evaluaciones solos,
generalmente eran apoyados por las instituciones conocedoras del tema
como el Departamento Financiero o de Hacienda. Esto con el fin que las
evaluaciones fueran lo más transparentes posible, que no estuvieran sesgadas
de manera que todos los resultados fueran positivos y sobre todo, que no se
repitieran procesos ya que estos errores implicaban altos costos.
SEGUNDA sesión
iii. Todas las propuestas de presupuesto presentadas al Gabinete

deben tener su respectivo plan de evaluación
Esto resaltará como evaluar la propuesta en un futuro, siempre cuando ésta

sea aprobada por el Gabinete.
iv. Las evaluaciones deben ser publicadas
La publicación de la mayoría de evaluaciones producidas, ha logrado

importantes niveles de transparencia. Generalmente todas los documentos
eran públicos y estaban disponibles para toda la ciudadanía pero aún así, nunca
se generó un debate sobre los resultados salvo cuando éstas generaban un
escándalo político que resultara interesante para la ciudadanía.
Es importante precisar lo que significa para nosotros la “evaluación”. De

acuerdo con lo que hemos escuchado en las diferentes presentaciones, se
puede entender que existe un espectro bastante amplio de las actividades
evaluativas. En un extremo tenemos los diseños experimentales de evaluación,
el uso constante de grupos de control, análisis econométricos, y grupos de
información longitudinales. En el otro extremo de espectro tenemos estudios
más cualitativos y ágiles. Esto implica que dentro del espectro caben muchas
otras actividades de evaluación tales como auditorias de seguimiento y
monitoreo conducidas por la Oficina Nacional de Auditoria. Por lo tanto la
interpretación de la “evaluación” es bastante amplia y flexible.
Finalmente, en este contexto de requerimientos formales, la filosofía del

Gobierno en la era de la reforma al sector público era: “Dejen a los gerentes 99

gerenciar, siempre y cuando éstos demuestren sus resultados”.
• ¿Qué tan efectiva fue esta Primera Generación?
Para mediados de la década de los noventa se percibía un gran esfuerzo en

el tema de la realización de evaluaciones. En un momento llegaron a existir
aproximadamente 160 evaluaciones en curso. Esto contribuyó a que año a
año se alimentaran las bibliotecas y centros documentales con documentos
disponibles para el desarrollo de nuevas políticas y propuestas presupuestales
así como también para las líneas gerenciales. Sin embargo, la Oficina Nacional
de Auditoría Australiana encontró que el sistema tenía una falla ya que más de
un tercio de las evaluaciones presentaban algunas debilidades metodológicas.
SEGUNDA sesión
El Departamento Financiero identificó la utilización de estas evaluaciones

en los procesos de planeación y adjudicación presupuestal y decidió realizar
encuestas para determinar los detalles de dicha utilización. Efectivamente
dichas encuestas demostraron que las evaluaciones estaban siendo muy
utilizadas en la presentación de propuestas presupuestales por parte de los
Ministerios sectoriales.
Igualmente se estableció que aproximadamente el 80% de las propuestas

de política presentadas a mediados de los años 90, contenían, en algunos
casos poca y en otros mucha, información referente a los resultados de
dichas evaluaciones. Asimismo, dos terceras partes de las propuestas sobre
modalidades de ahorro presentadas por el Departamento Financiero y por
otras instituciones, estuvieron basadas en los resultados de las evaluaciones.
Por otro lado, las discusiones al interior del Gobierno generalmente se
daban alrededor de los resultados lo que motivó la creación de una cultura
de evaluación entre los funcionarios. La experiencia australiana también
representa un ejemplo de formulación y ejecución de políticas sobre la base
de la evidencia.
La Oficina Nacional de Auditoría Australiana también encontró que los

resultados de las evaluaciones estaban siendo utilizadas por los ministerios
centrales, particularmente para gestiones de eficiencia de operaciones, para
el diseño de mejores servicios de calidad, pero también para la organización
de toma de decisiones al interior de dichos ministerios centrales, aspecto
que incentivaba el ambiente de autonomía de las instituciones dentro del
gobierno.
100
El Auditor General – figura independiente del Gobierno, cuya responsabilidad

es reportar directamente al Parlamento – presidió muchas audiencias del
sistema de evaluación en su conjunto así como también del sistema a medida
que éste se iba implementando en los diferentes Ministerios sectoriales. El
Auditor General un adepto a la evaluación que entendía su importancia y sus
propósitos decía que: “..el éxito de la evaluación en Australia a nivel Federal se
debió principalmente a su completa integración con el proceso presupuestal. Donde
había recursos comprometidos, alguna forma de evaluación era necesaria para
justificar los recursos virtualmente disponibles”. Ligar el sistema de evaluación
al presupuesto fue muy importante ya que estableció un punto focal para la
evaluación y lo dotó de “dientes” e incentivos para su continuidad.
SEGUNDA sesión
Se han establecido tres debilidades en este sistema de primera generación.

Estoy de acuerdo con las dos primeras pero no la tercera: (i) apoyo insuficiente
del nivel central para la capacitación a los funcionarios sobre la evaluación; (ii)
atención insuficiente a la recolección de información sobre el desempeño del
sistema; (iii) la “queja” de algunos Ministerios sectoriales sobre la excesiva
carga administrativa que caía sobre ellos con la implementación del sistema.
i. No brindamos suficiente apoyo en la capacitación a los

funcionarios en los ministerios sectoriales. Cometimos el error
de asumir que si se implementa un sistema y éste funciona bien
y si los incentivos son lo suficientemente atractivos, entonces se
producirá la demanda por el sistema seguida por la oferta. Esto
por su puesto no funcionó de esta manera, de hecho había vacíos
de capacidades en algunos ministerios sectoriales además de las
debilidades metodológicas identificadas por el Auditor General.
ii. Paradójicamente, mientras la primera generación hizo énfasis

en la evaluación, prestó poca atención a la recolección regular
de información. Esto es paradójico por que la evaluación está
técnicamente en el extremo “complicado” del espectro y
generalmente se ha venido haciendo relativamente bien, pero
por el otro lado, establecer el programa o las actividades objetivo
y la recolección de los indicadores de gestión es técnicamente
sencillo, pero no se ha hecho muy bien.
iii. La carga administrativa que recae sobre los Ministerios sectoriales

es la tercera debilidad. Los funcionarios han reclamado que han 101

tenido que preparar grandes planes para mantener una gran
infraestructura para la evaluación en sus ministerios sectoriales.
No profundizaré en estos argumentos pero nunca los he
encontrado convincentes, así como tampoco los han encontrado
convincentes mis colegas en el Departamento Financiero ni el
Auditor General.
• Segunda Generación del sistema de seguimiento y evaluación:

1997 - Presente
En 1996 llegó al poder un nuevo gobierno el cual realizó cambios sustanciales

SEGUNDA sesión
al modelo de evaluación y seguimiento en el año siguiente. Era un gobierno

conservador, con una gran inclinación hacia los modelos del sector privado
y con el objetivo de reducir considerablemente el tamaño y las funciones
del gobierno federal, así como también cuotas y cargas burocráticas en los
ministerios centrales.
El nuevo gobierno tenía la filosofía que si se establecían incentivos para los

ministerios centrales éstos se manejarían bien y producirían buenos resultados,
por lo tanto esta es de la única manera que se los puede responsabilizar.
No era necesario preocuparse por que los ministerios produjeran buenos
resultados, ni tampoco por los costos de funcionamiento del sistema, solo
por darle autonomía a los ministerios. Por lo tanto, los cuatro requerimientos
formales para la evaluación fueron puestos a un lado y la evaluación fue des
- regularizada.
En esta segunda generación el énfasis cambió de la evaluación hacia el

seguimiento. El nuevo sistema incentivó a la evaluación por parte de los
ministerios ya que afirmaba que ésta tenía aspectos positivos, pero aún no
había una petición formal para su aplicación. A partir de aquí no se necesitaron
más evaluaciones cada 3 a 5 años, los ministerios ya no necesitaban
preparar los planes de evaluación. El énfasis cambió hacia las pruebas del
mercado y outsourcing, y hacia la visión que los informes periódicos sobre el
funcionamiento contractual serían suficientes. Esta nueva idea fue tomada del
Reino Unido y Nueva Zelanda y es una buena idea, siempre y cuando funcione
adecuadamente.
102 No obstante lo anterior, todos los ministerios seguían reportando anualmente

al Parlamento los resultados de su gestión (los inputs y outputs) y del manejo

de los recursos, pero como se mencionó anteriormente no había un requisito
formal para la realización de evaluaciones. Al mismo tiempo, el Departamento
Financiero tuvo un recorte de presupuesto y personal considerable por lo cual
disminuyó su papel activo en los procesos de formulación y toma de decisiones
de políticas públicas. Anteriormente, durante la primera generación, el énfasis
se centraba en que los resultados de las evaluaciones eran un insumo clave para
las discusiones del Gabinete, lo que implicaba que el proceso de adjudicación
de presupuesto era un “mercado de ideas” alimentado por las evaluaciones.
El sistema de la primera generación fue considerablemente modificado lo que
implicó un cambio radical en el sistema presupuestal durante esta segunda
generación.
SEGUNDA sesión
• ¿Qué tan efectiva fue esta Segunda Generación?
Es difícil concluir sobre este punto ya que en este contexto existían 16

ministerios centrales lo que implicaba 16 sistemas distintos haciendo
seguimiento y evaluación. En general se podría afirmar que esta generación no
fue muy exitosa. De hecho la Organización para la Cooperación y Desarrollo
Económico (OECD) concluyó que el Departamento Financiero no estaba en
capacidad de asesorar adecuadamente al Ministro. Esto implicó una crítica
importante ya que reflejó la realidad de la baja calidad de la asesoría que éste
Departamento estaba ofreciendo.
Por otro lado, la Oficina Nacional de Auditoría Australiana concluyó mediante

una serie de informes que los reportes de los Ministerios al Parlamento no
eran adecuados por las siguientes razones: la calidad de los datos presentados
era muy baja, los sistemas de información eran inadecuados, no se planteaban
objetivos ni se trazaban metas, y no se presentaban los resultados de gestión
presupuestal los Ministerios. Asimismo, los ministerios producían mucha
información que no analizaban por lo cual no era posible llegar a conclusiones
contundentes sobre dicha información.
Por su parte, los Comités Parlamentarios están insatisfechos con la calidad

de la información presentada y están frustrados debido a la imposibilidad de
comparar el desempeño de los distintos ministerios. Esta imposibilidad era la
consecuencia de la falta de unidad de criterios y definiciones sobre el tema
de evaluación. Cada ministerio manejaba su propia versión de la evaluación
y dentro de las mismas instituciones a través del tiempo se cambiaban los
sistemas por lo cual resultaba imposible inclusive la comparación de un solo 103

ministerio en diferentes periodos de tiempo.
• Buenas prácticas: Ministerio de Familia y Servicios

Comunitarios
Después de haber planteado este panorama tan desalentador, vale la pena

rescatar algunas buenas prácticas de seguimiento y evaluación realizadas por
ciertos departamentos. Uno de ellos es el Ministerio de Familia y Servicios
Comunitarios que es uno de los ministerios más grandes en el Gobierno
Australiano.
SEGUNDA sesión
Éste produce una buena cantidad de reportes que presenta al Parlamento que
incluyen información de calidad, costo de resultados y resultados de mediano
plazo.
En los reportes presentados al Parlamento por el ministerio se evidencia

un uso sustancial de los resultados de las evaluaciones. Ahora, el ministerio
ha destinado un presupuesto de US$20 millones anuales en investigación y
evaluación por su propia voluntad. Los recursos que recibe el Departamento
Financiero hacen parte del portafolio presupuestal de la institución más no son
recursos específicamente para evaluación y seguimiento. El hecho que este
departamento tenga una línea de inversión para la construcción de un plan de
evaluación y seguimiento demuestra el gran compromiso de la institución con
el tema de la evaluación y el valor que el ministerio encuentra en el sistema.
Actualmente está construyendo 145 proyectos de investigación y evaluación,
ha ayudado en la fundación de 6 universidades de investigación y ha mantenido
a través del tiempo varias series longitudinales de datos.
Mencionaré otro caso exitoso, el del Ministerio de Trabajo. Este tiene algunas
series longitudinales de datos las cuales son utilizadas para la realización de
rigurosas evaluaciones de impacto. Un aspecto que vale la pena rescatar de
este caso es que cada vez que el ministerio envía alguna propuesta de política
a uno de sus ministros (la institución cuenta con tres ministros, el principal y
dos diputados) el funcionario se ve en la obligación de valorar la propuesta
y evaluarla teniendo en cuenta criterios tales como: claridad, objetividad,
temporalidad y creatividad. Este tipo de retroalimentación es de gran utilidad
para los ponentes de las políticas por cuanto esto evidencia que se están
104 tomando en cuenta sus aportes para la toma de decisiones al interior del
Gobierno Australiano.
• Lecciones aprendidas de las Generaciones de los Sistemas de

Evaluación y Monitoreo
Para concluir, quisiera mencionar algunas lecciones aprendidas del caso

Australiano:
Primera lección: La primera generación del sistema de evaluación y

monitoreo o seguimiento fue muy centralizada, absolutamente liderada por el
Departamento Financiero. Desde esta institución se brindaba todo el apoyo
SEGUNDA sesión
necesario, se asesoraba sobre la metodología a seguir, se proveían guías de

trabajo y se publicaban documentos que recogían algunos ejemplos de buenas
prácticas.
Este sistema generó resultados positivos luego de 4 o 5 años de entrar en

funcionamiento. Por resultados positivos me refiero, primero en términos
del número de evaluaciones que se estaban llevando a cabo a mediados de
los años 90 que era aproximadamente de 160. Segundo, la utilización de
las evaluaciones es la parte más importante de realizarlas. Si no se utiliza
la información obtenida, no tendría ningún sentido la producción de estos
documentos. El seguimiento y la evaluación puede ser una actividad que
requiere una alta inversión de recursos, pero si es utilizada intensamente
puede resultar altamente costo-efectiva.
Segunda lección: La segunda generación se basó mucho en los incentivos,

básicamente diciéndole a los ministerios: el seguimiento y la evaluación
son herramientas positivas e importantes, nosotros consideramos que es
importante que ustedes implementen el sistema, por favor dediquen un
tiempo para hacerlo. El énfasis de la información en esta segunda generación
se concentró principalmente en el gasto público, las actividades del gobierno
y sus productos, poca atención se le prestó a los resultados generados por los
productos gubernamentales. La evaluación es necesaria si estos resultados y la
relación causal entre los resultados y los productos es entendida. Este sistema
de la segunda generación no tuvo un líder fuerte, no tuvo una coordinación
fuerte y no ha sido exitosa.
Tercera lección: En las dos generaciones, fueron menos importantes los 105

requerimientos formales que la forma en la que éstas fueron implementadas.
La implementación de éstas se dio como una mezcla de presión y motivación,
estudiando ejemplos de buenas prácticas, premiando a los ministerios con
casos exitosos y apoyando los ministerios en diferentes aspectos.
Cuarta lección: La lección anterior hace pensar en las limitaciones de

depender en una ley o un decreto o en la decisión del Gabinete. Tener escrito
en un papel que la evaluación y el seguimiento son aspectos importantes no
es una cuestión negativa, pero tampoco necesariamente implica que por este
hecho los ministerios vayan a implementar y a utilizar apropiadamente el
sistema. Los requerimientos formales pueden ser escritos rápidamente pero
la aplicación de los mismos y la conversión de éstos en un sistema exitoso,
SEGUNDA sesión
generalmente se demora un tiempo considerable. Mientras la consolidación

y construcción de un sistema de evaluación y seguimiento toma bastante
tiempo, su abolición y deterioro se puede lograr bastante rápidamente.
Quinta lección: Esta es tal vez la más importante de todas. Un sistema de

evaluación y seguimiento debe operar por demanda. Se necesitan incentivos
para que funcione exitosamente. Es necesario establecer los siguientes
aspectos, entre otros: ¿quién necesita la información que se obtiene mediante
el seguimiento y la evaluación? ¿Quién y con qué propósito necesita esta
información en los ministerios centrales? ¿Cuál es el rol actual del Parlamento,
el Congreso y la sociedad civil en el tema de la evaluación y el seguimiento?.
Una vez se resuelvan estos interrogantes es posible construir un sistema de
evaluación y seguimiento que esté acorde con las demandas de los ministerios,
el gobierno y la ciudadanía.
Sexta lección: Es importante contar con personas influyentes por que éstas
juegan un papel clave en la demanda del sistema. No es suficiente que los
funcionarios “senior” de las instituciones como los Ministros, el Director del
Departamento Financiero sean los únicos que comprendan la importancia
de la evaluación y se queden esperando que aparezcan aquellos funcionarios
profesionales en el tema para que monten el sistema. Es importante crear
conciencia sobre los beneficios que trae la evaluación, por ejemplo mostrando
lo costo- efectivo que resulta realizar estas evaluaciones, o mostrar los
resultados positivos que los inversionistas han obtenido con la implementación
de dichos sistemas en el pasado.
Es importante construir un sistema de evaluación y seguimiento que se ajuste

106 a la demanda existente, pero también es positivo ser un poco ambiciosos así
que hay que mantener metas ambiciosas y a largo plazo. Es importante realizar
pilotos de investigaciones para posteriormente proponer un sistema piloto

al interior de los ministerios. Una vez realizados, se deben unir esfuerzos
entre los ministerios para crear un sistema que sea el mismo para todo el
gobierno.
Finalmente quisiera comentar que el caso australiano contó con un poco de

suerte, generalmente Australia se conoce como “un país con suerte”. Tuvimos
la fortuna de contar con oficiales clave y Ministros del Gabinete que se
convencieron rápidamente de los resultados positivos que generaba el sistema
de evaluación y seguimiento. Ellos fueron nuestras personas influyentes, los
cuales permitieron y se aseguraron de que el sistema funcionara. Sinceramente
espero que Colombia corra con la misma suerte.
SEGUNDA sesión
Experiencia internacional en
evaluación de políticas públicas:
lecciones para Colombia
Manuel Fernando Castro*
L as anteriores presentaciones nos han dado un marco de referencia muy

apropiado para entender el proceso que en materia de evaluación está
viviendo Colombia, y también para identificar cuales son algunos de los
retos más interesantes o importantes que el país podría tener en este tema
hacia futuro. Recogiendo lo que hemos visto desde varias perspectivas, quisiera
hacer una especie de blanco y negro sobre los elementos más relevantes en
torno a la evaluación de los procesos de la gestión pública en la experiencia
internacional. Quiero que esto nos permita ver qué tan lejos o qué tan
cerca estamos de lo que se está haciendo en otros países, y eventualmente
reflexionar sobre si lo que estamos haciendo está llevándonos en la dirección
correcta. De esta forma, quisiera señalar algunas lecciones de las experiencias
que hemos visto hoy para el caso colombiano.
He estructurado estos comentarios en tres grandes aspectos que me parece

importante tocar. Por una parte, voy a señalar elementos relacionados con
lineamientos de política y los arreglos institucionales en materia de evaluación.
107
Por otra parte, veremos cuales podrían ser señaladas como algunas buenas

o mejores prácticas que Colombia debería replicar, intentar introducir o
reforzar porque en muchos casos ya estamos tratando de introducirlas o ya
se han introducido. Por último para complementar y cerrar la presentación,
voy a señalar algunas lecciones específicas para el país.
Miremos entonces ese mapa de varios países que nos permite comparar a
Colombia y aprender lecciones. Voy a tratar de referirme en cada caso a
las experiencias que hemos visto en Australia y Reino Unido, y además voy
* Director de Evaluación de Políticas Públicas, DNP

SEGUNDA sesión
34
a hacer referencia al caso Mexicano . En este último, hay algunos aspectos
que resultan aleccionadores y de hecho esta mañana en la presentación de
35
François Bourguignon se hizo referencia a algunos de ellos.
• Lineamientos de política y arreglos institucionales para la

evaluación
Australia (1987-97). En materia de lineamientos de política, lo que

encontramos en el caso de Australia, y con mucha fuerza en su primera fase,
es que la política planteada por el Estado tuvo un énfasis bastante fuerte en
materia de gasto público. Se visualizó la evaluación y el monitoreo como un
instrumento adicional de sostenibilidad fiscal, en un momento crítico para
las finanzas, en un momento crítico de restricciones presupuestales. De esta
forma, se pretendía que la evaluación se convirtiera en un instrumento para la
toma de mejores decisiones de política presupuestal.
Reino Unido. En el caso del Reino Unido, como se vio en la presentación de

36
Paul Johnson , se ha venido estableciendo una vinculación directa entre la
asignación del gasto público y los resultados de la evaluación. Esto, a través
de instrumentos como los Spending Reviews, que son revisiones del gasto por
entidad y por programas específicos para planeación trianual del gasto; con
ellos se ha incorporado una práctica de evaluación vinculada estrechamente a
las actividades de la dirección del Tesoro (HM Treasury).
México. En el caso de México, está la evaluación focalizada de uno de

sus programas sociales más importantes. La evaluación de Progresa /
108 37
Oportunidades , por supuesto tenía un énfasis mucho más de política social;
en una primera instancia, buscaba identificar los efectos, los impactos de estos
34
El programa del seminario contemplaba la presencia de Santiago Levy (Director del Instituto
Mexicano de Seguridad Social), para comentar la experiencia de México en materia de evaluación.
Lamentablemente, su participación fue cancelada por motivos de fuerza mayor, ajenos a los
organizadores.
35
Ver: Pobreza y evaluación de políticas públicas: enfoques y alternativas, François Bourguignon
36
Ver Asignación y evaluación del gasto público: el caso del Reino Unido, Paul Johnson (Director de
Microeconomía, Departamento del Tesoro, Reino Unido).
37
El programa mexicano Oportunidades, antes llamado Progresa, es una estrategia para mitigar los
efectos de la pobreza, basada en subsidios monetarios condicionados.
SEGUNDA sesión
programas sobre los beneficiarios finales. Sin embargo, terminó teniendo gran
incidencia en materia presupuestal, porque los resultados de las evaluaciones y
la difusión que de ellos se hizo lograron permear las instancias presupuestales.
Esto al punto de tomar la decisión de ampliar un programa como Progresa /
Oportunidades, de cerca de 300 mil familias a más de 1, 5 millones de familias;
hoy en día entendemos que alcanza cerca de 5 millones de familias que se
benefician con transferencias en efectivo condicionadas. Con posterioridad,
en México se decidieron unos lineamientos desde el Ministerio de Hacienda
para regular estas evaluaciones; más adelante vamos a ver por qué.
• Arreglos institucionales
Australia (1987 - 1997) y Reino Unido. Desde el punto de vista de los

arreglos institucionales el caso de Australia y el caso del Reino Unido tienen
una característica común: institucionalmente la evaluación está vinculada a
las oficinas de presupuesto; en el Reino Unido a la Oficina del Tesoro (HM
Treasury), y en Australia al Ministerio de Finanzas (Finance Department).
Estas entidades en ambos casos coordinan los Spending Reviews (ReinoUnido)
y los planes trianuales de evaluaciones (Australia), los cuales están dirigidos a
mejorar el proceso de toma de decisiones en materia presupuestal. En el caso
de Australia, desde 1987 se crea un organismo independiente que se encarga
de orientar las políticas en materia de evaluación.
México. En el caso de México, la institucionalidad es un poco más normativa

o más formal en el sentido de que se basa en leyes expedidas por el Congreso.
Básicamente, la Ley de Desarrollo Social que institucionaliza la evaluación
de los programas sociales, hace mandatoria la evaluación anual de todos los 109

programas del Ejecutivo Federal. Además, exige que estas evaluaciones se
presenten anualmente al Congreso de la República, previo a las discusiones
del presupuesto anual. Se crea también en el caso mexicano una instancia que
es la Subsecretaría de Planeación, Prospectiva y Evaluación, la cual elabora
los informes que se le presentan al Congreso y que deben acompañar las
evaluaciones.
• Colombia: lineamientos de política y arreglos institucionales

para la evaluación
En el caso de Colombia, el país ha definido lineamientos de política que de

manera muy reciente fueron revisados a través del documento CONPES
SEGUNDA sesión
3294 de 2004 que se mencionó esta mañana en la presentación de Santiago

38
Montenegro . Básicamente ese documento define y unifica los conceptos e
instrumentos en materia de evaluación en el país que se busca sean comunes
en toda la administración pública. Propone algunos arreglos institucionales
que fueron aprobados por esta instancia, que en el caso de Colombia es la
instancia más alta de decisiones de política económica y social. Establece unos
criterios para definir qué se debe evaluar, en qué condiciones y unos estándares
mínimos de calidad para el desarrollo de esas evaluaciones. Además, trata
de introducir incentivos o al menos algunos lineamientos para la definición
de incentivos que permitan promover o estimular la oferta y la demanda de
evaluación.
Desde el punto de vista institucional, Colombia es mucho más normativa y

más formal. Nuestra Constitución ordenó la creación de un Sistema Nacional
39
de Evaluación de Resultados en 1991 . Luego, la Ley 152 de 1994 o Estatuto
Orgánico de Planeación, desarrolló los preceptos constitucionales dejando
el sistema y la coordinación de las políticas en materia de evaluación y
seguimiento, en manos de una instancia como el Departamento Nacional de
40
Planeación (DNP) .
• Mejores prácticas en evaluación
Miremos un poco algo de las mejores prácticas que he divido en cuatro

temas: la vinculación de la evaluación con el presupuesto; la introducción de
incentivos; la oferta de evaluación; y la demanda de evaluación.
110
• Mejores prácticas en vinculación de la evaluación con el
presupuesto
Este es el primer tema que quisiera señalar, la vinculación de la evaluación con

el presupuesto, dada la importancia que reviste para Colombia en las actuales
circunstancias.
38
Ver Retos y perspectivas de la evaluación y la información en Colombia, Santiago Montenegro
(Director del Departamento Nacional de Planeación).
39
Constitución 1991 (Arts. 343 y 344).
40
El DNP desarrolla estas funciones a través de la Dirección de Evaluación de Políticas Públicas,
encargada del Sistema Nacional de Evaluación de Resultados de la Gestión Pública (Sinergia).
SEGUNDA sesión
Australia (1987-97). En el caso de Australia, como se mencionó, las

evaluaciones son un insumo de programación presupuestal y tanto el
Ministerio de Finanzas (Finance Department) como la Contraloría (National
Audit Office), usan los resultados de evaluaciones para observar el desempeño
de las entidades.
Reino Unido. En el caso del Reino Unido se destacan: la definición de unas

grandes prioridades, los Spending Reviews, y el desarrollo de evaluaciones
previas en programas piloto antes de ampliar el alcance. Son diferentes
niveles en mecanismos de evaluación, que tienen siempre como propósito la
vinculación del gasto con la evaluación.
México. En México vemos como las evaluaciones son insumos para la

asignación de recursos en el sector social. Entendemos que esto surge
particularmente a partir de la experiencia muy exitosa de la evaluación de
Progresa / Oportunidades, la cual produjo un gran giro en las decisiones de
política del sector social.
Chile. Quise traer el caso de Chile, con los estímulos a mejores programas
evaluados con asignación de recursos de inversión a través del Fondo
Concursable. Este me parece muy importante para reforzar una idea en
relación con la introducción de incentivos: como dije, estos se requieren para
estimular la oferta y la demanda de evaluación cuando hay una baja cultura de
evaluación, sobre todo incentivos centrados en la demanda.
• Mejores prácticas en introducción de incentivos

111

Identificamos tres tipos de incentivos que se ven en todas estas experiencias
de una u otra manera:
• Incentivos institucionales, que tienen que ver básicamente con el

reconocimiento a las entidades con mejores resultados. Casos concretos de
este tipo existen en Australia y el Reino Unido.
• Incentivos ciudadanos, que básicamente buscan a través de la difusión de los

resultados activar el control social. Buscan generar mayor demanda de parte
de la ciudadanía por información y conocimiento de qué está pasando con
los programas y las políticas, hacia donde está yendo el gasto y qué efectos
está generando; en lo cual México viene incursionando.
SEGUNDA sesión
• Incentivospresupuestales, que están relacionados con la asignación de

recursos, se encuentran en Australia y el Reino Unido.
Australia (1987-97) y Reino Unido. Los incentivos presupuestales son

interesantes para un país como Colombia, porque como se dice coloquialmente:
“lo qué no hay es plata”. Sin embargo, si una entidad hace bien su tarea eso no
necesariamente puede o debe verse reflejado en mayores recursos, porque
hay unas restricciones muy fuertes. Esto no sucede en países que no enfrentan
restricciones tan fuertes, como Australia y Reino Unido, donde es posible
vincular más estrechamente la asignación de los recursos a los resultados que
muestran las evaluaciones, o incluso premiar los programas que muestran
buenos resultados.
Entonces, en escenarios de agudas restricciones fiscales como el nuestro es

necesario ser un poco más creativos. Esto nos obliga a buscar la forma de
establecer algún tipo particular de incentivos que hagan que las entidades
demanden evaluación. Nos obliga a buscar la forma de que asimilen la
evaluación como un instrumento que tiene alguna utilidad para ellos desde
el punto de vista práctico, en términos de mejorar sus programas, diseñarlos
mejor y preocuparse por los resultados y no solamente por la ejecución.
Chile. El caso de Chile es muy interesante porque allí, también en escenarios

de restricción fiscal, idearon el esquema de un Fondo Concursable. Se trata
de un fondo en el cual la Dirección de Presupuesto destina unos recursos
para que aquellos programas que muestren resultados importantes con base
en evaluaciones de calidad, puedan concursar por mayores recursos. Esto se
112 ha convertido en un estimulo muy interesante para que muchas entidades
demanden evaluación de sus programas. Además, ha permitido establecer

una relación entre la Dirección de Presupuesto y los diferentes ministerios y
departamentos, en materia de evaluación y asignación de recursos.
Colombia. En el caso de Colombia, algo que hemos venido planteando y

discutiendo es lo siguiente: si bien no es posible establecer en el extremo
mecanismos para asignar más recursos a los programas que muestran buenos
resultados con base en evaluaciones, o en un camino intermedio crear un Fondo
Concursable, que aún es difícil; sí puede ser posible establecer tratamientos
preferenciales en los tramites presupuéstelas, en los procedimientos, en la
asignación de caja para esas entidades. Este puede ser un primer paso para
SEGUNDA sesión
avanzar hacia la introducción de incentivos en el campo presupuestal, que en

otro momento, en una coyuntura fiscal diferente, podrían permitir establecer
premios que resulten más atractivos para las entidades y estimulen de manera
mucho más fuerte la evaluación.
• Mejores prácticas en oferta de evaluación
Ahora bien, desde el punto de vista de la oferta de evaluación, quisiera señalar

algunos aspectos que como mejores prácticas nos parecen muy importantes,
y que en algunos casos inciden en la demanda.
Australia (1987 – 1997). Una buena práctica que se ha mencionado aquí

de manera recurrente es el fortalecimiento de la información en general. La
oferta de información para el seguimiento y la evaluación en particular, genera
sin lugar a dudas demanda por evaluación.
En esto último, Colombia en este corto periodo de gobierno tiene un ejemplo

muy interesante. La administración liderada por el Presidente se ha enfocado
en resultados, en dirigir toda su gestión en función de resultados y metas para
cada una de sus políticas y programas. Lo anterior, sumado a la difusión que se
ha venido haciendo de esos resultados, ha empezado a generar ya, de parte
de la ciudadanía y de las mismas entidades, demanda por hacer seguimiento
y conocer como van avanzando esos resultados. Los ejercicios de rendición
de cuentas al interior del Gobierno se hacen con base en metas, por ejemplo
frente al número de cupos escolares que el Gobierno se comprometió a crear
y el ministro del ramo asumió como responsabilidad. Este tipo de aspectos
fortalecen la demanda por evaluación, pero al mismo tiempo son producto 113

del fortalecimiento de la información para el seguimiento y la evaluación. Esto,
ocurre en la medida en que se han definido, para todo el plan de gobierno, una
serie de metas e indicadores que se están alimentando y haciendo públicos
periódicamente.
El fortalecimiento de la capacidad de evaluación en el sector público, como

se señalo en la presentación de Keith MacKay para el caso de Australia, es
una práctica fundamental. En una de las etapas de desarrollo de la evaluación
en Australia, se hizo mucho énfasis en este aspecto. Este permite unificar
lenguajes, unificar procedimientos, y unificar criterios que en últimas hacen
SEGUNDA sesión
posible avanzar en la introducción de la evaluación como una práctica en la

administración pública. Esto incluye, por supuesto, el diseño de metodologías
y estándares mínimos de calidad.
México. Algo muy interesante que ha dado buen resultado en México y

que está resultando hoy en Colombia, es la transferencia de capacidades de
evaluadores externos en evaluación de programas sociales. El caso de Progresa
/ Oportunidades, evaluación hecha por evaluadores externos, fue una ocasión
para generar capacidades en evaluadores nacionales en México. En el caso
colombiano, está la incursión del país en evaluaciones de impacto como
el caso de Familias en Acción41, Empleo en Acción42, y Jóvenes en Acción,
o el programa PACES que hace algunos años se evaluó con metodologías
rigurosas43. Estos dejan capacidades en el país, en las entidades académicas, en
las entidades públicas, y en firmas nacionales, para hacia futuro poder realizar
más de estas evaluaciones.
Lo anterior tiene un efecto importante para destacar, y es que la transferencia

de capacidades hacia entidades nacionales permite reducir el costo de las
evaluaciones. En el caso colombiano, hoy en día este costo todavía es alto
para las condiciones financieras del país. Sin embargo, la capacidad técnica no
es el único factor que hace costosas las evaluaciones. También son costosas
porque no existe información y en cada caso es necesario hacer grandes
levantamientos de información, que en algunos casos tienen una cobertura
muy amplia y un costo muy alto. Gran parte de los costos de las evaluaciones
de impacto que hemos realizado, la cubren los levantamientos de información
que se han hecho. Entonces, en la medida en que se genere información y
114 se transfieran capacidades, es posible bajar los costos de las evaluaciones y
generar una mayor oferta y demanda de evaluación.
Reino Unido. La definición de agendas sobre prioridades de largo plazo en el

Reino Unido, y la realización de los Spending Reviews cada 2 años para asignar
recursos de los próximos 3 años, es un tema muy importante que está ligado con
la introducción de prácticas modernas en la administración y la programación
41
Ver Evaluación de Familias en Acción y Hogares Comunitarios, Orazio Atanasio (Instituto de
Estudios Fiscales, Londres).
42
Ver Evaluación de Empleo en Acción, Costas Meghir (Instituto de Estudios Fiscales, Londres).
43
Ver Evaluación del programa PACES, Eric Bettinger (Departamento de Economía, Universidad
Case Western Reserve, EU).
SEGUNDA sesión
presupuestal. En esto, Colombia también está dando pasos importantes con

la reforma de presupuesto público que en este momento tiene en curso, y
que por supuesto debe generar oferta y demanda por evaluación. Si el país
se va a mover hacia presupuestar en escenarios plurianuales eso implica que
deberá definir prioridades de mediano y largo plazo. Además, dentro de esas
prioridades, debe identificar programas y políticas concretas que muestren
buenos resultados mediante evaluaciones de calidad. De esta forma, en
escenarios de mediano plazo podremos orientar el gasto primero hacia los
aspectos más prioritarios, más necesarios, y segundo hacia los programas que
mayor impacto nos van a permitir obtener.
• Mejores prácticas en demanda de evaluación
Desde el punto de vista de la demanda, quizás lo más importante es identificar

quiénes son los principales clientes de la evaluación.
Australia (1987 – 1997). Hemos dicho que buena parte, sino todo el sentido
de la evaluación está dado por la forma en que esta se refleje en decisiones de
política de gasto o de política sectorial. En ese sentido, como se evidencia en
el caso Australiano, pues son los ministerios, y particularmente los ministerios
de hacienda, quienes deben ser los principales clientes de información sobre
evaluación. Por un lado, las tesorerías quienes programan el gasto, y por otro
lado, los ministerios sectoriales como insumos para definir o para reorientar
sus políticas y programas.
Además, en la medida en que la evaluación tenga incidencia sobre las decisiones

de política, la difusión de los documentos de evaluación es otra buena práctica 115
muy importante que encontramos en Australia. En el caso de Colombia hay

una lección en este aspecto que en el día de mañana vamos a ver. Se trata de
la evaluación del programa PACES; una evaluación de impacto que se hizo en
1991 y después en 1997 tuvo una revisión, la cual muestra unos resultados
muy interesantes de una forma de intervención en el sector educativo, pero
se dio a conocer muy poco. Entonces, la difusión de los resultados de estas
evaluaciones tiene un efecto muy importante sobre la demanda de evaluación.
Si estas evaluaciones muestran que los programas están funcionando o que no
están funcionando, y al mismo tiempo derivan en decisiones de política, pues
eso va a generar una mayor demanda por este tipo de información.
México. En el caso de México, la naturaleza legal de la evaluación y las demandas

del Congreso desde 2000, tienen un efecto sobre la demanda. Sin embargo,
SEGUNDA sesión
también ha generado un problema que es importante tener en cuenta, y es

que se ha producido una oferta de evaluación en buena parte de mala calidad.
Como existe una ley y es necesario que todos los programas sean evaluados
para la discusión del presupuesto, entonces todas las entidades tienden a hacer
o contratar evaluaciones, y muchas de ellas resultan de muy baja calidad. Para
responder a eso, el Ministerio de Hacienda de México estableció unas políticas
para regular el desarrollo de ese mandato legal, estableciendo unos controles
de calidad para las evaluaciones que se realizan en el sector público.
Reino Unido. Algo muy importante que voy a resaltar al final como una de las
lecciones quizás más interesantes para el caso colombiano, es la programación
del gasto público basado en evidencia. Creo que en esto la experiencia más
interesante es la de la Oficina Tesoro del Reino Unido (HM Treasury), en la
medida en que han ido incorporando la práctica de evaluaciones en el caso
de nuevos programas. Esos nuevos programas se evalúan previamente en
programas piloto y las decisiones de ampliarlos a una escala nacional se toman
con base en los resultados de esas evaluaciones.
Lo anterior, es una práctica que desde todo punto de vista es muy sana, y que
podría ser muy interesante para el caso colombiano. Para todos es muy claro
que en el país muchas decisiones sobre grandes programas se han tomado
sin mayor información sobre su efecto real, incluso sobre programas que
hoy existen, que tienen carácter nacional y que absorben buena parte de los
recursos del presupuesto anual de inversión de la Nación. De manera que
antes de tomar una decisión de continuar, ampliar, suspender o modificar un
programa, pues una evaluación exhaustiva es de muchísima utilidad.
116 Cabe decir que en el caso de Colombia la evaluación de impacto de la Red de

44
Apoyo Social (RAS) , tuvo desde su diseño este propósito. A pesar de que
no eran programas piloto, pequeños en su monto y su alcance, sí se pensó

en identificar su potencial como estrategias para mitigar los efectos de la
crisis económica de 1999 sobre la población más pobre. La evaluación de
esos programas se introdujo justamente para probar que tan efectivos eran.
De esta forma, con base en los resultados que ha mostrado la evaluación de
Familias en Acción, este Gobierno tomó ya la decisión de ampliarlo a 400
mil familias y de mantenerlo hasta el año 2006. Seguramente con base en
44
La RAS se compone de los programas complementarios Empleo en Acción, Jóvenes en Acción y
Familias en Acción.
SEGUNDA sesión
los resultados finales que se deriven de esta evaluación, se alimentaran las

discusiones que se darán al interior del Gobierno y habrá nuevas decisiones.
• Colombia: mejores prácticas en evaluación
En el caso de Colombia, como mejores prácticas vale la pena destacar el hecho

de haber introducido la práctica de las evaluaciones de impacto, particularmente
en el sector social con las evaluaciones de la RAS. La discusión de una agenda
de evaluaciones también se debe resaltar, pues esta busca ampliar esta práctica
a otros programas. Parte del propósito del trabajo del día de mañana, será
discutir en un sector particular, en el sector social, cual debe ser esa agenda de
45
evaluaciones que el país debe considerar para los próximos 5 años .
Otra buena práctica, es el fortalecimiento de los mecanismos formales e

informales de rendición de cuentas, que también tienen un referente en las
experiencias internacionales. En el pasado, yo diría que aún pero sobretodo
en el pasado, en Colombia se le ha prestado muy poca atención a los canales
o mecanismos formales de rendición de cuentas. Los informes al Congreso,
por ejemplo, han sido un ejercicio que no ha sido tomado con toda la seriedad
que eventualmente merece.
En buena parte responde a circunstancias de la misma coyuntura política,

a la baja favorabilidad que una institución como el Congreso puede llegar a
tener en un país como Colombia, y en general en el mundo sucede igual.
No obstante, estos mecanismos formales de rendición de cuentas deben ser
utilizados a cabalidad y deben servir para estimular la demanda de evaluación.
¿Cómo hacerlo?, trabajando en informes al Congreso que se centren en 117

resultados, informes que incorporen elementos de evaluación como insumo
para que las discusiones entre el Congreso y el ejecutivo sean discusiones más
calificadas. Esto por supuesto es un mecanismo que debe mantenerse en el
tiempo, incluso debe mejorarse, pero que estimula sin duda la demanda por
evaluación.
Por otro lado, está la difusión de resultados a la ciudadanía. La ciudadanía

quiere ser informada y muchas veces la razón por la que no hay participación
ciudadana es que no hay información para los ciudadanos. Si las evaluaciones
45
Ver presentaciones de la Sesión 5.
SEGUNDA sesión
y los seguimientos periódicos de como van los programas del Gobierno se

ponen a disposición de la ciudadanía, eso genera una retroalimentación que es
muy directa. Esto se ha empezado a ver en un mecanismo particular que este
Gobierno está utilizando, que es el de los Concejos Comunales de Gobierno.
En ellos la población y las comunidades empiezan a pensar y a interactuar con
el Gobierno en términos de cupos escolares, de kilómetros de carreteras
construidos, de desayunos escolares entregados, lo cual está estimulando la
demanda de evaluación de parte de los ciudadanos.
Por último, la clasificación programática del presupuesto. Este es un tema muy

importante que en Colombia se viene trabajando de manera muy preliminar.
Básicamente busca permitir diferentes lecturas del presupuesto público y que
el presupuesto público diga algo a los ciudadanos. Lo señaló el ex Alcalde
46
Mockus esta mañana , y se trata de lograr que las discusiones del presupuesto
puedan darse no solamente en términos de montos sino en términos de
cupos escolares, hospitales reestructurados, beneficiarios de los programas
nutricionales, beneficiarios de los programas de capacitación, etc. Se trata
de lograr que se den en esos términos al interior del Gobierno y ojalá en las
discusiones entre el Gobierno y el Congreso sobre el presupuesto público.
Por supuesto esto no debe pretender reemplazar otras formas de clasificación

presupuestal que son necesarias para el ejercicio de una buena presupuestación,
sino simplemente complementar esas clasificaciones de manera que uno pueda
tener una lectura del presupuesto en términos de objetivos y de estrategias
de un plan de gobierno. Por ejemplo, la política de Seguridad Democrática,
que la gente pueda saber cuanto se le está destinando de un presupuesto
de 11 billones, o cuanto le estamos destinando a la Revolución Educativa. La
118 posibilidad de leer el presupuesto público de esa forma, genera por supuesto
demanda por información adicional y una discusión más calificada.
• Lecciones de la experiencia internacional
Veamos entonces algunas lecciones para concluir muy rápidamente.
Lineamientos de política. Voy a empezar diciendo que los lineamientos

de política, sobretodo los enfocados en la asignación del gasto público y en
definición de políticas son una condición necesaria si queremos estimular
46
Ver Modernización del presupuesto, evaluación y calidad del gasto público, Antanas Mockus (ex
Alcalde de Bogotá).
SEGUNDA sesión
la oferta y la demanda por evaluación. Me atrevería a decir, que son más

importantes incluso que los aspectos institucionales que pueden servir también
para promover una cultura de evaluación. Lo vimos en el caso del Reino Unido,
donde la evaluación más que una norma, más que una respuesta a una ley o a
la misma Constitución, es una práctica dentro de la administración pública.
Entonces, tener estos lineamientos de política es una condición necesaria

para:
• Establecer conceptos e instrumentos claros y unificar los instrumentos
dentro de una administración pública particular;
• Definir roles y responsabilidades;
• Definir criterios y estándares mínimos de calidad para la realización de
evaluaciones;
• Vincular los procesos del presupuesto con los procesos de evaluación;
• Identificar y establecer algunos incentivos a la demanda y a la oferta de
evaluación;
• Promover el desarrollo de capacidades de evaluación en el país con un
marco y procedimientos para hacerlo, no necesariamente desde el sector
público, puede ser a través de alianzas con firmas o universidades que generen
transferencias de conocimientos.
Arreglos institucionales. Los arreglos institucionales pueden ser importantes,

pero no son una condición indispensable. Pueden ser importantes para
articular los procesos de planeación, presupuestación y evaluación, y para
asignar responsabilidades dentro del Estado en materia de evaluación. 119
Además, pueden ayudar a hacer permanente la evaluación, especialmente

en ciclos políticos cortos y con una baja cultura de evaluación. En este caso,
puede haber un Gobierno que encuentre en la evaluación un instrumento de
utilidad y le de mucha fuerza, la promueva y la use, pero en un periodo muy
corto puede venir otro Gobierno que no le asigne ninguna importancia. Esa
situación no permite darle sostenibilidad a avances en materia de evaluación,
entonces allí institucionalizar puede ayudar a generar una cultura de evaluación
que perdure.
Modernización del sistema presupuestal. Ahora bien, la modernización de

los procesos presupuestales sí es indispensable para que la evaluación cobre
algún sentido y se vincule efectivamente al mismo presupuesto.
SEGUNDA sesión
Balance entre seguimiento y evaluación. Esto es algo que se vio en las

dos presentaciones previas, establecer un balance entre los instrumentos
de seguimiento o monitoreo y los instrumentos de evaluación. Estos
son instrumentos complementarios, pero tienden a usarse o entenderse
indistintamente. El seguimiento, permite hacer un monitoreo o control
periódico a como van las metas de una política o de un programa, o los
procesos, o el uso de recursos. La evaluación, busca encontrar causalidades o
efectos de una política o un programa, ya sea sobre los beneficiarios o sobre
metas u objetivos de desarrollo de un país.
Principales lecciones. En concreto para Colombia las principales lecciones

son:
• Darle sostenibilidad a la política de evaluación.
• Generar capacidad de seguimiento y evaluación en el sector público
colombiano.
• Vincular evaluación con presupuesto; esto implica definir grandes
prioridades, hacer
• Revisiones del gasto periódicas y desarrollar evaluaciones focalizadas.
• Avanzar en la modernización del presupuesto.
Es importante avanzar en la modernización del presupuesto, proceso que

está en curso en el país a través de la reforma al Estatuto Orgánico de
47
Presupuesto , básicamente vinculando los instrumentos de evaluación con los
nuevos instrumentos que se quieren introducir al proceso de programación
120 presupuestal. Esto debe implicar: definir prioridades o metas de largo plazo
para el presupuesto público en algunos sectores; hacer revisiones periódicas

del gasto para ajustar los marcos de gasto de mediano plazo; e involucrar los
resultados de evaluaciones focalizadas dentro del mismo proceso.
Darle sostenibilidad a la política de evaluación en Colombia es muy importante,

pero yo diría que más que darle sostenibilidad se debe poner en marcha. Hay
componentes de esa política que ya están funcionando y están funcionando
48
bien; como se mencionó esta mañana : el seguimiento a los resultados del
47
Ver Intervención de Carolina Rentería (Directora de Presupuesto, Ministerio de Hacienda).
48
Ver Retos y perspectivas de la evaluación y la información en Colombia, Santiago Montenegro
(Director del DNP).
SEGUNDA sesión
Gobierno, los esquemas de rendición de cuentas que se han fortalecido, y la

agenda de evaluaciones que se ha ampliado. Sin embargo, es necesario poner
en marcha la totalidad del alcance de esa política, y sobretodo asegurarnos de
que permée la administración pública. Esta es la forma más efectiva de hacerla
sostenible.
Para terminar quiero enfatizar algo que ya se ha dicho: en Colombia las

restricciones fiscales de mediano y largo plazo y las necesidades de la población,
demandan que el Estado tendrá que lograr más y mejores resultados con
iguales o menores recursos en los próximos años. La evaluación puede ser
una herramienta que contribuya a ese propósito.
121

TERCERA SESIÓN
Evaluación periódica y gasto público en Colombia

Panel de discusión
TERCERA sesión
Evaluación y gasto público en

Colombia
Mauricio Cárdenas∗
F elicito al Departamento Nacional de Planeación por la organización de

este seminario sobre un tema relevante y oportuno. Es mucho lo que
tenemos que avanzar en Colombia en materia de evaluación del gasto
público, razón por la cual convocar a expertos nacionales y extranjeros para
analizar la experiencia nacional y conocer más de cerca las mejores prácticas
internacionales es verdaderamente valioso.
Se me ha pedido por parte de los organizadores que discuta la relación entre

la evaluación del gasto y el problema de la sostenibilidad fiscal de Colombia.
Conceptualmente, el problema fiscal colombiano tiene cuatro componentes
principales. El primero, que todos conocemos, es la inflexibilidad y rigidez del
gasto. El segundo, es la escasez de evaluación que impide la toma de decisiones
más informadas. El tercero, es el problema de focalización, especialmente del
‘gasto social’; y el cuarto, es la insuficiencia de recursos. Por supuesto, estas
cuatro dimensiones interactúan entre si, lo cual hace complejo el análisis. Para
simplificar las cosas me concentraré los dos primeros, es decir en la relación
que existe entre la inflexibilidad del gasto y su escasa evaluación.
123
• Flexibilidad, evaluación y resultados fiscales
La inflexibilidad de los presupuestos públicos tiene su origen en la Constitución

y, específicamente, en las instituciones políticas y las reglas bajo las cuales se
realizan las transacciones políticas. Sea cual sea la causa de la inflexibilidad, lo
cierto es que alta rigidez en materia del gasto termina por reflejarse en altos
niveles de déficit fiscal. El Gráfico 1 ilustra bien este punto. Los países de
América Latina con mayores niveles de déficit fiscal son precisamente aquellos
que –como Brasil y Colombia- tienen mayores dificultades para ajustar el
* Director Ejecutivo de Fedesarrollo

TERCERA sesión
gasto público ante cambios en el entorno económico. Por ello, la solución al

problema fiscal estructural colombiano requiere como condición necesaria la
flexibilización del gasto. Esto suena obvio, pero la verdad es nuestro sistema
político no favorece la flexibilización y es importante entender por qué.
Gráfico 1 • Déficit fiscal vs. Gasto inflexible en Latinoamérica

Déficit fiscal como % del PIB
0 ,0 %
P e rú
-2 ,0 %
E l S a lv a d o r
A rg e n tin a
-4 ,0 % G u a te m a la
H o n d u ra s
C o lo m b ia
-6 ,0 %
B r a s il
-8 ,0 %
0% 10% 20% 30% 40% 50% 60% 70% 80% 90%
G a s to in fle x ib le / g a s to p rim a rio
Fuente: FMI; cálculos Fedesarrollo
La experiencia internacional e incluso, la misma experiencia colombiana son

claras en señalar que la reducción del gasto público a ‘rajatabla’ es políticamente
inviable, es decir, pretender recortar por igual todos los componentes del
124 gasto público es un imposible práctico. Cuando se trata de afectar a todos por
igual, hay un claro incentivo a la colusión de los afectados que obstaculiza el

recorte del gasto. En otras palabras, la reacción política en contra del ajuste
es muy fuerte. Esto fue, entre otras cosas, lo que ocurrió con el Referendo de
octubre de 2003, cuando se buscó congelar parte del gasto público, incluyendo
salarios y pensiones. Los empleados públicos se organizaron para bloquear la
reforma, con la ayuda de los empleados privados que se solidarizaron porque
pensaron que eventualmente la congelación afectaría también a los salarios
por fuera del sector público.
Por esto, los ajustes fiscales, por lo menos en los países de la OECD, han
sido más selectivos. Es decir, las reducciones del gasto público, son ante
todo recortes en ciertos tipos de programas, en renglones específicos del
TERCERA sesión
presupuesto que no se consideran prioritarios. Obviamente, para hacer esos

recortes selectivos es muy importante tener información adecuada acerca
del impacto de los diferentes programas. Esto inmediatamente coloca sobre
la mesa el tema de la evaluación del gasto, como parte imprescindible de
los procesos de ajuste fiscal que pasan por un proceso de priorizar el gasto
público.
Ilustremos la relación entre flexibilidad y evaluación con la ayuda de un

diagrama en el que se combinan estas dos dimensiones (Gráfico 2). Cada
programa de gasto público es un punto en el plano con una combinación
específica de flexibilidad y evaluación. Los programas rígidos y no evaluados
estarían en la esquina inferior izquierda. Este es el caso de buena parte de los
programas de gasto que año a año se incluyen en el presupuesto general de la
Nación. Por ejemplo, las rentas de destinación específica son –por definición-
absolutamente rígidas y no generan ni requieren en la mayoría de los casos
ningún tipo de evaluación. Por ejemplo, la sobretasa al IVA que se destina
a Coldeportes para financiar la construcción de planteles deportivos es un
típico gasto rígido que no tiene ninguna evaluación. Como este ejemplo hay
muchos otros.
Gráfico 2 • Flexibilidad y evaluación del gasto público

Alta
Ejemplo: Familias en
acción
Flexibilidad
125

Probablemente
tendremos que
seguir este
camino
Baja
Ejemplo: Rentas de destinación específica
Baja Alta
Evaluación
Fuente: Autor
TERCERA sesión
Aunque en Colombia los casos de gastos flexibles y sujetos a evaluación

son bastante atípicos, existen ejemplos exitosos como el caso del programa
“Familias en Acción”. La mayor ventaja de la flexibilidad es que el nivel del gasto
se puede acomodar al ciclo económico. Esto quiere decir que en las épocas
de recesión –cuando baja el ingreso de los hogares y la deserción escolar
tiende aumentar- se incrementa la intervención mediante el programa. La
adaptabilidad es una propiedad deseable del gasto público, precisamente por
el papel estabilizador de las finanzas públicas. Desafortunadamente, hoy por
hoy los programas flexibles y adaptables son más la excepción que la regla.
Ahora bien, ¿por qué la evaluación es un buen complemento de la flexibilidad?

Precisamente porque para ajustar el gasto a las condiciones del ciclo económico
es necesario tener un buen entendimiento del impacto de los programas.
Es importante saber en qué sectores de la población es más efectivo, qué
regiones del país lo necesitan más y cuales de sus componentes se deben
potenciar en épocas de recesión. Todo esto sólo se puede conocer con una
adecuada evaluación.
Pero, ¿cómo movernos hacia una situación de alta flexibilidad y alta evaluación?
Hay muchos caminos para llegar al nivel deseado. Una posibilidad es tratar
de flexibilizar primero y luego evaluar. Esto es difícil porque la flexibilización
implica un proceso político complejo, que en muchos casos requiere reformas
a la propia Constitución. Es poco viable que ese proceso político tenga éxito
sin un claro entendimiento de qué se debe flexibilizar y por qué.
Otro camino, probablemente más seguro, es dedicarle más recursos y atención

126 a la evaluación de los programas. Esto permitiría generar la información
que mejora el ambiente político y la actitud hacia la flexibilización. Estoy

seguro que es el camino que debemos recorrer. Sin conocer las fortalezas y
debilidades de los programas, es muy difícil generar el espacio político para
que se reduzca el grado de rigidez y se remuevan los condicionamientos que
amarran el presupuesto nacional. Una de las grandes ventajas de la evaluación
es que hace más difícil la tarea de quienes defienden políticamente programas
que no expanden las fronteras de equidad y eficiencia. Si la evaluación es
desfavorable, la carga de la prueba está en los sectores que quieren que
el programa permanezca, no en los funcionarios que proponen cambios a
través de la flexibilización del presupuesto. Ahora bien, si no hay evaluación,
es muy difícil contrarrestar la presión política para mantener los programas
establecidos.
TERCERA sesión
Si tratamos de ubicar los componentes del gasto público en el plano flexibilidad

– evaluación, se puede ver que la mayoría de los programas en Colombia
están cerca de la esquina inferior izquierda, que representa alta inflexibilidad y
baja evaluación. Esto especialmente en gastos de funcionamiento, pensiones,
transferencias del Sistema General de Participaciones, y en el servicio de
la deuda. La inversión tiene algo más de flexibilidad –por eso ha sido un
instrumento favorito de ajuste-. En algunos de sus componentes, como los
programas de la Red de Apoyo Social (RAS), se observa mayor interés por la
evaluación como herramienta de política pública, de asignación y de establecer
prioridades al interior del gasto público. (Gráfico 3)
Gráfico 3 • Flexibilidad y evaluación

alta
Flexibilidad
Funcionamiento administración
Inversión Social
Inversión Defensa
Inversión infraestructura
Pensiones
baja
Transferencias SGP
S de deuda
127
baja Evaluación alta

Fuente: Autor
El Departamento Nacional de Planeación ha anunciado su intención de evaluar

el Sistema General de Participaciones. Este tipo de evaluación es trascendental;
el sistema vigente no condiciona las transferencias a su evaluación ex post, lo
cual es un imperativo para mejorar su funcionamiento. Este es el paso que
debemos dar en una nueva reforma constitucional, que será necesaria más
temprano que tarde. Pero lo que es muy evidente de la lectura del Gráfico 3
es que Colombia está atrapada en una situación de inflexibilidad con muy baja
evaluación.
TERCERA sesión
• Evaluación técnica e independiente
La evaluación alimenta un proceso netamente político como la elaboración del

presupuesto. En Colombia el presupuesto está menos en manos del Congreso
de lo que está en la mayoría de las democracias. A causa de la inflexibilidad
presupuestal, en muchas ocasiones el legislativo resulta ser un ‘convidado de
piedra’ a la aprobación de los gastos previamente determinados por leyes
anteriores de mayor jerarquía o por la propia Constitución.
Para que la evaluación tenga un verdadero impacto sobre el proceso político

debe ser creíble, lo cual implica que debe ser realizada por una fuente
independiente y que genere confianza. Así, hay que distinguir dos tipos de
evaluaciones. Por un lado, la evaluación que se hace al interior del Gobierno,
para tomar decisiones de asignación de recursos dentro de los parámetros
del presupuesto, y para calificar el desempeño y la gestión de las diferentes
entidades ejecutoras del gasto. Por otro lado, la evaluación independiente debe
servir para alimentar el proceso político de aprobación de los presupuestos
públicos.
La credibilidad es un factor fundamental que se logra a través de entidades

independientes que utilizan métodos de evaluación rigurosos y objetivos.
El ejemplo a seguir, de nuevo, es el de la evaluación del programa “Familias
en Acción” por parte de firmas independientes con alta solvencia técnica
como el Instituto de Estudios Fiscales de la Universidad de Londres y la
firma de consultoría Econometría S.A. Es decir, para que la evaluación sea
verdaderamente influyente y alimente el debate político, no puede ser un
128 asunto exclusivamente del ejecutivo. Recordemos que en Estados Unidos
existe una agencia que le reporta al congreso (Government Accountability
Office), con carácter técnico y respaldo político bipartidista, dedicada a la

evaluación para alimentar el proceso legislativo, especialmente en lo que tiene
que ver con la aprobación del presupuesto.
• La evaluación y el papel estabilizador del gasto público
Además, una evaluación adecuada es fundamental para que el gasto público

pueda jugar un papel anticíclico en la economía. Aunque Colombia tuvo
una tradición de uso del gasto público con criterios estabilizadores que
fue muy exitosa, en los últimos años esta función ha estado relegada a un
segundo plano. Esto es desafortunado, porque el verdadero progreso social
TERCERA sesión
se logra en un ambiente de estabilidad económica. Desde el punto de vista

estrictamente social, da más dividendos evitar las recesiones que aumentar de
manera considerable el gasto público, así sea orientado a lo social. El Gráfico
4 muestra que la prioridad ha estado en el crecimiento del gasto, más que en
su utilización con fines estabilizadores. Los resultados sociales de la última
década señalan las limitaciones de esta última estrategia.
Gráfico 4 • Evolución de los gastos del Gobierno Nacional Central

% de los ingresos corrientes
80 35
70 30
60
25
50
20
40
15
30
10
20
10 5
0 0
19 19 199 199 199 199 199 199 199 199 200 200 200 200
90 91 2 3 4 5 6 7 8 9 0 1 2 3
Transferencias sin pensiones Gastos generales y otros

Servicios personales Pensiones
Inversión Intereses 129

Fuente: Fedesarrollo con base en Banco de la República
En un trabajo reciente (Cárdenas y Urrutia, 200449) concluimos que la

utilización inadecuada del gasto público de manera procíclica como pasó en
Colombia entre 1994 y 1997 –esto es aumentar el gasto en las épocas de
auge-, impidió que el gasto público se utilizara con un criterio anticíclico y
estabilizador durante la crisis de 1999. En el gráfico 5 se ve por ejemplo la
relación entre el ciclo económico y el ciclo de la población empleada o los
ocupados en Colombia, en el se ilustra que buena parte de los problemas
sociales en Colombia están asociados al ciclo económico.
TERCERA sesión
Gráfico 5 • Ciclo económico y ciclo de la tasa de desempleo urbana

Desviaciones porcentuales frente a la tendencia
Tasa de desempleo urbana
25% 4
20% 3
15%
2
10%
5% 1
0% 0 PIB
-5% -1
-10%
-2
-15%
-20% -3
-25% -4
Mar-84
Mar-85
Mar-86
Mar-87
Mar-88
Mar-89
Mar-90
Mar-91
Mar-92
Mar-93
Mar-94
Mar-95
Mar-96
Mar-97
Mar-98
Mar-99
Mar-00
Mar-01
Mar-02
Mar-03
Desv TDU HP I(1600) Desv PIB HP I(1600)
Fuente: Fedesarrollo
Si se hubiera tenido una herramienta como el gasto público para hacer un poco
de estabilización macroeconómica y para evitar que el ciclo hubiera sido tan
pronunciado, los indicadores sociales de Colombia serían hoy muy diferentes.
Es decir, por alta inestabilidad y volatilidad macroeconómica se perdió lo que
130 habíamos ganado en una década de progreso social. ¿Eso qué quiere decir
desde el punto de vista de la evaluación? Para dotar de esa flexibilidad al gasto

público es necesario que la evaluación alimente el debate y permita ilustrar
la toma de decisiones. Sin evaluación no vamos a poder ganar el espacio para
hacer del gasto público una herramienta que realmente se pueda acomodar a
las diferentes circunstancias de la economía.
• Conclusiones
La flexibilidad de los presupuestos contribuye a sanear las finanzas públicas,

pero depende de la capacidad de las instituciones de evaluar el gasto público,
establecer prioridades y asignarlo de acuerdo a las metas y resultados obtenidos.
TERCERA sesión
Este proceso va de la mano de una mayor y mejor evaluación. Probablemente

se debe avanzar primero en la evaluación para que la flexibilización del gasto
sea políticamente viable. Es necesario dotar al presupuesto de esa flexibilidad
para que el gasto público pueda verdaderamente aportar al avance social.
En el proceso político intervienen muchos actores por fuera del Gobierno,
esos actores necesitan análisis independientes sobre la calidad, el impacto y en
general el costo y los beneficios de los programas. En esto el mejor ejemplo a
seguir es el del programa Familias en Acción.
El progreso social no lo logran estrategias de incremento en el gasto

indiscriminado. El avance social es resultado de una economía que crezca
a tasas razonables, pero sobretodo estables. La volatilidad del empleo es
particularmente perjudicial porque el desempleo que se traduce la pobreza,
la deserción escolar, la deserción en materia de afiliaciones y salud, y por
supuesto el aumento de la desigualdad. La evaluación del gasto público
permite la flexibilización necesaria para que el gasto público cumpla una
función de suavización del ciclo económico y alivie las condiciones de los
menos favorecidos dentro de la población.
131

TERCERA sesión
La evaluación del gasto del Estado
Juan Carlos Echeverry∗
L o primero es agradecer la invitación a este seminario. Mi valor agregado

puede ser la experiencia que tuve en el campo de evaluación en cuatro
años que estuve en Planeación Nacional, pero sobretodo les voy a
hablar de las lecciones que aprendí en general, más que las directamente
relacionadas con evaluación.
La primera lección es: la decisión de presupuesto es sustancialmente una

decisión política y en ella tenemos un problema fundamental, anterior a
evaluar o no evaluar. El punto es la forma como políticamente se atrapa el
presupuesto, porque si después de que está atrapado lo vamos a evaluar,
realmente es poco lo que nos sirve la evaluación. El presupuesto está decidido
con criterios ajenos a si es evaluable o si va a tener una buena evaluación. El
porcentaje del presupuesto sobre el que nosotros concentramos la evaluación
es realmente el 3% o 4%. La pregunta que yo me hago es: cuando se habla de
evaluación ¿qué es entonces lo que vamos a evaluar?
¿Cuál es la “evaluabilidad” del 95% del presupuesto? Las pensiones no son

evaluables, el Sistema General de Participaciones (SGP) es difícilmente
evaluable, y si lo evaluamos está definido políticamente. Y lo mismo sucede
132 con los intereses de la deuda pública; cuando yo estaba en Planeación
Nacional le decía al director de crédito público de la época: “cada mil millones
de dólares que pone usted, tumban la inversión de 100 millones de dólares

por concepto de los intereses”. Entonces, nosotros nos preocupábamos por
diseñar un programa de evaluación de 100 millones de dólares de inversión
que él, en una decisión no evaluable con nuestra metodología, y no evaluada
hasta el presente, simplemente eliminaba. ¿Esos intereses son altos o bajos?,
tampoco estamos evaluando esto. Otros tipos de transferencias del estado,
que pueden ascender a 2 o 3 mil millones de dólares al año tampoco están
sujetas a evaluación.
* Decano Facultad de Economía, Universidad de los Andes.

TERCERA sesión
Por ende pregunto: ¿cuando hablamos de evaluación, estamos evaluando

como el 3% de lo que nos gastamos? ¿Qué pasa con el resto? El resto está
decidido por una gran mente intertemporal, intergeneracional, intersectorial
e intergubernamental, que va decidiendo todo por nosotros, y nosotros nos
limitamos a que la discusión sobre evaluación sea solo una porción sobre la
que nos sentimos orgullosos de que eventualmente sea evaluable. Los datos de
inversión de Hacienda el año pasado, con base en un estudio sobre flexibilidad,
mostraban que el 67% de la inversión es inflexible. Solo una tercera parte es
flexible, o sea que es retroalimentable por una evaluación.
Cuando pensamos en la evaluación, no hay solamente que pensar en aquella

parte que se invierte en kilómetros de carreteras, o en escuelas y puestos
escolares, o en los Hogares Comunitarios, etc. Aquella parte resulta muy
pequeña frente al Presupuesto Nacional, que es lo que nos importa gastar
bien. Entonces, hagámonos la pregunta sobre ¿cómo ampliar es espectro de
evaluación?
Lo primero es el alcance de una evaluación externa. En general desde

Planeación Nacional es infructuoso tratar de penetrar el comportamiento
microeconómico de las entidades estatales. Entes como el ICBF o el INVIAS,
etc. reciben dinero y generan resultados físicos. La caja negra que hay entre
esos dos extremos le corresponde a la micro de cada entidad. Nosotros no
nos podemos meter en la micro de cada empresa, porque simplemente eso
sería como reemplazar al gerente.
¿Cómo le damos los incentivos a ese gerente para que se auto evalué y
produzca una serie de indicadores legibles y acordados sobre los cuales medir 133

su gestión? Tal vez una herramienta efectiva que tenemos es la restricción
de presupuesto. Si se le pone una restricción de presupuesto a un gerente,
se ve obligado a definir mejor sus prioridades, se ve obligado a decidir como
gastar bien. Esto en el escenario más optimista. Hay también gerentes a los
cuales usted les impone una restricción y la salida que tienen es simplemente
recortar inversión, que es lo que no se quiere recortar. ¿Por qué? Porque, de
nuevo, la entidad está atrapada por fuerzas financieras, laborales o políticas.
La entidad simplemente está sirviendo a sus cien, mil, o cinco mil empleados,
o a sus acreedores, y mientras paga estos sueldos y deudas la inversión es la
única variable de ajuste.
TERCERA sesión
En otros casos, donde se puede llevar a cabo una labor de gerencia, la

restricción de presupuesto lo fuerza a priorizar y logra que internalice el
problema de arrojar resultados con un desempeño eficiente. No obstante,
la restricción presupuestal es condición necesaria pero no suficiente. Hay
empresas que están atrapadas y en esas empresas: ¿Qué creo yo que sirve?
En ese caso, hacer contestable el contrato que esas empresas tienen con
el Estado o con los colombianos. ¿Cómo es hacer contestable? Es hacerle
entender a las entidades que pueden desaparecer. El caso de la Caja Agraria,
Telecom y Bancafé. Estos casos han enviado una señal muy importante al
resto del sector público: “Señores, si ustedes atrapan una entidad hasta el
punto que la asfixian, la entidad desaparece”. Obviamente eso hace que el
contrato que le da fundación a esa entidad frente a los colombianos, sea un
contrato contestable, contingente. Eso hace que, adicional a la restricción de
presupuesto, ellos internalicen el problema de que estos recursos no son de
ellos, son de los colombianos, los pagamos todos con impuestos y los tienen
que gastar bien.
Digo lo anterior, porque creo que hay que diseñar mecanismos que las
entidades en su caja negra, en su micro, internalicen en una función de
eficiencia social. Esto porque la evaluación sólo como la estábamos tratando
de hacer, y como de alguna manera también la seguimos haciendo, que es una
batería de indicadores que nos dicen si alguien hace bien o hace mal las cosas,
es muy buena pero no resuelve realmente el problema de ‘Principal y Agente’.
La forma como lo han resuelto es cambiar el principal, de una sociedad a la
cual tienen que rendirle resultados con base en eficiencia, hacia unos políticos
a los cuales tienen que rendirles resultados (nombramientos, contratos, gasto
134 en sus zonas de influencia, etc).
Ligado a esto yo les diría lo siguiente. Nosotros tenemos un enfoque de

evaluación que es de flujos: “evaluemos la inversión”, “evaluemos el gasto
que estamos haciendo en la Red de Apoyo Social”, “evaluemos el gasto que
hicimos en el ICBF”, “evaluemos el gasto que hicimos en INVIAS”, etc. Es
una evaluación de los flujos y presupuestos anuales. Pero los problemas más
grandes están en los stocks, nuestros problemas están en el balance del
Estado, y evaluar el balance del Estado es algo muy delicado. Yo me di cuenta
que nosotros somos unos economistas de flujos. Sin embargo, cuando uno
empieza a ver cuál es el problema de las finanzas públicas, ve que no radica en
los flujos sino en los stocks. Los stocks hacen que los flujos haya que gastarlos
por que sí: los stocks de deuda, los stocks de deuda pensional, los stocks de
TERCERA sesión
los activos y pasivos del Estado. Entonces a la evaluación del presupuesto, que
es una evaluación flujo, hay que adicionarle una evaluación stock, que es la
evaluación del balance del estado de la Nación. Nosotros avanzamos en eso y
creo que se ha ganado mucho.
Hay unos presupuestos sustanciales que se quedan además fuera de esta

evaluación. Las Cajas de Compensación gastan recursos de los colombianos
y no son evaluados. Las exenciones gastan recursos de los colombianos y
tampoco o son evaluados. El SENA, etc.
Por último, sé que el doctor Mockus esta mañana habló del Transmilenio
y nosotros curiosamente hicimos una evaluación de Transmilenio que me
permite unir estos puntos de economía y política que he tratado de expresar.
Nuestra evaluación de Transmilenio es bastante positiva para la primera línea,
es decir para el corredor de la Caracas y el corredor de la 80. Sin embargo,
nuestra evaluación para el bienestar total de la ciudad es negativa para esta
primera fase. ¿Por qué? Básicamente porque no se chatarrizaron todos los
buses que se necesitaba. Los buses que había en el corredor de la Caracas
en buena proporción se pasaron a los demás corredores y los efectos de
tiempos, de accidentalidad, de polución, se aumentaron para el resto de la
ciudad.
Curiosamente, aunque Bogotá ganó porque los usuarios de Transmilenio

directos de la primera línea se beneficiaron muchísimo (se les acortaron los
tiempos, disminuyo la accidentalidad y bajo la emisión de gases), como un
todo la ciudad perdió. Bogotá como un todo perdió con la primera línea
de Transmilenio. ¿Por qué? Por una decisión política, que fue básicamente 135

cuantos buses chatarrizar. Esta resultó probablemente del proceso de
negociación implícito. Sin embargo, la economía salió bien, la ingeniería
salió bien, la administración salió bien, e incluso la evaluación de la primera
línea de Transmilenio salió muy bien. Es decir, Transmilenio es algo que ojalá
pudiéramos hacer más rápido, porque sus efectos directos son muy buenos.
Ahora, si bien esa evaluación de lo estrictamente económico, administrativo o
ingenieril es positiva, los resultados del efecto de unas decisiones políticas que
ya no son evaluables, que se pierden dentro de lo que uno evalúa con ciertos
indicadores, terminan siendo determinantes de un efecto negativo.
¿En suma qué estoy diciendo? El marco de evaluación hay que ampliarlo
muchísimo, porque este marco de lo que queremos evaluar está siendo muy
TERCERA sesión
restringido. Es crucial evaluar y es crucial evaluar bien, y según entiendo ya se ha

hablado suficiente hoy sobre eso. Por esa razón quise hablar sobre la necesidad
de incluir un marco mucho más amplio, los demás rubros del presupuesto
que son más del 95%. La Directora de Presupuesto nos puede contar más al
respecto, pues yo estoy sacando las cifras de ella. Además, no la evaluación
flujo, de la cual ya dejamos el 95% por fuera, sino además la evaluación de
stocks, que es donde el Estado colombiano tiene atrapada buena parte de
sus rentas. Y además, los contratos políticos implícitos que reemplazan al
Principal del estado y hace pueril muchas de nuestras evaluaciones, las cuales
parten del supuesto de que somos agentes de un principal impersonal que son
los ciudadanos o los contribuyentes, cuando en realidad son los políticos o los
grupos de interés. Nuestra evaluación se trona ingenua en estos casos.
136
TERCERA sesión
Evaluación y reforma al Estatuto

Orgánico de Presupuesto
Carolina Rentería∗
N os invitan a contestar la pregunta de “¿Por qué evaluar el gasto

público?” y aunque muchas respuestas se han presentado en este
seminario, creo que falta desarrollar una idea en particular. Colombia
viene enfrentando una fuerte restricción fiscal desde hace varios años, lo
que vuelve aún más urgente la necesidad de evaluar el gasto público que se
realiza en el país, ya que ante la insuficiencia de recursos y la extensa lista de
necesidades por satisfacer, es necesario contar con información adecuada y
oportuna que permita que el Gobierno, el Congreso y la sociedad en general,
tomen decisiones informadas, a la vez que se evalúa el impacto del gasto que
está siendo ejecutado.
La situación fiscal actual, cuando Colombia enfrenta un endeudamiento de

50
46.6% del PIB , inferior al máximo nivel de endeudamiento observado en
el 2002 cuando llegó a 54.1% del PIB; cuando el PGN suma $93.1 billones,
33.5% del PIB; cuando el 46% del Presupuesto General de la Nación (PGN)
es financiado con impuestos y el 35% con endeudamiento; cuando el 66%
del PGN, excluyendo deuda, corresponde a gasto social; cuando el nivel de
pobreza en el año 2003 se estimó en 21,7% de la población y el de miseria en 137
el 6,3%, es absolutamente prioritario evaluar el gasto que se realiza.

Esta es una realidad y una necesidad que se da a todo nivel. Como ustedes
deben haber vivido en sus experiencias personales: entre menos dinero se
disponga, tanto en la casa, como en el Presupuesto de la Nación, es más
importante saber cómo y en qué se gasta. Es en el momento de enfrentar
las restricciones, cuando éstas se vuelven un reto y por lo tanto, cuando se
debe contar con la mayor cantidad de información para tomar las mejores
decisiones.
* Directora General de Presupuesto Público Nacional, Ministerio de Hacienda y Crédito Público

50
Valor observado a Diciembre de 2004
TERCERA sesión
El proceso de toma de decisiones respecto a: ¿qué gasto reducir cuando hay

un recorte del presupuesto?, ¿qué gasto adicionar cuando se va a presentar una
adición presupuestal?, o ¿qué modificaciones realizar al presupuesto original
en ejecución?; es una situación que en muchos casos genera aprensión. Una
de las razones de esta aprensión radica en que no se dispone de la suficiente
información para evaluar las opciones disponibles, en que no se tiene certeza
sobre las implicaciones de las decisiones, se desconocen los efectos de
priorizar un gasto sobre otro o de posponer en el tiempo la ejecución de un
proyecto. Si tuviésemos un proceso sistemático de evaluación del gasto, las
autoridades tendríamos un entendimiento mayor de la realidad y un menor
margen de especulación, y, posteriormente, se contaría con más y mejores
argumentos para defender las decisiones tomadas con respecto al proceso
presupuestal.
La evaluación del gasto también es un prerrequisito para poder enfrentar

los problemas de corrupción y despilfarro de recursos que aquejan a la
administración pública, es necesario para poder exigir a los funcionarios
públicos mayor transparencia y “accountability” en el manejo de los recursos
estatales, y para poder medir los resultados de los trabajadores y, en últimas,
la efectividad del sector público.
Se mencionaba en el foro del día de hoy, que al ser el 95% del presupuesto
inflexible, no tiene mayor sentido evaluarlo. Yo discrepo de esta afirmación.
Por el contrario, estoy convencida que una de las maneras que tenemos para
devolverle flexibilidad al presupuesto es precisamente evaluándolo, mostrando
qué sirve y qué no, a través de la comparación de los beneficios y costos de
138 diferentes programas de gasto.
• La reforma al Estatuto Orgánico de Presupuesto
Afortunadamente en el país estamos avanzando en temas relacionados con

la evaluación del gasto público. Actualmente en el Congreso de la República
hay un proyecto de ley que reforma el Estatuto Orgánico de Presupuesto
actual (EOP), la ley que enmarca todo el proceso presupuestal. Este proyecto
busca darle un norte al presupuesto público, bajo la consideración de que un
presupuesto debe contestar tres preguntas: ¿cuánta plata debo gastar?, ¿en
qué la debo gastar?, y ¿cómo la debo gastar?
TERCERA sesión
La primera pregunta busca establecer una restricción fiscal que sea vinculante
y que determine el monto de impuestos a cobrar y el endeudamiento que
se debe asumir; la segunda corresponde al proceso de toma de decisiones
respecto a qué tipo de gasto incluir en el presupuesto, es decir a la definición
de cuáles inversiones o gastos deben financiarse con los recursos de los
contribuyentes (presentes y futuros); y la tercera es la necesidad de que una
vez se haya definido un monto de gasto y una distribución del mismo, este
se ejecute bien, de manera eficiente y transparente, evitando sobrecostos y
demoras innecesarias y perjudiciales.
En el proyecto de reforma al EOP se conforma un nuevo Sistema Presupuestal

con tres instrumentos (Figura 1): el Marco Fiscal de Mediano Plazo, el Marco de
Gasto de Mediano Plazo y el Presupuesto Público Nacional. Este sistema, una vez
esté en funcionamiento, permitirá que se produzca información homogénea
para avanzar en el proceso de evaluación del gasto público.
Figura 1 • Sistema Presupuestal según la reforma al Estatuto Orgánico

de Presupuesto
2006 -2016
3 Instrumentos 139

2006 - 2009
2006
Fuente: Autor
TERCERA sesión
El primer instrumento es el Marco Fiscal de Mediano Plazo, el cual fue creado a

51
través de la Ley de Responsabilidad Fiscal aprobada por el Congreso.
En el Mensaje Presidencial que acompañó al Proyecto de Ley de Presupuesto

52
para 2005 , se incluye el Marco Fiscal de Mediano Plazo hasta el año 2015.
Este incluye un programa macroeconómico a diez años y las proyecciones
fiscales que se desprenden del mismo, las metas anuales de gasto agregado, y
un informe de resultados macroeconómicos y fiscales de la vigencia anterior,
entre otros.
El resultado de este ejercicio es la determinación por parte del Gobierno de

un objetivo fiscal de mediano plazo: garantizar la sostenibilidad de la deuda
pública a través de la reducción de su stock a 40% del PIB en los siguientes
diez años, para lo cual es necesario generar superávit primarios del orden de
3% del PIB anualmente. Este es el primer instrumento del sistema, que ya
está en operación, y que debe asociarse al Presupuesto Público Nacional.
El segundo instrumento que introduce la reforma al Estatuto Orgánico de

Presupuesto, es el Marco de Gasto de Mediano Plazo (MGMP) por medio del
cual el Gobierno adopta decisiones en materia de tamaño y composición del
gasto sectorial para los siguientes cuatro años, teniendo en cuenta el techo de
gasto que se deriva del Marco Fiscal.
La implementación de marcos de gasto de mediano plazo es una práctica

que han adelantado países como Australia, Suecia, Dinamarca, Reino Unido,
Sudáfrica, entre otros, con resultados positivos en términos de ajuste fiscal,
140 mayor efectividad del gasto público, mayor “accountability” de los funcionarios
públicos y mayor intervención de la sociedad en el proceso de toma de

decisiones respecto al presupuesto y a la evaluación del mismo.
Un MGMP es, básicamente, un proceso estratégico de proyección y

programación de gasto, a través del cual las decisiones presupuestales anuales,
son guiadas por prioridades de política, y disciplinadas por una restricción de
recursos de mediano plazo.
51
Ley 819 de 2003.
52
Ley 921 de 2004 y decreto de liquidación número 4365 de 2004
TERCERA sesión
Lo anterior no quiere decir que el MGMP sea simplemente una nuevo nombre
para procesos tradicionales de planeación. Mientras el MGMP es un ejercicio
comprensivo y disciplinado que promueve la priorización dinámica del gasto
en medio de un proceso de evaluación, ajuste y actualización permanente, el
plan de desarrollo tiene una perspectiva estática, para un período específico.
El MGMP tampoco es un sistema de presupuestación plurianual que establezca

asignaciones de gasto con fuerza de ley por varios períodos. Por el contrario,
se mantiene la anualidad del sistema presupuestal, a la vez que se hacen
explícitos los posibles efectos y restricciones fiscales que el gasto presente
tendrá en el futuro.
De esta forma, se definen unas proyecciones de ingresos, deuda, gasto sectorial

y superávit (o déficit) para cuatro años, ejercicio que es renovado anualmente
cuando el primer año de las proyecciones se convierte en el presupuesto
anual. Los 3 años siguientes, son estimaciones indicativas que se convierten en
la línea de base para un nuevo periodo de programación. Las proyecciones que
resultan de este ejercicio cuentan, entonces, con la flexibilidad suficiente para
acomodarse a un proceso continuo (aunque preestablecido) de validación y
reorientación de políticas en un entorno económico cambiante.
Así, pues, el MGMP se constituiría en un punto medio entre la planeación

y la presupuestación anual, el vínculo que permite articular las demandas
de gasto de mediano plazo derivadas de la planeación, con la necesidad de
estabilización macroeconómica de corto plazo que, usualmente, concentra la
atención de los procesos presupuestales anuales.
141

El MGMP es especialmente útil para el caso colombiano donde el 95% del
Presupuesto Nacional es inflexible entre otros factores porque este: (i) se
deriva de normas constitucionales y leyes preexistentes, es decir, hay un
nivel de gasto preestablecido normativamente (ii) incluye la nómina estatal
que está concentrada, principalmente, en los sectores encargados de proveer
las funciones de educación, salud, justicia, seguridad y orden público y con
un régimen salarial que se debe ajustar de acuerdo con unos parámetros
establecidos por la Corte Constitucional -que en la práctica constituyen un
piso salarial- e (iii) incluye el servicio de la deuda.
Un presupuesto con este elevado grado de inflexibilidad, vuelve aun más

relevante la identificación de las implicaciones a futuro de decisiones de gasto
TERCERA sesión
de hoy, por lo que el MGMP se convierte en un instrumento útil para que

Colombia pueda enfrentar el problema de inflexibilidad de su presupuesto.
La elaboración del marco de gasto para los siguientes cuatro años se inicia
con la identificación de techos agregados para ese período de tiempo. Una
vez se establecen los techos fiscales bajo la restricción de recursos, se pasa
al proceso de definición de políticas estratégicas o prioritarias (ver Figura 2),
lo cual permite determinar los techos de gasto sectoriales y posteriormente
los techos de gasto por Ministerio, de manera que exista consistencia entre el
monto de recursos asignado y las políticas y necesidades existentes.
Figura 2 • Definición de techos de gasto por sector y por Ministerio
Te cho s FFisca
Techos le s
iscales
Te ch os
Techos de de gasectoriales
gasto sto se cto ria le s
DDefinición de
e finición d e
prioridades
p rio rid a d e s b a jo Te c hos
Techos de gasto
de gasto por M inisterio
por M inisterio
bajo ne s d e
re striccio
restricciones
re curso s
de
(re recursos
d uccio ne s o
(reducciones o
e xp a nsion e s)
expansiones)
Fuente: Autor
142
Esta etapa incluye dos instancias de definición, complementarias y no

excluyentes, entre sí. Por un lado, está el trabajo técnico que se debe realizar
entre el Ministerio de Hacienda, el DNP y los ministerios sectoriales. En esta
etapa se realiza la evaluación técnica de los proyectos en consideración, se
cuantifican los beneficios, costos a mediano plazo y la sostenibilidad de los
mismos.
Sin embargo, como el presupuesto no sólo es un instrumento técnico -un

ejercicio de sumas y restas-, sino que es un instrumento político, el análisis no
debe concentrarse exclusivamente en el nivel técnico sino que debe incluir
a los Ministros, en todas las etapas del proceso, de manera directa y activa
(Figura 3). Una vez se tenga la evaluación técnica, es el Ministro respectivo el
TERCERA sesión
que debe tomar las decisiones de qué debe ir y qué se puede o debe excluir,
y no como ocurre en la actualidad, que en muchas ocasiones al Ministro se le
“informa” sobre que quedó incluido y que quedó excluido.
Para poder definir los techos sectoriales, y dadas las implicaciones que se
derivan de estos, los ministros deben contar con evaluaciones del gasto
público que les permita responder interrogantes como: ¿Está siendo efectivo
en la solución de problemas o necesidades de los ciudadanos? ¿Cómo decidir
qué gasto desplazar o eliminar para darle espacio a un nuevo programa?
Figura 3 • Relación entre las políticas, los recursos y los medios en cada
uno de los sectores
Conciliar políticas,
Políticas sectoriales y objetivos lejes y restricciones
de recursos
Definición de
Programas Sectoriales programas prioritarios
de acuerdo con los
objetivos
Por debajo del tec

143
Requerimientos presupuestales

Por encima del tech
Fuente: Autor
Una vez se hayan definido los techos sectoriales y se haya realizado la

evaluación técnica y política por parte de cada ministerio, las decisiones finales
sobre qué ingresa y que se excluye del Presupuesto General de la Nación,
deben tomarse en el seno del Consejo de Ministros.
TERCERA sesión
Así, el Presidente de la República actuaría como árbitro de este proceso, donde

los ministros defenderían su participación en el presupuesto y demostrarían
la necesidad de afectar a un sector para ampliar su cupo. Y es en este proceso
de asignación de prioridades y recursos, cuando resulta aún más necesaria
y valiosa la evaluación del gasto público, de manera que exista una puja
transparente e informada por los, siempre escasos, recursos públicos.
Este proceso difiere del “tradicional”, el que ha sido aplicado hasta ahora, en
por lo menos tres aspectos. Por un lado, se define un techo de gasto total
a priori, punto del cual arranca el proceso de determinación del espacio de
cada uno de los sectores y de avance en el proceso de toma de decisiones por
medio de la definición e identificación de estrategias, políticas y programas.
De esta manera, poco a poco, se va unificando los diferentes conceptos de
gasto: cuánto es el gasto de funcionamiento, cuánto es el gasto de inversión y
cómo se relacionan los dos.
De otro lado, cada ministro es responsable de priorizar los recursos con que
cuenta su sector de acuerdo con sus necesidades, y se empieza a generar
conciencia de la existencia de una restricción presupuestal vinculante. Se espera
que en el mediano plazo se desvirtúe la percepción de que es responsabilidad
del Ministerio de Hacienda y Crédito Público conseguir recursos para cualquier
programa o necesidad, actitud que desconoce que los recursos provienen del
público, del contribuyente, actual o futuro, y le restan espacio de inversión y
crecimiento al sector privado.
También es novedoso de este instrumento el hecho que involucra proyecciones

144 y análisis para cuatro años, de manera que se vuelve explícito el efecto en el
tiempo de decisiones que se toman hoy. Es de todos conocidos que decisiones

presupuestales en muchos casos se toman bajo la urgencia del momento, sin
evaluar las implicaciones en los siguientes años de la decisión y sin prever los
costos de mantenimiento que se derivan de las mismas.
Una vez definido el Marco de Gasto de Mediano Plazo se procede a elaborar el

Presupuesto Público Nacional para el año siguiente. En el proyecto de reforma al
Estatuto Orgánico de Presupuesto, se clarifica y fortalece el ciclo presupuestal
(Figura 4) en todas sus etapas: programación, presentación al Congreso -
donde es estudiado y aprobado-, publicación del decreto de liquidación,
ejecución del presupuesto y seguimiento y evaluación.
TERCERA sesión
Figura 4 • Ciclo presupuestal
Programación del Presentación del

Proyecto de Presupuesto Proyecto al Congreso
Estudio y aprobación por

parte del Congreso
Liquidación del
Presupuesto
Ejecución del Presupuesto
Seguimiento y Evaluación
del Presupuesto
Fuente: Autor
Aunque en la gráfica el seguimiento y evaluación del presupuesto se presenta

como la última etapa del ciclo presupuestal, de manera que se vuelva insumo
para la programación, esto no es del todo preciso. En efecto, seguimiento y
evaluación debe existir a lo largo de todo el proceso, desde la programación
hasta la ejecución.
Si no es así, esta tarea no deja de ser un trámite o requisito a cumplir sin
mayores implicaciones, y no se convertiría en un sistema de “checks and
balances”, que es lo que la evaluación debe ser. 145

Un último punto antes de presentar los artículos en el proyecto de reforma
al EOP directamente relacionados con el seguimiento y la evaluación. Aunque
el marco legal es importante, y en el proyecto de ley se intenta generar una
normatividad que incluye incentivos orientados a la evaluación, es evidente
que los proyectos en últimas son ejecutados por las personas, que son quienes
tienen la capacidad para modificar las culturas, las prácticas existentes, los que
pueden llevar a que los procesos, que “siempre se han hecho así” se hagan de
manera diferente, los que viabilizan el cambio.
Por lo anterior y para que se logre avanzar en este proceso, se requiere de una
administración pública comprometida con mejorar el proceso presupuestal,
TERCERA sesión
el proceso de toma de decisiones, de asignación de recursos y de ejecución

del presupuesto. Para esto, cada individuo de la administración pública debe
tener conciencia plena de la importancia de la evaluación. Si esto no es así, no
pasará de ser una tarea más a realizar.
Esta presentación se ha concentrado en gran medida en la programación del

presupuesto por parte del ejecutivo. Este, sin embargo, es solo el primer paso
de un proceso que en últimas es definido por el Congreso de la República,
organismo que requiere, al igual que el ejecutivo, de información veraz y
oportuna para tomar decisiones.
• Propuestas de la reforma al EOP directamente relacionadas

con seguimiento y evaluación
En el proyecto de reforma al Estatuto Orgánico de Presupuesto que

fue aprobado por la Comisión Cuarta de la Cámara de Representantes el
pasado 2 de junio, se incluyen tres artículos directamente relacionados con
la evaluación.
En primer lugar, se incluye un nuevo principio presupuestal, el Principio

de Transparencia: “Los procedimientos de programación, aprobación,
modificación, ejecución, seguimiento y evaluación del Sistema Presupuestal, así
como los informes periódicos y finales sobre el mismo, serán de conocimiento
público y contendrán información suficiente para verificar el cumplimiento de
los principios que lo rigen y de los objetivos programados.”
146
Este principio busca que todos los procedimientos presupuestales y los
informes periódicos y finales sobre el presupuesto, sean de conocimiento

público y permitan verificar el cumplimiento de los principios que lo rigen y
de los objetivos programados.
Adicionalmente, se incluye dos artículos específicos sobre el seguimiento

y la evaluación. Como en Colombia el presupuesto es coordinado entre el
Ministerio de Hacienda y Crédito Público y el Departamento Nacional de
Planeación, en los artículos que se proponen en el EOP las dos entidades
adquieren responsabilidades sobre el tema de seguimiento y evaluación, al
buscarse que la evaluación cubra todo el sistema presupuestal.
TERCERA sesión
Al Ministerio de Hacienda se le otorga una mayor responsabilidad en

cuanto al seguimiento presupuestal en términos de ejecución presupuestal,
de seguimiento de los recursos y de control para que estos se ejecuten de
manera correcta y eficiente. Dado que uno de los objetivos del EOP, sino el
principal, es lograr una mayor disciplina fiscal, el seguimiento y la evaluación
presupuestal por parte de la Dirección General de Presupuesto Público
Nacional es un insumo básico para lograr este objetivo.
El DNP por su parte, tendría competencias sobre la evaluación de lo que

se denomina “inversión”, un concepto amplio que involucra mucho más que
proyectos asociados a la formación bruta de capital fijo.
Así, se propone lo siguiente:
Seguimiento Presupuestal. “El Ministerio de Hacienda y Crédito Público –

Dirección General del Presupuesto Público Nacional efectuará el seguimiento
de la ejecución activa y pasiva del Presupuesto Público Nacional y de las metas
y resultados obtenidos por la entidades con lo recursos asignados, razón por
la cual será el centro de información presupuestal donde se consolidará lo
pertinente al Ciclo Presupuestal. El Departamento Nacional de Planeación
realizará el seguimiento y evaluación a la ejecución del presupuesto de
inversión.
El Ministerio de Hacienda y Crédito Público – Dirección General del

Presupuesto Público Nacional y el Departamento Nacional de Planeación
diseñarán conjuntamente los métodos y procedimientos de información y de
sistematización requeridos y realizará las visitas que consideren pertinentes 147

para el cumplimiento de esta función.
Los órganos que hacen parte del presupuesto deben enviar la información
que se les solicite para el cumplimiento de estas funciones, y en caso de no
hacerlo, el Confis podrá reducir los montos globales mensuales de recursos
de la nación autorizados en el programa anual de caja.”
Definición y objetivos del seguimiento y la evaluación. “El seguimiento y la

evaluación del presupuesto consiste en la determinación de los resultados,
relaciones e indicadores que miden el grado de cumplimiento de los objetivos
fiscal, funcional, social, de gestión económico-financiera, al igual que el impacto
económico frente a las metas y fines propuestos por el Gobierno Nacional.
TERCERA sesión
El seguimiento se entenderá como un proceso continúo de recolección y

análisis de información útil para tomar decisiones durante la implementación
del programa de gobierno y la ejecución del presupuesto anual, con base
en una comparación de los resultados esperados y el estado de avance de
los mismos. La evaluación se define como la valoración exhaustiva de las
principales intervenciones del Estado para determinar su relevancia, eficiencia,
efectividad, impacto y sostenibilidad. El objetivo fundamental de ésta última,
es incorporar a futuro las lecciones aprendidas en el proceso de toma de
decisiones.
El marco para el seguimiento y la evaluación del gasto será la proyección de

resultados sectoriales para cada sección presupuestal, elaborados según lo
que se disponga en el reglamento. Dicha proyección de resultados consultará
los recursos presupuestados y las necesidades que originaron su asignación;
contendrá indicadores numéricos o porcentuales y referentes objetivos y
metas que permitan la evaluación de su cumplimiento al final de la vigencia
fiscal y la planeación del presupuesto de la siguiente.
El Departamento Nacional de Planeación conjuntamente con el Ministerio de

Hacienda y Crédito Público en el marco del Sistema Nacional de Evaluación
de Gestión y Resultados, y aprobada por el CONPES para cada período
de gobierno establecerá una agenda de evaluaciones. Los programas a ser
evaluados deberán destinar la financiación necesaria para la evaluación de
los recursos asignados, para lo cual el Gobierno Nacional reglamentará la
materia. Dicha instancia definirá las evaluaciones a realizarse en cada vigencia
fiscal; así como los estándares mínimos de calidad y las metodologías de las
148 evaluaciones.”
Finalmente quiero destacar una vez más, que volver el seguimiento y la

evaluación parte integral del proceso presupuestal, es un reto a largo plazo,
donde el Estatuto Orgánico de Presupuesto es solo un paso en un largo
camino por recorrer.
TERCERA sesión
Evaluación y sostenibilidad fiscal en

Colombia
José Leibovich∗
V oy a tratar de contribuir en este panel con elementos sobre la

problemática de la evaluación, y algunos pueden ser un poco
provocadores. Sin embargo reconozco que el tema es fundamental, y
parto de una primera pregunta acerca de la sostenibilidad fiscal: ¿puede tener
la evaluación del gasto público algún impacto sobre esa sostenibilidad fiscal?
La respuesta, en primer lugar, es que es muy poco el margen que tiene la

evaluación para influir sobre el tema de la sostenibilidad fiscal. Esto dada la
situación actual colombiana que ya mis antecesores han mencionado, y sobre
la cual creo que la reforma al Estatuto Orgánico que comentó Carolina
53
Rentería va avanzar en la medida en que salga adelante. Es decir, en esencia
la restricción presupuestal está definida por el Ministerio de Hacienda y así
debe ser. En los años que hemos vivido y en los años que todavía nos quedan
por recorrer, esta restricción presupuestal debe estar definida en función de
generar unos superávit primarios que hagan sostenible la deuda pública. Creo
que en eso hay que ser muy claros y muy conscientes, vamos a tener que
seguir haciéndolo por este año, por el año que viene y los años a venir. En
la medida en que la economía crezca se puede dar la posibilidad de algún 149
relajamiento, pero la restricción presupuestal hoy es un hecho y la define el

Ministerio de Hacienda.
Entonces, sobre esa restricción en la apariencia queda el espacio para gastar.

El Ministro de Hacienda define que es 100 lo que se puede gastar y el paso
54
siguiente es definir en qué se va a gastar; pero ya Juan Carlos Echeverry lo dijo
al inicio del panel: casi 95 de esos 100 que se van a gastar están ya predefinidos.
Es decir, no hay mucho margen para definir como distribuir, para definir entre
* Subdirector del Departamento Nacional de Planeación.

53
Ver: Intervención de Carolina Rentería (Directora de Presupuesto, Ministerio de Hacienda)
54
Ver Intervención de Juan Carlos Echeverry,(Decano de Economía, Universidad de los Andes).
TERCERA sesión
qué alternativas utilizar estos recursos tratando de maximizar una función de

bienestar social, que es en últimas la que inspira a los gobiernos.
Entonces, ¿qué pasa con esa inflexibilidad? Pues que se tiene indudablemente
una Constitución, la Constitución del año 1991, que nos marcó una cantidad
de gastos que se volvieron totalmente inflexibles. Digo y repito que el Estatuto
Orgánico que está en tránsito, de ser reformado puede ayudar a mejorar esta
situación. Se tiene un cúmulo de leyes que se van sacando y que generan
gasto inflexible, se tiene el tema de las vigencias futuras, créditos con la
banca multilateral, etc. Entonces, resulta que es muy poco el margen cuando
llega el momento de decir: “la orientación de este Gobierno que fue elegido
democráticamente va a estar enfocada en su gasto, le preferencia revelada
de los electores que eligieron a este Gobierno va a estar definida por estos
programas”.
Sobre el tema de la preferencia revelada, efectivamente hay un problema

intertemporal serio en estos asuntos. Doy como ejemplo lo que fue la legislación
en el momento de la generación de nuestros padres, nuestros antecesores,
cuando se estableció el Sistema de Seguridad Social. Indudablemente en
aquel momento se tomaron unas decisiones que estamos pagando los
hijos o los nietos de aquella generación que en su momento definió ese
esquema. Obviamente aquí aparece un tema de reflexión muy profundo,
que tiene que ver incluso con fallos de la Corte acerca de las expectativas
sobre los derechos adquiridos: ¿son derechos adquiridos o son expectativas
de derechos adquiridos? El hecho es que en el fondo esta generación está
teniendo que enfrentar un problema generado por la generación anterior y
150 en esa encrucijada estamos. De acuerdo con los análisis de la población actual
de todas las cohortes de edad, consideramos que esas decisiones anteriores

fueron equivocadas. Fueron unas decisiones que hoy a todas luces nos
enfrentan a un problema totalmente regresivo e inequitativo, y que en este
momento estamos tratando de ver si se pueden corregir.
Entonces la reflexión sobre este punto es que efectivamente la generación actual

que toma decisiones, puede con éstas impactar las próximas generaciones. En
esto es importante encontrar un equilibrio sano. Se deben poner limitaciones
a las decisiones de gasto que tienen implicaciones 20 y 30 años hacia delante,
y debe caber claramente la posibilidad de hacerle ajustes a esas decisiones a
medida que pasa el tiempo y se van teniendo nuevos elementos para justificar
que lo decidido en el pasado no era lo más adecuado. Esto creo que es un
TERCERA sesión
tema bien difícil, y creo de nuevo que la reforma al Estatuto Orgánico de

Presupuesto tiene elementos que ayudan un poco en ese sentido.
En esa misma perspectiva, sí creo que la evaluación puede tener impacto

en la composición del gasto público. En eso estoy de acuerdo con Carolina
Rentería, la evaluación sí se puede hacer sobre muchos aspectos del gasto
público, aunque el verdadero impacto en modificar ese gasto público es
limitado. Además, si tiene algún impacto lo va a tener en el mediano plazo y
no en el corto plazo, precisamente por todas estas inflexibilidades.
Voy a hacer unos comentarios ahora sobre otro tópico que tiene que ver con
el tema del seminario, que es ya al interior del oficio de hacer la evaluación.
Es el dilema o la disyuntiva entre lo que puede ser una evaluación integral y
una evaluación parcial, una evaluación segmentada. Lo digo con todo respeto
y reconociendo el valor de las evaluaciones que se han venido haciendo, que
las ha venido haciendo Sinergia. Para citar el caso más citado en las últimas
semanas, porque obviamente están saliendo los resultados, lo digo sobre
el caso de la evaluación de Familias en Acción. Es decir, la evaluación es
técnicamente muy bien hecha y rigurosa. Lleva a conclusiones que son muy
importantes, muy contundentes y que ratifican la necesidad y la importancia
de continuar con un programa de esa naturaleza. Se invierten unos recursos
en unos subsidios condicionados a familias pobres, y la condición para que los
reciban son obviamente la obligación de que los niños vayan a la escuela y se
hagan unos controles periódicos para mirar su talla y peso. Los resultados de
la evaluación son extraordinarios, el gasto es un gasto que efectivamente se
está enfocado a mejorar la situación de bienestar del hogar. Por supuesto que
es un programa muy bonito que hay que seguir manteniendo. 151

Ahora, el punto sobre la evaluación más integral. Resulta que si esos niños van
a la escuela, esta es una escuela pública y esta a su vez tiene unos recursos que
le llegan vía transferencias que son del Presupuesto General de la Nación. En
ese sentido me parece que lo que falta es hacer el análisis costo – beneficio,
que quiere decir toda la plata que se destina para obtener unos resultados.
El costo no es solamente el costo de Familias en Acción, en alguna medida sí
hay que tener en cuenta también el presupuesto de transferencias que por
Constitución se gira a las regiones y con el cual las regiones y los departamentos,
tienen la obligación de estar financiando la nómina y el mantenimiento de las
aulas escolares a las que llegan los niños que son beneficiarios del programa.
Es en ese sentido que hay que ir avanzando, se necesita indudablemente y
TERCERA sesión
es uno de los programas que va próximamente a empezar a ser evaluado

por Sinergia. Es precisamente el Sistema General de Participaciones (SGP),
en educación, salud y propósito general, para ver con toda esa plata que se
gira qué tanto se está mejorando la cobertura, qué tanto se está mejorando
la calidad y empezar a hacer comparaciones costo - beneficio. De un peso
que se tiene de la poca plata flexible que queda, por ejemplo para política
social, cómo repartir ese peso entre un programa o dos programas o tres
programas, pero con el criterio de esa evaluación costo - beneficio.
Un tercer elemento que quería aportar a esta discusión, son algunos problemas
que la literatura ha reconocido en los programas sociales que son focalizados.
Lo digo también con el ánimo de que se tiene que ir pensando cómo manejar
esa problemática hacia delante, porque después hay cosas que se vuelven
inflexibles y es muy difícil después decir que la evaluación dio un resultado
no favorable y que sería bueno ir desmontando eso. Entonces es bueno ir
pensando en como incorporar estos temas.
Expongo el punto utilizando un principio de la física, se llamaba el principio

de Heisenberg. Este decía que un objeto que es observado en la física, al ser
observado cambiaba su comportamiento, es decir, ya no es el mismo cuando
es observado y lo mismo sucede con estos programas que son focalizados. El
agente que puede ser objeto del programa, puede modificar efectivamente su
comportamiento una vez el programa está en marcha. Este es indudablemente
el caso de los problemas sobre quiénes están sisbenizados y quiénes no, o
sobre personas que efectivamente tienen un carné del Sisbén y logran un
empleo donde el patrón está dispuesto a hacer todas las vueltas para que este
152 individuo entre al mercado formal, es decir que se paguen los parafiscales, etc.
Indudablemente, todos los que hemos mirado estos temas hemos escuchado
historias de personas que tienen el carné y le dicen al patrón: “!por favor no
me formalice! Prefiero seguir manteniendo mi carné de Sisbén porque con él
accedo a una serie de programas interesantes”. Entonces, en este ejemplo
hay implícitamente un análisis hecho por el individuo que se mueve por
incentivos y piensa que es preferible estar sisbenizado a salir de la situación
de precariedad.
Creo entonces que ahí hay un problema de cómo hacer para que en estos
programas focalizados, los beneficiarios se puedan ir graduando, puedan
ir saliendo de esos programas. Esto porque estos programas tienen unos
impactos que pueden ser de mediano y largo plazo sobre los niños, por
TERCERA sesión
ejemplo en Familias en Acción, pero indudablemente se pensaría que no tiene

ningún sentido que una familia beneficiaria de Familias en Acción se quede 10
años siendo beneficiaria. Ahí aparece la necesidad de ver si hay que introducir
nuevos elementos en el programa para que a la vuelta de dos o tres años, por
ejemplo, el subsidio también este condicionado a que el jefe del hogar haga
una capacitación y haga un esfuerzo por conseguir un empleo que le genere
un ingreso. Así, el día de mañana esa familia de Familias en Acción se graduó
y salió del programa. Creo que ahí hay unos problemas entonces que hay que
atacar en el diseño mismo de esos programas.
El último punto ya para terminar, es aclarar la diferencia entre lo que es el

monitoreo y la eficacia versus la eficiencia en estas evaluaciones. Creo que en
los últimos años se ha ganado muchísimo en una cultura de monitoreo para
mirar la eficacia, en el sentido de un ejercicio permanente para comparar las
realizaciones que se están haciendo en los programas que se están evaluando,
frente a las metas que se establecen. El ejemplo del SIGOB55 me parece que es
un ejemplo que muestra eso y esto es importante para desarrollar la cultura de
la rendición de cuentas. Este es un primer paso que es fundamental en un país
como el nuestro, en una democracia como la nuestra, que exista la cultura de
la rendición de cuentas. Cualquier entidad, cualquier Ministerio, un Gobierno,
establece que en el periodo que va a gobernar va a lograr unas metas, unas
metas que están cuantificadas. Entonces, va mostrando a lo largo del periodo
qué tanto ha desarrollado de esa meta o si se quedó corto y explicar por qué.
Eso es fundamental para madurar más nuestra democracia.
El tema de la eficiencia obviamente es mucho más profundo y es claramente:

¿cómo se pueden alcanzar esas metas pero con menores recursos? Es el paso 153

siguiente al monitoreo y en ese sentido lo que se ha venido haciendo en el
Estado colombiano, de tener un esquema como el de SIGOB y un programa
como el de Sinergia, va a tener que pasar tarde o temprano a esquemas que
avancen en el tema de evaluar la eficiencia para ver si se pueden obtener los
mismos resultados pero con menos recursos. Eso obviamente no va a resolver
el tema fiscal, pero si va a permitir ampliar las metas o alternativamente
generar recursos para otros programas que se consideran importantes para
el bienestar de la sociedad.
CUARTA SESIÓN
Lecciones de las evaluaciones de impacto de

programas sociales en Colombia
CUARTA sesión
Evaluación de Familias en Acción y

Hogares Comunitarios
Orazio Atanasio∗
A ntes de empezar a hablar de la evaluación de Familias en Acción y de

Hogares Comunitarios, que son el tema principal de mi presentación,
me gustaría contarles la historia de esta evaluación y de la colaboración
que tuvimos. Nosotros, el Instituto de Estudios Fiscales de Londres (IFS),
formamos un consorcio con Econometría Consultores y con Sistemas
Especializados de Información (SEI), que es la firma colombiana que nos
ayudó en la recolección de datos. Formamos este consorcio para participar
en la licitación de la evaluación de los programas de la Red de Apoyo Social
(RAS), y ganamos las tres evaluaciones: Familias en Acción, de la cual les voy
a hablar en unos minutos; Empleo en Acción, sobre la cual presentará unos
resultados Álvaro Reyes más tarde, y Jóvenes en Acción, una evaluación que
se está realizando en este momento. Creo que fue una experiencia muy buena
donde aprendimos muchísimo. Ustedes me perdonan porque voy a pecar por
poca modestia, pero creo que fue una experiencia bastante novedosa para
Colombia. Espero que ustedes encuentren los resultados interesantes y sobre
todo espero que tengan una influencia en las decisiones que se van a tomar.
En términos de la colaboración internacional, como representante de IFS 155

quiero dar todos los créditos necesarios a Econometría y a SEI. Sin el trabajo
de estos investigadores colombianos, no habría sido posible realizar estas
evaluaciones; no habríamos hecho el trabajo que hicimos sin su conocimiento
institucional y sin todo el trabajo que se hizo acá en Colombia. Me gusta en
particular mencionar el trabajo de SEI, porque muchas veces cuando se ven
las tablas que les voy a presentar, uno se olvida de que la recolección de
datos es un trabajo muy duro. Ustedes conocen la situación del país; Familias
en Acción es un programa que se desarrolló en ciudades pequeñas y zonas
rurales, y SEI armó la muestra en 122 municipios, en muchos casos con
* Orazio Atanasio del IFS, comparte la dirección de la evaluación de impacto de Familias en Acción
con Luís Carlos Gómez de Econometría S.A.
CUARTA sesión
numerosos problemas. En esta situación, el hecho de recolectar una base

de datos de muy alta calidad de nivel internacional, creo que es un hecho
bastante encomiable.
Antes de empezar me gustaría mencionar dos cosas. Les vamos a presentar

resultados de las evaluaciones de impacto de Familias en Acción y de Empleo
56
en Acción , y en el caso de Familias en Acción están relacionados con Hogares
Comunitarios. Pero además, debo resaltar que este tipo de evaluaciones
tuvieron unos productos colaterales que considero muy importantes.
Primero, está la creación de bases de datos de alta calidad, que pueden ser
usadas por distintos investigadores para muchas cosas. La línea de base de
Familias en Acción ya está disponible en la página web del Departamento
57
Nacional de Nacional (DNP) , y me han contado que ya varios investigadores
de Fedesarrollo están utilizando esta base de datos que nosotros construimos.
La base del primer seguimiento, que acabamos de limpiar, va a estar disponible
en el mismo sitio pronto y lo mismo va a pasar con las bases de datos de
Empleo en Acción y Jóvenes en Acción. Son productos importantes dado que
nuestra filosofía en la evaluación es crear bases completas. No solo queremos
medir el impacto del programa, sino también comprender como funciona,
de manera que tenemos una base muy completa que puede ser usada para
muchas investigaciones. Además, sobre la de Hogares Comunitarios, nos
58
contrataron para una evaluación y por el precio de una les vamos a dar dos .
El segundo producto colateral es la capacitación. Nosotros tuvimos una

experiencia muy exitosa y productiva con los investigadores de Econometría.
156 Especialmente entre los jóvenes investigadores, se construyó y se aprendió
mucho, además organizamos un intercambio con algunos de ellos que

pasaron unos meses en Londres tomando cursos de econometría y todos
estos asuntos.
56
Ver: Evaluación de Empleo en Acción, Álvaro Reyes (Econometría), pág. 129.
57
www.dnp.gov.co
58
Las encuestas de la evaluación de Familias en Acción, incluyeron preguntas relacionadas con
Hogares Comunitarios, lo cual permitió analizar y comparar ambos programas.
CUARTA sesión
• Familias en Acción y Hogares Comunitarios: ¿dos programas

alternativos?
Vamos a pasar ahora a la evaluación de impacto y a la sustancia de esta

presentación sobre Familias en Acción, que va a comparar al menos la parte
de nutrición con el programa pre existente de Hogares Comunitarios. Esto
es un hecho importante porque desde la creación de Familias en Acción,
el componente de nutrición fue percibido como una posible alternativa a
Hogares Comunitarios. Estoy seguro que casi todo el mundo acá conoce los
dos programas, pero creo que vale la pena resumir su contenido:
• Familias en Acción es un
59
programa inspirado en el programa mexicano
Progresa / Oportunidades . Son subsidios condicionados a la educación y la
salud. Cuesta alrededor de US $100 millones por año y cubre alrededor de
350.000 familias en 627 municipios, que ahora van a ser ampliadas a 400.000
familias.
• Hogares Comunitarios de Bienestar Familiar es un programa de

cobertura nacional que opera desde 1986. Cuesta alrededor de US $250
millones y está manejado por el Instituto Colombiano de Bienestar Familiar
(ICBF). Cubre alrededor de 1 millón de niños entre 0 y 6 años, en 80.000
hogares comunitarios. Es un programa muy grande, que esencialmente paga
la comida de los niños atendidos por una madre comunitaria.
Familias en Acción es un programa del Fondo de Inversiones para la Paz

60
(FIP) . Su primer nivel de focalización se da a nivel geográfico. Los municipios 157
elegibles, tenían que ser de menos de 100.000 habitantes, no ser capitales de
departamento, tener suficiente estructura de salud y educación, tener banco y
contar con la aceptación de las autoridades municipales. La cuestión del banco
es importante porque como explicaré más adelante, los municipios usados
como controles son municipios sin banco. Después de escoger los municipios,
se tienen que determinar las familias elegibles. Estas fueron núcleos familiares
Sisbén 1, con niños y jóvenes entre 0 y 17 años. El nivel del Sisbén tenía
59
Estrategia de subsidios condicionados exitosa en combatir la pobreza en México.
60
Familias en Acción es uno de los tres programas de la Red de Apoyo Social (RAS) que el país puso
en marcha para mitigar los efectos negativos de la crisis económica y el ajuste fiscal en los grupos
poblacionales más vulnerables.
CUARTA sesión
que estar en el registro de diciembre de 1999, en municipios donde opera el

programa.
¿Qué hace Familias en Acción? Básicamente son subsidios condicionados

entregados a las madres, y esto último es tan importante como resultó serlo
también en el caso de México con Progresa / Oportunidades. Hay dos tipos
de subsidios, con dos tipos de condiciones:
• Subsidio nutricional. Son $46.500 pesos mensuales por núcleo familiar,

independientemente del número de niños. Los beneficiarios son familias
que tienen niños entre 0 y 6 años que registran por lo menos un niño en
este programa. Es una alternativa a Hogares Comunitarios, entonces si la
familia registra un niño entre 0 y 6 años pierde, por lo menos en la teoría, la
posibilidad de participar en Hogares. Los requisitos son la asistencia regular
61
certificada a controles de crecimiento y desarrollo en IPS vinculadas al
programa.
• Subsidio educativo. La parte del subsidio educativo tiene para educación

primaria la cuantía de $14.000 pesos mensuales por niño. Los beneficiarios
son niños que van a primaria, entre 7 y 11 años de edad aproximadamente, y el
requisito es la matricula y la asistencia regular certificada a un establecimiento
educativo vinculado al programa. En educación secundaria es lo mismo para
jóvenes entre 12 y 17 años, pero el subsidio es más alto: $28.000 por joven.
Sobre este aspecto de la estructura del subsidio entre primaria y secundaria
vamos a hablar al final.
158
La idea con Hogares Comunitarios es completamente diferente. Es un
programa de pequeñas guarderías comunitarias, donde una madre comunitaria

es escogida por una asociación de padres de familia y certificada por el ICBF.
Esta atiende en su propia casa hasta un total de 15 niños de familias Sisbén
1 a 3. Allí, los niños reciben diariamente el almuerzo y dos refrigerios, con
comida financiada por el programa. Ese es el costo más importante y se basa
en dietas regionales programadas por el ICBF. La comida la suministra la
asociación de padres semanalmente, y se la entrega a la madre comunitaria
quien la tiene en su propia nevera y se la da a los niños diariamente. La dieta
61
Institución Prestadora de Servicios de Salud (IPS).
CUARTA sesión
62
contiene Bienestarina que se supone da 70% de la necesidad de calorías de
los niños. Los padres pagan mensualmente a la madre comunitaria una tarifa
pequeña que varia entre $7.000 y $14.000 pesos, lo cual constituye su salario.
En retribución, la madre comunitaria prepara y da los alimentos a los niños, y
además les suministra atención.
Así, queda claro que Familias en Acción y Hogares Comunitarios son dos ideas
de intervención en nutrición bastante diferentes.
La evaluación de Familias en Acción y Hogares Comunitarios
Familias en Acción se inició en 2002 y su evaluación fue diseñada por IFS,

Econometría y SEI. Se basa en la comparación entre hogares que viven en
municipios donde el programa opera, municipios de tratamiento, y hogares que
viven en municipios similares donde el programa no está operando, municipios
de control. La asignación del programa a municipios no fue aleatoria. En la
propuesta inicial de evaluación nosotros queríamos hacer una asignación del
programa aleatoria entre municipios, pero eso no fue posible. Por lo tanto,
usamos como municipios de control aquellos en los que el programa no está
operando porque no calificaron. Claramente, no puedo comparar niños de
municipios de tratamiento con niños de municipios completamente diferentes;
por eso, tratamos de escoger municipios que tuvieran más o menos la
misma estructura, la misma área geográfica, y sobre todo el mismo nivel de
infraestructura escolar y de salud. La diferencia principal, como lo mencioné
antes, es que los municipios de control no tienen banco.
Aunque se intentó seleccionar los municipios de control que fueran lo más 159

similar posible a los de tratamiento, hay diferencias entre éstos. Por lo tanto,
es importante depurar las diferencias observadas que son preexistentes al
programa. Para esto se hizo control por variables observables, pero también
usamos dos muestras: una muestra de línea de base, que se supone que se
recolectó en 2002 antes de que el programa empezara; y una muestra de
primer seguimiento recolectada en 2003 después del inicio.
62
Marca propia registrada por el ICBF. La Bienestarina es una mezcla vegetal en forma de harina,
adicionada con leche en polvo descremada, enriquecida con vitaminas y minerales. Aporta proteínas
con un balance adecuado de aminoácidos esenciales, lo que la convierte en un producto de alto valor
nutricional.
CUARTA sesión
Hay una dificultad adicional pues las cosas prácticas son siempre más
complicadas que la teoría. En unos municipios el programa había iniciado
antes de la recolección de la línea de base. Entonces, tenemos una línea de
base pura para los municipios control donde el programa nunca operó y para
algunos de los municipios de tratamiento. Hoy vamos a entregar el informe al
63
DNP y todo esto está bien explicado en él .
La encuesta para la evaluación de Familias en Acción, que además incluye

información sobre Hogares Comunitarios, es muy completa. Esto permite
controlar muchos factores, porque tenemos información a nivel individual, a
nivel de hogar y a nivel de municipio, lo cual permitió una evaluación de los
efectos de Hogares Comunitarios en los municipios que formaron la muestra.
Es importante subrayar que, con excepción de un estudio publicado en
1998 que encuestó unos 20 mil niños beneficiarios, no existía una evaluación
sistemática del programa Hogares Comunitarios. Por esto, la evaluación que
vamos a presentar hoy, la que hicimos, es probablemente la primera evaluación
sistemática de este programa.
• Familias en Acción: los datos
En cada una de las dos encuestas, línea de base y primer seguimiento,

entrevistamos alrededor de 11.500 hogares en 122 municipios: 57 municipios
de tratamiento y 65 municipios de control. La encuesta para hogares, recolectada
en más de 80.000 horas de entrevistas, es muy completa e incluye información
de cada uno de los miembros del hogar, de los gastos, etc. Una cifra de la
cual estoy muy orgulloso, es que entre las dos encuestas solamente perdimos
160 el 6 % de los hogares entrevistados. Aquellos que están familiarizados con
encuestas de este tipo, entienden que perder solamente el 6% fue un éxito

muy importante de esta evaluación, sobre todo en el medio rural y en una
situación tan difícil como la de Colombia.
En cuanto a la calidad de los datos. Sobre las 6.000 familias beneficiarias que
están en la encuesta, cuando cruzamos nuestra información con la base de
datos administrativa de pagos del programa que proporcionó el Fondo de
Inversiones para la Paz (FIP), de nuestra base de datos no pudimos cruzar
solamente 100 familias. Creo que esto es otro éxito muy importante y un
63
La publicación de este informe con información detallada sobre el primer seguimiento de la
evaluación de Familias en Acción está disponible en www.dnp.gov.co
CUARTA sesión
síntoma de la calidad de la encuesta. Se me olvidó mencionar antes que la

colaboración con el FIP y el DNP, fue muy exitosa, muy fluida, y muy importante
64
para nosotros .
La encuesta para hogares fue complementada con la encuesta a los alcaldes, a

los enlaces municipales del programa, a los hogares comunitarios, a los centros
de salud y a las escuelas. Además, usamos cuestionarios de localidad donde
recolectamos información sobre la situación del municipio, los precios de los
productos básicos, y otra cantidad enorme de información. Se hicieron también
grupos focales que se usaron en la evaluación cualitativa del programa.
Evaluación de Hogares Comunitarios: los datos
Los datos que usamos para la evaluación de Hogares Comunitarios son los
mismos, es la misma base de datos. Eso fue posible porque a cada madre se
le preguntó si sus niños habían estado en algún hogar comunitario en su vida y
por cuanto tiempo, por cuantos meses en cada año de su vida. También se les
preguntó la distancia de su vivienda hasta el hogar comunitario más cercano. A
cada niño se le tomó la talla, el peso, y la longitud de las piernas, también se
tomó la talla de la madre, y todos estos datos se usaron para la evaluación de
Hogares Comunitarios.
Más adelante hablaré sobre la metodología que usamos, claramente muy

diferente de la metodología de Familias en Acción porque no tenemos un
grupo de control tan fácil. Debo subrayar que el hecho de que la evaluación de
Hogares Comunitarios se basa sobre los mismos datos de Familias en Acción,
implica que la evaluación es valida y relevante solo para esos municipios y no 161

se puede generalizar a todos los hogares comunitarios del país. Es decir, si me
preguntan cuál es el efecto de Hogares Comunitarios en Bogotá, pues no
tengo idea.
• Evaluación de Familias en Acción: métodos
En cuanto a la metodología de Familias en Acción, casi todos los resultados

usan la técnica de diferencias en diferencias (difference in differences) combinada
con selección sobre variables observables. Básicamente la idea es la siguiente:
64
El Departamento Nacional de Planeación (DNP), tiene a su cargo la evaluación de la Red de
Apoyo Social (RAS), contratada con el consorcio IFS – Econometría – SEI.
CUARTA sesión
se mide en el primer seguimiento cual es la diferencia de los resultados, por

ejemplo de la talla de los niños o la tasa de asistencia escolar, en los municipios
de tratamiento y los de control; y después se saca de esta diferencia, la diferencia
preexistente en línea de base. Además, esto se controla por diferencias
observables sobre la estructura escolar, etc.
Resulta que sí existen diferencias preexistentes al programa entre municipios

de tratamiento y municipios de control, entonces la disponibilidad de una línea
de base resulta ser muy importante. Esto se controla con variables observables
a nivel individual y de municipio, y se controla usando técnicas diferentes,
paramétricas y no paramétricas.
Mencioné antes que tuvimos el problema que en unos municipios ya el

programa había arrancado, cuando hicimos la línea de base y por este motivo
en la encuesta también recolectamos información retrospectiva. Claramente
no se puede hacer para todo, porque es complicado preguntar a la gente por
ejemplo cuánto se gastó en papas la semana pasada o hace un año; pero, sí
se puede preguntar si el niño estaba en la escuela. Entonces, toda la parte
educativa de Hogares Comunitarios y de fuerza laboral se recolectó con
información retrospectiva que se refiere al año 2001.
Así mismo, todos los errores estándar se calcularon teniendo en cuenta

efectos de ‘cluster’ a nivel municipal. Como mencioné antes, aquí tengo el
informe que vamos a entregar hoy al DNP, un documento de 150 páginas,
donde presentamos los resultados de manera más completa, con detalles
técnicos para la gente interesada.
162 • Resultados de la evaluación de Familias en Acción

Voy a presentar ahora los resultados de la evaluación de Familias en Acción, y

después pasamos a los de Hogares Comunitarios. Aunque tenemos muchos
resultados, hoy vamos a ver solo los más importantes: consumo y sus
componentes, nutrición, salud, asistencia escolar, y trabajo infantil. Casi todos
los resultados se midieron de forma separada entre zona urbana y rural.
• Impacto sobre el consumo
Los resultados de consumo fueron lo más simple de medir porque son

resultados grandes. El consumo aumentó alrededor del 15%, y se redujo
en 6% la proporción de esta población que está por debajo de la línea de
CUARTA sesión
indigencia. También, el consumo de alimentos aumentó alrededor del 15%.

Eso no es un resultado muy sorprendente, pues si a una familia muy pobre se
le entrega plata es de esperarse que consuma más. Lo que es más interesante
es cuales son los componentes del consumo que aumentan.
De los componentes de alimentos que aumentan, el más importante es el

consumo de proteínas: carne, pollo, leche y huevos. También se evidencian
aumentos menores en cereales y grasas. En efecto, esta gente empieza a
comer mejor y esto es muy importante en términos de impactos nutricionales
en los niños.
En cuanto a los bienes diferentes a alimentos, los únicos que registran un

aumento son ropa y zapatos para niños, alrededor de $12.000 mensuales,
y educación sobre todo en la parte urbana, alrededor de $8.000 mensuales.
Esto es sumamente importante, pues estas familias tienen un consumo total
por hogar de alrededor de $450.000 al mes, que incluye el autoconsumo. Por
otra parte, no se encontró ningún aumento en alcohol, tabaco y vestuario
para adultos. Casi todo el aumento en consumo está concentrado en comida,
en ropa para niños y en gastos para educación; además se evidenció que el
aumento en el consumo de comida es alto.
De manera consistente con la evidencia sobre consumo, aumentó el número

de veces por semana que los niños beneficiarios entre 2 y 6 años comen
alimentos de alto contenido nutricional. Todas las proteínas aumentan de
forma significativa y en la zona rural se ven unos efectos inclusive mayores
(ver Tabla 1).
Impacto sobre el crecimiento de los niños: talla y peso promedio 163

Se pueden ver los resultados en la tabla (ver Tabla 2). ¿De qué se trata? No
estoy diciendo que los niños crecieron por ejemplo 0,78 cm., pues es claro
que son niños entre 0 y 2 años que en un año crecen mucho más. Lo que este
número significa es que los niños de tratamiento crecieron 0,78 cm. más que
los niños de control; ese es el efecto del programa. Sin el programa estos niños
hubieran crecido 0,78 cm. menos. Este es un resultado que se obtuvo con el
método de diferencias en diferencias.
CUARTA sesión
Tabla 1 • Aumento en consumo de alimentos de niños de 2 a 6 años

Promedio de veces adicionales por semana
Alimento Urbano Rural
0,61*** 1,08***
Leche
-0,17 -0,26
0,44* 0,68***
Huevo
-0,25 -0,2
0,61*** 0,46*
Carne res
-0,18 -0,26
0,25** 0,36***
Pollo
-0,1 -0,1
0,19 0,37**
Pescado
-0,21 -0,15
0,50*** 0,46***
( ): Desviación estándar Queso
* Nivel de significancia del 10 % o menos -0,15 -0,14
** Nivel de significancia del 5 % o menos Grano 0,28 0,48*
*** Nivel de significancia del 1 % o menos -0,2 -0,26

Fuente: IFS – Econometría - SEI 0,98*** 1,11***
Hortaliza
-0,2 -0,16
Tabla 2 • Aumento de la talla y el peso de los niños beneficiarios

Cm. y Kg. Adicionales
Talla (Cm.) Peso (Kg.)

164 Urbano Rural Urbano Rural
-0,27 0,78*** 0,13 0,22*

0-24 meses -0,38 -0,29 -0,15 -0,13
0,91 -0,22 0,48*** -0,05
24-48 meses -0,62 -0,22 -0,17 -0,13
Más de 48 0,28 0,62** 0,28* 0,25
meses -0,28 -0,3 -0,16 -0,2
( ): Desviación estándar
* Nivel de significancia del 10 % o menos
** Nivel de significancia del 5 % o menos
*** Nivel de significancia del 1 % o menos
Fuente: IFS – Econometría - SEI
CUARTA sesión
Se puede ver que los efectos están concentrados entre los niños entre 0 y 2
años, sobre todo en la zona rural, en su talla y en su peso: son en promedio
0,78 cm. más altos y 0,22 kg más pesados que los niños de los municipios de
control. Hay también unos efectos en la zona urbana sobre el peso entre 2
y 4 años, y unos efectos entre los de más de 4 años, pero los efectos más
grandes se encuentran sobre los niños entre 0 y 2 años. Les voy a recordar
estos resultados más adelante, pues los voy a comparar con Hogares
Comunitarios.
• Impacto en salud
Aumentó significativamente el porcentaje de niños que asisten a consultas de

desarrollo y crecimiento: de 42% a 54%. Eso no es sorprendente porque
es una condición del programa, pero también es importante pues sin el
programa estos niños no estarían haciendo estas cosas. Además, disminuyó
significativamente el porcentaje de niños afectados por diarrea en la zona
rural, bajó de 21% a 10% para niños entre 0 y 4 años. Este también es un
resultado bastante importante.
• Impacto sobre la asistencia escolar
Creo que en la tabla tenemos demasiados resultados (ver Tabla 3), y les voy a
pedir que se concentren en los marcados con rojo porque son de diferencias
en diferencias. Los marcados con azul son interesantes, pero comparan
tratamiento y control en el primer seguimiento sin tener en cuenta las diferencias
preexistentes. Como ustedes pueden ver, sí hay diferencias muy importantes
165
entre los azules y los rojos. En consecuencia, los más confiables obviamente

son los rojos, porque tienen en cuenta las diferencias preexistentes.
Se tiene un efecto sobre todo en los niños grandes entre 14 y 17 años en

la zona urbana: 5 o 6 puntos porcentuales adicionales, dependiendo de la
metodología usada. Tenemos efectos muy bajos para los niños de primaria.
Estos últimos, ya tienen una tasa de asistencia escolar muy alta, arriba del 90%,
entonces no es tan sorprendente que el efecto sea menor. Este es un resultado
que es completamente consistente con los que se obtuvieron en México con
la evaluación de Progresa. Los efectos sobre los niños más grandes, inclusive
podrían ser mucho mayores en la zona rural; aunque sobre esa diferencia
entre 0,05 y 0,11 trabajamos muchísimo, aún no sé cómo explicar por qué
CUARTA sesión
son tan diferentes estos dos datos. Si hubiéramos tenido una muestra más
grande probablemente podría contestar, pero creo que el resultado está en
medio de estos dos números.
Tabla 3 • Aumento de la tasa de asistencia escolar en niños beneficiarios

Puntos porcentuales adicionales
1 2 3
Pareo
Paramétricad Paramétrica
diferencias Pareo primer Pareo
iferencias en primer
en seguimietno tratamiento
diferencias seguimiento
diferencias
Urbano
0,0129 0,0315 0,0238 0,0407
8-13 años 2.815
-0,007 -0,0092 -0,0194 -0,0198
0,0505 0,153 0,0626 0,0979
14-17 años 1.574
-0,0129 -0,0268 -0,026 -0,0419
Rural
0,0276 0,0735 0,0334 0,0848
8-13 años 3.935
-0,0116 -0,0112 -0,0254 -0,019
0,0524 0,1243 0,1113 0,2005
14-17 años 2.025
-0,0217 -0,0289 -0,032 -0,0542
( ): Desviación estándar.
La edad se refiere a la edad en el primer seguimiento
3: Número de jóvenes de tratamiento pareados para la estimación de diferencias en diferencias.
166
De todas formas, se evidenció un efecto importante del programa sobre la

asistencia escolar. En resumen tenemos que: los efectos más grandes se dan
en los niños mayores en las áreas rurales; se observan igualmente efectos
positivos en niños mayores en las áreas urbanas; y los efectos son bajos en
los niños menores, donde se evidencia un pequeño incremento en las áreas
rurales.
• Impacto sobre trabajo infantil
Se tiene una reducción significativa en trabajo para los niños entre 10 y 13

años en las zonas rurales. Además, se registró una disminución del número de
horas de trabajo de los niños entre 14 y 17 de las zonas urbanas, que indica
CUARTA sesión
que probablemente la escuela y el trabajo para los niños mayores no son

actividades exclusivas y pueden hacer las dos cosas.
Por otro lado, se observa un aumento de la oferta de trabajo de mujeres en
zona urbanas (6,5%) y de hombres en zona rural (3,6%). Estos son aumentos
bastantes grandes en el número de horas también.
• Resultados del análisis de Hogares Comunitarios
Con el programa Hogares Comunitarios el caso es muy diferente, porque

no hay grupos de control. Como les mencioné antes, se trata de un programa
que tiene cobertura nacional, entonces no tenemos zonas donde no opera
el programa. Por lo tanto lo que tenemos que hacer es lo más obvio: entre
niños de nivel Sisbén 1 en los municipios de control de la muestra de Familias
en Acción, comparar los niños que atiende Hogares Comunitarios con los
niños que no atiende. Se usaron solamente los municipios de control porque no
queríamos corromper los resultados con los efectos de sustitución de Familias
en Acción, así que el análisis de Hogares Comunitarios se hizo solamente en
los municipios donde no existe Familias en Acción.
Esta comparación es potencialmente poco importante, porque es claro que

la decisión de participar en un hogar comunitario es una decisión que toma
la madre, y los niños que participan y los que no participan podrían ser muy
diferentes. En la jerga de la econometría esto se denomina una decisión
endógena, y puede estar relacionada con los estados nutricionales de los niños.
Para hacer el punto más evidente, no se pueden comparar los niños que están
en Bogotá en un hogar comunitario con los niños que no están en Hogares
65
Comunitarios que viven en Rosales . Ignorando lo anterior, se pueden
introducir sesgos importantes. Es claro que si se hace así la comparación, 167
voy a tener un efecto muy negativo de Hogares comunitarios y sería una

comparación poco importante.
Entonces, lo que tenemos que hacer es modelar el proceso de participación en

Hogares Comunitarios, para lo cual se usó la técnica de variables instrumentales.
Así, lo que necesitamos son unas variables que afecten la participación, pero
que no afecten los resultados de interés, resultados como la talla de los niños.
Algunas variables que se escogieron para este análisis son: la distancia hacia
el hogar comunitario más cercano, y también la media en el municipio de la
distancia al hogar comunitario más cercano. La idea es que yo tengo un niño
65
Barrio Rosales en Bogotá, del estrato socioeconómico más alto.
CUARTA sesión
en un hogar comunitario y lo voy a comparar con un niño que sea lo más

similar posible, pero que vive más lejos y no va a un hogar comunitario porque
le resulta demasiado complicado. Para todo lo demás la técnica me permite
tener dos niños iguales, que solamente son diferentes porque uno vive cerca
y el otro vive lejos; entonces el que vive lejos le resulta complicado participar,
y no participa. De nuevo, el supuesto de base para que estos resultados sean
válidos, es que el hecho de la distancia no afecta condicionadamente las otras
variables como la talla del niño.
En el análisis de Hogares Comunitarios definimos como tratamiento la
asistencia actual, o la proporción de tiempo que un niño ha pasado en un hogar
comunitario, o el número de meses. En términos de resultados se consideró la
talla por edad para los niños entre 2 y 6 años, y además consideramos efectos
de largo plazo para los niños entre 12 y 17. A estos últimos se les preguntó
si en el pasado asistieron a un hogar comunitario, para medir el efecto del
programa sobre el éxito escolar definido por la asistencia escolar y el por el
hecho de pasar de grado (si el año anterior pasó de grado).
• Asistencia actual a los Hogares Comunitarios
Cuando se empezó con esta evaluación, hablaba con la gente acá en Colombia
sobre el programa y me decían: “los niños de Sisbén 1 todos van a Hogares
Comunitarios”. Eso no es cierto, la cobertura del programa no es tan alta. En
la tabla se puede ver la tasa de asistencia a Hogares Comunitarios por edad
en los municipios de control, medida en la línea de base y después en el primer
seguimiento (ver Tabla 4). Como se puede observar, debajo de los 2 años de
edad son muy pocos los niños de Sisbén 1 que van a estos hogares, e inclusive
a los 3 años que es la edad más popular, la cobertura del programa no llega
168 al 50%.
En cuanto a los determinantes de la asistencia (ver Tabla 5), se tiene que la

distancia es importante para la decisión de participar o no participar. En la
tabla se puede demostrar que sí lo es; el hecho de vivir cerca de un hogar
comunitario hace mucho más probable que el niño participe en el programa, y
eso es importante por la técnica que se aplicó.
CUARTA sesión
Tabla 4 • Tasa de asistencia a los Hogares Comunitarios
Control
Edad Línea de 1er
base seguimiento
0 3,47% 4,40%
1 18,23% 18,32%
2 37,93% 36,70%
3 44,27% 43,56%
4 34,49% 35,42%
5 21,75 19,49
6 10 7,46
Tabla 5 • Determinantes de la Asistencia a los HC
Exposición Asistencia Actual Número de meses

MCO Tobit MCO Probit Binom. Neg MCO
Distancia al HC más -0,17 -0,54 -0,36 -1,88 -49,65 -1,338

cercano (0,03) (0,08) (0,06) (0,36) (15,15) (438)
0,05 0,08 0,10 0,37 1,054 26,235

(Distancia) 2
(0,01) (0,05) (0,02) (0,21) (531) (12,788)
Distancia mínima -0,65 -1,34 -1,16 -4,27 -50,87 -1,888

promedio a los HC en
el municipio (0,16) (0,21) (0,26) (1,06) (79) (2,255) 169

(Distancia mínima 0,54 1,18 1,08 3,95 -1340 59743
promedio) 2
(0,16) (0,26) (0,26) (1,25) (9,418) (283,819)
Significancia 2,445 2,445 2,554 2,554 3,158 3,158
combinada para
(0) (0,004)
los 4 instrumentos (0) (0) (0) (0)
( ): Desviación estándar, incluye efecto de conglomeración a nivel municipio.

El análisis de participación también es importante porque demuestra que los

niños que participan en Hogares Comunitarios son los más pobres de todos.
Entre las familias Sisbén 1, son las más pobres de los pobres los que mandan los
CUARTA sesión
niños al hogar comunitario, esto en términos de cualquier indicador de pobreza

que uno escoja, ya sea la educación de los padres, el consumo, el ingreso, etc.
Esto es un resultado importante que se comentará más adelante.
• Efectos sobre talla por edad
En la tabla (ver Tabla 6) se ven los efectos de Hogares Comunitarios. Esto

está en términos de desviación estándar de la talla. Me voy a concentrar sobre
el resultado de la columna de la derecha: 0,83; y se debe tener en cuenta el
porcentaje de la vida que un niño pasó en un hogar comunitario. Entonces, si
se toma un niño de 5 años por ejemplo, el cual pasó toda su vida en un hogar
comunitario, y lo comparo con un niño de la misma edad que nunca estuvo
en un hogar comunitario, el niño de Hogares Comunitarios es 0,83 desviación
estándar más alto. ¿Qué es 0,83 de desviación estándar en este caso?, son 2
cm. Para un niño de esta edad dos centímetros es muchísimo, es un aumento
que representa diez años de desarrollo, y por lo tanto este es un efecto muy
importante.
Tabla 6 • Impacto de Hogares Comunitarios sobre talla por edad
Asistencia Exposición
MCO VI MCO VI
-0,05 0,44 -0,02 0,83
Impacto
-0,05 -0,18 -0,09 -0,39
Valor de P (prueba de 4.525 4.525 4.525 4.525
restricción sobre
identificación) - 0,46 - 0,7
170
Claramente, si se usa el método de mínimos cuadrados ordinarios para

comparar niños que están en el programa con los que no están, éste dice que
no hay diferencias entre ellos. Entonces, si se combina esto con el hecho de
que los que asisten son los niños más pobres, lo que está haciendo Hogares
Comunitarios, según estos resultados, es mantener a los niños más pobres al
mismo nivel de los otros niños. Este es un resultado importante porque a nivel
internacional está establecido que la nutrición a esta edad tiene efectos de
largo plazo; tiene efecto en el éxito escolar y tiene efecto sobre los ingresos a
CUARTA sesión
los 30 años. Entonces, si se hace un análisis de costo beneficio, estos efectos

van a ser muy importantes para estos niños.
• Efectos en la participación femenina a la fuerza laboral
También se observan efectos del programa sobre la participación laboral

femenina. Probablemente no son sorprendentes, pues es de esperarse que
si se da asistencia a las madres con los niños, éstas van a tener más tiempo
para trabajar. De modo que, Hogares Comunitarios aumenta la participación
femenina en la fuerza laboral en 39% (desviación estándar 5,4%). Esto
en términos de número de horas es un aumento de 71 horas mensuales
(desviación estándar 13,5%).
• Efectos de largo plazo: asistencia escolar y aprobación de

grados
La tabla muestra los efectos de largo plazo (ver Tabla 7), y las cifras son
sorprendentes. Esto lo que dice es que si se toma un niño entre 12 y 17 años
que estuvo en un hogar comunitario alguna vez, éste tiene una probabilidad de
asistir a la escuela ahora del 27% más alta que un niño que nunca estuvo, y
tiene una probabilidad del 12% más alta de haber aprobado un grado el año
anterior. Estos son efectos de largo plazo muy importantes del programa.
Tabla 7 • Efectos de largo plazo de los Hogares Comunitarios

Niños entre 12 a 17 años
Probabilidad de asistencia a Probabilidad de aprobar el

la escuela último año 171

0,2704 0,1227
Han asistido alguna vez
(0,1291)** (0,0650)*
Han asistido más de 24 0,2818 0,1413
meses (0,1460)* (0,0736)*
0,006 0,0031
Número de meses
(0,0028)** (0,0016)*
* Nivel de significancia del 10 % o menos
** Nivel de significancia del 5 % o menos
CUARTA sesión
• ¿Hogares Comunitarios o Familias en Acción?

Entonces la cuestión es que les estoy contando que Familias en Acción es una
maravilla y que Hogares Comunitarios también es una maravilla, entonces ¿cuál
vamos a escoger? Hogares Comunitarios parece ser efectivo en la provisión
de apoyo nutricional a los niños más pobres entre 2 y 5 años. Familias en
Acción parece funcionar mejor para niños entre 0 y 2 años, y niños mayores
de 4 años, además de tener toda la parte educativa. Al mismo tiempo, cuando
observamos qué está pasando en los municipios de Familias en Acción, se
observa que muchas familias se están cambiando de Hogares Comunitarios a
Familias en Acción, y no se encuentran diferencias según nivel económico en
la elección de uno u otro.
Entonces, la conclusión de todo esto es que probablemente los dos programas

no son sustitutos, sino complementarios. Muchas veces el riesgo que se corre
cuando se hacen estas evaluaciones es decir que el programa es un éxito y que
se debe replicar por todas partes. Creo que esa es una visión muy estrecha y
muy poco productiva, sobre todo si se empieza a pensar por qué el programa
está funcionando. Además, hay aspectos de Familias en Acción que se pueden
mejorar.
No creo que Colombia tenga que escoger necesariamente entre los dos
programas. Se puede pensar en maneras de integrarlos. Por ejemplo, la plata
que se entrega en Familias en Acción para los niños de primaria, su objetivo
es aumentar la asistencia escolar de primaria y se sabe ahora que ésta no
tiene ningún efecto; entonces esta plata se podría usar para financiar Hogares
Comunitarios, o para aumentar el subsidio de secundaria que es donde hay
más efecto.
172
Idealmente sería necesario hacer un análisis de costo-beneficio de ambos
programas. Yo sé que se está hablando mucho de este asunto, pues es algo

muy importante. En este sentido, la evaluación de impacto constituye el
primer ladrillo del edificio, es el primer paso para llegar a este análisis de
costo-beneficio, que para ser completo tiene que incluir otros elementos
como los efectos de largo plazo y la identificación de costos “escondidos”.
En cuanto a los efectos de largo plazo presenté algunos muy importantes

en Hogares Comunitarios, pero los de Familias en Acción no los conocemos
porque el programa acaba de empezar. Para medirlos es necesario esperar
y hacer mediciones ulteriores. Igualmente, los dos programas tienen costos
“escondidos”; por ejemplo, las madres comunitarias tienen prioridad en
muchos programas, y esto claramente introduce situaciones de otro tipo.
CUARTA sesión
Además, los beneficios de largo plazo son difíciles de cuantificar.
• Conclusiones
En conclusión, los resultados indican unos efectos positivos importantes de

Familias en Acción. He dicho que la nutrición no solamente es importante
porque el niño va a tener buena salud, es también importante porque este
niño va a ser mejor en la escuela y va a ser mejor en el mercado laboral. Sin
embargo, todavía hay mucho trabajo por hacer. Aún es demasiado temprano
para medir los efectos de largo plazo, por ejemplo el éxito escolar. Igualmente,
es necesario hacer más análisis de los efectos de corto plazo. Por otro lado,
un aspecto que no he tocado es que probablemente hay regiones, pueblos o
municipios, donde el programa funciona mejor que en otros, y en esta medida
también es importante analizar cuáles son las razones por las que esto puede
ocurrir.
Sobre todo, creo que es importante entender que todos estos resultados se
concentran en zonas rurales y no se pueden generalizar a las zonas urbanas.
Sé que se está pensando en expandir Familias en Acción a las zonas marginales
de grandes ciudades, como se está haciendo en este momento en México
con Progresa / Oportunidades. Se está pensando en replicar exactamente el
mismo programa en la zona marginal en las grandes ciudades, pero creo que
no se puede tener ninguna garantía de obtener los mismos resultados.
Considero que lo acertado no es simplemente decir que esto no se haga, sino

proponer que se haga de manera informada, y la manera más productiva es
empezar la evaluación desde ahora, antes de desarrollar a nivel nacional el
programa en las grandes ciudades. ¿Cómo se puede hacer? Se puede hacer
empezando el programa en unas zonas piloto, en unos barrios de Bogotá, 173
en unos de Medellín, y hacer mediciones en estos barrios y en otros barrios

donde no sea implementado el66 programa. Esta es una de las lecciones que
nos contaba ayer Paul Johnson , con el caso de un programa para mantener
la asistencia67escolar de los jóvenes en el Reino Unido: Education Maintenance
Allowances . El proceso de evaluación de esto tomó siete años, y siete años
parecen mucho, pero por otro lado pienso que la primera vez que yo oí hablar
de Familias en Acción fue en 1999. Así que creo que es trascendental hacer
este tipo de cosas.
66
Ver: Asignación y evaluación del gasto público: el caso del Reino Unido, Paul Jonson (Director de
Microeconomía, Departamento del Tesoro, UK.).
67
Subsidios para la manutención de la educación.
CUARTA sesión
Evaluación de impactos de corto

plazo del programa Empleo en Acción
Álvaro Reyes∗
V 68
y SEI .
amos a presentar ahora un segundo proyecto de la evaluación de la
Red de Apoyo Social. Se trata del programa Empleo en Acción, que
también fue evaluado por el consorcio IFS de Londres, Econometría
La naturaleza del programa
Empleo en Acción es un programa de la familia de programas activos de

empleo (Workfare Programs), cuya característica esencial es dar igualdad de
oportunidad a grupos vulnerables o en extrema pobreza. Ofrecía empleo
temporal, y a diferencia de Familias en Acción no estaba condicionado a ningún
comportamiento específico de los beneficiarios. Los participantes elegibles
debían estar clasificados en los niveles Sisbén 1 y 2, es decir en estado de
pobreza pero no tan pobres como los de Familias en Acción. Además, debían
estar desempleados, una condición seguramente muy difícil de verificar,
69
ser mayores de edad y no estar participando en programas de educación
diurna.
174
El programa tenía una cobertura nacional pero únicamente en zonas urbanas.
Inicialmente, se había pensado que el 80% de los recursos se concentraran

en municipios prioritarios de más de 100.000 habitantes, o pertenecientes
a grandes áreas metropolitanas o conurbanas. Por ejemplo, en Bogotá se
incluyeron todos los municipios vecinos de la sabana de Bogotá, pues era una
gran conurbación. Por otra parte, los municipios no prioritarios eran los de
menos de 100.000 habitantes, que no pertenecieran a ninguna de estas áreas
metropolitanas o conurbanas mayores.
* Álvaro Reyes de Econometría, es parte integrante del equipo interdisciplinario que lleva a cabo la
evaluación de la Red de Apoyo Social (RAS).
68
Institute for Fiscal Studies (IFS), Econometría Consultores S.A. y Sistemas Especializados de
Información (SEI).
69
18 años de edad o más.
CUARTA sesión
Los participantes se empleaban en la construcción de obras públicas de

infraestructura como: vías, obras de acueducto o alcantarillado, centros
comunitarios, centros deportivos, adecuación de escuelas, etc. Estas se
realizaban en las mismas zonas urbanas de bajos ingresos donde vivían los
participantes, entonces se buscó una vecindad o una cercanía con las zonas
urbanas donde se concentraban estas personas.
Los proyectos en general eran proyectos pequeños, de interés comunitario

que se llevaban a cabo bajo un esquema de cofinanciación entre los municipios
y el programa, entre grupos comunitarios y el programa, etc. El programa
fundamentalmente financiaba los costos de mano de obra no calificada para
el proyecto, y los municipios o entidades territoriales municipales financiaban
parte de los costos de los materiales utilizados. Sin embargo, este segundo
componente de pago de materiales se suspendió en la fase final del programa
que se concentró en municipios prioritarios.
Los salarios pagados eran salarios cercanos al salario mínimo, pero con la
restricción de que solo se podían emplear jornadas de medio tiempo por un
máximo de cinco meses. Esto fue muy importante para realmente focalizar
el programa en personas muy necesitadas que no tuvieran otras opciones de
trabajo. Es decir, se buscaba que el programa no compitiera con la posibilidad
de conseguir empleos mejor remunerados asalariados en otros sectores de la
economía, y esa parte parece que funcionó bastante bien.
En parte por las características del tipo de trabajo ofrecido, los salarios y
las jornadas de medio tiempo, el programa tuvo un fuerte componente de
autoselección de beneficiarios. Eso se pudo confirmar como se va a presentar
más adelante. El programa fue más atractivo para personas con menos 175
expectativas de ingreso, con menos posibilidades de empleo en otros sectores,

y en general más vulnerables a los vaivenes del mercado de trabajo.
En el corto plazo, el programa buscaba suavizar los efectos de los choques

sufridos por las poblaciones más vulnerables, debidos a la crisis de la
economía y el ajuste fiscal. Es decir, sus objetivos realmente eran de corto
plazo. En el largo plazo el programa podría mejorar la empleabilidad de los
beneficiarios, pero eso aún no se puede afirmar. Se recogió una información
de seguimiento seis meses después de terminadas las obras, y se va a observar
si efectivamente tuvo algún impacto en ese sentido. Se podría esperar ampliar
el radio de capital social de los beneficiarios. Especialmente en mujeres que
tenían muy poca vinculación con el mercado de trabajo y eran amas de casa,
la posibilidad de un empleo productivo y con algún tipo de aprendizaje podría
CUARTA sesión
inducirlas eventualmente a aumentar su oferta de trabajo en el futuro. Esto

mismo podría esperarse para algunos jóvenes que no habían tenido experiencia
laboral y que tuvieron con el programa su primera experiencia.
Un componente importante del programa es el beneficio que pudieron

obtener las comunidades locales pobres con las obras realizadas. Nosotros
vamos a evaluar ese componente. De esta forma, los beneficios totales del
proyecto serian entonces: unos beneficios directos de corto plazo sobre los
beneficiarios que trabajaron en las obras fundamentalmente, unos beneficios
indirectos o no buscados de más largo plazo, y beneficios directos sobre las
comunidades locales.
• Herramientas de evaluación
Las herramientas de evaluación fueron muy parecidas a las de Familias en
Acción, excepto que aquí se incluyó un monitoreo de las obras. Este fue
realizado por nuestros ingenieros y nos llevó a visitar cerca de 500 obras en
todo el país. Se verificó que se estuvieran llevando a cabo, que se hubieran
terminado y realizado completamente, y además que estuvieran prestando el
servicio para el cual fueron diseñados, es decir que estuvieran funcionando.
Así mismo, se hizo una evaluación cuantitativa con base en encuestas de
hogares, y una evaluación cualitativa, ambas con el proceso de recolección de
información terminado (ver Tabla 1). Estas se dirigieron a beneficiarios y no
beneficiarios del programa, y a hogares que habitan en áreas de influencia de
las obras. Lo primero nos permitió seleccionar grupos de tratamiento y grupos
de control entre beneficiarios y no beneficiarios y lo segundo nos va a permitir
evaluar si hubo algunos impactos sobre las áreas de influencia.
176 Tabla 1 • Ejecución de encuestas para la recolección de datos

Aplicantes (beneficiarios y no
Indicador Hogares en Área de Influencia
beneficiarios)
Línea de base Realizadas Realizadas
Primer seguimiento durante la

Realizadas No aplica
ejecución de las obras
Segundo seguimiento seis

meses después de Realizadas Realizadas
terminadas las obras

CUARTA sesión
Debido a que en el momento de recolección de la línea de base el programa

ya había comenzado, se hizo también una exploración retrospectiva sobre
algunas variables. Especialmente sobre las variables laborales: oferta de
trabajo, horas de trabajo, horas trabajadas, ingresos laborales obtenidos para
años anteriores, etc. Esto se hizo para el año 2001-2002 y usamos el año 2001
como referencia de línea de base para estos aspectos de la situación laboral
de las personas.
Al principio, en el momento de línea de base, las personas estaban en su

mayoría desempleadas esperando comenzar, de modo que esa información
no fue utilizada. Pero la información sobre consumo e ingresos del hogar sí es
la correspondiente al momento de línea de base, entonces las dos cosas tienen
pequeñas diferencias.
Se hizo un primer seguimiento durante la ejecución de las obras. El planteamiento

que teníamos era que el programa era un programa de dos choques: uno
inicial en el cual se le otorga empleo temporal a las personas y unos ingresos
que le sostienen en parte su gasto de consumo, y un segundo choque que
es quitarles lo anterior y devolverlos a la situación inicial. Por lo tanto, era
muy importante captar los impactos durante el periodo durante el cual los
beneficiarios estaban teniendo un ingreso más alto. Eso ya se hizo y es lo que
vamos a presentar hoy como resultados de corto plazo.
Después se hizo un segundo seguimiento, cuya recolección justamente terminó
la semana pasada. Se hizo en todo el país, en promedio seis meses después
de terminadas las obras. También se hizo otro seguimiento para los hogares
del área de influencia, luego de haber hecho una línea de base de cuál era la
70
situación de esas comunidades antes de la iniciación de las obras . 177

• Las obras del programa
La acción del programa fue realizar obras en dos tipos de municipios: no

prioritarios (pequeños) y prioritarios. La distribución de obras (ver Gráfico 1),
después de tener la información casi completa de las obras realizadas, señala
que no se cumplió la meta de concentrar 80% de las obras en los municipios
70
Para las áreas de influencia se recolectó información de línea de base, e información de un
solo seguimiento. Este último se realizó en el momento de recoger el segundo seguimiento a los
aplicantes del programa (beneficiarios y no beneficiarios).
CUARTA sesión
prioritarios. De hecho, el 61% de las obras se hicieron en municipios no

prioritarios y apenas el 38% en los prioritarios.
Gráfico 1 • Distribución de obras según tipo de municipio
Municipios
prioritarios;
38,6%
Municipios no
prioritarios;
61,3%
Por tipo de obras, el programa tenia una serie de categorías elegibles (ver Gráfico
2). Casi la mitad fueron obras viales urbanas (49,5%); mejoras, reparaciones
y pavimentación, tanto en municipios prioritarios como no prioritarios.
El segundo tipo de obras más importante fue servicios públicos (16,2%),
básicamente extensión de redes de apoyo de acueducto y alcantarillado; y
muy cerca la de infraestructura social (15,8%), construir pequeños centros
comunitarios, pequeñas zonas deportivas, o reparar escuelas o centros de
salud.
Gráfico 2 • Distribución de obras según tipología

178
60,0%
Vial, 49,5%
50,0%
40,0%
30,0% Servicios Infraestr.
Ambiental,
20,0% Públicos, 16,2% Social, 15,8%
13,9%
10,0% Vivienda, 4,6%
0,0%

CUARTA sesión
Hubo también un 14% de obras de tipo ambiental. Muchas eran acciones de

mantenimiento, limpieza de canales y limpieza de zonas, que son obras cuya
vida útil es muy corta. Si se limpia un canal, a los 6 meses se tiene que volver
a limpiar. Limpiar un canal generó empleo, pero tuvo muy pocos efectos de
permanencia. Además, hubo un pequeño componente de vivienda que fue
muy complejo de manejar y que realmente no tuvo mucha relevancia.
De esta forma, se va a evaluar si todas estas obras tuvieron algún impacto de

más largo plazo sobre la comunidad: si aumentaron la seguridad, si aumentaron
el bienestar, por ejemplo, con la posibilidad de tener áreas deportivas, o
incluso si aumentaron la productividad. Se va a evaluar si algunas obras viales
aumentaron la entrada y salida de personas, y si de alguna manera esto incidió
en la productividad de las personas o las comunidades. Se va a observar si las
obras durante la permanencia generaron ingresos a su población, si generaron
cierta reactivación con la venta de productos de consumo, alimentos y otros
en las tiendas de barrio. Se están haciendo también encuestas en estas tiendas
de barrio, para ver si sintieron algún impacto de corto plazo del programa.
• El programa y su cobertura
Empleo en Acción logró aprobar entre 2002 y 2003, cerca de 3.845 proyectos
u obras en cerca de 670 municipios del país; casi todos municipios prioritarios
y una buena parte de los municipios no prioritarios. Sin embargo, solo se
terminaron 2.788 proyectos u obras, es decir que cerca de 900 proyectos no
se iniciaron, o se iniciaron y no se terminaron. En algunos casos esto ocurrió
por problemas financieros, por decisión de los propios proponentes en muy
buena parte, por falta de recursos de contrapartida, o porque se demoró 179

demasiado la aprobación de los fondos del programa, por lo que retiraron el
proyecto y no lo hicieron. En otros casos, se tienen programas que no fueron
financiados por el programa y las autoridades municipales decidieron hacerlo
con sus propios recursos. Esos proyectos no están incluidos naturalmente en
esta evaluación.
Se ejecutaron en total $202.590 millones, que generaron 211.307 empleos

directos en todo el país de acuerdo con los registros que se tienen. La duración
media de las obras fue de 4 meses en promedio, es una intervención realmente
corta a diferencia de Familias en Acción en donde las personas pueden
permanecer años beneficiándose del programa. Esta es una intervención
CUARTA sesión
sumamente puntual, y el promedio de beneficiarios por obra fue de 55, es

decir que eran obras relativamente pequeñas.
Examinemos un poco cuál era la cobertura del programa (ver Tabla 2). El
universo de población Sisbén 1 y 2 en áreas urbanas estimado es del orden de
8,5 millones de personas (18 años de edad o más), las cuales están distribuidas
en 2,5 millones de hogares a nivel nacional, que contienen a su vez cerca de
13,4 millones de personas, sumando niños y adultos. De estos 8,5 millones
no todos podrían considerarse para ser beneficiarios del programa, porque
éste tenía la característica de ofrecer cupos limitados de trabajo vía demanda.
Es decir, las personas tenían que inscribirse en el programa, ya que no eran
universalmente elegibles todas las personas. Dentro de esas limitaciones,
estaba previsto que si había exceso de demanda por puestos de trabajo debería
haber un sorteo entre todos los inscritos, de manera tal que la selección de
beneficiarios fuera totalmente aleatoria, es decir, que hubiera igualdad de
oportunidades para todas las personas.
Tabla 2 • Universo de población Sisbén 1 y 2 en áreas urbanas
Municipios Municipios No
Indicador Total
Prioritarios Prioritarios
Hogares 1.259.139 1.275.870 2.535.009
Personas 6.731.517 6.663.551 13.395.068
Personas de 18
4.257.162 4.309.343 8.566.506
años o más
180
Potenciales
1.459.355 1.400.967 2.860.322
Beneficiarios
Lo anterior llevó a que de estas 8,5 millones de personas, y dadas las

restricciones de uso en los municipios donde hubo obras, realmente solo cerca
de 25% tuvieran acceso al programa. Entonces, el estimativo de la demanda
potencial son 2,8 millones de personas; éstas son las que se abría esperado
atender en un escenario sin limitaciones de presupuesto. De esta forma, al
relacionar este estimativo con los 211.307 beneficiarios del programa que se
señaló anteriormente, se determina que: la cobertura del programa fue del
orden de 7,4% de la demanda potencial a nivel nacional, 8,5% en municipios
CUARTA sesión
prioritarios y 6,3% en municipios no prioritarios; y que esta cobertura llegó a

un 5,5% de los hogares, lo cual indica que hubo más de un beneficiario por
hogar (ver Tabla 3).
Tabla 3 • Cobertura del programa

% de población Sisbén 1 y 2 en áreas urbanas
Municipios Municipios no
Indicador Total
prioritarios prioritarios
Hogares 6,3 4,7 5,5

Personas 6,2 4,9 5,6
Beneficiarios /
Potenciales 8,5 6,3 7,4
beneficiarios
• Análisis de corto plazo: ¿por qué es útil?
Parte importantísima de los impactos del programa son de muy corto plazo, y
como se señaló antes, tienen lugar durante el periodo en el cual la gente tiene
recursos adicionales. Entonces es importante saber si trabajaron realmente 181

los beneficiarios, y quiénes fueron los que realmente trabajaron, porque el
análisis del desarrollo del programa es el primer paso para la evaluación de
efectos de mediano plazo.
Después, se quiere saber en cuánto aumentó el ingreso familiar transitoriamente,

es decir, cuál fue el impacto de este programa. Esta es una pregunta relevante
porque el programa pudo haber sustituido otras actividades productivas que
hubieran podido desarrollar los beneficiarios si este no hubiera existido, y
pudo inducir efectos de sustitución con otros miembros del hogar que pueden
disminuir su esfuerzo laboral. Estos son datos importantes, pues si se reduce
el esfuerzo laboral de otros miembros del hogar, la eficacia del programa
CUARTA sesión
en el mejoramiento del ingreso disminuye. En otras palabras, la eficacia del

programa se maximiza cuando no hay efecto sustitución con otras actividades
productivas del hogar.
Otro dato importante es si se benefician más los grupos más pobres dentro
de los pobres, y si se aumenta la empleabilidad de estas personas hacia el
futuro. Esta última pregunta no se puede contestar en este momento, pero es
una de las que se contestarán con el segundo seguimiento.
• Metodología de la evaluación
Definiciones
En primer lugar se tiene una categoría que diferencia dos grupos entre las
personas que se inscribieron en el programa:
• Beneficiarios. Debieron ser elegidos aleatoriamente del grupo de

aplicantes.
• No beneficiarios. Debieron ser los aplicantes que de manera aleatoria no

quedaron seleccionados.
El programa tuvo características particulares. Primero, no funcionó como
estaba pensado el sistema de sorteo en condiciones de exceso de demanda.
En pocos casos, quizás en un tercio de las obras realizas, se hizo el sorteo tal
como estaba previsto. En los demás casos, o no se hizo el sorteo sino que
hubo una selección administrativa o de algún grupo, o se hizo la selección
182 pero hubo retrasos sumamente grandes en la iniciación de las obras. De
modo que cuando las obras se iniciaron fue necesario recurrir a una nueva
selección de beneficiarios, porque muchos de los inicialmente seleccionados,

o no aparecían, o ya no estaban interesados en el programa.
Como consecuencia de lo anterior, hay algunos no beneficiarios que debieron

haber sido beneficiarios por procedimientos aleatorios, pero que no lo fueron.
De modo que los métodos que habíamos propuesto inicialmente bajo el
supuesto de que realmente hubiera una selección aleatoria, no se pudieron
aplicar. Se tuvo que pasar a métodos cuasi experimentales parecidos a los que
se usaron en Familias en Acción. Esto por razones un poco diferentes, pero sí
para hacer frente al mismo problema: la no aleatoriedad de la selección inicial
de beneficiarios.
CUARTA sesión
Por otro lado, se tiene otra categoría distinta que resulta de la forma en que
funcionó el programa:
• Participantes. Aquellos que realmente trabajaron en alguna obra de

Empleo en Acción.
• No participantes. Aquellos que no trabajaron en las obras de Empleo

en Acción. Pudieron ser inicialmente beneficiarios o no beneficiarios, pero
simplemente no trabajaron en las obras.
Existen razones confirmadas posteriormente para creer que los participantes

pueden diferenciarse más de los no participantes, que los beneficiarios de los
no beneficiarios. Es decir, la relación entre participantes y no participantes
es diferente a la relación entre beneficiarios y no beneficiarios. Sin embargo,
como la decisión de participar o no participar es una variable endógena,
no podemos utilizarla directamente para estimar los impactos del programa.
Tenemos que preocuparnos de la distinción entre participantes y beneficiarios,
y corregir esas diferencias para poder hacer una evaluación no sesgada de los
resultados del programa.
• La muestra
La muestra utilizada para los propósitos de la evaluación incluyó 5.428 personas

inscritas, entre beneficiarios y no beneficiarios, en 108 obras distribuidas en
57 municipios, tanto prioritarios como no prioritarios, o grandes o pequeños.
Lo que se señalaba sobre las demoras en la iniciación de las obras, llevó a 183
la siguiente situación con estos 5.428 inscritos considerados en la muestra
(ver Tabla 4). Si se cruzan estos aplicantes iniciales y se mira su distribución
entre personas inicialmente seleccionadas (beneficiarios), y personas no
seleccionadas inicialmente (no beneficiarios), vemos como de los participantes
2.583 fueron beneficiarios, pero 198 fueron no beneficiarios que finalmente
participaron. Por otro lado, de los no participantes 2.030 inicialmente habían
sido rechazados para participar en el programa, pero otros 617 eran personas
que inicialmente habían sido seleccionadas y finalmente no trabajaron en las
obras. Todo esto se está teniendo en cuenta en la metodología.
CUARTA sesión
Tabla 4 • Participación en el programa

5.428 personas inscritas
No
Aplicantes Participantes
Participantes
No 198 2.030
Beneficiarios
Beneficiarios 2.583 617
• Métodos de evaluación
La metodología es similar a la empleada en Familias en Acción. Se combinó

el método de diferencias en diferencias, comparando grupos de tratamiento
y grupos de control, pero se utilizaron también variables instrumentales para
tener en cuenta las diferencias preexistentes entre los dos grupos antes de la
iniciación de las obras. Sin embargo, la estrategia es un poco más simple pues
aquí no se tiene tanta variación de métodos como los usados en Familias en
Acción. Nuestra estrategia se basa en resolver el equivalente muestral de la
siguiente ecuación:
E[∆yi - αPi - βXi | X, B] =0

∆, señala las diferencias en variables de resultado entre el seguimiento y la
184 situación en línea de base. P, es la probabilidad de participar. X, es un conjunto
de variables utilizadas como instrumentos, que estén correlacionadas con el
resultado pero que no estén relacionadas con la decisión de participar, o el

resultado de participar o no participar en el programa. Se estimó el impacto
del programa por el coeficiente alfa en esta ecuación, o sea identificar si
participar hace diferencia o no en la variable resultado, controlando por una
serie de variables X asociadas con el resultado para eliminar sesgos entre los
dos grupos, condicionados también a haber sido seleccionados previamente
como beneficiarios. Es decir, la variable ‘participación’ no se usa directamente,
sino que se estimó una probabilidad de participar en función de la variable
‘haber sido seleccionado inicialmente’, de manera que se corrigieron un poco
las diferencias entre éstos.
CUARTA sesión
• Diferencias entre beneficiarios y no beneficiarios antes de la

iniciación del programa
Estas diferencias naturalmente hay que controlarlas para poder hacer una
evaluación no sesgada de los impactos. Esto en parte lo hace el mismo método
de diferencias en diferencias, pero puede quedar una diferencia residual que
de todas maneras hay que tratar de evitar. Veamos entonces estas diferencias
entre los grupos de tratamiento (beneficiarios) y los grupos de control (no
beneficiarios) en algunas características básicas como: demografía, historia
laboral, educación y salud.
En cuanto a las características demográficas de los hogares (ver Tabla 5),

la proporción de mujeres es de 35% en el grupo de beneficiarios y no hay
diferencias con el grupo de control que son los no beneficiarios. El promedio
de edad es un poco menor en las personas seleccionadas como beneficiarios
respecto a los no beneficiarios. La edad fue utilizada un poco como criterio de
selección y por lo tanto sesga un poco los resultados, pero las diferencias no
son estadísticamente significativas.
Tabla 5 • Diferencias en características demográficas de los hogares
Diferencia
Indicador Beneficiarios (benef. no
benef)
35,1 -0,2
% de mujeres
-0,3 -0,4 185
Promedio de 34,5 -3,9

edad -2,8 -2,1
( ): Error estándar
En aspectos de la historia laboral (ver Tabla 6), no hay diferencias significativas.

En términos de haber trabajado en los últimos 20 años, haber trabajado
por lo menos un mes en el año 2001, en promedio de horas trabajadas, en
remuneración mensual promedio, son casi idénticos los dos grupos, lo cual
nos da más confianza.
CUARTA sesión
Tabla 6 • Diferencias en historia laboral 2001
Diferencia (benef. no
Indicador Beneficiarios
benef)
En los últimos 20 años ha trabajado alguna 96,30% 0,8
vez por un pago en dinero -0,5 -0,7
72,20% -0,3
Trabajó al menos por un mes durante 2001
-1,4 -0,2
23,7 -1,3
Promedio de horas trabajadas durante 2001
-0,7 -0,8
Remuneración mensual promedio durante
123.044 -6.082
2001
(Pesos de 2003) -5.662 -7.972
En términos de composición educativa (ver Tabla 7), son casi idénticas las dos
distribuciones. La única diferencia significativa es que en el grupo de beneficiarios
186 hay una menor proporción de personas con educación universitaria que en el
grupo de control (no beneficiarios). Esto dice que esta variable de alguna manera
también fue discriminatoria para la selección de beneficiarios, pero va en la

dirección de moverse a favorecer la participación de personas con menores
niveles de educación. También entre el grupo de inscritos hay una menor
proporción de personas con educación universitaria respecto la población en
general, o sea que también hubo unos procesos de autoselección de personas
de menores niveles educativos en la población.
CUARTA sesión
Tabla 7 • Diferencias en educación
Diferencia (benef. no.

Nivel Educativo Beneficiarios
benef)
11,40% 0,8
Ninguno
-0,8 -0,9
29,40% 1,7
Primaria Incompleta
-1,2 -1,4
21,10% -1,7
Primaria Completa
-0,9 -1
23,50% 0
Secundaria incompleta
-0,9 -1,2
13,20% 0
Secundaria completa
-1 -2,1
1,00% -0,8*
Educación universitaria
-0,2 -0,4
Participación en programas de 14,40% -1,3
entrenamiento y capacitación laboral -0,9 -1
Las condiciones de salud (ver Tabla 8), fue el único aspecto donde encontramos
diferencias más significativas. El grupo de beneficiarios tiende a tener una
menor proporción de personas con problemas de salud en los últimos días,
o que hubieran tenido que permanecer en cama por problemas de salud. No
hay diferencias en términos de la variable ‘ha sido hospitalizado en los últimos
doce meses’, que es una variable mucho más aleatoria que se distribuye casi
uniformemente entre los dos grupos. Esto indica que el programa, de alguna 187
manera, si discriminó un poco a personas con mayores problemas de salud.
Este es quizás el único factor que influyó, pero hay que tener en cuenta que el
trabajo era un trabajo duro, pesado, de construcción, de remover tierra, de
hacer cosas que implican cierto estado físico razonable.
CUARTA sesión
Tabla 8 • Diferencias en salud
Diferencia (benef.
Indicador Beneficiarios
no. Benef)
Durantes los últimos 15 días
12,50% -4,8**
dejó de hacer sus actividades
debido a problemas de salud -0,9 -1,6
Tuvo que permanecer en cama 6,50% -3,0*
por ese episodio de salud -0,6 -1,2
Ha sido hospitalizado en los 7,30% 0,2
últimos 12 meses -0,6 -0,9
* Diferencias significativas al 5%
** Diferencias significativas al 1%
• Impactos de corto plazo de Empleo en Acción
Vamos a ver algunos impactos observados durante la ejecución de las obras,

que corresponden al primer seguimiento, en aspectos como: horas de trabajo
por semana, ingresos, oferta laboral de otros miembros del hogar, consumo y
algunos efectos de corto plazo sobre la pobreza.
En primer lugar se tienen las horas trabajadas por semana (ver Tabla 9). Aquí
188 se está comparando grupos de tratamiento (beneficiarios) y grupos de control (no
beneficiarios) en el momento del trabajo, contra la situación antes del inicio
del programa, o sea la situación en historias laborales previas. Esto último

se refiere a cuál había sido el número de horas trabajadas en promedio por
estas personas, y no a la situación inmediatamente anterior al comienzo de las
obras en que los beneficiarios en su gran mayoría estaban desempleados.
El resultado es que el programa condujo a un aumento significativo del número

de horas trabajadas por semana: 8,6 horas para toda la muestra, que puede
ser un 25% de lo que trabajan mensualmente estas personas. Ese efecto fue
mayor para mujeres, 13,7 horas, en buena parte porque hubo una afluencia
muy grande de mujeres jefe de hogar con muy poca experiencia laboral
previa, con muy pocas horas trabajadas en el pasado. Para ellas el programa
CUARTA sesión
se hizo muy atractivo por la vecindad o cercanía de las obras, y por la duración
de la jornada laboral de medio tiempo. También fue mayor el aumento para
hombres y mujeres entre 18 y 24 años que son los más jóvenes, 11,7 horas,
porque del mismo modo habían tenido menos oportunidades de trabajo en el
pasado, o estaban apenas comenzando su carrera laboral.
Tabla 9 • Impacto en horas de trabajo por semana

Horas adicionales
8,6*
Muestra Total
-1,4
13,7**
Mujeres
-1,8
11,7
Jóvenes 18 -24 años
-2,4
* Diferencias significativas al 5%
En términos de ingreso laboral mensual (ver Tabla 10), también el aumento

es significativo respecto a lo que hubiera sido el ingreso sin programa. Para
la muestra total, es del orden de $39.889 al mes. Además, al igual que en
horas trabajadas, es mayor el impacto para mujeres, $58.784 mensuales, y
para jóvenes entre 18 y 24 años, $47.490 al mes.
189
Tabla 10 • Impacto sobre ingreso laboral mensual

$/mes adicionales
39.889**
Muestra Total
-12.381
58.784**
Mujeres
-15.153
47.490**
Jóvenes 18 -24 años
-12.724
CUARTA sesión
Cuando miramos el impacto del programa sobre la oferta de trabajo e

ingresos laborales de otros miembros del hogar (ver Tabla 11), encontramos
que no hay ningún efecto significativo. Es decir, el programa no sustituyó
otras actividades laborales del hogar, y por el contrario, aunque las cifras no
son significativas, se presentó una tendencia a aumentar marginalmente el
ingreso de otros miembros del hogar. Esto podría explicarse en parte porque
pudieron haber inducido a algunos otros miembros del hogar a participar en
el programa, o en parte porque las personas que salieron a trabajar fueron
sustituidas por otros miembros del hogar en labores productivas que hace el
hogar, como pequeños negocios familiares que pueden tener. De hecho, no
hubo efecto de sustitución que era lo importante que se quería destacar.
Tabla 11 • Impacto sobre la oferta laboral de otros miembros del hogar

2001 – 2003, horas y $/mes adicionales
2,6
Horas trabajadas por semana
-1,9
27.938
Ingreso Laboral Mensual ($ / mes)
-21.604
¿Es robusta nuestra estrategia? Nosotros miramos como cambió el ingreso

laboral mensual de las personas en un periodo anterior a la iniciación de
las obras, y encontramos que no hubo ninguna diferencia significativa. La
diferencia de ingresos entre 2001 y 2002, fue de $5.988 al mes (error estándar
$11.003). Por el contrario, en nuestros resultados sí encontramos efectos
190
muy significativos, de modo que pensamos que esto es una prueba adicional
de que los resultados son relativamente robustos.
El análisis del consumo total de los hogares, no se hizo con base en el ingreso
total porque era una figura difícil de construir bien. Se hizo una encuesta de
consumo, bastante completa y similar a la de Familias en Acción. Creemos
que esto mide más el impacto sobre el bienestar del hogar, que los datos
de ingreso. Hubo un impacto muy significativo, un crecimiento de 9% del
consumo con relación a la situación en línea de base.
En cuanto a otros componentes del ingreso, miramos el caso de las trasferencias

hacia el hogar y desde el hogar (ver Tabla 12). No hay ningún impacto
CUARTA sesión
significativo sobre esto, es decir que no se redujeron esas transferencias

hacia el hogar. Por el contrario, la cifra que se tiene genera un valor positivo.
Tampoco aumentaron mucho las transferencias desde el hogar hacia otros
miembros del hogar viviendo fuera, etc. Un ejemplo muy pequeño, como se
puede ver en la tabla, estamos hablando de $37 por mes, que es realmente
muy poco.
Tabla 12 • Impacto sobre las transferencias

$ adicionales
2,6
Horas trabajadas por semana
-1,9
27.938
Ingreso Laboral Mensual ($ / mes)
-21.604
Lo último que se observó fue el impacto de corto plazo sobre los indicadores
de pobreza (ver Tabla 13). Se tienen indicadores de pobreza coyuntural, como
puede ser la Línea de Pobreza (LP) o la Línea de Indigencia (LI), y un indicador de
pobreza un poco más estructural como es el indicador de Necesidades Básicas
Insatisfechas (NBI). Naturalmente estos impactos se ocasionan en buena
parte por el mayor ingreso que tienen estas personas en el corto plazo, y
consideramos que son efectos coyunturales y transitorios. A los cuatro meses, 191

en el momento en que dejen de recibir este ingreso, esta situación se puede
revertir y en efecto se va a revertir para la inmensa mayoría de las personas.
Solo habrá efectos de largo plazo si además hay otros efectos de mediano
plazo adicionales del programa, como aumentos en la empleabilidad de estas
personas, o que de alguna manera puedan tener un mejor comportamiento
en el mercado laboral.
CUARTA sesión
Tabla 13 • Impacto de corto plazo sobre la pobreza

Variación en puntos porcentuales
Municipios Municipios No
Indicadores
Prioritarios Prioritarios
Indicadores de Pobreza Extrema
-6,5** -4,8*
NBI – Miseria
-2,1 -1,9
-3,2 1,9
LI – Consumo total
-3 -2,8
Indicadores de Pobreza
-5,9* -4,6
NBI – Pobreza
-2,5 -2,4
-1,9 -1,7
LP – Consumo total
-2,3 -3
Estimación usando método de diferencias en diferencias con variables instrumentales

En el corto plazo, sin embargo, se observan especialmente efectos en los

indicadores de pobreza extrema. La proporción de población por debajo de la
línea de indigencia se redujo 6,5 puntos porcentuales en municipios prioritarios y
4,8 puntos en municipios no prioritarios. Es interesante ver que los efectos sobre
la pobreza extrema fueron mayores en los municipios prioritarios que en los
no prioritarios. En términos de indicadores de pobreza estructural (NBI), hubo
192 una disminución en los municipios no prioritarios de 5,9 puntos porcentuales, y
también en los municipios no prioritarios, pero menos significativa. En términos
de la línea de pobreza propiamente, los efectos no son muy significativos, es decir

no hay realmente una reducción de la proporción de personas por debajo de
la línea de pobreza. Esto en buena parte se debe a que el impacto el programa
fue aumentar marginalmente los ingresos, lo cual benefició especialmente a
los más pobres de los pobres, a los que tenían ingresos más cercanos a la línea
de indigencia. Se debe anotar que hubo también elementos de autoselección
que sesgaron hacia abajo la participación en el programa, hacia los grupos más
pobres de los pobres, de modo que el impacto se focalizó en la distribución
inferior del ingreso de este grupo.
CUARTA sesión
• Conclusiones de los impactos de corto plazo
• Se logró un diseño metodológico bastante equilibrado para la evaluación,

a pesar de los enormes problemas de la implementación del programa: la
no aleatoriedad en la selección de beneficiarios y las demoras que hubo
en la fase inicial, especialmente en la iniciación de las obras.
• Los beneficiarios son en su mayoría hombres adultos, aunque se encuentra

un número importante de mujeres y jóvenes.
• Se hallaron impactos importantes sobre la oferta laboral (36%), el ingreso

laboral (32%) y el consumo (9%).
• Las mujeres y los jóvenes parecen haberse beneficiado más de participar

en el programa que los adultos hombres.
• No se evidencian efectos de sustitución de las fuerzas laborales de otros

miembros del hogar, ni efectos sobre las transferencias.
• Focalización
Otro tema importante es el de la focalización. ¿Por qué? Porque uno de los

atributos de este tipo de programa fue poder llegar a los más pobres de los
pobres. El programa tuvo dos mecanismos de focalización muy claros en su
diseño. Uno de ellos fue focalizarlo en personas de Sisbén 1 y 2, y el otro 193
fijar un salario bajo muy cercano al mínimo, pero solo en jornadas de medio

tiempo para no competir con otros empleos alternativos de las personas.
Los resultados de esto son que el 80% de los hogares beneficiarios fueron
efectivamente personas por debajo de la línea de pobreza y 30% por debajo
de la línea de indigencia. Entonces, el hecho de efectivamente dar oportunidad
a estas personas es uno de los logros de Empleo en Acción.
• Decisiones para aplicar a Empleo en Acción
Las decisiones para aplicar o postularse como candidato para trabajar en

Empleo en Acción, se analizaron con base en la muestra que tomamos en
las áreas de influencia del proyecto, donde unos participaron y otros no,
CUARTA sesión
unos fueron inscritos en el programa y otros no. Se encontró que tienen más
probabilidad o son más propensas a participar en el programa las personas que
tienen alguna educación, pero que no han alcanzado el nivel de secundaria,
y personas que han realizado algún entrenamiento en el pasado. Esto es
importante porque indica que individuos con más motivación dentro de los
pobres fueron los que se presentaron al programa, hombres y jefes de hogar,
individuos clave para sus hogares. Son personas que trabajaron menos horas y
ganaron menos dinero en 2001, y que esperan hacia el futuro un ingreso más
bajo. Es decir, realmente era gente con menos oportunidades en el mercado
de trabajo y más pobres, con menos oportunidades de ingresos laborales y
con más motivación.
• ¿Qué sigue en la evaluación?: segundo seguimiento
Lo que sigue es evaluar el grado de sostenibilidad de los beneficios después

de la terminación del programa. Es decir, es muy importante verificar si hay
beneficios más allá de los efectos puramente de corto plazo. Eso se tratará de
observar seis meses después de terminar el programa. Entonces las preguntas
hacia el futuro son: ¿produce el programa beneficios sostenibles a los hogares
en términos de consumo, salud infantil, etc.?, ¿incrementa la empleabilidad e
inserción al mercado laboral?
Por otro lado, está la pregunta: ¿cómo afectó el programa a las comunidades
locales? Hasta ahora no hemos dicho nada de eso, pero se tendrá una batería
importante de datos recolectados para este fin. Se quiere saber si existen
beneficios económicos de las obras, es decir, tratar de hacer una evaluación
194
de la utilidad de esas obras para las comunidades.
CUARTA sesión
Cupones en escuelas privadas en

Colombia: impactos de corto y largo
plazo del programa PACES 71
Eric Bettinger∗
72
A l empezar el programa PACES en 1991 – 1992, el Gobierno lo

consideraba como una solución a un problema particular que tenía
la educación nacional: muchos estudiantes, especialmente los más
pobres, asistían a la escuela primaria pero no a la escuela secundaria. Como
se muestra en la tabla 1, en la columna de la mitad, entre la población
perteneciente al quintil más pobre del país, el 78% de los niños asistían a
escuela primaria, mientras que solamente el 55% asistía a escuela secundaria.
De esta manera, la meta de PACES era mejorar esta situación haciendo que
los estudiantes asistieran con más frecuencia a la escuela secundaria. En esa
época, muchas de las escuelas públicas en Colombia tenían dos o tres jornadas
diarias, así que se pensó en usar algo de la capacidad de acceso del sector
privado, ofreciendo una especie de beca o cupones para que los estudiantes
pudieran pagar por sus matriculas.
Tabla1 • Tasas de Matriculas en Colombia, 1993

Quintil más Quintil más
Tasa Global
pobre rico
Matriculas grados 1a 5 /
195
89% 78% 97%

Edad de la población 6-11 SEMINARIO INTERNACIONAL
años
Matriculas grados 6 a 11/
Edad de la población 12-18 55% 89%
75%
años
Matriculas universidad/
Edad de la población 19-24 30% 12% 51%
años
Fuente: Sanchez and Mendes, 1995
71
Trabajo conjunto con Joshua Angrist (MIT), Michael Kremer (Harvard), Elizabeth King (WB), and
Erik Bloom (ADB)
* Departamento de Economía, Case Western Reserve University y National Bureau of Economic
Research
72
Programa de Ampliación de Cobertura de la Educación Secundaria (PACES).
CUARTA sesión
Nuevamente, el objetivo del programa PACES era ayudar a los estudiantes a

llegar a la escuela secundaria. Estaba enfocado a estudiantes que estuvieran
terminando el quinto grado y entrando a sexto grado, y que pertenecieran
al Sisbén 1 o 2, es decir, los estudiantes más pobres. Había dos reglas muy
interesantes concernientes al programa, y hablaré más a profundidad en el
transcurso de la presentación. La primera era que los cupones debían ser
renovados anualmente siempre y cuando el estudiante beneficiado aprobara
el curso. Si perdía el curso, perdía el cupón. Esto le generaba mucha presión a
los estudiantes, ya que sabían que estaban asistiendo a una buena escuela o al
menos a una mejor a la que hubieran podido asistir sin la ayuda del cupón. La
segunda regla era que los cupones se asignaban al azar, en una lotería, cuando
la demanda excedía la oferta. Esto era bueno ya que la lotería nos daba cierto
tipo de aleatoriedad, la cual usamos más adelante como base para crear los
grupos de control y los grupos de tratamiento. Finalmente, en términos de
alcance, el programa PACES era grande: 216 municipios participaron y cerca
de 125.000 estudiantes recibieron cupones de algún tipo durante un período
de siete a ocho años.
• Metodología de investigación
Respecto a esta asignación aleatoria a través de la lotería, algo particular y que

fue muy bueno, fue que nosotros no tuvimos que pedirles a los beneficiarios
que lo hicieran. No había ninguna preocupación ética en darles el cupón a
unos y no a otros. Había tantas personas que querían tomar uno de estos
cupones, que decidieron que la lotería era la manera más justa de asignarlos
para darles la misma oportunidad a todos.
196
Así que en términos de nuestros métodos de investigación, la aleatoriedad

generada por esta lotería facilitó las comparaciones, ya que los que aplicaron sin
éxito a la lotería (perdedores de cupones o grupos de control) fueron un buen
punto de comparación con los ganadores de la lotería (ganadores de cupones
o grupos de tratamiento). Esto nos trae de vuelta a uno de los temas en este
seminario:¿qué tan validas pueden ser las evaluaciones? ¿Qué tan irrefutable
73
es la evidencia? Como lo dijo en su presentación François Bourguignon , la
aleatoriedad fue el criterio dorado en metodologías de investigación, fue lo
73
Ver: Pobreza y evaluación de políticas públicas: enfoques y alternativa, François Bourguignon
(Vicepresidente Senior y Economista en Jefe del Banco Mundial)
CUARTA sesión
mejor que podíamos hacer, y tal vez nos daría las mejores soluciones. Así que,
usando la lotería, esperamos obtener las mejores evidencias disponibles para
el proyecto de los cupones.
Otro elemento que es muy bueno de la aleatoriedad es que es un método
muy simple. Dado el hecho de que estos grupos deben parecer iguales en
promedio cuando el programa empieza, simplemente podemos comparar a
los estudiantes que no ganaron en la lotería con los estudiantes que si ganaron,
y esto debería decirnos cuál fue el impacto del programa.
• Fuentes de datos
Les voy a presentar dos fuentes de datos: una encuesta de MIT, y documentos
administrativos del ICFES.
Encuesta de MIT: esta fue una encuesta que hicimos cuando yo estaba en
MIT; la hicimos entre 1998 y 1999, cerca de tres o cuatro años después de
empezar a implementar los cupones. Los estudiantes que habían recibido
cupones, para ese momento deberían haber completado el octavo grado.
Hicimos varias cohortes diferentes por todo el país, pero hoy me centraré en
los resultados de los estudiantes que aplicaron a cupón en 1995; había 4.044
estudiantes aplicantes, y de éstos, 2.378 habían resultado ganadores en la
lotería. Finalmente encuestamos a 1.174 de estos estudiantes, a los cuales les
hicimos seguimiento, fuimos a sus casas y tratamos de localizarlos de alguna
forma.
Documentos administrativos del ICFES: la segunda fuente de información

eran los documentos del ICFES. Para aplicar a PACES los estudiantes debían 197

dar su número de identificación. Luego, nosotros tuvimos la posibilidad de
obtener esos números del ICFES y preguntarle a este instituto si se podían
combinar los documentos de estudiantes aplicantes a PACES y los listados
del ICFES si hubieren presentado este examen. El resultado obtenido fue que
había relación con 3.661 estudiantes que habían presentado el ICFES entre
1999-2001, así que tuvimos la oportunidad de saber cuál fue su desempeño
en el examen del ICFES o a cualquier información que tuvieran sobre estos
estudiantes.
Quiero volver nuevamente a una de las primeras charlas dadas en este

seminario, que era sobre la información, sobres su valor y su costo. Cuando
CUARTA sesión
hicimos la encuesta de MIT, solo encontramos 1.176 de estos estudiantes

y fue una encuesta extremadamente costosa. Tuvimos que pagarle a los
encuestadores para que fueran a los barrios de los estudiantes, para que los
buscaran y estuvieran un tiempo con ellos; este fue un esfuerzo demasiado
costoso. Por otro lado, los documentos del ICFES no fueron tan costosos
ya que era información que estaba disponible. Finalmente, después de
encontrar varios contactos y tener varias conversaciones, hicimos un acuerdo
con el ICFES para poder relacionar esta información de manera anónima.
Lo bueno es que el costo de esta información con esta segunda fuente fue
extremadamente barato. Aún más, personalmente creo que la evidencia de
esta fuente fue más concluyente en relación a lo que fueron los efectos del
programa.
• Características de los aplicantes a cupones encuestados
Lo siguiente es para darles una idea de cómo fueron los resultados de la

observación de estos estudiantes en nuestra encuesta:
• Ellos tenían cerca de 15 años de edad en promedio en 1998;

• cerca del 84% de ellos se mantenían en las escuelas;
• cerca del 91% de ellos empezaron el sexto grado en escuelas privadas, lo
que incluía estudiantes que habían perdido la lotería;
• casi 60% de los estudiantes habían ganado cupones; y
• cerca del 30 o 35% de ellos habían después presentado el examen del
ICFES.
198 • Aleatoriedad de la lotería

Mencioné que íbamos a comparar los ganadores de la lotería con los

perdedores, así que una de las formas en que se podía verificar la aleatoriedad
era comparando las características de los estudiantes que ganaron contra los
que no. Por ejemplo, para aplicar a PACES los estudiantes debían reportar si
tenían teléfono en su casa, y casi todos los estudiantes que estaban en nuestra
muestra tenían teléfono. Además había igualdad en cuanto a género masculino
y femenino, había algunas pequeñas diferencias en cuanto a edad, y la mayoría
tenía una identificación válida o tarjeta de identidad. En esta identificación hay
un algoritmo que permite chequear la validez del número y ver si realmente
es una tarjeta de identidad o si alguien la confunde con algún otro número.
CUARTA sesión
• Encuesta MIT: Resultados claves de la encuesta después de

tres años
El primer resultado clave es sobre la asistencia a escuelas privadas. Encontramos

que los ganadores de cupones tenían más probabilidad de asistir a la escuela
privada. Entre los ganadores de cupones (aplicantes que ganaron la lotería),
el 70% estaban en escuelas privadas después de tres años o tres y medio,
mientras que solo el 54% de los estudiantes que perdieron la aplicación
(estudiantes que perdieron la lotería) estaban asistiendo a escuelas privadas.
Así que en primer lugar, observamos un gran efecto en esto.
En segundo lugar, algo interesante que encontramos fue en la repetición de

cursos. Encontramos que los ganadores de cupones tenían menos probabilidad
a repetir cursos. De éstos solo el 16% de las veces repetían, mientras que los
perdedores, usados como grupo de control, repetían el 22% de las veces;
esta diferencia es estadísticamente significativa.
Respecto a los años completados de la escuela, encontramos que los ganadores

de cupones habían completado más años. Una de las cosas que nos preocupó
un poco, era si la baja repetición de cursos se debía a que los rectores de los
colegios querían promover o pasar a sus estudiantes para mantener el flujo de
dinero. Recordemos que si un estudiante no pasaba el grado, ellos perdían el
cupón, y por consiguiente, los colegios no recibían el dinero. Para aclarar esto,
nosotros realizamos un examen estandarizado a muchos de los estudiantes,
y encontramos que los ganadores de cupones sacaban mejores resultados,
tanto como un grado superior a los perdedores de cupones.
Entre algunas otras cosas, les preguntamos a los estudiantes si vivían con alguien, 199
si se habían casado o si estaban viviendo con un compañero o compañera
permanente. Sobre esto encontramos que los ganadores de cupones tenían
menos probabilidad de estar en estos tipos de relaciones a la edad de 15
o 16 años, especialmente entre las mujeres. Además encontramos que los
ganadores de cupones que llegaban a graduarse trabajaban menos horas en el
mercado laboral.
• Información del ICFES
Hablé anteriormente sobre la información del ICFES y cómo pienso que están
en un nivel superior, pero algo que no dije era que aunque la información estaba
disponible, tuvimos algunos problemas. Muchos estudiantes que reportaron
CUARTA sesión
su tarjeta de identidad o identificación habían mezclado uno de los números,

o habían reportado el de su hermano, o hermana o amigo, pero no el de ellos,
y en algunos casos las identificaciones se habían actualizado. Así que, lo que
hicimos fue relacionar la identificación de aquellos que habían presentado el
ICFES con diferentes posibilidades: solo el número de identificación, número
de identificación y ciudad, número de identificación y nombre completo. De
esta manera, se pudo relacionar el 35% con solo el número de identificación
y cerca de 20 a 25% con número de identificación y el nombre completo.
• Resultados claves de la información del ICFES después de seis

años
En esta parte es donde, desde mi punto de vista, están los resultados más
interesantes.
Cerca de 35% de los estudiantes de PACES presentaron el examen del ICFES.

Hubo un punto de efecto de 7 puntos porcentuales, es decir, una probabilidad
cercana al 20% de que los ganadores de cupón presentaran el examen del
ICFES.
Ahora, hemos tenido algo de debate en cuanto a si el ICFES es realmente un

indicador de estudios secundarios terminados, ya que el 90% de los estudiantes
en Colombia realizan este examen, o si éste es un indicador para medir la
asistencia a los estudios superiores. Pero más allá de esto, lo que se tiene aquí
es que los estudiantes ganadores de cupones tienen cerca del 20% más de
probabilidad de completar los estudios secundarios. Nosotros ensayamos las
200
diferentes posibilidades de relación que mencioné anteriormente, y cada una
de ellas arrojó un resultado similar.
• Los ganadores de cupón obtienen mayores resultados en el

examen
Es difícil comparar los resultados de los exámenes, y este es uno de los

momentos en los que la aleatoriedad se dificulta un poco; ésta ayuda pero
no resuelve los problemas, ya que el cupón afectó la probabilidad de tomar
el examen, y tal vez afectó la probabilidad de los estudiantes que no eran
buenos, es decir, estudiantes que sin el cupón no hubieran tomado el examen,
o lo hubieran tomado pero no se hubieran destacado en él.
CUARTA sesión
Así que, sabemos que los ganadores de cupón tienen más probabilidad de
tomar el examen; además sabemos que hay algunos ganadores de cupones
que no hubieran tomado el examen sin el cupón, pero lo hicieron y tienen
probabilidad de obtener resultados bajos. Por esto, cuando se le da una primera
mirada a los resultados, el promedio de los resultados de los ganadores de
cupones deben ser sesgados de forma descendente por estos estudiantes.
El siguiente gráfico (Gráfico 2) muestra los resultados de los ganadores y

perdedores de cupones en el componente lenguaje del examen del ICFES. Si
se observan estas dos distribuciones, se puede ver que están unos encima de
otros. Pero nuevamente, el problema es que la distribución de los ganadores
de cupón tiene estos estudiantes adicionales que no obtuvieron buenos
resultados, es decir alumnos que tomaron el ICFES pero que no lo hubieran
tomado si no fuera por los cupones. Estos estudiantes están en rojo en el
gráfico.
Gráfico 2 • Resultados de lenguaje en el examen del ICFES

Comparación sesgada
Voucher Winners Voucher Losers
.1
.075
Voucher 201
.05 Winners

who Would
not have
t k
.025
0
25 35 45 55 65
score
Fuente: ICFES
CUARTA sesión
Ahora, si nos deshacemos de estos estudiantes marcados en rojo, si eliminamos

el sesgo y comparamos las distribuciones, el gráfico se ve muy diferente (ver
gráfico 3). De esta manera se puede observar que los ganadores de cupón
obtienen los más altos resultados. Comparando los resultados de estos
dos grupos, se puede ver como los ganadores de cupón obtienen mejores
resultados a lo largo de cualquier punto de la distribución.
Gráfico 3 • Resultados de lenguaje en el examen del ICFES

Comparación no sesgada
Voucher Winners Voucher Losers
.1
.075
.05
.025
0
25 35 45 55 65
score
Fuente: ICFES
• ¿Qué se encontró finalmente al usar los resultados del

202 ICFES?
• Encontramos que los ganadores de cupones obtuvieron en promedio

mejores resultados, después de controlar los sesgos.
• Encontramos que los mejores estudiantes entre el grupo de ganadores
de cupones, obtuvieron mejores resultados que los mejores estudiantes
del grupo de perdedores de cupones.
• Estos resultados fueron bastante significativos para un gran número
de diferentes métodos que ensayamos (métodos paramétricos y no
paramétricos)
CUARTA sesión
• ¿Cómo afectan los cupones a los estudiantes?
Esto es algo que estamos estudiando en este momento. Intentamos entender

por qué esta pasando esto y cuál es la causa de estos resultados. En este sentido,
presentaré brevemente dos teorías que hemos explorado: la primera, explica
los mejores resultados como consecuencia de una mayor homogeneidad entre
los ganadores de cupones; y la segunda, explora los efectos de los incentivos
a realizar un mayor esfuerzo.
Teoría 1: Mayor homogeneidad. Esta es la solución más popular en artículos

académicos, y fue la solución propuesta para los resultados del sistema de
cupones chileno. Sin embargo, no parece así en el caso colombiano. Este
asume que los estudiantes que ganaron el cupón son más homogéneos. Pero
en PACES, encontramos que los efectos del cupón son más grandes en escuelas
vocacionales. Los ganadores de cupones que aplicaban y habían sido aceptados
en escuelas vocacionales antes de la lotería, tenían una mayor probabilidad de
presentar el examen del ICFES. Aún mas, si habían aplicado a una escuela
vocacional y no habían sido admitidos, probablemente irían a una escuela
académica. Además encontramos que los perdedores de cupones asistían a
una escuela académica. De hecho, si se toman los resultados del ICFES por
escuela, pareciera como si los ganadores de cupones hubieran asistido a las
peores escuelas y que tuvieran menor homogeneidad que los perdedores de
cupones, al menos aquellos que aplicaron a escuelas vocacionales. Así que, en
este caso, la mayor homogeneidad no es la respuesta.
Teoría 2: Efectos de los incentivos. Esta es nuestra explicación favorita: los

ganadores de cupón se esfuerzan mucho más. Esto nos lleva nuevamente a 203

una de las reglas que comenté al principio: los ganadores de cupones tienen
que pasar los cursos satisfactoriamente para poder mantener el subsidio o
cupón. Así, esta regla funciona como un incentivo para que los estudiantes
se esfuercen más. Adicionalmente a esto, sabemos que hay menos actividad
laboral en este grupo. De hecho, lo que resulta interesante es que todos los
coautores de documentos que apoyaron esta presentación, empezamos a
observar programas que estuvieran dando dinero a estudiantes que obtuvieran
buenos resultados en sus exámenes o que tuvieran un buen desempeño
académico. Esa es como la segunda fase para analizar qué tan fuertes pueden
ser estos incentivos.
CUARTA sesión
• Costo efectividad del programa
En términos del análisis costo – beneficio, pudimos calcular qué tanto le

dieron los cupones a los estudiantes; y además pudimos calcular si las escuelas
a las que asistían los estudiantes eran más costosas, y de hecho lo eran. Esto
significa que observamos la diferencia entre el valor del cupón y el costo de
las escuelas a las que asistían, teniendo en cuenta que una parte de este dinero
provenía de los bolsillos de sus padres que pagaron una parte de este valor.
Lo que encontramos fue que al año:
• El Gobierno estaba gastando US$24 más por cada ganador de cupón al

situarlo en escuela privada.
• Los hogares estaban gastando US$19 más en educación por cada ganador
de cupón que asistía a la escuela.
Ahora, esto es como US$43 al año en total, y si se multiplica esto por tres años
se llega a US$129. Pero nosotros tomamos un estimativo más conservador,
considerando que muchos de los estudiantes dejaron de usar el cupón para
que nuestros números hubieran sido menores; así que usamos US$195 como
nuestro estimativo. Ese era el costo por estudiante después de tres años, y
después de tres años más los estudiantes en el programa hubieran completado
más escolaridad. De esta manera, tomando algunas regresiones de un salario
simple buscando cuál podría ser el efecto de un año de escolaridad adicional,
se pudo determinar que un año adicional de escolaridad para el alumno
204 representan un incremento anual en su salario cercano a US$300 durante
el resto de su vida. Así que, después de tres años del programa el costo era
US$195 y el beneficio de US$300 adicionales por cada año de trabajo de

tiempo completo. Y lo anterior teniendo en cuenta que no hicimos el análisis
costo beneficio del ICFES y de la terminación de estudios universitarios.
• Conclusiones
• Los estudiantes beneficiados con el cupón eran académicamente mejores

en el corto plazo: tenían mayor nivel de terminación de cursos, menos
repetición de grados y mejores resultados en los exámenes.
CUARTA sesión
• Los estudiantes con cupón tenían mayor probabilidad de terminar la

secundaria en el largo plazo: tenían mayor probabilidad de presentar el
examen del ICFES, obtenían mejores resultados en esta prueba y aún en
escuelas vocacionales los efectos eran mayores.
• En el costo efectividad, encontramos que realmente era un programa

costo efectivo: el incremento del gasto (estimado en US$195 después de
tres años), era mucho menor que el incremento estimado de los salarios
en el futuro (US$300 al año de por vida).
Quiero comentar un último punto para conectar estas conclusiones con

algunos de los otros temas tratados en este seminario. Es una de las partes
tristes de esta evaluación. El programa PACES funcionó entre 1992 y 1997,
y el último cohorte en Bogotá fue en 1997. El programa fue cancelado poco
tiempo después, y solo fue hasta el año 2000 y 2004 que pudimos demostrar
la evidencia y efectividad del programa.
Por eso, esta es una de las precauciones en las que debemos pensar. Muchas
veces, hay programas que tienen un efecto en el corto plazo, pero si les
damos la oportunidad de demostrar los efectos que pueden tener en el largo
plazo, podríamos demostrar que ambas son costo efectivas y efectivas en
términos de resultados a futuro. El caso de PACES es uno de esos programas
que siendo muy efectivo fue cancelado debido a la falta de información y a la
recolección de información a destiempo.
205

CUARTA sesión
Red de Apoyo Social: comentarios

sobre la evaluación de corto plazo
Alberto Abadie∗
E s un placer ver una sala tan llena de gente interesada en estos temas de
evaluación de programas públicos. Antes de empezar quiero señalar
algunas ideas de las dos presentaciones anteriores .
74
La primera es que existe evidencia clara de que Hogares Comunitarios tiene

impactos positivos de corto plazo en nutrición y de largo plazo en capital
humano, y que Familias en Acción tiene efectos positivos en el corto plazo en
nutrición y asistencia escolar, pero no sabemos si eso permanece en el tiempo.
Creo entonces que es evidente que se deben hacer evaluaciones de costo –
beneficio. Como Orazio Atanasio mencionó en su presentación, efectivamente
eso es cierto, pero se debe tener cuidado pues puede haber efectos de largo
plazo, y, además, no se puede extrapolar los resultados a las ciudades. Por
otro lado, sabemos que en Empleo en Acción hay auto focalización, que hay
una cobertura baja, y que el programa tiene efectos positivos de corto plazo
en horas trabajadas y en oferta, en ingresos y pobreza.
A continuación, voy a hablar un poco sobre los dos programas de la Red de

206 Apoyo Social, Familias en Acción y Empleo en Acción, y también un poco
sobre Hogares Comunitarios. Voy a hablar menos sobre Familias en Acción
que sobre Empleo en Acción, no porque sea menos interesante, sino porque
tengo menos información sobre esta población. Así que lo que voy a hacer en
esta presentación es simplemente describir de forma muy breve el contenido
de la evaluación, los resultados, y tras ello hacer unos breves comentarios y
sugerencias.
* Harvard University y NBER (National Bureau of Economic Research)

74
Ver: Evaluación de Familias en Acción y Hogares Comunitarios, Orazio Attanasio (Instituto de
Estudios Fiscales, Londres) y Evaluación de impactos de corto plazo del programa Empleo en Acción,
Álvaro Reyes (Econometría Consultores S.A.).
CUARTA sesión
• Familias en Acción
Este programa pretende mejorar la nutrición, salud y educación de menores

de 7 años en familias de bajos ingresos. Para llevar a cabo la evaluación se
comparan familias en municipios que son beneficiarios y no beneficiarios y se
utilizan ciertos métodos estadísticos para ajustar diferencias ex - ante entre estos
municipios. En particular se utiliza algo que se llama diferencias en diferencias.
En la evaluación se presta especial atención a la comparación del impacto
entre Familias en Acción y el programa preexistente Hogares Comunitarios.
Además, se presentan resultados para zonas rurales y urbanas.
¿Cuáles son los resultados?
Se observa un impacto positivo grande y significativo sobre la alimentación

infantil, y un impacto positivo sobre el gasto en ropa y educación para los
niños. No hay evidencia de transferencia de recursos o de sustitución, lo
75
cual siempre son buenas noticias, incluso sorprendentes . Hay un impacto
positivo sobre la salud, también sobre la asistencia escolar en niños mayores,
y un poco como contrapartida positiva, se ha reducido el trabajo infantil.
• Comentarios
Todo o casi todo lo que podemos ver en esta evaluación es positivo, significativo
y de una magnitud importante. Decía Orazio Atanasio que los efectos estimados
sobre consumo que son de un 15%, no son sorprendentes, pero creo que él
ha sido demasiado humilde en esa aseveración; sabemos que muchas veces
todo lo que puede ir mal va mal, y que muchas veces hay transferencias de
207
recursos. Así que creo que si son muy buenas noticias que haya un efecto

sobre el ingreso del 15%. No sólo eso es lo que es incluso más sorprendente,
además parece darse un efecto sobre el desarrollo antropométrico, incluso a
corto plazo. Estas son también excelentes noticias.
Poniendo este trabajo en el contexto más amplio de otras evaluaciones que se

han hecho, hoy en día hay todo un debate en torno a las siguientes preguntas:
¿cuándo debemos hacer las intervenciones?, ¿al principio del ciclo vital, como
Familias en Acción? o ¿debemos hacer la intervención más tarde en el ciclo
vital como en Empleo en Acción? En esta medida, los resultados que tenemos
75
No hay evidencia de que los gastos en ropa, alcohol o tabaco aumenten para adultos.
CUARTA sesión
de Hogares Comunitarios y de Familias en Acción, hasta cierto punto dan

evidencia a favor de la hipótesis de que las intervenciones tempranas en el
ciclo vital son muy efectivas.
• Hogares Comunitarios
Este es un programa que presta servicios de alimentación y cuidado de niños.

La evaluación es totalmente diferente a la de Familias en Acción, y utiliza
el método de variables instrumentales donde la distancia desde el domicilio
familiar al hogar comunitario más cercano es el instrumento que determina
la participación en el programa. Esto desde un punto de vista intuitivo, es
comparar las diferentes respuestas de las familias que viven cerca de los hogares
comunitarios y participan en el programa, con las diferentes respuestas de las
familias que viven lejos de estos y por lo tanto no participan. La evaluación
encuentra también un impacto positivo en las medidas antropométricas y de
asistencia escolar. Además, como es usual en todos los estudios que utilizan el
método de variables instrumentales, el instrumento es discutible.
En este caso, algo que viene a la mente es lo siguiente: la creación de un

hogar comunitario depende de que, por ejemplo, se cree antes una asociación
de padres. Entonces es posible que en comunidades donde se creen estas
asociaciones y los padres hagan un mayor esfuerzo en el cuidado y bienestar
de los niños, incluso en ausencia de hogares comunitarios los niños tengan
mejores resultados o mejores respuestas que en otras comunidades.
Como hemos visto, también los resultados de esta evaluación son bastante
208 positivos y amplios, y si existe este tipo de contaminación, ésta quizás tendería
a inflar un poco los resultados. Por esto sería conveniente llevar a cabo otro
tipo de análisis para ver si los resultados son robustos. Aunque no conozco la
encuesta, en este seminario se ha dicho que su calidad es muy alta. Entonces,
no se hasta que punto se podría pensar que la calidad de los datos es tan buena
que podríamos llevar a cabo un análisis de matching, para intentar validar el
análisis de variables instrumentales.
• Empleo en Acción
Este es un programa totalmente diferente a los anteriores, que se trata de

trabajos subsidiados en proyectos de infraestructura local. Originalmente
CUARTA sesión
se pretende implementar una evaluación aleatoria pero las cosas van mal,
hay dificultades en la implementación, y al final la asignación al programa no
es aleatoria, al menos no en todos los casos. Otra contrariedad, es que en
ciertos casos la encuesta de línea de base se produce después de iniciadas las
obras, así que algunas de las variables medidas en ese momento pueden estar
afectadas por el programa. La técnica de evaluación combina diferencias en
diferencias y variables instrumentales, lo cual es similar a lo que se ha hecho en
Familias en Acción, donde se combina diferencias en diferencias con métodos
de matching.
• Resultados
Los resultados obtenidos son que se rechaza la aleatoriedad en la selección

de beneficiarios incluso en los casos en los que hubo sorteo. Esto es bastante
sorprendente y tengo curiosidad de saber por qué se da este resultado. Sin
embargo, hay diferencias de base en medidas relacionadas con la salud entre
potenciales beneficiarios y no beneficiarios, pero las diferencias de base antes
del programa en las variables de respuesta son relativamente escasas. Por lo
menos esa es mi interpretación de los resultados. Finalmente, la evaluación
encuentra que hay efectos positivos en horas trabajadas, ingresos laborales y
consumo.
• Comentarios
Algo que me gustaría saber es bajo qué condiciones es valido el estimador

elegido. Hay bastante trabajo teórico hecho sobre combinar por ejemplo
209
diferencias en diferencias y matching, pero lo he visto menos sobre diferencias

en diferencias y variables instrumentales, que es el caso de Empleo en Acción.
Me gustaría saber qué condiciones específicas se tienen en mente para hacer
este tipo de análisis.
En particular, una cosa que me da mucha curiosidad es saber cual es el impacto

de tomar diferencias en la variable respuesta, a diferencia de condicionar
en los valores pasados de la variable respuesta. Me gustaría saber cuales
son los criterios que tenemos para decidir hacer una cosa o hacer la otra.
Honestamente tampoco los tengo muy claros. Hay un par de ejemplos pero
no sé de un resultado general.
CUARTA sesión
También dado que las diferencias iniciales entre beneficiarios y no beneficiarios

son escasas, es posible que tomar diferencias en la variable respuesta no
afecte mucho los resultados. Esto porque en un estimador sin otras variables,
lo que se tendría básicamente sería: el cambio en la variable respuesta
para los beneficiarios, menos el cambio en la variable respuesta para los no
beneficiarios, dividido entre algo que no sabemos. Así, si la diferencia en el
primer periodo es pequeña es posible que tomar las diferencias en diferencias
desde las variables instrumentales no cambie mucho los resultados; pero claro,
eso no lo sabemos hasta que hagamos este análisis.
Como ha dicho el señor Álvaro Reyes en su presentación, es muy interesante

conocer los efectos de largo plazo porque Empleo en Acción es un programa
transitorio. Es claro para todos que el efecto transitorio tiene que estar ahí,
pero va a ser muy interesante saber cual es el efecto de largo plazo. Esto
es importante también para otro asunto que se ha hablado aquí en este
seminario, que es el análisis de costo – beneficio. Es muy difícil saber cual es
el beneficio, si no sabemos hasta donde extrapolar el impacto del programa
hacia el futuro.
Una cosa que me gustaría recalcar es que la descentralización, que tendemos

a pensar que siempre es una cualidad positiva, en una evaluación aleatoria
puede no serlo. Esto lo vemos quizás en Empleo en Acción y quizás en otras
evaluaciones, en donde sí hay el plan de hacer una selección aleatoria. Sin
embargo, cuando esta selección aleatoria solo se hace a nivel local conocemos
muchos casos de fraude. Una persona que yo conozco decía que localmente
se puede decidir quien va a ir al programa tirando una moneda al aire, pero
210 lo que no sabemos es cuántas veces se ha tirado efectivamente la moneda al
aire. En algunos programas en EE.UU. lo que se ha hecho es poner un número

76
telefónico central; por ejemplo en programas de JTPA era un número de
teléfono en Washington, y cuando llegaba un solicitante a inscribirse en el
programa, localmente se llamaba a ese número y desde ese número se daba
la asignación aleatoria a ese aplicante. Esto es algo que es interesante tenerlo
en cuenta para el futuro.
76
Job Training Partnership Act (Acta de Co-participación en Capacitación Laboral).
CUARTA sesión
• Alternativas a mínimos cuadrados en dos etapas (MC2E)
En general, cuando a alguien se le pide que discuta el trabajo de otra persona,

hay pocos investigadores que se resisten a la tentación de intentar relacionar
este trabajo con el suyo propio. He descubierto en los últimos días que yo no
soy uno de ellos. Así que voy a usar un par de minutos para contar qué otras
cosas se podrían hacer con estos datos que son variables instrumentales, pero
que no son mínimos cuadrados en dos etapas MC2E.
La motivación es que se ha demostrado que en un modelo con covariables,

si los efectos del tratamiento son heterogéneos, es decir si el efecto del
tratamiento no es el mismo para todos los individuos en nuestra muestra,
que es algo que se espera, entonces el método de mínimos cuadrados en dos
etapas (MC2E) no va a estimar en general un efecto medio del tratamiento.
Lo estimará cuando el efecto medio del tratamiento, por ejemplo, sea común
a todos los individuos. Entonces, lo que podemos hacer en las evaluaciones
es utilizar el método de mínimos cuadrados ordinarios (MCO), ponderados con
pesos:
(1 – P) B P (1 – B)
K=1-
Pr (B = 1 | X) PrPr(B(B==0 0| X)
| X)
Esto nos va a permitir estimar un efecto medio del tratamiento, para aquellos 211
individuos que están afectados por la existencia del programa, y va a permitir

a la vez que los efectos del programa varíen de individuo a individuo.
• Evaluación de impacto de las evaluaciones de impacto
Quiero concluir con algo que voy a llamar ‘evaluación de impacto de las
evaluaciones de impacto’. Creo que en el futuro esto va a ser un campo
bastante interesante. Porque nos dedicamos a producir evaluaciones, todos
en esta sala estamos bastante interesados en esto, pero otra cosa que nos
interesaría es que estas evaluaciones fueran influyentes. Es decir, primero
queremos que sean buenas, y luego que sean influyentes en la toma de
decisiones y en el diseño de la política pública. Hay ciertos investigadores
CUARTA sesión
que son bastante pesimistas en este sentido y la verdad es que tienen ciertas
razones para serlo. Por ejemplo, mi colega Lant Pritchett, piensa que el tema
de hacerle caso a las evaluaciones tiene más relación con juegos políticos, que
con cosas relevantes desde el punto de vista científico y desde el punto de
77
vista del bienestar social .
Sin embargo, yo quiero dejar aquí un rayo de esperanza mostrándoles al menos

un ejemplo de un caso, en que una evaluación fue convincente y fue muy
importante en el diseño de una política pública. Es un caso bastante conocido,
se trata del estudio de los programas de JTPA en los EE.UU. Estos programas,
proveían formación profesional a trabajadores con dificultades de acceso al
mercado de trabajo, durante las décadas 80 y 90; pero ahora se cancelaron
después de la reforma del Estado de Bienestar o ‘Welfare State’. Además, se
evaluaron mediante una asignación aleatoria, y más aún, se crearon bajo el
mandato de ser evaluados mediante una asignación aleatoria. Que yo sepa, es
el estudio aleatorio más grande que se ha hecho en EEUU en ciencias sociales,
y sus resultados fueron publicados en 1994.
Tenemos en la Tabla 1, el impacto de la formación de estos programas JTPA

sobre los ingresos laborales. En la columna uno está el grupo de tratamiento,
en la columna dos el grupo de control, y en la última la diferencia entre estos
dos grupos. Vemos que las mujeres adultas en el grupo de tratamiento tuvieron
ingresos más altos, y además significativamente más altos que para el grupo
de control. Para los varones adultos los resultados fueron también positivos
pero en menor magnitud. Entonces, fue en general positivo lo que pasó para
adultos. Por otro lado, tenemos lo que pasó para los jóvenes. En las mujeres
212 jóvenes vemos que básicamente no hay diferencia, no es significativa, y para
los varones sin historial de arrestos es negativa, y tampoco es significativa. En

síntesis, tenemos un efecto positivo para adultos, sobre todo para mujeres
como en el programa de Empleo en Acción.
77
Referencia a Lant Pritchett.
CUARTA sesión
Tabla 1 • Impacto de la formación JTPA sobre los ingresos laborales

Ingresos totales durante los 30 meses posteriores a la asignación aleatoria
(1)Grupo de Diferencia
(2) Grupo de control
tratamiento 1-2
Adultos
Mujeres 13. 417 12. 241 1. 176***
Varones 19. 474 18. 496 978*
Jóvenes
Mujeres 10. 241 10. 106 135
Varones
15. 786 16. 375 -589
Sin historial de arresto
Valores en US$
*** Significativo al 1%
* Significativos al 10%
Fuente: JTPA (1994)
Les recuerdo que estos datos de evaluación se publicaron en 1994. Entonces,

en la Tabla 2, podemos ver el número de cursos JTPA ofrecidos en Estados
Unidos. Para los adultos y jóvenes, antes y durante 1994 podemos ver la
tendencia, disminuyen un poco pero no mucho. Luego, vemos qué pasó
después de 1994 y encontramos que los cursos ofrecidos para adultos,
prácticamente se mantienen al principio y después disminuyen un poco; pero
el número de cursos ofrecidos para jóvenes, que es el grupo para el que la
evaluación había mostrado que no había resultados, disminuye drásticamente.
Esto ocurre, como se ve en nuestra evidencia anecdótica, por el efecto de
esta evaluación.
213

Tabla 2 • Número de cursos JTPA ofrecidos
Año Adultos Jóvenes

1993 1015 677
1994 988 609
1995 996 127
1996 850 127
1997 895 127
Fuente: JTPA
CUARTA sesión
• Conclusiones
Veamos por último cuales son las conclusiones según lo que he dicho. En
primer lugar, las estimaciones de corto plazo, tanto de Familias en Acción
como de Empleo en Acción, muestran unos resultados muy prometedores.
En algunos casos, para mi incluso, son sorprendentemente prometedores. Sin
embargo, debido a problemas en la implementación de los programas, como
hemos visto la evaluación no está exenta de dificultades.
Así, aunque los trabajos que hemos escuchado hoy me parecen a mí

extremadamente meritorios y los resultados parecen muy creíbles, a largo
plazo sería aconsejable hacer un análisis de robustez más amplio. Una forma
de hacer esto, sería asegurarnos de si los resultados son resistentes a otros
supuestos y maneras de estimar los efectos, que están en la literatura.
Finalmente, el rayo de esperanza que quería comentar, es que la experiencia

de los programas JTPA muestra que una evaluación convincente puede ser
pivotal en el diseño de la política pública. Esperemos que otros programas en
Colombia, y en otros países, sigan por esta línea; que no solo los investigadores
y las agencias gubernamentales dediquen recursos a la evaluación, sino que
también los resultados se tomen en cuenta en el diseño de la política pública.
214
CUARTA sesión
Evaluación de la calidad de la
educación básica en Colombia:
Pruebas Saber
Daniel Bogoya ∗
C omo puede verse en la Tabla 1, entre los años 1992 y 1994 se evaluaron
cerca de 70 mil estudiantes, mediante aplicaciones muestrales, en
las áreas de lenguaje y matemática. Después, entre los años 1997
y 1999, se realizaron por segunda vez estas pruebas en las mismas áreas a
una población un poco mayor. Se llegó a cerca de 200 mil estudiantes de los
grados 3º, 5º, 7º, y 9º.
A partir del año 2002 y terminando en el 2003, hemos hecho lo que se ha

denominado la línea de base en Colombia, mediante una evaluación censal.
Con esto se llegó al 100% de los niños que en el día de la aplicación estaban
presentes en el aula, cerca de 1,4 millones de estudiantes de 5º y 9º en las
áreas de lenguaje y matemática. Además, en el año 2003 hicimos evaluaciones
en ciencias naturales y competencias ciudadanas, a una población un poco
mayor que 1 millón de estudiantes de los mismos grados 5º y 9º.
Lo anterior hace parte de una estrategia de evaluación censal que se realizará 215

cada tres años. Esto significa que en lenguaje y matemática regresaremos en
el 2005, mientras que en ciencias naturales y competencias ciudadanas, de
nuevo en el 2006. La razón para evaluar de manera censal y no muestral, es
que el primero de estos métodos toca a todos los que participan, mientras
que la evaluación muestral no es asumida ni apropiada por quienes no hacen
parte de la muestra evaluada.
* Director General del ICFES

CUARTA sesión
Tabla 1 • Número de estudiantes evaluados con Pruebas Saber
Población por períodos

Grado Prueba
1992 - 94 1997 - 99 2002 - 03 2003
3º Lenguaje 21.751 50.179 239.821
3º Matemática 21.459 50.794 237.794
5º Ciencias Naturales 598.497
Competencias
5º 629.625
Ciudadanas
5º Lenguaje 22.224 48.418 672.829
5º Matemática 22.032 47.934 672.517
7º Lenguaje 12.845 48.888 111.578
7º Matemática 12.505 48.657 112.114
9º Ciencias Naturales 394.159
Competencias
9º 404.269
Ciudadanas
9º Lenguaje 14.013 45.981 357.895
9º Matemática 13.396 45.416 357.315
Totales 70.216 194.081 1.382.659 1.033.894
Fuente: ICFES
• ¿Para qué evaluar?
Estas son al menos cuatro grandes razones para evaluar:
• Para establecer un estado actual y conocer así la distancia existente entre

216 tal estado y el deber ser o referente.
• Para tener información robusta, plena y satisfactoria, que permita tomar
decisiones inteligentes o al menos informadas.

• Para cualificar el proceso educativo a partir de la información que surge
de la evaluación.
• Para construir un norte acerca de lo que debe ser la educación en
Colombia.
• De la nemotecnia a la competencia
Quiero advertir que estamos promoviendo un cambio de enfoque en el

tema de evaluación en Colombia. La evaluación en las décadas pasadas se
basaba principalmente en la nemotecnia, en la repetición mecánica de unas
CUARTA sesión
definiciones. Este es un ejemplo de los ítems con los que se evaluaba por
aquel entonces:
Don Quijote de la Mancha es la novela más importante del escritor Miguel

de Cervantes Saavedra y prácticamente la más importante de la literatura
española. Fue publicada en dos partes, las fechas de publicación fueron:
A. 1605 y 1672.
B. 1605 y 1615. *
C. 1609 y 1611.
D. ninguna de las anteriores.
Quien tuviera un almacén de datos y lo recordara, era premiado con el título

de sabio. Quien no recordara tales datos, era tildado inmediatamente como
una persona que no sabía. Ese enfoque ha sido superado y hoy nuestras
pruebas están centradas en un nuevo enfoque que hemos denominado el
enfoque de competencias.
El enfoque de competencias implica la puesta en escena de un saber; no basta

con declararlo, es necesario utilizarlo en una situación con algún nivel de
significación y para la solución de un problema. El que sigue, es un ítem que
podría ejemplificar cuál es el enfoque de competencias. Se trata de un texto
particular en el Quijote, sobre el cual se pregunta:
De acuerdo con lo planteado en el texto, la oposición entre gigantes y

molinos en el Quijote representa, más que la oposición entre locura y
cordura, el contraste entre: 217

A. la vida y la muerte.
B. el feudo y el burgo.
C. lo divino y lo humano.*
D. la mentira y la verdad.
Es decir, la persona ya no tiene porqué llevar un almacén de datos y ejercitar

la capacidad de recuperarlos, sino que tiene que dialogar desde su propia
enciclopedia, razonar con lo que un texto le ofrece e inferir una explicación.
CUARTA sesión
• ¿Qué se evalúa?
En lenguaje, se evalúa la capacidad de los estudiantes para comunicarse a

partir del dominio de unos códigos y unas reglas de uso de esos códigos. En
otras palabras, se evalúa el uso de sistemas lingüísticos y no lingüísticos en
la interpretación, comprensión, organización y producción argumentada de
actos de significación.
En matemática, se evalúa la capacidad de los estudiantes para manejar los

objetos y las reglas de uso de la matemática de manera comprensiva en
situaciones problemáticas particulares. Observamos la capacidad del estudiante
para interpretar un contexto, proponer una solución y argumentarla.
En ciencias naturales, igualmente se evalúa el uso y la capacidad de comunicar

nociones y conceptos básicos de estas ciencias de manera argumentada, así
como la capacidad de utilizar esa información en la solución de situaciones
problemáticas específicas.
En competencias ciudadanas, se evalúan conocimientos, actitudes y

disposiciones que hacen posible que el ciudadano respete y defienda los
derechos humanos, contribuya a la convivencia pacífica, participe responsable
y constructivamente en los procesos democráticos y contribuya a la mirada
plural de la sociedad y al respeto de las diferencias.
• Resultados de las Pruebas Saber

218
En el Gráfico 1 pueden verse algunos resultados interesantes. Se trata del
promedio en lenguaje para 5º contra PIB per Cápita. Debo aclarar que en el
eje horizontal hemos usado como tope 7 millones de pesos por persona al
año. Hemos cortado en esa cifra, omitiendo el caso de Casanare, que está
alrededor de 20 millones de pesos por persona año. Es un caso fuera de curva
que tal vez permite ilustrar alguna hipótesis.
CUARTA sesión
Gráfico 1 • Promedio en lenguaje para 5º Vs. PIB/Cápita
BOGOTÁ
63
61
Promedio
CALDAS SANTANDER
59 BOYACÁ
QUINDÍO COLOMBIA ANTIOQUIA
RISARALDA META
N. DE PUTUMAYO CUNDINAMARCA
NARIÑO SANTANDER CAQUETÁ HUILA VALLE
57 VICHADA
CAUCA
TOLIMA
MAGDALENA LA GUAJIRA ARAUCA
SUCRE CESAR
CÓRDOBA ATLÁNTICO SAN ANDRÉS
GUAVIARE
55 GUAINÍA BOLIVAR
AMAZONAS VAUPÉS
CHOCÓ
53
1 2 3 4 5 6 7
PIB/Cápita(millones de pesos)
Fuente: ICFES
Con frecuencia, una lectura que se hace de esta información es la que sigue.
Se traza una línea de tendencia, como se ve en el Gráfico 1, y luego se dice:
“los que están debajo de la línea (Vaupés o Atlántico, por ejemplo), tendrían
que acercarse a la media”. Primer gran sofisma: cuando los de debajo de la
línea se acerquen a ella, irremediablemente otros ocuparán este lugar y serán
ahora los que queden en la parte más baja, y de manera recurrente siempre 219

habrá una mitad a la que se le estigmatiza por estar debajo. Segundo gran
sofisma: por ejemplo, entre Valle y Antioquia, que tienen un PIB per cápita
similar, se dice que Valle debería acercarse a Antioquia en puntaje promedio.
Es decir, se hace una valoración según el PIB per cápita y se les reclama a los
que están debajo que por favor asciendan.
Otra posible lectura de los datos del Gráfico 1 (que coloca en evidencia el
segundo sofisma), se logra si nos detenemos en la diferenciación entre Norte de
Santander y Valle. Ambos departamentos tienen aproximadamente el mismo
promedio en el desempeño; sin embargo, Valle posee aproximadamente el
doble del PIB per cápita de Norte de Santander. En este caso, podríamos más
bien reclamarle a Norte de Santander que con ese saber que tiene, produzca
CUARTA sesión
lo que produce Valle, es decir, que salga de la zona alta y se ubique debajo
de la línea de tendencia. El dilema entonces es: con un determinado saber
deben producirse más recursos o con una determinada cantidad de recursos
debemos alcanzar más saber. En el primer caso, conviene localizarnos en la
zona baja del gráfico; en el segundo caso, sería mejor quedarnos en la zona
alta.
En el Gráfico 2, tenemos promedio en lenguaje para 5º contra inversión en

educación per cápita. Como puede verse, siempre Bogotá está un poco más
alto y hay razones que lo explican, pero también se encuentra una especie de
nube en donde se localiza la mayoría de los departamentos. Allí se ven algunas
diferencias interesantes. Santander y Sucre, por ejemplo, a pesar de tener
aproximadamente la misma inversión, tienen desempeños diferentes. La
misma lectura puede hacerse para Norte de Santander y Nariño, advirtiendo
que a pesar de que este último tiene una inversión prácticamente tres veces
mayor, tiene a la vez aproximadamente el mismo desempeño.
Gráfico 2 • Promedio en lenguaje para 5º Vs. Inversión en Educación/

Cápita
BOGOTÁ
63
61
220
CALDAS SANTANDER
Promedio
59 BOYACÁ
QUINDÍO
COLOMBIA
RISARALDA ANTIOQUIA
META CUNDINAMARCA
CAQUETÁ PUTUMAYO NARIÑO
NTE.SANTANDER HUILA
57 VALLETOLIMA CAUCA VICHADA
ARAUCA
MAGDALENA LA GUAJIRA
CESAR
ATLÁNTICO CASANARE
SUCRE SAN ANDRÉS
CÓRDOBA
GUAVIARE BOLIVAR
55 GUAINÍA VAUPÉS
AMAZONAS
CHOCÓ
53
10 30 50 70 90 110 130 150 170 190
Inversión en Educación per Cápita

(miles de pesos al año/ persona)
Fuente: ICFES
CUARTA sesión
El Gráfico 3 sugiere una hipótesis para empezar a posicionar un concepto

de equidad en Colombia. Estamos mostrando el promedio en lenguaje para
5º en función de la desviación estándar. Este último, es un parámetro con
el cual se valora la dispersión de una población. Es decir, en un curso que
tiene una desviación estándar muy grande, se encuentran estudiantes con
altos desempeños al igual que estudiantes con muy bajos desempeños; en
un municipio, se encontrarían colegios con altos desempeños y también
colegios con bajos desempeños en promedio; y al nivel del país, igual, se
tendrían departamentos con altos desempeños y departamentos con bajos
desempeños en promedio.
En resumen, resultados con alta varianza (alto valor de la desviación estándar)

corresponden a desarrollos con poca equidad. Deben procurarse entonces
resultados cada vez con menor varianza, es decir, con la mayor equidad
posible.
Gráfico 3 • Promedio en lenguaje para 5º Vs. Desviación estándar
BOGOTÁ
63
61
Promedio
CALDAS SANTANDER
59 QUINDÍO RISARALDA
ANTIOQUIA META COLOMBIA BOYACÁ
PUTUMAYO CAQUETÁ NTE. CUNDINAMARCA
HUILA SANTANDER NARIÑO
57 VICHADA
VALLE
TOLIMA CAUCA 221
MAGDALENA
ARAUCA LA GUAJIRA

CASANARE SUCRE CESAR
SAN ANDRÉS
CÓRDOBA ATLÁNTICO
GUAVIARE BOLIVAR
55 GUAINÍA
VAUPÉS
AMAZONAS
CHOCÓ
53
5,0 5,5 6,0 6,5 7,0 7,5 8,0
Desviación estándar
Fuente: ICFES
A propósito, quisiéramos sugerir que la dispersión opera como uno de los

elementos para aproximarnos al componente de equidad en la educación.
Es decir, tendríamos que fijarnos unas metas para reducir esa dispersión: que
CUARTA sesión
en un salón de clase no haya tanta diferencia entre los estudiantes; que en

un colegio, entre una y otra aula no haya tan grandes distancias; que en el
municipio, entre un colegio y otro colegio no se generen amplias brechas; y
así sucesivamente, al nivel de departamento, país o planeta.
Ese parámetro de diferencia estimado aquí a través de la desviación estándar

muestra, por ejemplo, que en departamentos como Caldas, Santander, Boyacá
y Risaralda se tienen desviaciones estándar muy altas. Por otro lado, en casos
como el de Bogotá, se encuentra un desempeño significativamente alto y a
la vez una dispersión igualmente alta. Entonces aquí podríamos formular una
pregunta: ¿qué interesa más, sólo subir los promedios o también disminuir
las brechas? Porque si los promedios se suben a expensas del aumento de las
brechas, tendría que mirarse con cuidado esa tendencia.
• Resultados por niveles en competencia lectora
En la Figura 1 puede verse otra forma de presentar los resultados de las

Pruebas Saber, en este caso por niveles de logro. En el área de competencia
lectora, los niveles se definen así: B, para una lectura superficial y fragmentada;
C, cuando se comprende el significado básico del texto; D, si se accede a una
lectura inferencial; E, para lectura intertextual; y F, para lectura crítica. Se
trata también de hacer una ruptura con un esquema que se ha manejando
en Colombia. Con frecuencia se establece el siguiente juicio: “los niños de
Colombia no saben leer”. Desde el enfoque de competencias sería un juicio
equivocado. Más bien podríamos decir: “los niños de Colombia leen en modos
distintos”. Mientras algunos alcanzan un nivel de lectura literal, hay también
222 quienes logran la lectura inferencial o la intertextual e incluso el nivel más
complejo de lectura crítica. Es decir, la evaluación por competencias muestra

el estado de desarrollo de la lectura. No pretende decir simplemente si un
estudiante “sabe” o “no sabe”, sino mostrar el estado de desarrollo de un
proceso.
En este orden de ideas, la Figura 1 presenta los resultados por porcentajes de

estudiantes de 5º y 9º que superan cada uno de los niveles de competencia
en lectura. En el caso de 5º, el nivel B, que es el de base para este grado, es
superado por el 92% de los estudiantes; el nivel C, por el 84,5%; el D, por el
52,5%. Por otro lado, en el caso de 9º, el nivel C, de base para este grado, es
superado por el 94%, y así sucesivamente.
CUARTA sesión
Figura 1 • Niveles en competencia lectora
4,0% Noveno
Quinto
36,2%
73,3% F
Crítica
93,6% 52,5% E
Inter - Textual
84,5% D
Inferencial
91,9% C
Significado básico del texto
B
Superficial y fragmentada
Fuente: ICFES
En el Gráfico 4 pude verse otro caso bien interesante. Se muestra el porcentaje

de estudiantes que supera el nivel B en el año 2003, menos el porcentaje de
estudiantes que supera el mismo nivel en el año 1997. Es decir, ¿hubo algún
avance entre la aplicación de 1997 y la de 2003? o ¿estamos como antes?
Puede verse que Vaupés tiene los incrementos más altos y que en todos los
casos existe una variación positiva. Es decir, hoy hay más estudiantes que
logran superar el nivel de base (nivel B, para quinto grado) que los que había
223
en 1997.

Esta observación se confirma al mirar con detalle la información del Gráfico 5.

Aquí aparece la misma diferencia referida en el Gráfico 4 pero en términos de
la inversión en educación. Sobresalen los casos de Vaupés, Antioquia y Chocó,
pues con valores de inversión menores que el promedio, alcanzan diferencias
positivas mayores que todos los demás entes territoriales. Esta es desde luego
otra manera de ver los resultados, menos común y no tanto ortodoxa.
CUARTA sesión
Gráfico 4 • % de estudiantes que superan Nivel B de competencia

lectora
Diferencia entre 2003 y 1997 Vs. PIB/Cápita
Puntos % de diferencia 2003 y 1997
VAUPÉS
30
CHOCÓ ANTIOQUIA
25
SAN ANDRÉS
ATLÁNTICO
20 GUAVIARE
BOLIVAR TOLIMA BOGOTÁ
MAGDALENA HUILA LA GUAJIRA
CÓRDOBA
COLOMBIA
ARAUCA
VICHADA CESAR VALLE
15
SUCRE CAUCA N. DE SANTANDER
CALDAS META
RISARALDA
NARIÑO
QUINDÍO
GUAINÍA
10 BOYACÁ SANTANDER
CUNDINAMARCA
AMAZONAS
1 2 3 4 5 6 7
PIB/Cápita (millones de pesos)

Fuente: ICFES
Respecto a lo anterior, debe tenerse cuidado con un cierto espejismo. El

aumento en calidad no se debe solamente a la evaluación; ésta, desde luego
orienta y ayuda a la toma de decisiones y al seguimiento, pero sería osado
deducir que todo lo que está ocurriendo se debe a un solo factor. La educación
tiene una naturaleza tan compleja y tan multivariada, que inciden bastantes
224
factores allí. Desde luego que la evaluación está intencionalmente pensada
para ser fuente de información, pero no podríamos decir que este avance se
debe solamente a su uso.
CUARTA sesión
Gráfico 5 • % de estudiantes que superan Nivel B de competencia

lectora
Diferencia entre 2003 y 1997 Vs. Inversión en Educación/Cápita
Puntos % de diferencia 2003 y 1997
VAUPÉS
30
CHOCÓ
25 ANTIOQUIA
SAN ANDRÉS
ATLÁNTICO
20 TOLIMA CASANARE
GUAVIARE HUILA BOGOTÁ
MAGDALENA LA GUAJIRA BOLIVAR
CÓRDOBA
ARAUCA COLOMBIA
15 N. SANTANDER CESAR
VALLE CAUCA
VICHADA
META SUCRE
CALDAS QUINDÍO
NARIÑO
RISARALDA
GUAINÍA SANTANDER BOYACÁ
10
CUNDINAMARCA
AMAZONAS
5
10 30 50 70 90 110 130 150 170
Inversión en educación per Cápita

(miles de pesos al año/ persona)
Fuente: ICFES
Ahora quiero mencionar algunas acciones realizadas desde 2003, en materia

de evaluación.
225
•
Se han realizado cerca de 1.250 talleres en entidades territoriales. SEMINARIO INTERNACIONAL
• Se han elaborado 7 documentos impresos en el Ministerio de Educación

Nacional y 10 en el ICFES.
• Se han distribuido más de 46.000 CDs que cuentan toda la información
concerniente a los resultados alcanzados en la evaluación adelantada en
las entidades territoriales.
• Se tienen 22 publicaciones alusivas a las Pruebas Saber en el sitio web
http://www.icfes.gov.co
Es de anotar que también tenemos aplicación de pruebas en varios programas

de referenciación internacional de la educación, lo cual nos permite
CUARTA sesión
compararnos no solamente entre nosotros, sino frente al resto del mundo. En

particular Colombia ha participado o participa actualmente en los siguientes
proyectos:
78
• TIMMS 2007. Colombia participó por primera vez en 1999.
79
• SERCE 2006. Colombia participó en el primer estudio, en 1997.
80
• PIRLS , en 2001.
81
• EIC , en 2001.
82
• PISA , por primera vez en 2006.
• Prospectiva
Las siguientes metas muestran nuestros principales objetivos hacia futuro:
• Aumentar la cobertura actual del 90% en evaluación a una del 100%.

• Cualificar y afinar la fundamentación conceptual y los instrumentos de
evaluación.
• Divulgar ampliamente los resultados alcanzados en la evaluación.
• Convertir la evaluación en un campo de investigación que permita innovar
en esta materia.
• Aportar información cada vez más apropiada, para lograr el cubrimiento
de las metas del Gobierno Nacional: ampliar la cobertura, mejorar la
calidad y llegar a un nivel de equidad cada vez más alto.
226
78
Estudio de Tendencias Internacionales en Matemáticas y Ciencias, TIMSS (Trends in International
Mathematics and Science Study), de la Asociación Internacional para la Evaluación del Logro de la
Educación, IEA (International Association for the Evaluation of Educational Achievement).
79
Segundo Estudio Regional Comparativo y Explicativo, SERCE, del Laboratorio Latinoamericano de
Evaluación de la Calidad de la Educación, LLECE (UNESCO).
80
Estudio del Progreso Internacional en Competencia Lectora, PIRLS (Progress in International
Reading Literacy Study), de la IEA.
81
Estudio Internacional de Educación Cívica, EIC (Civic Education Study, CIVED), de la IEA.
82
Proyecto Internacional para la Producción de Indicadores de Rendimiento de los Alumnos, PISA
(Programme for International Student Assessment), de la OECD.
CUARTA sesión
Implicaciones de política de las

evaluaciones de impacto de
programas sociales en Colombia
Jaime Tenjo∗
M uy buenos días a todos ustedes y muchas gracias por esta invitación.

Yo tengo unos pocos comentarios sobre las dos presentaciones que
me precedieron, la primera sobre la evaluación de la calidad de la
83
educación básica en Colombia mediante las Prueba Saber , y la segunda sobre
84
la evaluación de impactos de corto y largo plazo del programa Paces . Quiero
entonces resaltar algunos de los aspectos que me parecen más importantes
en cada una de estas presentaciones.
Para comenzar quiero señalar que aunque se ha avanzado muchísimo en este

campo de la evaluación, Colombia desafortunadamente es un país donde
todavía no hay mucha conciencia sobre la necesidad de evaluar los programas
en el sector social. Hoy estamos hablando fundamentalmente de la educación,
y las dos presentaciones que hemos acabado de oír nos muestran diferentes
experimentos que se han comenzado a desarrollar para hacer este tipo de
evaluaciones. Obviamente lo ideal sería que pudiéramos hacer muchas más
de estas en el país. 227

En cuanto a las Pruebas Saber, como bien oyeron ustedes, estas tienen ya una
historia bastante larga y han atravesado un proceso de aprendizaje importante,
el cual creo que no se ha terminado. En la primera investigación, que creo
que fue hecha por el instituto SER hace ya muchos años, algunos de los que
participaron se sentían abriendo camino para llegar a lo que se tiene en este
* Director del Departamento de Economía, Universidad Javeriana

83
Ver: Evaluación de la calidad de la educación básica en Colombia: Pruebas Saber, José Daniel
Bogoya (Director ICFES)
84
Ver: Private School Vouchers in Colombia (programa PACES): Long & Short Run Impacts, Dr. Eric
Bettinger (Case Western Reserve University y National Bureau of Economic Research)
CUARTA sesión
momento, pues obviamente hay algunos avances muy grandes. Por ejemplo,
se ha definido con mucha más claridad cuáles son los objetivos, cuáles son
los propósitos, y qué es lo que se busca con esas evaluaciones; además, se
han ajustado mucho mejor a los procesos pedagógicos y educativos. En ese
sentido, lo que tenemos es un mejor instrumento para medir lo que nosotros
llamamos el desempeño de los estudiantes, en una serie de áreas.
Lo que yo creo que nos falta hacer todavía, es observar con detenimiento algo
que no se ha mirado con la suficiente profundidad. Me refiero a preguntarse:
¿de qué depende ese desempeño que estamos midiendo? Tenemos una
medida de desempeño imperfecta, porque en estos campos todo va a ser
imperfecto, pero yo creo que todavía estamos muy “en los pañales”, como
se dice vulgarmente. Esto, en términos de contestar la pregunta: ¿de qué
depende que unos estudiantes, que unos colegios, o que unos departamentos
presenten resultados de desempeño más altos que otros?
Creo que la anterior presentación ilustró muy bien ese punto. Es decir, se
encuentran por ejemplo que hay unos departamentos que están por debajo
de la línea de tendencia y otros que están por encima de ella. ¿El objetivo es
subir hacia la línea de tendencia los que están por debajo? o ¿no?, ¿que nos
quiere decir esta línea de tendencia? Por ejemplo, en el caso que se refería
a los resultados en las pruebas contra PIB per cápita, uno se pregunta: ¿hay
o no hay una relación entre esas dos cosas? Entonces, cuando uno mira los
resultados, encuentra que si hay diferencias muy grandes entre colegios, entre
niños, entre personas, entre departamentos, y no es claro a que se deben esas
diferencias. Entiendo que el Ministerio de Educación en alguna época intento
228 hacer algunas investigaciones para tratar de explicar esos resultados, aunque
no se como han funcionado. En síntesis, me parece que es muy importante

saber cuales son las razones para que se den esas diferencias, a fin de poder
diseñar las políticas apropiadas para mejorar el desempeño, y además, para
disminuir en lo posible las variaciones en ese desempeño, como mencionó José
Daniel Bogoya en su presentación.
En cuanto a la evaluación del programa PACES voy a hacer un comentario corto

porque tenemos realmente muy poco tiempo. Me parece un experimento
muy interesante, que como todos los ensayos en este campo deja todavía
algunos puntos pendientes. Sin embargo, un punto clave que resaltó Eric
Bettinger al final de su presentación, es la gran importancia de entender que
muchos programas tienen efectos de corto plazo y de largo plazo, y en esa
CUARTA sesión
medida es necesario darles la oportunidad de que muestren plenamente los

resultados. Es decir, cuando uno diseña este tipo de programas yo creo que
es muy importante tener presente cuál va a ser su alcance.
Digo lo anterior porque desafortunadamente el programa se canceló antes de

haberse visto su impacto pleno. Según lo que hablaba con Eric Bettinger antes
de la presentación, quedan muchos aspectos por ver, hay efectos de largo
plazo que no se han visto y que con el tiempo se harán más evidentes. Por
ejemplo, el efecto que tuvo el programa en términos de la inserción de estas
personas en el mercado laboral, en términos del tipo empleos que pudieron
conseguir, o en términos del nivel de éxito que han podido tener en estudios
superiores. Entonces, cuando podamos ver estos efectos, va a ser muy tarde
porque ya no se podrá hacer mayor cosa.
229

QUINTA SESIÓN
Implicaciones de las evaluaciones de impacto

para la política social y agenda de evaluación para
los próximos cinco años
Panel de discusión
QUINTA sesión
La agenda futura
Alejandro Gaviria∗
B uenas tardes para todos. Voy a hacer una presentación muy concreta
tratando de responder una sola pregunta: si uno quisiera fijar una
agenda de evaluación con cuatro o cinco programas que representan
la prioridad de lo que tenemos que evaluar, ¿cuáles serían estos programas?
Evaluación e inflexibilidades
Para empezar quiero retomar un punto que creo estuvo en la discusión del
85
día de ayer y con el cual terminó Carlos Medina hace unos minutos. Se trata
de la discusión sobre qué es evaluable y qué no es evaluable. Uno aquí podría
básicamente tener dos visiones extremas:
• Visión política: “los mandatos legales reflejan consensos políticos

extendidos inmunes a las consideraciones tecnocráticas”.
• Visión técnica: “todas las decisiones presupuestales debe estar basadas

en la rentabilidad social de las alternativas en cuestión”.
La primera visión dice: “nada es evaluable”, y nada es evaluable porque

231
básicamente todo ya se comprometió políticamente. Creo que Juan Carlos

86 SEMINARIO INTERNACIONAL
Echeverry ayer tuvo una opinión en ese sentido, y en esencia lo que él
insinuaba es que todo el gasto social es inflexible pues de alguna manera tiene
protección constitucional o legal. De manera que lo que reflejan esas leyes o
simplemente la Constitución, son consensos políticos que no se van a cambiar
por las consideraciones tecnocráticas que se podrían sacar de este tipo de
evaluaciones.
* Facultad de Economía, Universidad de los Andes

85
Ver: Restricciones institucionales a la evaluación del gasto público social en Colombia, Carlos
Medina (Director de Desarrollo Social, DNP)
86
Ver: Intervención de Juan Carlos Echeverry (Decano de Economía, Universidad de los Andes)
QUINTA sesión
Uno podría imaginarse una segunda visión, que es la visión tecnocrática

extrema, la cual dice: “todo es evaluable”. Entonces, para cualquier peso que
vaya a gastar el Estado se tiene que calcular la tasa social de retorno por decirlo
de alguna manera. Esta visión propone poner a competir absolutamente todos
los gastos y con base en eso tomar todas las decisiones.
Por supuesto que estas posiciones son dos caricaturas y la realidad va a

estar en el centro. Creo que hay cosas de las que básicamente la evaluación
puede decir poco, y les doy un ejemplo. Esta semana aquí mismo hubo una
conferencia sobre los temas de infraestructura, donde se vio que existe más o
menos un consenso de que el país se está rezagando en términos de desarrollo
físico. Se planteó que debíamos repensar ese equilibrio que debe de existir
entre el desarrollo social y el desarrollo físico, y que una forma fácil para
talvez iluminar esta disyuntiva sería haciendo evaluaciones para ver donde es
más rentable el gasto. Al respecto creo que esa no es la forma de hacerlo.
Creo que en esto lo que prima es un consenso político que está en nuestra
Constitución y que básicamente dice: “el gasto social es prioritario”; esto está
en el artículo 350 y se repite en el artículo 366. De manera que no creo que
ese sea un tema que se debe evaluar.
Por otro lado, cuando nos metemos en temas más puntuales creo que los
argumentos del tipo que hacia ayer Juan Carlos Echeverry no son ya validos.
Esto porque uno no puede decir que todo lo que está en la Ley es irreversible,
y que la evaluación solo sirve para que los hacedores de políticas puedan
tomar unas decisiones dado el poco margen de discriminación que tienen.
Creo que la evaluación también sirve para que quienes hacen las leyes puedan
232 de alguna manera desmontar esas inflexibilidades y movernos hacia delante.
Sin embargo, en algunos temas, digamos los metatemas del país, yo creo
que no podemos caer en una ingenuidad tecnocrática como la definía Carlos
Medina. Esta es pensar que vamos a tomar esas decisiones simplemente
haciendo evaluaciones o comparando tasas sociales de retorno.
• Educación pública
Entremos ahora a revisar qué se puede decir si se quisiera fijar la agenda de

evaluación. Empecemos con el tema de educación donde el énfasis debe ser
en calidad.
QUINTA sesión
El director del ICFES nos contaba un poco lo que tienen y como están haciendo
sus pruebas censales87, pero yo creo que allí falta algo. Una cosa es hacer
las pruebas y otra cosa es construir lo que se llama un sistema de rendición
de cuentas, lo que en Estados Unidos se denomina como un ‘accountability
system’. Este se trata de cómo vamos a presentar estos resultados a la
comunidad de padres de familia para que tomen decisiones, y cómo se los
vamos a presentar a la comunidad académica y de docentes para que les
permitan hacer sus planes de mejoramiento. Yo creo que en esto todavía falta
avanzar. ¿Qué vamos a hacer con estos resultados sobre todo en lo primero?
Se tendría que empezar a ver como estimar el valor agregado por institución
por ejemplo. Entonces yo creo que ahí hay un punto importante sobre como
utilizar los resultados de la evaluación en educación.
Sobre el sector urbano, el país tiene que empezar a ver el tema de competencia.
Hay una discusión política complicada aquí en Bogotá con los Colegios en
Concesión. La competencia entre colegios públicos y colegios privados, y
entre ellos mismos, no se reduce a ese tema. Yo creo que la pregunta sobre
cómo la competencia influye sobre la calidad de la educación, tiene que estar
también en la agenda de evaluación. En el sector rural, aunque existen algunos
estudios, estos programas de aprendizaje como Escuela Nueva y el SAT88 se
han evaluado de manera muy rudimentaria, con evidencia casi anecdótica.
Creo entonces que ahí también hay un tema importante para la agenda de
evaluación.
• Salud
Como ya lo dijo Carlos Medina en su presentación, yo creo que la evaluación

número uno, no solo en el tema de salud sino en general, es el Régimen
Subsidiado de Salud. En esto nos gastamos $2,5 billones y la discusión está 233
totalmente polarizada. Hay posiciones dogmáticas o religiosas de lado y lado,

defensas a ultranza y ataques a ultranza. Entonces creo que aquí la evaluación
sí puede servir un poco para dirimir un debate que como digo se ha dado en
términos que son ideológicos y no técnicos.
Carlos nos decía que es un programa difícil de evaluar, que de pronto no

tenemos la lotería o los métodos aleatorios que se mencionaron hace un rato,
pero yo creo que no. Creo que tenemos ya algunos instrumentos y podemos
87
Ver: Evaluación de la calidad de la educación básica en Colombia: Pruebas Saber, José Daniel
Bogoya
(Director ICFES), pág. ##.
88
Sistema de Aprendizaje Tutorial (SAT).
QUINTA sesión
avanzar muy rápidamente, talvez no hacia tener una evaluación perfecta pero
sí hacia tener unos resultados bastante confiables. Tenemos en particular la
Encuesta de Calidad de Vida del año 2003 que tiene algunas cosas importantes,
y sobre la cual les voy a mostrar algunos datos. Además tenemos la misma
encuesta de Familias en Acción que nos permite también decir algo sobre el
impacto y talvez sobre el costo-beneficio del Régimen Subsidiado de Salud.
En la siguiente tabla (ver Tabla 1), presento unos datos simplemente para
contribuir un poco en este debate, el cual ha sido un debate público importante
que se ha ido desviando en este país.
Tabla • 1Régimen Subsidiado de Salud

Afiliados vs. No afiliados (vinculados)
Variable Vinculados Afiliados

Acude al médico cuando se
51,40% 72,50%
siente enfermo
No lo hace por falta de
68,20% 43,20%
dinero
Dinero gastado en consulta $ 47.120 $ 25.029
Dinero gastado en
$ 176.123 $ 146.028
hospitalización
Calidad del servicio de

76,10% 79,20%
consulta
Calidad del servicio de

79,80% 77,70%
hospitalización
Fuente: Autor
234
Cuando uno se encuentra ante el defensor del Régimen Subsidiado este
señala los primeros cuatro puntos en la tabla. Nos dicen como el régimen
subsidiado aumenta la frecuencia en el uso del servicio; ustedes pueden ver
que las personas denominadas vinculados, que son los que no están afiliados
al Régimen Subsidiado, cuando se enferman acuden con menos probabilidad
al médico. Se puede ver también que tienen una probabilidad mayor quienes
no están afiliados de no acudir al médico porque les hace falta dinero; así lo
muestran las encuestas, los vinculados pagan más y este tipo de cosas. Pero
allí se queda el análisis. Básicamente se dice: “esto demuestra que el sistema
es muy equitativo desde un punto de vista financiero”, y esto simplemente es
lo que se aduce en defensa del Régimen Subsidiado, pero yo creo que falta
completar la cadena causal y falta ir un poco más allá. Abajo de la línea por
ejemplo, vemos que en términos de calidad percibida quienes están afiliados
QUINTA sesión
y quienes no lo están parecen opinar lo mismo, tanto en la consulta como en

la hospitalización.
He hecho también algunos cálculos rápidos con la Encuesta de Calidad de

Vida. Según estos datos, aparentemente no hay diferencias importantes
en el consumo per cápita de los hogares entre quienes están afiliados
y quienes no están afiliados, controlando y teniendo en cuenta más de 80
variables socioeconómicas. Según datos de la encuesta en Familias en Acción,
aparentemente el Régimen Subsidiado no tiene ningún efecto sobre la
prevalencia de enfermedades digestivas y respiratorias, sobre la desnutrición
aguda, global y crónica, o sobre el peso de los niños al nacer, es decir, si
la madre está afiliada o no, aparentemente no tiene un efecto sobre esto.
Entonces nos estamos gastando $2,5 billones en el Régimen Subsidiado y
yo creo que ya es hora de empezar a asimilar estos resultados, de trabajar
conjuntamente en estas pruebas y creo es mucho lo que se puede hacer.
Entre estas cosas que se pueden hacer con los datos que tenemos, se
encuentra un trabajo que está empezando Planeación Nacional y que es muy
bonito. Se está georeferenciando la Encuesta de Calidad de Vida (ver Figura
1). Los puntos negros que ustedes ven allí son las manzanas donde viven los
diferentes hogares que fueron encuestados.
Figura 1 • ENCV
Hogares encuestados
235

Fuente: Encuesta de Calidad de Vida 2003

QUINTA sesión
Después, se pueden obtener resultados como los que se ven en la siguiente

imagen (ver Figura 2). Los cuadros negros que tienen un punto rojo en la
mitad, son manzanas donde se tiene un hogar afiliado al Régimen Subsidiado
y un hogar que no está afiliado. Entonces uno podría comenzar a comparar
estos dos hogares controlando por otras variables, para ver si el Régimen
Subsidiado sí sirve para algo. Esto es cuestión de sentarse una o dos semanas a
hacerlo y yo creo que tendríamos muchas luces en un debate, vuelvo y repito,
religioso, dogmático y aburridor. De manera que creo que es hora de volver
a los datos.
Figura 2 • ENCV
Hogares encuestados
236
Fuente: Encuesta de Calidad de Vida 2003
• Ranking
Para continuar con el tema de lo que debemos evaluar, recuerdan que lo que
prometí fue construir un ranking:
1) Régimen Subsidiado de Salud;

QUINTA sesión
2) Adulto Mayor;
3) Cuentas AFC.
En primer lugar está el Régimen Subsidiado, y en segundo lugar creo que estaría el
programa de Adulto Mayor. Este es simplemente lo que se financia con la Subcuenta
de Subsistencia del Fondo de Solidaridad Pensional, donde también hay
recursos significativos. Creo además que este va a ser un programa importante
en el futuro por razones demográficas y va tener que expandirse, por lo cual
considero que ahí también tenemos que poner la atención.
Otro tema que seguramente no se hablado aquí, y que estaría de tercero

en este ranking, es lo que en Estados Unidas llaman ‘tax expenditure’, las
exenciones. Creo que esto también lo tenemos que evaluar. Una que quisiera
hacer rápido, porque considero que es una de las exenciones más regresivas
89
que tiene este país, son las cuentas AFC , y también las exenciones tributarias
que buscan estimular la inversión donde también hay un debate ideológico.
Esto sería entonces lo tercero que yo metería en el ranking y después estarían
los Subsidios Familiares de Vivienda.
• Puntos finales
Quiero terminar con dos puntos. El primero de los dos remite al nombre del
seminario ¿por qué evaluar el gasto público? y yo creo que no solo debemos
enfocarnos en evaluar el gasto público, sino en evaluar también ciertos cambios
normativos. Les doy un ejemplo con la Ley 789 de 200290, la cual tiene al final
237
un artículo que dice que esta norma se va a evaluar dos años después de entrar

en vigencia, y con base en esa evaluación el Congreso decidirá si esta sigue
vigente o no sigue vigente. Esto parece muy bueno, pero como estas normas
tienen que tener alguna estabilidad en el largo plazo para que tengan efecto,
muchos empresarios que tienen que decidir emplear o no emplear a alguien
pueden decir: “yo de pronto no me voy a poner a emplear a alguien con
esta norma que disminuye las costos laborales, porque en dos años cuando la
evalúen van a decir que no tiene ningún efecto y la desmontan”. Entonces yo
89
Cuentas de Ahorro para el Fomento de la Construcción.
90
Ley 789 de 2002 por la cual se dictan normas para apoyar el empleo y ampliar la protección social
y se modifican algunos artículos del Código Sustantivo de Trabajo. Entre otros aspectos, esta norma
contempla el Subsidio al empleo para la pequeña y mediana empresa.
QUINTA sesión
creo que deberíamos dar un debate sobre si este tipo de cambios normativos
deben incluir un artículo que haga obligatoria su evaluación y determine que la
vigencia de las mismas normas dependa de esas evaluaciones, porque yo creo
que se puede dar esta especie de ‘trade off’.
El segundo y último punto. Yo pienso que es muy importante construir

consensos, dada la polarización del debate social en este país. Les doy un
ejemplo personal. Yo escribo una columna en la prensa y escribí una el sábado
pasado mostrando algunos de los resultados de Hogares Comunitarios que
presentó Orazio Attanasio esta mañana91. Después de publicada recibí muchos
correos electrónicos que decían: “no se invente los resultados, ¿de donde
sacó esos datos?, no engañe a la gente”. De manera que muchos parecen no
creerle a los resultados de las evaluaciones. Entonces, tenemos que encontrar
algún tipo de entidad, de pronto una confluencia de universidades, que elabore
algún documento periódico el cual tenga la firma de muchas personas a lo largo
y ancho del espectro ideológico. Esto debería lograr que la gente no empiece
a decir que estos resultados están manipulados o que obedecen a éste o aquel
interés político. Así que creo que es muy importante pensar todos que el
asunto no termina cuando se acaba el estudio y el estudio simplemente le va
servir a unos señores para tomar decisiones. Aquí tiene que haber también
una labor pedagógica detrás y ese es un asunto que tenemos que pensar.
238
91
Estudios Fiscales, Londres)
QUINTA sesión
Reflexiones en torno a la evaluación

en Colombia
Beatriz Londoño∗
E n primer lugar, pienso que es importante no solo evaluar las

intervenciones, se debe evaluar también cuando no se interviene. Un
ejemplo muy claro de esto es que en Colombia en el año 2004 para
los niños menores de 6 años que atienden a educación inicial, tenemos una
cobertura que puede estar máximo en el 30%. Sobre esto hay evidencia muy
fuerte de que es una intervención lo que podría definitivamente modificar la
situación y contribuir a una ganancia importante en capital social. Sin embargo,
la evaluación solo se da cuando ya hay una intervención y es en ese momento
entonces cuando empezamos a ver la ganancia.
De igual manera, valdría la pena revisar el gran énfasis que se ha hecho sobre
los montos; se habla del Régimen Subsidiado con $2,5 billones, el Sistema
General de Participaciones, etc. Creo que también hay programas que puede
que no tengan unos montos importantes, pero que pueden ser estratégicos
y que ameritan evaluaciones de impacto. Entonces sobre estas mismas
evaluaciones habría que revisar también para establecer las prioridades.
En el caso particular del sector social, hay que buscar una mejor comprensión, 239
necesitamos profundizar mediante estudios empíricos para conocer como

opera el sistema. Esto porque no es cierto que opere de manera homogénea
en todo el país, hay variaciones grandes dentro de un mismo sector y esas
variaciones se desconocen en el momento en que se generaliza. En este caso
podemos inclusive trivializar cuando hacemos esas generalizaciones.
92
Por otro lado, Orazio Attanasio ha insistido muchísimo en el tema de
los pilotos que sin duda creo que es importante. Es necesario construir
* Directora del Instituto Colombiano de Bienestar Familiar

92
QUINTA sesión
consensos sobre el desarrollo de estos pilotos, y consensos sobre que en la

política pública exista espacio presupuestal para el desarrollo de pilotos y no
simplemente todo o nada.
Otra reflexión es que la mayoría de las conclusiones de las evaluaciones

se aplican exclusivamente al sector que atañe. Entonces, los resultados los
conocen solo las mismas personas que están dentro del sector educativo, o
dentro del sector salud, o dentro del sector infraestructura; pero hay resultados
que tienen implicaciones poblacionales y no simplemente sectoriales.
En el caso nuestro, en el Instituto Colombiano de Bienestar Familiar (ICBF),

estamos trabajando con Planeación Nacional en una evaluación de largo plazo
y largo alcance de Hogares Comunitarios de Bienestar. Entonces, si ahora
mismo somos tan concientes de las dificultades en el programa, me pregunto
si hay que buscar aplicar metodologías más rápidas, menos costosas en un
momento dado, pero que permitan tomar decisiones durante el curso y no
esperar hasta el final. Me pregunto si talvez con base en resultados parciales
se puedan de igual manera hacer cambios necesarios, porque cuando existe
la voluntad política no podemos solamente someternos a la evaluación de
impacto de más largo plazo. Entonces creo que buscar la combinación de
distintas metodologías es útil.
Asimismo, en cuanto a las decisiones de introducir, modificar, sustituir,

extinguir o complementar en un momento dado un programa, es clave
que sea simultáneo el diseño del programa y la definición de cómo se va a
hacer la evaluación. Es importante que desde el comienzo se tenga claro en
240 perspectiva qué se busca y si la evaluación que se define realmente va poder
apoyar cualquiera de esas decisiones.
Otro punto que también creo que vale la pena discutir es el siguiente. Si todos
estamos de acuerdo en que la información enriquece la práctica, apoya el
monitoreo, y soporta las evaluaciones de impacto, entonces ¿qué tan factible
es buscar el mínimo de información pertinente y relevante para que los costos
de transacción no se eleven indebidamente?
En cuanto a los arreglos institucionales para el sector de la protección social.

Creo que es importante que como parte del diseño conceptual de protección
social exista desde ya un diseño de evaluación. Esto para conocer cómo se está
concibiendo y cuales van a ser los efectos de lo que ya hoy tenemos en términos
QUINTA sesión
de la fusión de los Ministerios, o en el otro extremo en los componentes de

inspección, vigilancia y control. Porque desde mi concepto muy personal es
absurdo que las Superintendencias estén adscritas a los Ministerios, ya que
les resta independencia y hay entonces un cruce de información, unas zonas
grises muy amplias para el desempeño de un sector.
En el caso particular del ICBF sin duda debemos avanzar en evaluación

de eficiencia, pero también en saber, respecto a las intervenciones que
desarrollamos, que tanto están apoyando la construcción de capital humano y
capital social en Colombia.
Otro asunto que me parece curioso es que cuando se habla de descentralización,

de nuevo generalizamos. La descentralización en Colombia es híbrida, no hay
nada que este totalmente descentralizado. Hay descentralizaciones que se han
hecho por decreto, otras por decisiones políticas, hay unas pseudo técnicas y
otras muy técnicas. Bogotá tal vez es el caso de mayor descentralización, es
tal vez la excepción. Así que en esto de la descentralización hay que hacerse
una serie de preguntas para todos los sectores, pero también en función de
poblaciones; pues un mensaje central que quiero dejar aquí es que se nos
olvida a veces la población y nos concentramos en los sectores. De manera
que: ¿qué se debe descentralizar?, ¿cuál es la capacidad institucional real al
otro lado y no solamente en el nivel local o regional?, ¿cuál es la capacidad real
de coordinar o liderar desde el nivel nacional una vez que se descentralice?,
¿cuáles son los incentivos?, y ¿ayuda la descentralización realmente a los más
pobres?, o ¿tiene unas lógicas subyacentes que modifican completamente en
la practica los postulados de orden teórico?
241

Por último quiero insistir en el tema de primera infancia en cuanto a las
evaluaciones de impacto para la agenda futura. Esto porque en primer lugar
primera infancia no es el ICBF, y porque tiene pilares básicos como los que son
más ampliamente aceptados de salud, educación inicial, nutrición, estimulación
adecuada para el neurodesarrollo, ambientes adecuados y todo el soporte
para el desarrollo psicoafectivo de los niños.
• Sobre la evaluación de programas específicos del ICBF
En la evaluación de Hogares Comunitarios vale la pena no concentrarnos

exclusivamente en el estado nutricional de los niños y en la ganancia.
QUINTA sesión
También se debe observar el desarrollo psicosocial y las competencias para

la interacción, relacionándolos a su vez con los perfiles que puedan tener las
madres comunitarias en términos de educación y con su permanencia como
madres comunitarias entre otros. Acabamos de hacer un registro nacional
con una cobertura 98,1% en respuestas del total de madres comunitarias y
tenemos 77.695 respuestas.
En la escolaridad de las madres comunitarias, tenemos desde primaria

incompleta, primaria completa, secundaria incompleta, secundaria completa
con título, y así sucesivamente. Están los Hogares Comunitarios urbanos y los
rurales. Correlacionar esto y tener evidencia mayor es fundamental.
La evaluación que presentó Orazio Attanasio con la comparación para 57

municipios es fundamental, aunque como él lo decía no se puede generalizar
93
para el resto de los Hogares Comunitarios . Sin embargo lo que sí es clave
y en eso creo que hay un compromiso de fondo, es que los resultados serán
completamente públicos. No como los resultados de hace unos años donde
no todo lo que se evidenció se hizo público.
En cuanto a Desayunos Infantiles que es un programa nuevo de este Gobierno,

tal vez lo más relevante es poder modificar los niveles de hierro en la sangre,
y la anemia como situación prevalente no corregida, al entregar a niños
menores de 5 años por ejemplo 500 mil desayunos que ya se lograron en
este mes. Adicionalmente, a esto hay que sumarle que buscamos indicadores
asociados como lo que tiene que ver con vacunación, desparasitación, control
de crecimiento y desarrollo, hábitos higiénicos, y uno que no va directamente
242 relacionado con el estado de salud que es el registro civil como producto
adicional dentro del programa.
• ¿Cuáles son los desafíos a futuro?
En primer lugar, las evaluaciones individuales de un programa para el conjunto

de intervenciones sobre un grupo poblacional. Las reformas macro, ¿cuáles
son sus efectos sobre lo micro? ¿Por qué generalmente en el caso de salud o
el caso educativo miramos cual es el efecto de lo macro y no viceversa?
93
QUINTA sesión
En el tema nutricional, queremos evaluar el efecto de la alimentación escolar

sobre la retención en el sistema educativo y sobre el trabajo infantil. Para esto
el ICBF dispone este año de $145.000 millones, los municipios alrededor de
$75.000 millones, más el esfuerzo de las gobernaciones y esfuerzos propios de
los municipios, para un total de aproximadamente $250.000 millones que son
aproximadamente US$85 millones. En México el efecto sobre retención en el
sistema educativo fue muy evidente, pero sobre trabajo infantil no tanto.
De igual manera, es un reto conocer el desempeño en las pruebas Saber

versus la alimentación escolar, aunque están solamente para 3°, 5°, 7° y 9°. Las
bases de datos ya existen, entonces se podría simplemente avanzar contando
con que el sector educativo tenga también la disponibilidad y la disposición de
hacerlo.
Por otro lado, se ha hablado del Sistema General de Participaciones pero las
rentas de libre destinación nadie las ha mencionado. Estas son precisamente
donde más desperdicio o desviación puede existir, porque son menos
vigiladas y hay mayor autonomía por parte de las alcaldías o de las personas
responsables del gasto.
Un último punto pertinente para el ICBF. Tenemos un país violento, con altas
tasas de homicidios y altos niveles de delincuencia. Sin embargo, nosotros
responsables por el tema de los menores de edad en la tensión resocializadora,
vemos que la reincidencia en menores infractores de la ley penal no ha sido
medida nunca. Cuando pasan a la mayoría de edad, se pasa de ser menor
infractor a los 17 años a ser delincuente a los 18 años. Es particular el hecho
de que teniendo nosotros la información, no podamos hacer ningún cruce con 243

las bases de datos del Ministerio del Interior y de Justicia, ni con las bases de
datos del Instituto Nacional Penitenciario, para poder saber la validez de estas
intervenciones a temprana edad versus las de largo plazo.
Ayer se mencionaba de igual manera que el gasto público debería ser, como
lo concluía Mauricio Cárdenas de manera muy fuerte y muy categórica, un
instrumento de estabilización versus un instrumento de desarrollo social. Yo
creo que debe cumplir ambas finalidades y buscar el equilibrio entre estos
dos postulados de los científicos sociales por un lado y los economistas por
el otro. Esto sería sin duda un buen desafió para este país donde es necesario
ajustar esa brecha.
QUINTA sesión
Por último quiero decirles que en salud el énfasis se está haciendo demasiado
sobre la operación del sistema y sobre los costos. Se debe evaluar la ganancia
en términos de esperanza de vida. En eso hay bastante acuerdo, por lo menos
los ingleses a principio de los años 90 impulsaron muy fuertemente este tema.
Se debe evaluar la calidad de vida que se gana en función de la intervención en
salud específica. Además, se debe observar la calidad percibida y también la
calidad objetivamente medida.
Hay un gran reto común a todos y es el valor de la focalización versus la

universalización en determinados programas. Allí la respuesta por supuesto
generalmente está ligada a la imposibilidad de asumir o de absorber
toda una población o un grupo etario para determinadas intervenciones.
Pero la focalización con los costos de transacción que ha conllevado en
determinados sectores o subsectores hay que revisarla cuidadosamente
versus la universalización, la cual en un momento dado puede generar mejores
resultados en capital humano, en capital social y me atrevería a decir que en
algunos casos también en costos.
244
QUINTA sesión
Restricciones institucionales a la
evaluación del gasto público social en
Colombia
Carlos Medina∗
Q uiero agradecer este espacio para exponer unas ideas muy sencillas
sobre algunas restricciones institucionales a las evaluaciones del
gasto público, y quiero aclarar que esto es un ejercicio preliminar y
está lejos de ser exhaustivo.
En primer lugar les quiero contar por qué es importante evaluar el gasto
público. Se planteará la importancia de evaluar algunos programas o políticas
específicas, y después se enfocarán las razones por las cuales no se evalúan
algunos de éstos. Es claro que en este seminario se ha dicho muchas veces
que el gasto público social en Colombia es de una magnitud muy alta,
aproximadamente un 40% del Presupuesto General de la Nación, y que
no llega ni a la mitad lo que se está evaluado rigurosamente. Entonces cabe
preguntar: ¿qué estamos esperando para hacer las evaluaciones que todos
venimos diciendo repetitivamente que hay que hacer? Además, es importante
mencionar las razones por las que sí se hicieron las evaluaciones que se
hicieron, qué hizo la diferencia para que estas se hicieran y cómo podemos
replicar esto en otros casos que requieren evaluación.
245

Otro tema que quiero tocar es: ¿qué tanto nos sirven las evaluaciones para
tomar decisiones con respecto al gasto? Es decir, desde el punto de vista
técnico uno diría: “si la evaluación es muy mala el gasto se tiene que revisar y
reorientar, y si es demasiado mala simplemente se debe suprimir”; pero esto
no siempre es tan fácil políticamente, lo cual constituye un desincentivo a la
realización de evaluaciones. Entonces cuando uno ve que institucionalmente
existen aspectos básicamente irreversibles, uno se pregunta: ¿para qué
nos desgastamos con evaluaciones? De modo que también es importante
determinar qué tan flexible es el gasto social.
* Director de Desarrollo Social, DNP

QUINTA sesión
• ¿Por qué evaluar los programas sociales?, algunas

experiencias
Vamos a revisar las razones que hacen necesario evaluar una serie de casos
específicos: descentralización, ICBF, SENA, Fondo de Solidaridad Pensional,
Red de Apoyo Social y Régimen Subsidiado de Salud. Es de anotar que
los recursos de inversión que representan estos programas sociales son
cuantiosos, pues superan los 21 billones, o 9% del PIB.
• Descentralización
En 2004 se transfirieron $14 billones, o 6% del PIB, a las entidades

territoriales, y el año entrante va a ser lo mismo más inflación y más dos
puntos de crecimiento real. Hay muchas cosas que se quieren saber sobre
la descentralización, entre ellas se necesita saber si las empresas territoriales
están invirtiendo bien las transferencias. La descentralización fue concebida a
partir de unas bondades conceptuales observadas en la experiencia de otros
países, y sobre la premisa de que el nivel local podría efectuar mejor el gasto
que el nivel nacional. Sin embargo, también se reconoció desde el principio
que había una serie de limitaciones. Entre estas últimas sobresale el hecho de
que en el nivel local hay menos capacidad institucional que en el nivel nacional,
al igual que otras limitaciones que corresponden al diseño de los instrumentos
para implementar el gasto social.
En particular, uno querría idealmente que cada entidad territorial recaudara

los recursos con los cuales va a hacer el gasto, pero esto no siempre se
246
puede. Bogotá podría hacerlo pero los municipios pobres no, pues no tienen
recursos suficientes. Entonces algo bueno de la descentralización es la

progresividad inter-regional: los más ricos recaudan mucho más y de alguna
forma le terminan transfiriendo a los más pobres. Esto es algo muy bueno,
sin embargo, transferir estos recursos de forma equitativa y eficiente es más
o menos una tarea de ciencia ficción; es saber dónde se necesitan y dónde
los van a gastar eficientemente. Para hacer esto de manera transparente se
requiere de una información muy buena y que sea muy creíble para que el
proceso sea “no objetable”, pero la realidad es que la información que existe
es muy precaria y mucha está desactualizada, como es el caso del Censo de
Población. Estimaciones realizadas con base en la información disponible de
Censos Experimentales de Soacha y Yopal, permiten concluir que a éstas
QUINTA sesión
dos entidades territoriales les estarían llegando del Sistema General de

Participaciones, $950 millones menos de lo que deberían de haber recibido
por concepto de Propósito General, y $250 millones menos por concepto de
Salud Pública. Algo similar pasaría si se hiciera el mismo ejercicio para las zonas
urbanas de Pereira, Dos Quebradas y La Virginia, en las cuales las proyecciones
con base en las cuales se transfieren los recursos arrojaban para el 2004 119
mil personas más de las que fueron registradas en el conteo realizado por el
Dane ese año. En síntesis, los recursos se siguen transfiriendo con base en
información deficiente, a menudo reportada por las mismas entidades a las
cuales se les transfieren los recursos, con ministerios ejecutores sin capacidad
de monitorear la veracidad de lo reportado.
De manera que hay muchas dificultades en el tema de la descentralización,

lo cual anticipa el encuentro de muchas posibles sorpresas. A pesar de que
hace 10 años estaba conceptualmente muy bien concebida, con la política de
descentralización probablemente no se hayan logrado las cosas que técnica
y políticamente se esperaban. Esta situación hace evidente la necesidad de
evaluarla.
• ICBF y Sena
Al conocer las evaluaciones de impacto de la Red de Apoyo Social, RAS, que

tienen Jóvenes en Acción y Familias en Acción, uno se pregunta: Si el Sena
existe desde 1957 y el ICBF también lleva varias décadas funcionando, Porqué
no se cuenta con una evaluación tan rigurosa de los programas de éstas
entidades como las de la RAS?
247
Se trata de una inversión de $1,8 billones en 2004 para las dos entidades, y
en términos de costo de efectividad es muy poco lo que se sabe. Hay algunas
estimaciones muy sencillas pero no hay un buen análisis de costo efectividad
de esos recursos. Hay también una rigidez institucional muy grande en cada
una de estas entidades, que no es fácil de modificar: el Sena tiene una planta
de personal importante, y el ICBF tiene una institucionalidad montada con
las madres comunitarias también muy compleja. Además, existen muchas
carencias en la niñez y en la población en edad de trabajar. A propósito, en
su presentación de hoy, Orazio Attanasio94 nos mostraba que la cobertura de
Hogares Comunitarios no llega a 50%. Entonces es claro que este tema se
94
Estudios Fiscales, Londres)
QUINTA sesión
debe profundizar, pero hay que profundizar bien y no sabemos si lo estamos

haciendo bien.
Por otro lado, a pesar de que existen algunas evaluaciones de estos temas,
sus resultados no son contundentes en términos de calidad de la información,
metodología y representatividad. Por ejemplo en el Sena, hay unas evaluaciones
con los homólogos en las que se acercan a los lugares de trabajo de egresados
y los comparan con las personas que trabajan ‘codo a codo’ con ellos. Esto
metodológicamente tiene muchas limitaciones, pues no siempre los que son
comparables con ellos van a ir trabajar a los mismos lugares. Si los que van a
trabajar a los mismos lugares que ellos son los más malos dentro del grupo
de comparación posible, entonces estamos sobreestimando el impacto y
esto explicaría por qué las evaluaciones hechas con esta metodología arrojan
resultados muy positivos.
No tenemos evaluaciones de metodología experimental ni del Sena, ni del ICBF.

Además, se trata de programas a nivel nacional y sabemos que analizar un buen
grupo de comparación en evaluación a este nivel es muy difícil, lo cual genera
también escepticismo. De hecho, de las evaluaciones que tienen del Sena por
ejemplo, no hay ninguna que sea contundente, y esto es precisamente porque
metodológicamente tienen muchas dificultades y porque la información que
usan es muy lejana de lo que sería lo ideal para hacer un buen análisis.
Igualmente existen limitaciones en cuanto a la representatividad de las

evaluaciones. Este es el caso del análisis sobre el ICBF que Orazio Attanasio
presentó en su evaluación que entregaba “dos productos por uno”: la
evaluación de Familias en Acción y un análisis extra de Hogares Comunitarios.
248 Esta evaluación fue hecha con una muestra que estaba diseñada para
explicar el impacto de Familias en Acción, por ende tenía como objeto de

comparación y como universo la población tratada por ese programa y la
población comparable con ésta. Así que fue dentro de éstas personas donde
se observaron los casos que tuvieran Hogares Comunitarios, pero el objeto
de la evaluación no era este programa. De manera que la representatividad de
estos resultados, como el mismo lo dijo, no puede decir nada de Bogotá, no
puede decir nada de muchos otros lugares, y además habría que ver si puede
decir algo aunque sea de los municipios en donde trabajaron. Lo que dice esa
evaluación puede ser algo muy importante y muy robusto para la población
beneficiaria de los programas de la RAS, pero proviene de una muestra que no
podría generalizarse a todo el universo de los beneficiarios del ICBF.
QUINTA sesión
• Fondo de Solidaridad Pensional
El Fondo de Solidaridad Pensional representó una inversión de $0,25 billones

en 2004. Se trata de una población supremamente vulnerable, son ancianos
mayores de 65 años, y a pesar de esto es relativamente poca la documentación
y divulgación sobre sus condiciones y necesidades. Probablemente si
tuviéramos un conocimiento más detallado al respecto habría una respuesta
estatal distinta. Además, si se observara que las necesidades son mucho más
de lo que se había anticipado, y si se tuviera un mejor conocimiento de los
impactos de este programa, muy probablemente éste subiría en el orden de
prioridades del gasto. En síntesis, este es un programa que valdría la pena
tener en la lista de los que se deberían evaluar más adelante.
• Red de Apoyo Social
Los programas de la Red de Apoyo Social invirtieron $0,3 billones en 2004. En

este tema estamos pendientes del análisis de costo-efectividad, pero al menos
sí tenemos unos análisis que dicen que hay algunos impactos importantes. Sin
embargo, es claro que el resultado final que se necesita es el tema de costo-
efectividad. En el tema de nutrición es un reto muy complejo, porque no es
tan fácil evaluar que tanto representa un centímetro o dos más de estatura.
Son metodologías un poco menos inmediatas que las de educación, donde
estamos haciendo una inversión en unos jóvenes con la cual se está aliviando
su costo de oportunidad y se está aumentando su matrícula, con algunas
bondades adicionales otras dimensiones.
Sin embargo, éste Programa le está representando al país unos costos 249
importantes. Éstas personas están en áreas rurales, y a diferencia del programa

PACES, donde al ir a un colegio privado liberan un espacio en el público, los
beneficiarios del componente de educación del Programa Familias en Acción
están yendo al colegio público. Es decir, se tiene el gasto de la transferencia
que se hace a los municipios en el marco del Programa, y adicionalmente, el
gasto del cupo que está usando el beneficiario, que gracias al Programa, se
matricula en el sector público. Entonces hay varias razones por las cuales uno
no diría que es costo-efectivo el programa al menos de forma inmediata, a
pesar de los impactos positivos en educación.
Es también importante evaluar programas como los de Nutrición y Formación

para el Trabajo de la Red de Apoyo Social, en vista de las grandes necesidades
de la niñez y de la población en edad de trabajar, donde hay también muchas
QUINTA sesión
carencias en salud y educación. Además, otro asunto particular que hace

relevante la evaluación es el contraste que se ha venido haciendo entre
programas. Por ejemplo, entre Familias en Acción y el ICBF se encontró
que hay más complementariedad que sustitución, y que tal vez se puede
seguir con los dos simultáneamente en muchas áreas. Esto también es muy
importante y sería bueno poder hacerlo más adelante entre Jóvenes en Acción
y el Sena; observar si hay complementariedades o si en algunos aspectos son
sustitutos.
• Régimen Subsidiado en Salud
El Régimen Subsidiado en Salud ejecutó $2,5 billones en 2004 y en 2005

va a ejecutar $2,7 billones. Éste en principio también era una muy buena
idea, y se suponía que iba a aumentar la eficiencia del sector. De acuerdo
con el diseño teórico, las personas tendrían un colateral con el Régimen
Subsidiado, representado en un carné que les permitiría demandar salud en
varias partes. Entonces se generaría un arbitraje, y donde les pareciera mejor,
irían y demandarían la atención, lo cual generaría eficiencia. Por otro lado,
se tienen unas Administradoras de Régimen Subsidiado, ARS, que son las
que administran esos recursos y los entregan a los hospitales donde elijan las
personas ir a ser tratadas, y además lo hacen en forma eficiente. Estas evalúan
al paciente y determinan si necesita tratamiento del nivel 1, para remitirlo a
un hospital pequeño, o un tratamiento complejo, para remitirlo a un hospital
de nivel 3. Esto endógenamente la gente no siempre lo hace, la gente tiende
a irse al hospital 3 necesite o no las atenciones del hospital 3. en este sentido,
las ARS permiten una ganancia en eficiencia.
250
Otra cosa que se pensó era que este régimen era muy viable financieramente.
Cuando se miraba el balance de los hospitales se decía: “si se le reduce la
transferencia a los hospitales y se le da al Régimen Subsidiado, los hospitales
van a conservar su equilibrio financiero, dado que los beneficiarios del Régimen
Subsidiado van a volver a los hospitales y el hospital va a recoger otra vez los
recursos de transferencias vía venta de servicios”.
El anterior era el modelo teórico, el cual se veía perfecto; sin embargo ¿qué
pasó? No siempre los beneficiarios del Régimen Subsidiado volvían a los
hospitales públicos, por lo cual no siempre los hospitales recuperaban los
recursos de transferencias vía venta de servicios, y entonces la transformación
QUINTA sesión
no se pudo hacer completamente. Si se “transforman” $100 de transferencias

del hospital a subsidios a la demanda, pero solo vuelven $50 vía venta de
servicios, los hospitales pierden 50% de los recursos que se transforman de
oferta a demanda. Claramente existieron barreras a la transformación de tipo
político y técnico, ya que no se le puede decir al hospital repentinamente que
se queda sin un porcentaje importante de sus recursos. El resultado fue que
la transformación que se pensaba y que se quería tener para finales del año
2000 no se pudo lograr. Se sigue que la existencia de hospitales que podrían
considerarse ineficientes, por el hecho de no atraer a los beneficiarios de
los subsidios de demanda, se ha convertido en un “cuello de botella” a la
transformación de subsidios de salud, y al incremento en la cobertura del
aseguramiento. Hoy la realidad es que existe una población pobre cubierta
y otra no cubierta. No se tiene una evaluación rigurosa de esta situación. Se
cuenta con ejercicios de comparación de beneficiarios del régimen subsidiado
y vinculados; pero esto, lejos de constituirse en un ejercicio comparable con
los que hemos visto en este seminario, es una aproximación rápida a lo que
uno quisiera tener con mayor rigor.
Otro tema respecto al Régimen Subsidiado es que se están invirtiendo muchos

recursos: $2,5 billones. Además, la forma como está diseñada la focalización
genera grandes tensiones sociales por el acceso al subsidio, en particular,
por ser sisbenizado, y una vez sisbenizado, por ser beneficiario del Régimen
Subsidiado. ¿Por qué? Porque no se tiene cobertura universal. Así que existen
problemas de inequidad horizontal que tienen implicaciones de tipo social.
• ¿Por qué no se evalúan estos programas?

251

Hablemos ahora de por qué no se están evaluando estos programas, si la
necesidad de hacerlo es bastante obvia a la luz de las presentaciones de ayer
y hoy.
• Descentralización
La descentralización, como les decía, fue muy bien concebida conceptualmente.

Para avanzar en la profundización de la descentralización en Colombia, no
solo sirvió el hecho de que en otros países se estaba profundizando, sino el
de que era muy popular políticamente. Se le estaba diciendo a los territorios:
“la Nación les va a entregar una cantidad de recursos que antes solamente
QUINTA sesión
manejaba ella”, y entonces la propuesta encontró el terreno abonado para

que se implementara inmediatamente. En este tema hacer un proyecto piloto
habría sido recomendable. Orazio Attanasio lo mencionó en su presentación,
siempre es ideal hacer proyectos piloto antes de embarcarse en programas
a fondo. Pero no es tan fácil implementar gradualmente este tema: ¿cómo se
hace un proyecto piloto en descentralización? ¿A cuál región se le dice que
se va a descentralizar y a cuál no? Esto políticamente no es viable. De hecho,
la evidencia empírica ha mostrado que aun la gradualidad ha sido difícil de
implementar, ya que en la práctica la mayoría de las entidades territoriales se
han ido certificando, no siempre dándole alcance cabalmente a los requisitos
inicialmente concebidos como condiciones necesarias par a ello.
Adicionalmente, no se anticipó la irreversibilidad política. Como ustedes

se habrán dado cuenta en este seminario, el Gobierno ha tenido mucha
intención de hacer actos legislativos para modificar el Sistema General de
Participaciones, pero ha sido definitivamente muy poco lo que se ha logrado.
Entonces aquí también creo que la tecnocracia pecó de algo de ingenuidad.
Éste era un tema con una implementación muy difícil de las premisas técnicas,
tanto en lo político como en lo técnico. Había un diseño muy bien puesto en
el papel pero volverlo realidad no era tan fácil. No era tan fácil decirle a los
municipios y a los departamentos: “cuando usted se gradúe lo descentralizo”,
porque había mucha presión y entonces graduado o no graduado terminó
siendo descentralizado. Eso ha pasado en educación, y eso ha pasado en
salud.
Adicionalmente, hay grandes limitaciones de información. Esta es una de las

252 grandes necesidades; por ejemplo, la cobertura en educación a nivel municipal
no se conoce. Este tema técnico es un ‘cuello botella’ que tiene también unos
orígenes institucionales. Si se tuviera un censo actualizado y otra información
probablemente ya habría algunas evaluaciones. Pero definitivamente, a pesar
de que haya voluntad desde muchos focos de hacer unas evaluaciones,
tenemos una alta carencia de la información necesaria.
Actualmente, el Departamento Nacional de Planeación está iniciando un

proceso de evaluación de todo el Sistema General de Participaciones, la ley
715 y sus implicaciones, entonces esperemos que con este ejercicio tengamos
más adelante unos primeros resultados sobre qué está pasando.
QUINTA sesión
• ICBF y SENA
En los casos del ICBF y el SENA yo diría que el grueso de las restricciones es
de tipo político. La primera de ellas se refiere al ‘trade-off’ entre cobertura
y eficiencia del gasto. Tenemos unos recursos muy escasos, unas metas muy
ambiciosas y una cobertura muy baja. Entonces siempre se está pensando:
“nos gastamos un millón de dólares en evaluación, o cubrimos más niños”.
No es tan fácil, políticamente, decir: “quitemos el cupo a los niños que
representan un millón de dólares para hacer una evaluación y después gastar
mejor la plata”.
Por otro lado, las evaluaciones requieren procesos complejos. Si por ejemplo
se fuera a evaluar Hogares Comunitarios esto tomaría tres o cuatro años.
Entonces, aún si el Gobierno quiere evaluar desde el principio de su mandato
y mostrar resultados al final, podría no tener el tiempo suficiente. ¿Qué es lo
que se quiere cuando se entra al Gobierno? Se quiere hacer una evaluación en
un año y decir los resultados, porque en buena parte estos son del Gobierno
anterior. Pero si la evaluación dura cuatro años, se está evaluando uno mismo,
entonces políticamente eso ningún gobierno lo quiere hacer. De modo que el
hecho de que técnicamente no se pueda contar con una adecuada evaluación
en poco tiempo, hace inviable políticamente la realización de la misma.
Otra restricción es que la institucionalidad dificulta el ejercicio de evaluaciones

experimentales, restándole contundencia a los resultados de las evaluaciones.
Digamos que para ICBF y SENA un diseño experimental es imposible, pues
ya se tienen unas condiciones iniciales y están en todo el territorio nacional,
entonces no hay nada que hacer. Esto pasa muchas veces en la mayoría de
los programas, hay razones éticas y políticas por las cuales hacer un diseño 253
experimental simplemente no es viable. Entonces como no se tiene un
diseño experimental, otra vez se genera mucho escepticismo porque los
resultados pueden de alguna forma dejar que desear a pesar de la rigurosidad
metodológica.
Actualmente el DNP y el ICBF están iniciando un proceso de evaluación de

los Hogares Comunitarios. Esto es muy importante pues dentro de 1 o 2 años
vamos a empezar a tener resultados preliminares y definitivos con los cuales
podemos hacer ya una política mucho más clara, analizando conjuntamente
los resultados de Familias en Acción y Hogares Comunitarios. También existe
conciencia de la necesidad de evaluar los programas de formación para el
trabajo del Sena. Todavía no hay una agenda muy definida, pero este es
definitivamente uno de los temas.
QUINTA sesión
• Fondo de Solidaridad Pensional y Programa de Subsidio al

Empleo
El Fondo de Solidaridad Pensional es básicamente un programa muy nuevo.

Antes existía un programa similar pero de una magnitud mucho más baja, que
de alguna forma no ameritaba una evaluación tan profunda por la cuantía de
los recursos. Dado que ahora ya cuenta con unos recursos más importantes,
valdría la pena tenerlo en la lista. Lo mismo ocurre con el Programa de Subsidio
al Empleo que es muy nuevo y ya tiene concebido hacer una evaluación.
• Régimen Subsidiado de Salud
Para la evaluación del Régimen Subsidiado hay una dificultad metodológica: ya

se implementó en todo el nivel nacional, y no tenemos un diseño experimental.
Eso obviamente tiene todos los problemas mencionados anteriormente, y
las evaluaciones que se han hecho hasta ahora, las que les mencionaba que
comparaban a quienes tenían subsidio y quienes no, han sido aceptadas
sin ningún cuestionamiento. Básicamente se ha dicho: “perfecto, esto está
funcionando muy bien”, de modo que ha faltado mucho debate técnico en este
tema de la evaluación, mientras que al mismo tiempo se está profundizando el
programa en cobertura y recursos.
• ¿Por qué sí se evalúan algunos programas?
Red de Apoyo Social
En el caso de la Red de Apoyo Social, desde un comienzo se anticipó la

254 conveniencia de evaluar los programas. Estábamos en medio de una crisis y
se generó esta posibilidad de hacer una red de apoyo y de emergencia para
la población que había sido vulnerada con la crisis. Se dijo: “bueno, tratemos
de ver qué va a pasar con estos recursos que son importantes”. Cuando se
concibieron estos programas, había una expectativa de se iban a implementar
relativamente rápido. Se pensaba que en un año se iban a estar implementando,
y lo que resultó fue muy distinto. Se necesitaban para 1999, pero en realidad se
implementaron cerca de un año y medio más tarde. Entonces, inicialmente se
pensaba: “Se evalúan, y si lo hacemos rápido vamos a tener algo políticamente
muy bueno para mostrar”. Esto porque la posibilidad de que el impacto fuera
importante, en medio de la crisis, era muy alta. Es decir, con unas necesidades
muy altas, con una población en grandes necesidades, cualquier transferencia
de cualquier programa es muy probable que sea susceptible de tener unos
impactos interesantes.
QUINTA sesión
• ¿Es reversible el gasto social a la luz de los resultados de las

evaluaciones?
Si vamos más allá y suponemos que superamos las restricciones y hacemos las
evaluaciones, entonces la pregunta es: ¿sí son relevantes estas evaluaciones? Esto
depende entonces de si es reversible el gasto. Si con el gasto políticamente no
hay nada que hacer, entonces las evaluaciones son poco más que documentos
académicos para anaquelar y no nos van a servir para mucho más.
Hay restricciones de tipo institucional a la reversibilidad del gasto social. En

el caso de la descentralización, ya tenemos todas las entidades territoriales
recibiendo las transferencias. Entonces, de la noche a la mañana por más
que se diga que hay una evaluación que es muy mala, la descentralización
no hace muy fácil decir: “reversemos”. En entidades como el SENA, ICBF
y el programa de Familias en Acción, la estructura organizacional constituye
una restricción. En los dos primeros casos por lo que decíamos ahora, las
madres comunitarias y los funcionarios del SENA. En Familias en Acción la
institucionalidad serían los mismos beneficiarios, pues no es tan fácil quitarles
un programa que lleva años con estas 340 mil familias, eso socialmente no es
tan fácil. Así mismo, en el caso del Régimen Subsidiado no es tan fácil quitarles
el carné de Régimen Subsidiado a 14 millones de beneficiarios que hay ahora.
Existen igualmente unas restricciones técnicas, condicionadas en las políticas,
en la institucionalidad y en las limitaciones de información.
Ahora, hay unos programas que son reversibles pero no necesariamente

que sean reversibles es lo ideal. Por ejemplo Jóvenes en Acción que provee
formación para el trabajo. Son cursos la mayoría de ellos no muy largos y las
personas salen cada año, entonces no hay nadie que se sienta doliente para el 255
siguiente año. No es como Familias en Acción donde las familias llevan muchos
años y entonces hay una resistencia muy alta. En este sentido se podría acabar
un programa como Jóvenes en Acción muy rápido; pero en este caso esto tal
vez sería malo, porque sería deseable tener un horizonte un poco más largo
para poder ver las bondades de largo plazo del programa.
En este seminario, un participante sugirió una metodología para definir

la política de asignación del gasto social: (i) la entidad ejecutora del gasto
debería de asignar de su presupuesto, recursos para que sus programas
fueran evaluados, (ii) sólo con resultados favorables de las evaluaciones, se le
daría continuidad al financiamiento de sus programas. A pesar de que sea de
esperarse de que muchos seamos adeptos a ésta estrategia desde el punto
de vista conceptual, la experiencia lo que muestra es que: (i) pocas entidades,
QUINTA sesión
si alguna, asignarían recursos de su presupuesto para evaluar sus programas,

y (ii) aun si el gobierno tuviera la posibilidad de presupuestar recursos de
otras fuentes con el propósito de evaluar dichos programas, generalmente la
entidad ejecutora se mostraría escéptica de los resultados de la evaluación,
y en algunos casos, presentaría resistencia política a la implementación de
la misma. De aquí la importancia de definir la evaluación de los programas
desde el momento de su concepción, con el objeto de lograr un diseño de la
evaluación que permita arrojar resultados contundentes sobre las bondades
del programa en cuestión.
• Algunas políticas o programas que ameritan ser evaluados:

síntesis
En el siguiente cuadro hay una síntesis de los programas y políticas que se han
tratado en esta presentación, con sus recursos de inversión para 2004 y las
restricciones para su reversibilidad.
Cuadro 1 • Políticas y programas a considerar para evaluación
Reversibilidad
Concepto $ Miles de
% Política Técnica
Millones
Transferencias a las E.T.:
Educación básica y media (T) 8.000 37,7

256 Alguna | política,
institucionalidad, y
Salud oferta (T: $1.26 Bill.) 3.000 14,1 Ninguna (ET)

limitada por
Salud demanda (T:$1.6 Bill.) 2.700 12,7 información
Salud pública (T) 360 1,7
Propósito general (T) 2.300 10,8
Fuente: Presupuesto General de la Nación 2004.

QUINTA sesión
El cuadro registra la cuantía de los recursos transferidos (para oferta y

demanda en salud se transfiere aproximadamente la mitad de los recursos
ejecutados por las entidades territoriales en esos rubros), y la posibilidad
de que puedan ser reversibles, tanto desde el punto de vista político, como
técnico. Por ejemplo, en relación a la descentralización de recursos a las
entidades territoriales, la reversibilidad política, representada en la posibilidad
que el Congreso apruebe una enmienda a la Ley que le reduzca la cuantía de
recursos a las entidades territoriales, a probado ser muy poca. Técnicamente,
ha habido algunos intentos, no de reducir estos recursos, sino de lograr una
distribución más eficiente y equitativa. No obstante, aun en ese sentido se han
encontrado grandes restricciones, inclusive de tipo político. Cada intento de
la nación en este sentido, se ve obstaculizado por la reacción de las entidades
territoriales, las cuales protestan cuando la nueva asignación de recursos hace
no sostenible los niveles de gasto logrados con los recursos transferidos en
la vigencia inmediatamente anterior. Adicionalmente, existe la imposibilidad
de mejorar la asignación de recursos por la falta de información, en particular
en este caso, a nivel municipal. En este sentido, se podría decir que sí existe
alguna posibilidad de reversibilidad técnica, pero condicionada en los factores
mencionados.
• Conclusiones
Para terminar voy a presentar un par de conclusiones, que claramente están

lejos de ser un ejercicio exhaustivo:
• Falta independencia entre las decisiones técnicas relativas al gasto social y

los intereses políticos. 257

Al ver lo que ha pasado en el tema monetario con el Banco de la República,

que es una instancia completamente independiente y eso de alguna forma ha
blindado la política monetaria del país, el país se pregunta: ¿por qué no buscar
mecanismos que de alguna forma blinden al menos algunos de los temas de
gasto social también? Una institucionalidad sobre la cual se podría dar unos
primeros pasos en este sentido es la del DANE. La independencia del DANE,
y una institucionalidad que permita, por ejemplo, que el Censo sea hecho cada
10 años, y que encuestas como la de Ingresos y Gastos tenga una periodicidad
determinada.
QUINTA sesión
• Falta pragmatismo técnico para anticipar la dinámica política.
Los técnicos del gobierno, la academia y los consultores en general, siempre

miramos las cosas conceptualmente muy bien, pero hasta que no tenemos la
experiencia de que un programa muy bonito sobre la marcha se desdibujó,
no nos damos cuenta de que pecamos de ingenuos. Para que los programas
sean bien concebidos técnicamente, e implementables políticamente,
es fundamental tener un diagnóstico claro sobre los mecanismos que
determinaron las condiciones iniciales sobre las cuales actuaría el programa
en cuestión. La receta final para el programa debería tener ingredientes
que brinden soluciones técnicas para los determinantes técnicos y políticas
para los determinantes políticos. Pero para anticipar dificultades políticas a
las propuestas técnicas, suele ser necesario tener experiencia, y para tener
experiencia los funcionarios públicos necesitarían permanecer en sus cargos
un período no muy breve, y desafortunadamente en Colombia, los cargos
oficiales tienen una alta rotación, por lo cual lograr anticipar las barreras
políticas es muy difícil.
258

Memorias Seminario Porque Evaluar Gasto Publico Baja PDF

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Memorias Seminario Porque Evaluar Gasto Publico Baja PDF

Transféré par

Droits d'auteur :

Formats disponibles

SEMINARIO INTERNACIONAL

Por qué evaluar

¿Por qué Evaluar el Gasto Público?

Director de Evaluación de Políticas Públicas

¿Por qué evaluar el gasto público?

© Departamento Nacional de Planeación, 2004

Impreso y hecho en Colombia

Valor y beneficios de la evaluación para fortalecer el diseño de

Retos y perspectivas de la evaluación y la información en Colombia 21

Modernización del presupuesto, evaluación y calidad del gasto público 51

Beneficios de la evaluación, enfoques y alternativas 68

Experiencia internacional en evaluación de políticas públicas, e

Valor de la evaluación para la definición de políticas: el caso del

El Sistema australiano de seguimiento y evaluación 96

Evaluación periódica y gasto público en Colombia

8 Evaluación y gasto público en Colombia 123

La evaluación del gasto del Estado 132

Evaluación y reforma al Estatuto Orgánico de Presupuesto 139

Evaluación y sostenibilidad fiscal en Colombia 149

Lecciones de las evaluaciones de impacto de programas sociales en

Evaluación de Familias en Acción y Hogares Comunitarios 155

Evaluaciones de impacto de corto plazo del programa Empleo

Cupones en escuelas privadas en Colombia: impacto de corto y

Evaluación de la calidad de la educación básica en Colombia:

¿Por qué Evaluar el Gasto Público?

Implicaciones de las evaluaciones de impacto para la política social y

La agenda futura 231

Reflexiones en torno a la evaluación en Colombia 239

Restricciones institucionales a la evaluación del gasto público

Un buen ejemplo de esto es el incremento del gasto en los sectores social y de

¿Por qué Evaluar el Gasto Público?

Prueba de esto es que sólo un 4,13% del presupuesto de inversión de la

En Colombia, el Departamento Nacional de Planeación, a través del Sistema

Por lo anterior, Sinergia presenta las Memorias del Seminario Internacional

S eñor François Bourguignon, Vicepresidente Senior y Economista en Jefe

Es muy grato para Planeación Nacional convocar a este seminario

quien nos honra con su presencia. El doctor Bourguignon es no solo un alto

La evaluación es un instrumento de la gerencia pública moderna con toda

Una valoración de la gestión del Estado no puede ignorar que el incremento

En educación, las coberturas registraron un incremento moderado durante el

¿Por qué Evaluar el Gasto Público?

A pesar de la magnitud de los recursos públicos invertidos, la insuficiencia de

de eficiencia, si los programas llegan a la población objetivo y responden a

En Colombia, el Departamento Nacional de Planeación a través del Sistema

Para Planeación, es un motivo de gran complacencia poder reunir en este

S eñor Ministro de Hacienda, Alberto Carrasquilla; señor Director del

Es un honor para el Banco Mundial apoyar este seminario internacional que

¿Por qué Evaluar el Gasto Público?

Ejemplo de este liderazgo, es la unidad de evaluación Sinergia del Departamento

* Vicepresidente Senior y Economista en Jefe del Banco Mundial

el área del monitoreo y la evaluación, y se ha convertido en un ejemplo para

Por ejemplo, la reciente evaluación del impacto de Familias en Acción

De igual manera, Colombia ha sido uno de los pioneros en la evaluación de

El Banco Mundial está muy interesado en conocer la experiencia de Colombia

y otros, exige mejorar nuestra comprensión de cuál es la mejor manera de

Las técnicas de evaluación han avanzado muchísimo en los últimos años.

Es cierto que estas evaluaciones tienen un costo, aunque éste me parece

¿Por qué Evaluar el Gasto Público?

La idea es, con la acumulación de evaluaciones de proyectos en varios campos,

Valor y beneficios de la evaluación para fortalecer

Retos y perspectivas de la evaluación

C uando Manuel Fernando Castro me invitó a participar en este

Aunque parezca increíble, no existía en el año 2002 un dato preciso sobre