Evaluacin de Resultados en el Contexto del PpR

Israel Fainboim Fondo Monetario Internacional Departamento de Asuntos Fiscales

Seminario Hacia un Presupuesto por Resultados en el Per Lima, Marzo 29-30

1

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

Contenido
z z z z z

Introduccin 2. Definicin 3. Tipos y Usos de la Evaluacin 4. Ejemplos de Sistemas de Evaluacin 5. Implementacin de Sistemas de Evaluacin

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

1. Introduccin
z

Hasta hace pocos aos en Amrica Latina las evaluaciones se restringan a la evaluacin ex-ante de los proyectos de inversin, o a la evaluacin de la ejecucin fsica y financiera de los programas o proyectos en ejecucin. Pocas tentativas de evaluacin en profundidad de los programas, tanto ex-ante, como durante y ex-post, la mayora como resultado de las exigencias contractuales de las entidades multilaterales, o de los organismos de cooperacin. Su utilizacin se restringa a la mejora del diseo y gestin de los programas y no a incidir sobre el presupuesto.
Lima, Marzo 29-30, 2007 3

Fondo Monetario Internacional

2. Definicin
Dos definiciones similares:
Las evaluaciones son formas objetivas y sistemticas de determinar la contribucin que ha realizado una poltica o un programa, o que se espera realice, al logro de las prioridades de poltica y los resultados. (definicin de un documento Australiano) z Las evaluaciones son estudios de los resultados de las polticas publicas, programas, proyectos u organizaciones, que enfatizan la confiabilidad y utilidad de los hallazgos. (definicin de Rossi)
z

Una tercera definicin tiene una ptica diferente, que no se asocia estrechamente a los objetivos de la presupuestacion por resultados: z Las evaluaciones tratan de encontrar explicaciones de los resultados observados y entender la lgica de la intervencin pblica.
4

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

3. Tipos y Usos de la Evaluacin

z

Puede distinguirse entre evaluaciones ex-ante (o anlisis de poltica), concurrente/intermedia y evaluaciones ex-post. Las primeras examinan las opciones futuras de poltica. Las segundas son mas comnmente consideradas como evaluaciones.

La literatura tambin distingue entre evaluaciones formativas y evaluaciones sumativas. Las primeras generalmente se realizan durante la ejecucin de un programa (intermedia), para mejorar su implementacin. Los clientes son generalmente los administradores del programa. Las segundas se llevan a cabo cuando el programa lleva algn tiempo de operacin y buscan establecer su efectividad y juzgar su valor. Se utilizan tpicamente para apoyar la asignacin de recursos.

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

3. Tipos y Usos de la Evaluacin

La literatura identifica una gran variedad de instrumentos de evaluacin, incluyendo entre otros: z Medicin de indicadores de desempeo z Mtodos rpidos de evaluacin y encuestas ciudadanas z Mtodos participativos z Encuestas de seguimiento del gasto pblico z Anlisis de impacto z Evaluaciones costo-beneficio y costo-efectividad Estn organizados en orden de profundidad de la evaluacin y del tiempo y recursos requeridos. Algunos de ellos son instrumentos complementarios. En su mayora pueden utilizarse como insumos de las evaluaciones de impacto, o de costo- beneficio (o costoefectividad). No todos son en sentido estricto instrumentos de evaluacin y no todos apoyan en forma directa el PpR.

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

3. Tipos y Usos de la Evaluacin

Medicin de indicadores de desempeo
Medicin peridica de algn aspecto del desempeo de un programa, para hacer un seguimiento de los progresos realizados. Ya se mencion en la presentacin anterior que es difcil utilizar los indicadores para vincularlos estrechamente con el presupuesto. Son tiles para advertir tempranamente que existen problemas y tomar acciones correctivas y para indicar si se requiere una evaluacin en profundidad (de impacto, de costo-beneficio o de costo-efectividad). Su informacin alimenta los anlisis de impacto o las evaluaciones costo-beneficio. Algunos autores no los consideran como una forma de evaluacin, pero se ajustan a las dos primeras definiciones. (OED, WB, 2004)

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

3. Tipos y Usos de la Evaluacin

Mtodos rpidos de evaluacin y encuestas. Los primeros son formas rpidas y de bajo costo de obtener opiniones de los beneficiarios y otros grupos con inters en el proyecto (stakeholders). Proveen contexto e interpretacin para los datos obtenidos mediante mtodos mas formales. Constituyen una versin menos costosa de las encuestas. Las encuestas pueden proveer lneas de base, comparar diferentes grupos en un momento del tiempo o el mismo grupo en diferentes momentos, o las condiciones actuales con las metas. (OED, WB, 2004)

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

3. Tipos y Usos de la Evaluacin

involucramiento activo de aquellos que tienen algn inters en el proyecto o programa. Permiten el aprendizaje de las condiciones locales y de las perspectivas de los agentes locales para disear intervenciones que respondan mejor a las necesidades; para identificar problemas durante la implementacin y para evaluar un programa o una poltica. La evaluacin debe ser un proceso interactivo entre los beneficiarios y los ejecutores de los programas. (OED, WB, 2004)

Mtodos participativos. Permiten el

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

3. Tipos y Usos de la Evaluacin

Encuestas de seguimiento del gasto publico. Determinan el grado en que los

recursos llegaron a los grupos objetivo. Sirven para identificar los problemas de provisin de los servicios. Pueden proveer evidencia de retrasos, cuellos de botella burocrticos, desvos de fondos y corrupcin. (OED, WB, 2004)

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

10

3. Tipos y Usos de la Evaluacin

repercusiones positivas o negativas, deliberadas o involuntarias- en los hogares, instituciones y el medio ambiente, como consecuencia de un proyecto o programa. Incluyen desde encuestas por muestreo en gran escala en que las poblaciones afectadas por los proyectos se comparan con grupos de control, antes y despus de los mismos y, posiblemente, en diferentes momentos de su ejecucin, hasta evaluaciones rpidas en pequea escala. (OED, WB, 2004)

Anlisis de impacto. Identificacin sistemtica de las

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

11

3. Tipos y Usos de la Evaluacin

Evaluaciones costo-beneficio y costoefectividad. Evalan si los costos de un programa

se justifican por sus resultados. El primero mide costos y beneficios (inputs y outputs) en trminos monetarios, mientras que el segundo se utiliza cuando los outcomes no se pueden monetizar (como por ejemplo, las mejoras en resultados de tests de lectura). Identifican los programas mas eficientes para asignar los recursos. Usan los datos en forma intensiva y con horizontes de largo plazo. (OED, WB, 2004)

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

12

4. Ejemplos de Sistemas de Evaluacin

Amrica Latina
Def. Metod. E
Si

Pais

Nombre del Sistema SIEMPRO PFMS RBMS

Tipo

Definic. Indic. y Metas Bilateral Bilateral Bilateral Bilateral Bilateral Bilateral Bilateral Bilateral Bilateral

M Argentina
Si Si Si

Publicac.E DecisinP val. rogramas deDesem a Evaluar p. Bilateral U.C. U.C. U.C. U.C. U.C. U.C. U.C. Bilateral U.C. U.C.

Evaluador

U.C. U.C. U.C.

Externo

Brasil Chile Colombia Peru Uruguay Mexico MCS SSPG

SINERGIA Si Si Si Si Si Si Si Si Si Si

U.C. U.C. U.C. U.C. U.C. U.C.

Externo Externo

Costa Rica SINE CAR SEV

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

13

4. Ejemplos de Sistemas de Evaluacin

Amrica Latina
Brasil usa un sistema de indicadores de desempeo para sus programas. Legalmente, el proceso arranco con un Decreto de 1998. Ghirlanda (2003) reporta por ejemplo que en 2001 se evaluaron casi el 90% de los programas del Plan Plurianual 20002003 (347 de 388). Estos se evaluaron por el Ministerio de Planeamiento, presupuesto y Gestin, junto con el Instituto de Pesquisa Econmica Aplicada (IPEA). z Colombia tambin usa indicadores de desempeo para sus inversiones, junto con evaluaciones de impacto (muy limitadas en numero). z En Mxico la Secretaria de Desarrollo Social (SEDESOL) realiza evaluaciones de impacto y cualitativas e utiliza indicadores de desempeo (tiene la obligacin legal de evaluar los programas sociales).
z
Fondo Monetario Internacional Lima, Marzo 29-30, 2007 14

4. Ejemplos de Sistemas de Evaluacin: Chile

z

El sistema chileno es un ejemplo de la combinacin de varios tipos de evaluacin utilizados en forma complementaria. Como se ve, no se utilizan anlisis costo beneficio ex-post de los programas. Las gran variedad de tipos de evaluacin utilizados no es lo que lo hace exitoso, sino la calidad de la mayora de estas (son contratadas mediante concurso publico con consultores y la academia) y el uso de ellas por el Ministerio de Hacienda para las decisiones de asignacin de recursos del presupuesto y para imponer mejoras en la gestin de los programas.
Lima, Marzo 29-30, 2007 15

Fondo Monetario Internacional

4. Ejemplos de Sistemas de Evaluacin: Chile

z z

z z

Anlisis ex-ante costo-beneficio. Se requiere para todos los proyectos de inversin (1974). Indicadores de desempeo. Recoleccin peridica de informacin para todos los programas (1994). En la actualidad se recolecta informacin sobre aproximadamente 1600 indicadores. Reportes comprehensivos del gasto (1996) Evaluaciones de los programas (1996). Son revisiones de los programas, que comprende la clarificacin de los objetivos, la preparacin de una anlisis de la lgica del programa, un revisin de escritorio (desk review) y un analisis de los datos existentes (se han hecho aprox. 160).
Lima, Marzo 29-30, 2007 16

Fondo Monetario Internacional

4. Ejemplos de Sistemas de Evaluacin: Chile

z

Evaluaciones de impacto (2001). Usan grupos de control y diferencias en diferencias (se han realizado 14). Son los mas largos y costosos. Revisiones comprehensivas del gasto (2002). Revisan todos los programas dentro de un rea funcional, identificando ineficiencias y duplicaciones. Incluyen evaluaciones de escritorio (desk reviews). Se han hecho 5.
17

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

4. Ejemplos de Sistemas de Evaluacin: Chile

Tiene algunas debilidades: las evaluaciones de programas y las de impacto no siempre reportan su metodologa ni ponen atencin suficiente a la lgica del programa; algunas evaluaciones de impacto no tienen un grupo de control y una lnea de base; y tienden a acentuar el uso de mtodos cuantitativos y subutilizar informacin cualitativa, como el nivel de satisfaccin de los beneficiarios.

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

18

4. Ejemplos de Sistemas de Evaluacin: Pases Desarrollados

Australia, Estados Unidos y Gran Bretaa utilizan simultneamente indicadores de desempeo, revisiones rpidas y evaluaciones de impacto.
z

Estados Unidos tambin utiliza anlisis costo-beneficio.

z

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

19

5. Diseo Institucional e Implementacin

Responsabilidad por la Evaluacin y Financiacin
Hay que asegurar tambin la objetividad y credibilidad de las evaluaciones. El hecho de ser externo no garantiza la imparcialidad, pues puede tratar de agradar a quien lo contrato. Por eso debe contratar Hacienda. Los incentivos a justificar los programas, llevan a que sean los Ministerios de Hacienda quienes hagan evaluaciones y no los ministerios sectoriales. z Chile lo hace va outsourcing por el Ministerio de Hacienda de una forma completamente transparente. En USA se utiliza el PART por la Office of Management and Budget para calificar el desempeo de los programas.
z

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

20

5. Diseo Institucional e Implementacin

Responsabilidad por la Evaluacin y Financiacin
En algunos pases las evaluaciones las realizan los Ministerios sectoriales (auto-evaluaciones), lo que da lugar a cuestionamientos sobre su confiabilidad.
z

Deben existir recursos presupuestales especficos destinados a la evaluacin, como un fondo para el financiamiento de las evaluaciones.
z

Fondo Monetario Internacional

Lima, Marzo 29-30, 2007

21