Curso Internacional 2008

Políticas presupuestarias y gestión por resultados

Uso de la MML para

Evaluación de Gesti
Evaluación ón y
Gestión
de Resultados

Eduardo Aldunate
Experto
Área de Políticas Presupuestarias y Gestión Pública
ILPES, CEPAL
eduardo.aldunate@cepal.org
Ciclo de Vida de un Programa o Proyecto
Se funden en el caso de programas

Preinversión Inversión Operación

Evaluación de
Formulación Evaluación de resultados e
y evaluación gestión impactos

Evaluación
Ex-Post
 Aporte de la MI a la fase de Preinversión

Preinversión

• Contribuye a un mejor diseño del programa o

proyecto.
• Obliga a pensar y definir como se evaluará el
programa o proyecto.
• Obliga a establecer metas claras.
• Obliga a identificar y analizar los riesgos que
enfrenta el programa o proyecto.
• Resume en un formato estandar las principales
características del programa o proyecto.
 Aporte de la MI a la fase de Inversión
Fin

Propósito

Componente
Inversión
Actividad

• Resume las principales actividades a desarrollar y

productos a entregar.
• Aporta indicadores que permiten un seguimiento
y control gerencial y evaluar la gestión.
• Establece como se hará el seguimiento.
• Ayuda a la gerencia a estar pendiente de los
riesgos.
 Aporte de la MI a la fase de Operación
Fin

Propósito

Componente
Operación
Actividad

• Resume los principales aspectos del

diseño del programa necesarios para
evaluarlo (objetivos, metas).
• Establece como evaluar resultados e
impactos.
• Ayuda a la gerencia a estar pendiente de
los riesgos.
 Evaluación de Gestión y Resultados

Objetivos de la Ejecución Objetivos de la Operación

Fin Fin

Propósito Propósito

Componente Componente

Actividad
Actividad

Evaluación de la Evaluación de
gestión del programa resultados e impactos
 Programa: Ejecución-Operación

Fin

Mediano o largo plazo

Impactos
Propósito
Corto o mediano plazo
Resultados
Componente
Corto plazo

Actividad
Corto plazo
 Monitoreo y evaluación

• Recopilar datos para el cálculo de los

indicadores.
• Validar los datos.
• Calcular los indicadores.
• Interpretar la información.
• Preparar recomendaciones.
 Recopilación de datos
Detalle para medios de verificación
• Fuentes de información
Test de 10 preguntas sobre las materias tratadas en la capacitación.
• Método de recopilación
Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona.
• Responsable de la recopilación
Juanita Pérez
• Frecuencia de recopilación
Por una vez, a los tres meses de concluido el último evento de capacitación.
• Método de análisis
Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará
porcentaje de aprobación, media y desviación estándar.
• Modo de distribución
Correo electrónico
• Usuarios
Unidad de planificación y evaluación, gerente del proyecto, entidades
cooperantes, junta de vecinos.
 Validación de los datos

• Identificar “outliers”
– Comparar con datos históricos
– Comparar con otros datos del período
• Verificar validez de datos “disparados”
• Corregir errores
• Eliminar aquellos datos en que no existe justificación
para la desviación.
 Cálculo de los indicadores

Poner cuidado en:

• Utilizar una misma moneda para
indicadores relacionados con costos.
• Utilizar base actualizada para el cálculo
de indicadores de eficacia (aumento de la
población objetivo).
• Considerar el costo total, no sólo el
directo.
• Comparar con situación sin programa.
 Evaluación

• Evaluación de la MML
– Lógica vertical (estructura del programa)
– Lógica horizontal
• Evaluación de gestión y de resultados
– Eficacia - Calidad
– Eficiencia – Economía
– Justificación de la continuidad
 Lógica vertical

Fin Supuestos

Propósito Supuestos

Compo-
Supuestos
nentes
Activi-
Supuestos
dades
Lógica Vertical: Preguntas sobre los Objetivos

• ¿El problema que espera solucionar el

programa está correctamente identificado?
• ¿El Fin y el Propósito del programa están
claramente definidos?
• ¿El Fin y el Propósito corresponden a la
solución del problema?
• ¿A qué objetivo estratégico de la entidad está
vinculado o contribuye el programa?
Lógica Vertical: Preguntas sobre los Objetivos

• ¿Las Actividades del programa son las necesarias

y suficientes para producir cada uno de los
Componentes?
• ¿Los Componentes son los necesarios y
suficientes para el logro del Propósito?
• ¿Hay evidencia de estudios o investigaciones que
muestre que el tipo de servicios o productos que
brinda el programa son adecuados para la
consecución del Propósito y Fin?
• ¿Es claro y lógico que el logro del Propósito
contribuye al logro del Fin?
Lógica vertical: Preguntas sobre los Supuestos

• ¿Son necesarios y válidos los supuestos

del programa tal como figuran en la
matriz de marco lógico?
• ¿Están bien redactados?
• ¿Faltan supuestos importantes?
 Lógica horizontal

Fin

Propósito

Compo-
nentes
Activi-
dades

• Indicadores bien definidos, necesarios y

suficientes
• Medios de verificación bien identificados
Lógica horizontal: Preguntas sobre los Indicadores

• ¿Existen indicadores suficientes para

medir el desempeño del programa a nivel
de Fin, Propósito, Componentes y
Actividades?
• Cada uno de los indicadores es:
– ¿Objetivo?
– ¿Medible objetivamente?
– ¿Práctico y económico?
– ¿Relevante?
– ¿ Específico?
Lógica horizontal: Preguntas sobre los Indicadores

• ¿Los indicadores incluidos en la matriz

tienen identificada su línea de base y
temporalidad en la medición?
• ¿Están bien definidas las formulas de
cálculo de los indicadores?
• ¿Las unidades de medida de los
indicadores son las correctas?
• ¿Se han establecido metas razonables y
asociadas a plazos para los indicadores?
Lógica horizontal: Preguntas sobre Medios de Verificación

• ¿El programa ha identificado los medios

de verificación para obtener cada uno de
los indicadores?
• Para aquellos medios de verificación que
corresponda (por ejemplo encuestas), ¿el
programa ha identificado el tamaño de
muestra óptimo necesario para la
medición del indicador, especificando
sus características estadísticas como el
nivel de significancia y el error máximo
de estimación?
Lógica horizontal: Preguntas sobre Medios de Verificación

• ¿El programa recolecta regularmente

información oportuna y veraz que le
permita monitorear su desempeño?
• ¿De qué manera el programa valida la
veracidad de la información obtenida a
través de los medios de verificación?
 Evaluación

• Evaluación de la MML
– Lógica vertical (estructura del programa)
– Lógica horizontal
• Evaluación de resultados
– Eficacia - Calidad
– Eficiencia – Economía
– Justificación de continuidad
 Eficacia del Programa
La eficacia se relaciona con el logro del Propósito y el Fin
después de terminado el proyecto o al cabo de algún tiempo de
operación del programa. Se ocupa del grado hasta el cual:
• El programa produjo los Componentes en la cantidad y con la
calidad previstos.
• Los Componentes han sido los adecuados para atender la
necesidad y conducen al logro del Propósito.
• El logro del Propósito ha contribuido al Fin.
Fin

Propósito
Area de análisis de la Eficacia

Componente

Actividad
Análisis de Población

POBLACION
SIN PROBLEMA

POBLACION
POBLACIÓN POTENCIAL
POTENCIAL POSTERGADA

(Población
POBLACION
con problema)
OBJETIVO
 Preguntas sobre la Población Objetivo

• La población que presenta el problema y/o

necesidad (población potencial), así como la
población objetivo están claramente definidas?
• ¿El programa ha cuantificado y caracterizado
ambas poblaciones, según los atributos que
considere pertinentes?
• ¿Cuál es la justificación de que los beneficios que
otorga el programa se dirijan específicamente a
dicha población objetivo?
Preguntas sobre la Población Objetivo

• ¿Los criterios y mecanismos que utiliza el

programa para determinar las unidades de
atención (regiones, municipios, localidades,
hogares y/o individuos, en su caso) son los
adecuados?
• ¿Existe información sistematizada y
actualizada que permita conocer quiénes
reciben los apoyos del programa (padrón de
beneficiarios), cuáles son las características
socio-económicas de la población incluida en
el padrón de beneficiarios y con qué
frecuencia se levanta la información?
Preguntas sobre la Población Objetivo

• ¿El programa cuenta con algún método para

cuantificar y determinar la población potencial y
objetivo?
• ¿El avance de la cobertura, que a la fecha
presenta el programa, es el adecuado
considerando su Fin y Propósito?
• ¿El programa cuenta con una estrategia de
cobertura de corto, mediano y largo plazo?
• ¿Esta estrategia es la adecuada?
• ¿Se ha llegado a la población que se desea
atender?
 Preguntas sobre Eficacia
• ¿El avance de los indicadores a nivel de
Componente del programa es el adecuado para el
logro del Propósito?
• ¿Se identifica algún Componente o Actividad que
no es producido en la actualidad y que podría
mejorar la eficacia del programa?
• ¿Se identifican Componentes, Actividades o
procesos que se llevan a cabo en la actualidad y
que podrían ser prescindibles o posibles de
sustituir por otros más eficaces?
 Preguntas sobre Calidad

• ¿ Los bienes y servicios se entregaron

oportunamente?
• ¿Las características del bien o el servicio
entregado son las especificadas?
• ¿Los beneficiarios del programa están satisfechos
con la oportunidad y calidad del bien o servicio
recibido?
• ¿Existió continuidad en la prestación del servicio?
 Eficiencia del Programa
La eficiencia hace referencia a la manera como se realizaron las
actividades para la entrega de los componentes y se entregaron los
componentes para el logro del propósito . Verifica el grado en que:
• Los insumos se proveyeron de manera organizada, oportuna y al
mínimo costo posible.
• Las Actividades se ejecutaron al menor costo en los plazos
establecidos.
• Los productos (Componentes) se obtuvieron al menor costo.
• Los costos administrativos fueron lo mas bajo posible.

Fin

Propósito

Componente Area de análisis de la eficiencia

Actividad
 Preguntas sobre Eficiencia
• ¿El programa ha identificado y cuantificado costos de
operación y costos unitarios dependiendo del
Propósito y de sus Componentes? Si fuera el caso,
presentar dichos costos.
• ¿El programa tiene procedimientos para medir costo-
efectividad en su ejecución?
• ¿Se identifica algún componente, actividad o proceso
que no se esté llevando a cabo en la actualidad y que
podría mejorar la eficiencia del programa?
 Preguntas sobre Eficiencia

• ¿Se identifican Componentes, Actividades o procesos

que se llevan a cabo en la actualidad y que podrían ser
prescindibles o posibles de sustituir por mecanismos
de menor costo?
• ¿Existen indicadores de eficiencia en la operación del
programa?
 Economía del Programa
La economía se refiere a la capacidad de la gerencia del
programa para administrar adecuadamente los
recursos financieros. Analiza cómo:
• Se utilizó el presupuesto asignado.
• Se captaron recursos adicionales a los presupuestarios.
• Se recuperaron recursos en caso existir créditos.

Fin

Propósito
Area de análisis de la economía
Componente

Actividad
 Preguntas sobre Economía
• Cuantificar el presupuesto ejercido al término del
presente ejercicio fiscal en relación al presupuesto
asignado. ¿Cuáles son las razones de la situación que
se observa?
• ¿Cuál es el monto o porcentaje de aportaciones de
terceros (otras instituciones, otros niveles de gobierno,
beneficiarios, etc.) en relación al presupuesto ejercido?
• En función de los objetivos del programa, ¿se han
aplicado instrumentos de recuperación de costos
(gasto que le genera al Estado la producción/entrega
de servicios del programa)?
 Preguntas sobre Economía
• ¿Existe evidencia de que el programa utiliza prácticas
de administración financiera que proporcionen
información oportuna y confiable para la toma de
decisiones de los responsables de la administración
política y administrativa?
• ¿Existe una integración entre los distintos sistemas de
información que conforman la administración
financiera?
 Impactos del Programa
• Dos tipos de impactos:
– Contribución al logro del Fin
– Influencia en otros ámbitos
• Impactos planificados e imprevistos

Fin

Area de análisis de los impactos

Propósito

Componente

Actividad
 Continuidad de la Justificación
Dos preguntas fundamentales:
• ¿Continúa el programa siendo compatible con las
prioridades de desarrollo del país o del estado?
• ¿Se alcanzarán (on) los objetivos a nivel de
Propósito y Fin una vez generados los
Componentes del programa?
Fin

Propósito
Area de análisis de la justificación

Componente

Actividad
 Preparando recomendaciones

• Las recomendaciones deben estar

fundamentadas en el análisis.
• Proponer acciones para materializar las
recomendaciones.
• Analizar beneficios y costos de implementar las
recomendaciones.
• Proponer una estrategia de implantación y
seguimiento.
• Ser claro, preciso y conciso en la redacción.
Relación MML - Plan - Presupuesto
 MML y presupuesto de proyectos

• A nivel de actividades se detalla el costo

estimado de cada actividad.
• El costo de un componente se puede
obtener sumando el costo de sus
actividades
• El costo del proyecto es la suma del costo
de los componentes
• Durante la ejecución se comparan costos
incurridos con presupuestados
 Costo de un proyecto y MML
Fin

Propósito

Componente A

Componente B } Σ

}
Actividad A1 Costo A1
Actividad A2 Costo A2
Σ
Actividad A3 Costo A3

Actividad B1 Costo B1
Actividad B2 Costo B2 }
Σ
Indicadores relacionados con los costos

• Indicadores de eficiencia
– Costo por unidad de bien o servicio provisto
(Componente)
– Porcentaje de costos de administración
– Costos por “unidad de resultado” (Propósito)

• Indicadores de economía
– Porcentaje de ejecución del presupuesto
(Propósito o Componente)
 Problemas en programas

• El costo total del programa no se conoce

con certeza.
– El financiamiento puede provenir de varias
fuentes o ítem presupuestarios.
– No se identifican costos de oportunidad de
bienes propios.
– No se estiman costos de administración
– No se consideran costos de entidades
colaboradoras
• Consecuencia: Indicadores mentirosos
 Costo de un programa y MML
Fin

Propósito + costos de administración

del programa

}
Componente A + costos de oportunidad de
Σ recursos utilizados en la
administración
Componente B

}
Actividad A1 Costo A1
Actividad A2 Costo A2 + costos de administración
Σ del componente
Actividad A3 Costo A3
+ costos de otras entidades
participantes en el
componente
Actividad B1 Costo B1
Actividad B2 Costo B2 } + costos de oportunidad de
recursos empleados
 Plan y Matriz de Indicadores

Fin
• La lógica vertical exige una
Propósito
relación clara y verificable
(indicadores) entre los distintos
Compo- niveles de objetivos.
nentes • El programa o proyecto debe estar
Activi- alineado un objetivo del Plan
dades
Matriz de Indicadores
 Objetivos: Fin
Objetivo estratégico al que contribuye el programa
¿ Objetivo del PND?
¿Objetivo sectorial?
¿ Objetivo estratégico institucional?

Fin
Depende!
Propósito

Compo-
nentes
Activi-
dades
 Otorgamiento de becas - CONACYT
Fin: Contribuir al incremento Datos de Identif

Ramo:
de la competitividad del país
Consejo Nacional de Ciencia y Tecnología
Unidad Responsable: Centro de Investigación en Geografía y Geomática, "Ing. Jorge L. Tamayo", A.C.

Clasificación de Grupos y Modalidades de los Programas Presupuestarios: U Otros programas de subsidios

Denominación del Programa Presupuestario: 001 Otorgamiento de becas
Nombre de la Matriz:
Propósito: Facilitar al capital humano el acceso aOtorgamiento de becas
Alineación del P
oportunidades de formación de alto nivel, orientada a la
Eje de Política Pública: investigación científica, desarrollo tecnológico e
Economía Competitiva y Generadora de Empleos
Tener una economía competitiva que ofrezca bienes y servicios de calidad a precios accesibles, mediante el aumento de la productividad, la competencia económica, la inversión
Objetivo Nacional:
Grupo Tema:
innovación. para el desarrollo de las empresas, especialmente las micro, pequeñas y medianas.
Productividad y Competitividad
Tema: Promoción de la Productividad y la Competencia
Objetivo de Eje de Política Pública: Objetivo 5. Potenciar la productividad y competitividad de la economía mexicana para lograr un crecimiento económico sostenido y acelerar la creación de empleos.
Estrategia 5.1 Integrar una agenda nacional para la competitividad que involucre a los tres Poderes de la Unión; los tres órdenes de gobierno y al sector privado; con objeto de su
Estrategia del Objetivo de Eje de Política Pública : necesarias y traducirlas en resultados tangibles a corto y mediano plazo.

Componente: Generar conocimiento científico, desarrollo

Estrategia 5.2 Diseñar agendas sectoriales para la competitividad de sectores económicos de alto valor agregado y contenido tecnológico; y de sectores precursores; así como la r
Estrategia 5.3 Disminuir los costos para la apertura y operación de los negocios a través de la mejora regulatoria.
tecnológico e innovación para mejorar la competitividad
Estrategia 5.4 Fomentar condiciones de competencia económica y libre concurrencia; así como combatir a los monopolios.

del país, el bienestar de la población y difundir sus

Estrategia 5.5 Profundizar y facilitar los procesos de investigación científica; adopción e innovación tecnológica para incrementar la productividad de la economía nacional.
Estrategia 5.6 Aprovechar el entorno internacionalpara potenciar el desarrollo de la economía mexicana.
resultados
Tipo de Programa: Sin Información
Programa: Sin Información
Objetivo del Programa: Sin Información

Objetivo Estratégico del Programa Sectorial: Profundizar y facilitar los procesos de investigación científica, adopción e innovación tecnológica para incrementar la productividad de la economía nacional.
Objetivo Estratégico de la Dependencia ó Entidad: Actividad: Becas otorgadas
Generar conocimiento científico, desarrollo tecnológico e innovación para mejorar la competitividad del país, el bienestar de la población y difundir sus resultados.
 Objetivos
Lógica vertical del programa
No debe ocurrir:

• Forzar a que en todos lo programas el

Fin
Fin corresponda a un objetivo del Plan
Nacional de Desarrollo.
• En grandes programas (Oportunidades
– Bolsa Familia) puede ser.
Propósito
Compo-
• En los pequeños el salto es muy
nentes grande. Deja de existir la lógica
Activi-
dades vertical entre Propósito y Fin.
 Programa Oportunidades

SEDESOL

SEP SS
Relación correcta
 Para terminar .....

FIN F
F I N
F I N
N Ahora si!
Supongo!