UNAM HFL Modulo 6 - Seguimiento y Evaluacion de Los Resultados

Gestin para resultados en el desarrollo en gobiernos subnacionales
MDULO 6 Seguimiento y evaluacin de los resultados
Mdulo 6: Seguimiento y evaluacin de los resultados
Mdulo 6
Seguimiento y evaluacin de los resultados
Autor: Mauricio Garca Moreno Equipo INDES: Equipo INDES: Juan Cristbal Bonnefoy, Jefe INDES Edgar Gonzlez, Coordinador General del curso GpRD Nydia Daz, Coordinadora Acadmica del curso GpRD Cynthia Smith, Coordinadora del aula virtual Gabriel Escalante y Josu Mendoza: coordinacin y apoyo operativo del aula virtual Equipo PRODEV Roberto Garca Lpez, Coordinador PRODEV Mauricio Garca Moreno, Coordinador del curso GpRD Colaboradores Cecilia Ortiz B., edicin, correccin orto-tipogrfica y correccin de estilo Diseo grfico: Manthra Editores info@manthra.net
Las opiniones incluidas en este documento corresponden y son responsabilidad del autor o los autores; no reflejan necesariamente la opinin del BID, el INDES o el PRODEV. Copyright 2011 Banco Interamericano de Desarrollo. Todos los derechos reservados. Cualquier reproduccin parcial o total de este documento debe ser solicitada a la direccin INDESVIRTUAL@iadb.org y debe ser autorizada por el INDES.
ndice
Glosario de siglas..............................................................................................................................................5 Presentacin ......................................................................................................................................................6 Objetivos del mdulo.......................................................................................................................................6 Preguntas orientadoras del aprendizaje.................................................................................................6 Unidad 1. El seguimiento de los resultados................................................................8 1.1 1.2 1.3 1.4 2.1 2.2 2.3 2.4 3.1 3.2 3.3 3.4 3.5 3.6 ndice de grficos 6.1 6.2 6.3 6.4 Componentes del ciclo de gestin..............................................................................................9 La cadena de resultados..................................................................................................................11 La Matriz del marco lgico y la cadena de resultados.......................................................12 Dimensiones del desempeo.........................................................................................................15 Conceptos bsicos..............................................................................................................................8 Elementos necesarios para implementar un sistema de seguimiento........................17 Sntesis de la unidad.........................................................................................................................25 Bibliografa de la unidad.................................................................................................................26 Conceptos bsicos..............................................................................................................................27 Pasos necesarios para implementar evaluaciones...............................................................32 Sntesis de la unidad.........................................................................................................................37 Bibliografa de la unidad.................................................................................................................38 Usos del sistema de seguimiento y evaluacin.....................................................................39 Los usuarios del sistema de seguimiento y evaluacin.....................................................43 Institucionalizacin del seguimiento y evaluacin..............................................................44 Integracin horizontal y vertical del sistema de seguimiento y evaluacin............49 Sntesis de la unidad.........................................................................................................................50 Bibliografa de la unidad.................................................................................................................51
Unidad 2. La evaluacin de los resultados..................................................................27
Unidad 3. Construccin del sistema de seguimiento y evaluacin...........................39
6.5 6.6 6.7 6.8 6.9
Tasa especfica de participacin de la poblacin econmicamente activa de 12 a 15 aos.....................................................................................................................22 Tipos de evaluacin............................................................................................................................29 Usos del sistema de seguimiento y evaluacin.....................................................................42 Usuarios del sistema de seguimiento y evaluacin.............................................................43 Institucionalizacin del sistema de seguimiento y evaluacin......................................48
ndice de recuadros 6.1 6.2 6.3 ndice de cuadros 6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 Ejemplo de indicadores segn componentes de la cadena de resultados................13 Indicadores de desempeo.............................................................................................................16 Indicadores segn dimensiones de desempeo y cadena de resultados...................17 Indicadores segn tipo de fuente................................................................................................21 Diferencias entre el seguimiento y la evaluacin.................................................................28 Costos y duracin de evaluaciones, de los efectos e impactos......................................34 Elementos que contienen los trminos de referencia de una evaluacin.................35 Ventajas e inconvenientes de contratar empresas de evaluacin o evaluadores individuales.............................................................................................................36 Componentes de la cadena de generacin de resultados................................................11 Elementos necesarios para desarrollar un sistema de seguimiento............................18 Pasos para realizar evaluaciones en un gobierno subnacional......................................32
GLOSARIO DE SIGLAS
ALC BID BM Amrica Latina y el Caribe Banco Interamericano de Desarrollo Banco Mundial
CLAD Centro Latinoamericano de Administracin para el Desarrollo GpRD Gestin para resultados en el desarrollo MML Matriz del marco lgico OCDE Organizacin para la Cooperacin y el Desarrollo Econmicos OECD Organizacin para la Cooperacin y el Desarrollo Econmicos (por sus siglas en ingls) OSC PIB SyE TR TIR Organizaciones de la sociedad civil Producto Interno Bruto Seguimiento y evaluacin Trminos de referencia Tasa interna de retorno PNUD Programa de las Naciones Unidas para el Desarrollo
UNEG Grupo de evaluacin de las Naciones Unidas (por sus siglas en ingls) VAN Valor actual neto
Presentacin
Este mdulo trata sobre los sistemas de seguimiento y evaluacin (SyE) de los resultados de la gestin de los gobiernos subnacionales. El seguimiento y la evaluacin son piezas clave de la gerencia pblica, pues permiten identificar si las estrategias y las acciones que se estn realizando se encaminan a alcanzar las metas y objetivos trazados por una institucin o gobierno. De esta manera, proporcionan elementos para corregir el rumbo de la gestin a medida que la sociedad cambia. El mdulo ofrece una sntesis de los principales elementos que un gerente pblico debe tomar en cuenta para implementar y administrar sistemas de SyE. Puesto que, como se postula aqu, el SyE es una funcin que atraviesa todos los sistemas de gestin pblica (planificacin, presupuesto, gestin financiera, programas y proyectos), el texto est dirigido no solamente a los gerentes de SyE sino a todos aquellos que actan en el mbito de los gobiernos subnacionales. El documento, por tanto, no pretende ofrecer conocimientos metodolgicos y tcnicos para realizar evaluaciones o para elaborar indicadores de desempeo, aspectos tcnicamente complejos que requeriran un espacio acadmico propio, sino sealar el enfoque y los elementos que deben considerarse para construir un sistema de SyE. Aquellos participantes interesados en conocer ms acerca de los aspectos metodolgicos del SyE encontrarn en la bibliografa textos en espaol que pueden encontrarse fcilmente en el Internet. El mdulo est compuesto por tres unidades: la primera trata acerca del seguimiento o monitoreo de la gestin pblica, la segunda versa sobre la evaluacin de los resultados y la tercera sobre los aspectos que deben tomarse en cuenta para la institucionalizacin del SyE.
Objetivos del mdulo

Analizar y comprender el enfoque y los principales elementos que deben considerarse para implementar y administrar un sistema de seguimiento y evaluacin (SyE), orientado a fortalecer la capacidad de gestin para resultados de los gobiernos subnacionales.
Preguntas orientadoras del aprendizaje

Qu son el seguimiento y la evaluacin en el enfoque de la gestin para resultados? En qu se diferencia el seguimiento de la evaluacin? Cules son los principales conceptos involucrados en el SyE? Qu pasos deben seguirse para implementar un sistema de SyE? Qu aspectos deben tenerse en cuenta para institucionalizar un sistema de SyE?
6
Gobiernos subnacionales, descentralizacin y gestin para resultados
Mdulo 6 Seguimiento y evaluacin de los resultados

Unidad 1. El seguimiento de los resultados Unidad 2. La evaluacin de los resultados Unidad 3. Construccin del sistema de seguimiento y evaluacin
7
Unidad 1. El seguimiento de los resultados

Objetivos del aprendizaje
Conocer y comprender los principales conceptos y definiciones relaciona-
dos con el proceso de seguimiento de los resultados de la gestin de un gobierno subnacional.

Destacar los elementos ms importantes del proceso de implementacin
de un sistema de seguimiento.
1.1. Conceptos bsicos

Segn el Glosario de la Organizacin para la Cooperacin Econmica y el Desarrollo (OECD, 2002), el seguimiento es una funcin continua que utiliza la recopilacin sistemtica de datos sobre indicadores determinados para proporcionar informacin sobre el avance y el logro de los objetivos, as como sobre la utilizacin de los fondos asignados a los administradores y a las principales partes interesadas de una intervencin para el desarrollo. El seguimiento, por tanto, es un componente importante del ciclo de gestin de una institucin, programa o proyecto, pues permite que tanto sus administradores como los grupos e instituciones que de una u otra manera se ven beneficiados o afectados, cuenten con informacin sobre el avance y el efecto de las acciones realizadas. En el grfico 6.1. se puede observar un esquema de los componentes o etapas que involucra cualquier proceso de gestin, desde la operacin de una planta hidroelctrica hasta la administracin de un centro de salud. Se aprecia que el seguimiento es el paso previo al ajuste, es decir, a la modificacin de lo que se hace en funcin de los resultados que se desean obtener.
Grfico 6.1. Componentes del ciclo de gestin

Planificar
Evaluar
Hacer
Ajustar
Seguir/ Verificar
Fuente: Elaboracin del autor (2011)
El seguimiento, por tanto, es crucial para una gestin orientada al logro de resultados; sin esta accin es improbable que cualquier actividad emprendida por los sectores pblico o privado logre los objetivos que la impulsaron. Conviene mencionar que en este documento se diferencia el seguimiento de la evaluacin, trminos que con frecuencia se usan como sinnimos. Como se puede observar en el grfico, la evaluacin es un proceso distinto al seguimiento debido a que, entre otros aspectos que se vern con detalle posteriormente, no es una funcin continua. Mientras la ejecucin, el seguimiento y el ajuste son funciones que se ejecutan permanentemente durante la gestin, la evaluacin se realiza en momentos determinados. El seguimiento se realiza mediante la recopilacin sistemtica de datos sobre la marcha de una institucin, programa o proyecto mediante la observacin de los distintos componentes de la cadena de resultados (insumos, actividades, productos, efectos e impactos). Los datos se organizan en forma de indicadores, es decir, de variables cuantitativas o cualitativas mediante la cuales se pueden medir los logros alcanzados, observar los cambios vinculados con una intervencin o analizar los resultados de un organismo de desarrollo (OECD, 2002). Entre los indicadores de uso ms comn se pueden citar la tasa de mortalidad infantil, el producto interno bruto (PIB), la tasa de desempleo y la
tasa de analfabetismo. Debido a su capacidad para medir los logros de la gestin pblica, los indicadores son usados con frecuencia por las autoridades para rendir cuentas a los ciudadanos, por los gerentes pblicos para dirigir las instituciones o proyectos y por los funcionarios para gestionar los servicios pblicos.
1.1.1. El seguimiento de los resultados

Dado que el objetivo de la funcin de seguimiento es informar sobre el avance y el logro de los resultados de la gestin pblica, trtese de la administracin de una institucin o de un proyecto, es importante aclarar este concepto. En este documento se entender que resultado es la creacin de valor pblico, es decir, de las respuestas efectivas de un gobierno a las necesidades o demandas sociales establecidas mediante un proceso de legitimacin democrtica que se concretan en cambios sociales observables y susceptibles de medicin (BID y CLAD, 2007). Efectivamente, la nocin de resultado en la Gestin para Resultados en el Desarrollo (GpRD) est asociada al cambio social producido por la accin del Estado y no solamente a las actividades o los productos que contribuyen a ese cambio. Estos ltimos son tomados con frecuencia, como parmetros para valorar la accin gubernamental. As, por ejemplo, el resultado de la gestin de un municipio no se medir solamente por la cantidad de escuelas construidas, el nmero de docentes capacitados o incluso el nmero de nios promovidos de ao, sino por los aprendizajes que efectivamente hubieran logrado los alumnos y, a largo plazo, por la calidad de empleos que logren conseguir gracias a la educacin recibida (Garca Lpez y Garca Moreno, 2010). La cadena de generacin de resultados (grfico 6.2.) es un esquema lgico muy til para sintetizar la manera en que se producen los resultados en la gestin pblica; de esa forma, se identificarn la informacin y los indicadores necesarios para hacer un seguimiento. La cadena est compuesta por cinco elementos: insumos, procesos, productos, efectos e impactos. A continuacin, se definen cada uno de estos conceptos:
10
El seguimiento de los resultados
Recuadro 6.1. Componentes de la cadena de generacin de resultados

Insumos: recursos financieros, humanos y materiales empleados para
generar los productos.

Procesos: actividades realizadas para transformar los insumos en
productos.
Productos: bienes y servicios elaborados. Efectos: cambios en el comportamiento o en el estado de los beneficiarios
como consecuencia de la recepcin de los productos (bienes o servicios).

Impactos: cambios en las condiciones de vida de la poblacin objetivo.
Grfico 6.2. La cadena de resultados
EJECUCIN Insumos Procesos Productos Efectos Impactos
RESULTADOS
Los insumos, procesos y productos son parte de la ejecucin, mientras los productos, los efectos y los impactos pertenecen al mbito de los resultados. En general, se puede decir que los elementos que componen la ejecucin dependen de la gestin institucional, mientras los efectos e impactos son consecuencia tambin de otros factores. As, por ejemplo, lograr que todos
11
los nios de una ciudad estn vacunados (producto) depende bsicamente de que se cuente con los insumos necesarios, que los procesos estn bien diseados y se ejecuten de manera adecuada, todo lo cual depende de una buena gestin institucional. Sin embargo, lograr que todos los nios estn sanos (impacto) depende tambin de muchos otros factores como la alimentacin y el medio ambiente en que viven, lo cual escapa a la gestin de una sola institucin. Nos detendremos, ms tarde, en esta distincin.
Grfico 6.3. La matriz del marco lgico y la cadena de resultados

MARCO LGICO Indicadores Fin Propsito Componentes Actividades Insumos ($) Medios de verificacin Supuestos CADENA DE RESULTADOS Impactos Efectos Productos Procesos
La identificacin de los elementos que componen la cadena de resultados de cualquier proceso de produccin de valor pblico, se realiza en la fase de planificacin. Para ello se usan distintos instrumentos, el ms conocido de ellos es la matriz del marco lgico (MML), cuyo uso se ha generalizado, no solamente entre los organismos internacionales como el Banco Interamericano de Desarrollo (BID) y el Banco Mundial (BM), sino entre los sistemas de SyE de varios pases1. La MML se basa en una estructura causal lgica similar a la cadena de resultados, tal como puede apreciarse en el grfico 6.3. La segunda columna de la izquierda obliga a establecer los indicadores de seguimiento para cada nivel de objetivos, trmino con el que la MML designa a la cadena de resultados.
1 Este es el caso de Mxico. Para mayor informacin, visitar el sitio: www.coneval.gob.mx 12
Es necesario mencionar que la informacin para construir los indicadores de insumos, procesos y productos es comparativamente ms fcil de obtener que aquella relacionada con los efectos e impactos, tal como puede apreciarse en el cuadro 6.1. Efectivamente, la mayor parte de los datos de los primeros indicadores consta en los registros que mantienen las instituciones y proyectos, mientras que para producir los indicadores de efectos e impactos generalmente se necesita construir instrumentos especiales.
Cuadro 6.1. Ejemplo de indicadores segn componentes de la cadena de resultados

Categora Insumos Nmero de profesores Nmero de aulas Das de clase al ao Horas efectivas de clase dictadas diariamente Alumnos matriculados Alumnos promovidos Efectos Impactos Porcentaje de estudiantes de doceavo grado que obtienen por lo menos 7/10 en las pruebas estandarizadas de aprendizaje. Porcentaje de egresados que consiguen empleos en el sector formal de la economa. Indicador
Procesos Productos
Tradicionalmente, la mayora de las instituciones pblicas de Amrica Latina y el Caribe (ALC), sean nacionales o subnacionales, han basado la funcin de seguimiento en la informacin sobre el uso de los insumos y la realizacin de las actividades (procesos), produciendo informes institucionales en los que abundan listas de las actividades realizadas y anlisis financieros de los recursos invertidos. Estos informes mencionan slo ocasionalmente los productos elaborados, mas no hacen referencia a los efectos o impactos logrados con el uso de los recursos pblicos.
13
El seguimiento basado en los informes financieros y de actividades es insuficiente para saber si se lograron o no los objetivos y si la gestin se realiz de manera eficiente. Un proyecto para mejorar la educacin bsica, por ejemplo, pudo haber realizado a tiempo todas las actividades previstas (obras de infraestructura, capacitacin a los docentes, compra y entrega de material didctico) y pudo haber manejado eficientemente los recursos. Sin embargo, el objetivo de que los nios aprendan ms y mejor, pudo no haberse cumplido debido a varios factores: estrategias inadecuadas de capacitacin, ausentismo de los docentes, textos escolares inapropiados, etc. Un sistema de seguimiento basado exclusivamente en la informacin sobre insumos y actividades, oculta los resultados reales de la gestin pblica; con ello impide rendir cuentas apropiadamente a los ciudadanos y no estimula el aprendizaje institucional.
1.1.2. Medicin del desempeo

Segn el Diccionario de la Real Academia de la Lengua Espaola, desempear significa cumplir las obligaciones inherentes a una profesin, cargo u oficio. En el mbito de las polticas pblicas, el desempeo se define como la medida en que una intervencin para el desarrollo o una entidad que se ocupa de fomentar el desarrollo acta conforme a criterios/normas/directrices especficos u obtiene resultados de conformidad con metas o planes establecidos (OECD, 2002: 29). Los indicadores para medir el desempeo, por tanto, debern dar cuenta de dos aspectos importantes de las intervenciones para el desarrollo: i) los resultados establecidos en la planificacin (productos, efectos, impactos) y, ii) los criterios, normas, directrices que guan la intervencin de las entidades. Usando como referencia la cadena de resultados, se pueden identificar las dimensiones crticas que dan cuenta de los dos aspectos ya mencionados del desempeo. El grfico 6.4. ilustra las relaciones entre los elementos de la cadena de resultados y las dimensiones del desempeo.
14
Grfico 6.4. Dimensiones del desempeo
EFICIENCIA Insumos Procesos ECONOMA Productos CALIDAD
EFICACIA Efectos Impactos
Se aprecia que las dimensiones del desempeo son cuatro: eficiencia, eficacia, economa y calidad. Cada una de ellas brinda informacin sobre la medida en que la institucin o intervencin para el desarrollo logra los resultados esperados y cumple con las normas establecidas. En conjunto, proporcionan informacin valiosa y til para realizar un seguimiento slido y orientado a la obtencin de resultados. A continuacin, se definen cada una de las dimensiones del desempeo y se brindan ejemplos de indicadores para cada una de ellas.
Segn el Diccionario de la Real Academia de la Lengua Espaola, desempear significa cumplir las obligaciones inherentes a una profesin, cargo u oficio. En el mbito de las polticas pblicas, el desempeo se define como la medida en que una intervencin para el desarrollo o una entidad que se ocupa de fomentar el desarrollo acta conforme a criterios/normas/directrices especficos u obtiene resultados de conformidad con metas o planes establecidos.
(OECD, 2002: 29)
15
Cuadro 6.2. Indicadores de desempeo

Dimensiones del desempeo Definicin Ejemplo Tasa de mortalidad materna. Tasa de desnutricin de nios de entre 0 y 3 aos. Pacientes atendidos por mdico al da. Costo promedio de inmunizacin por nio. % de atrasos en el pago a proveedores de salud. Porcentaje de recuperacin del costo de los servicios de salud. % usuarios satisfechos con el servicio. % de partos que cumplieron con las normas de calidad.
Eficacia
Grado de cumplimiento de los objetivos (efectos e impacto). Relacin entre los insumos y los productos.
Eficiencia
Economa
Ausencia de desperdicio en la obtencin de un resultado.
Calidad

Calidad de los bienes y servicios producidos.
A diferencia de los indicadores que consideran los componentes de la cadena de resultados aisladamente (cuadro 6.1.), los indicadores de desempeo establecen correspondencia entre esos componentes, lo cual los dota de una mayor capacidad para captar las complejas interrelaciones causales que se producen en la gestin institucional. Un buen sistema de seguimiento deber contener una mezcla adecuada de indicadores de todas las dimensiones del desempeo con los distintos componentes de la cadena de resultados. En el siguiente ejemplo, puede observarse una matriz que presenta indicadores tomando en cuenta ambos criterios.
16
Cuadro 6.3. Indicadores segn dimensiones de desempeo y cadena de resultados

Insumo Nmero de maestros. Presupuesto asignado Relacin entre gastos administrativos y gastos en docentes Costo por alumno Eficiencia Eficacia Economa Calidad
Proceso
% de atrasos en el pago a proveedores
Producto
% de ahorro por reduccin Tasa de promocin de desercin escolar % alumnos que rinden satisfactoriamente las pruebas estandarizadas Porcentaje de graduados de educacin secundaria que obtienen empleo
% de comits de padres de familia satisfechos con el servicio
Efecto
Impacto
1.2. Elementos necesarios para implementar un sistema de seguimiento2

Una vez que se han explicado los principales conceptos relacionados con la materia, es necesario establecer los elementos que se requieren para implementar un sistema de seguimiento del desempeo de la gestin de un gobierno subnacional. Esos elementos son los siguientes:
2 Una metodologa detallada para implementar un sistema de seguimiento puede encontrarse en el libro Diez pasos hacia un sistema de seguimiento y evaluacin basado en resultados de Jody Zall Kusek y Ray C. Rist (2005). Esta es la versin en espaol del libro escrito originalmente en ingls Ten steps to a Results-Based Monitoring and Evaluation System: A handbook for Development Practitioners. Desgraciadamente, la traduccin es descuidada y de mala calidad, lo que provoca equvocos en los trminos tcnicos. Por ello, si el interesado lee en ingls, se le sugiere optar por la edicin en ese idioma. 17
Recuadro 6.2. Elementos necesarios para desarrollar un sistema de seguimiento

Objetivos y estrategias definidas Indicadores Informacin de lnea base Metas Recoleccin y anlisis de informacin Incorporar la informacin sobre el desempeo
en la toma de decisiones
Comunicar los resultados
Objetivos y estrategias definidas

Si los objetivos formulados para un gobierno, institucin o proyecto no responden a un anlisis riguroso de los problemas, o son ambiguos y confunden los procesos con los productos o efectos, no habr una base firme para la elaboracin de los indicadores, pues stos se elaboran a partir de los objetivos.
El primer elemento y condicin sine qua non para desarrollar un sistema de seguimiento, es contar con objetivos claramente establecidos y con las estrategias correspondientes para lograrlos. La definicin de los objetivos parte del anlisis de los problemas que se vayan a enfrentar y supone la identificacin de los impactos y efectos que se busca obtener (cambios sociales), as como de los productos (bienes y servicios) con los que se espera lograrlo. Si los objetivos formulados para un gobierno, institucin o proyecto no responden a un anlisis riguroso de los problemas, o son ambiguos y confunden los procesos con los productos o efectos, no se contar con una base firme para la elaboracin de los indicadores, pues stos se elaboran a partir de los objetivos. Es muy frecuente observar planes o proyectos cuyos objetivos son vagos o no estn formulados adecuadamente, lo cual dificulta la tarea de disear un sistema de seguimiento. Por ejemplo, si un municipio emprendiera un proyecto para mejorar la calidad de la educacin y estableciera que el objetivo principal consiste en realizar talleres de capacitacin para mil docentes de
18
educacin primaria, estara colocando un producto (talleres de capacitacin) en lugar del efecto (mejorar el aprendizaje de los nios). Esto provocara que el indicador para medir el efecto del proyecto fuera el nmero de talleres realizados para los docentes y no el mejoramiento de los aprendizajes de los nios. Si el proyecto ejecutara los mil talleres de capacitacin programados, el indicador sealara que se ha cumplido el objetivo. Sin embargo, dichos talleres podran no haber sido suficientes para mejorar el aprendizaje de los alumnos, con lo cual el indicador habra brindado una informacin errnea. Por lo dicho, un buen sistema de seguimiento slo puede construirse con base en un proceso de planificacin estratgica realizado de manera sistemtica y ordenada. La calidad de los indicadores y su capacidad para expresar de forma ms o menos fidedigna la marcha de una intervencin de desarrollo, depende en gran medida de la rigurosidad del proceso de planificacin. Indicadores La elaboracin de los indicadores es un paso crucial en el desarrollo de un sistema de seguimiento. Como se ha dicho, los indicadores son expresiones de las variables cuantitativas y cualitativas mediante la cuales pueden medirse los logros alcanzados, observar los cambios vinculados con una intervencin o analizar los resultados de una institucin. Debern expresar el avance de los distintos elementos de la cadena de resultados y, en el mejor de los casos, dar cuenta de todas las dimensiones del desempeo.
los indicadores son expresiones de las variables cuantitativas y cualitativas mediante las cuales se pueden medir los logros alcanzados, observar los cambios vinculados con una intervencin o analizar los resultados de una intervencin para el desarrollo.
En varias reas del desarrollo, como la salud, la educacin y el empleo, existe un amplio acuerdo entre los especialistas sobre los indicadores que deben usarse para medir los efectos e impactos de las intervenciones para el desarrollo, por lo cual, cuando sea posible y conveniente, es adecuado usar esos indicadores. En otros casos, no obstante, no existen indicadores estandarizados y es necesario crear algunos que se ajusten a lo que la organizacin o proyecto pretenda lograr. Vale la pena resaltar que la elaboracin de los indicadores es una tarea tcnica especializada, por lo que se recomienda encargarla a profesionales con experiencia en este campo.
19
Ellos pueden apoyar a los funcionarios del gobierno subnacional a elaborar los indicadores y, al mismo tiempo, capacitarlos para que se encarguen de esa tarea en el futuro3. Por otro lado, es conveniente que al principio se establezca un nmero reducido de indicadores que midan los principales efectos y productos de la gestin del gobierno subnacional o de su plan de gobierno. Ese nmero puede incrementarse conforme el sistema vaya madurando y se compruebe la validez de tales indicadores. Adems, es preciso tener presente que la funcin de cualquier sistema de seguimiento es servir como instrumento de gestin y rendicin de cuentas, por lo cual, es importante que su implementacin se haga de manera progresiva. Informacin de la lnea base Una vez establecidos los objetivos e identificados los indicadores para medirlos, es necesario recopilar la informacin para determinar la situacin del indicador, al inicio del perodo de anlisis o antes de la intervencin; lo que define la denominada lnea base. La lnea base es el punto de partida de un indicador que servir como referencia para medir los avances que se logren en la consecucin de un objetivo. Es conveniente, adems, disponer de una serie de tiempo lo ms larga posible para cada indicador, pues eso permitir conocer su tendencia y proporcionar pistas a la hora de definir las metas. En el ejemplo que se muestra en el grfico 6.5., se puede observar la evolucin del trabajo infantil mediante el indicador de la tasa especfica de participacin de la poblacin econmicamente activa de 12 a 15 aos, durante cinco aos consecutivos. Si un municipio se planteara como objetivo reducir el trabajo infantil en un escenario como este, debera tomar como lnea base la tasa del ao 2010 que fue de 13.1. La informacin de la lnea base puede provenir de varias fuentes. Las principales son los registros administrativos, las encuestas peridicas y los instrumentos especficos. Estas fuentes, a su vez, pueden pertenecer al gobierno subnacional o a otro organismo, sea gubernamental o no gubernamental. A
3 Para una revisin minuciosa del proceso de elaboracin de indicadores se recomienda el texto Indicadores de Desempeo en el Sector Pblico elaborado por Juan Cristbal Bonnefoy y Marianela Armijo (2005). 20
continuacin se presentan algunos ejemplos de indicadores, segn el tipo de fuente del que comnmente provienen.
Cuadro 6.4. Indicadores segn tipo de fuente

Tipo de fuente Registros administrativos Fuente Registros del Ministerio de Salud Registros del Ministerio de Educacin Encuesta de empleo y subempleo Encuesta de condiciones de vida Encuesta de opinin ciudadana Ejemplo de indicador Tasa de mortalidad infantil Tasa de promocin escolar Tasa de desempleo Porcentaje de pobreza Porcentaje de ciudadanos que consideran muy buena la gestin municipal
Encuestas peridicas Instrumentos especficos
Es necesario tener en cuenta que la informacin para la lnea base de todos los indicadores no siempre est disponible. Por ejemplo, es posible que un municipio cuyo objetivo sea mejorar la calidad de la educacin primaria, no cuente con pruebas estandarizadas que permitan conocer si los alumnos han adquirido los conocimientos que el currculo de enseanza establece para cada uno de los grados escolares. En ese caso, ser necesario desarrollar y aplicar esa prueba, lo cual supondr invertir recursos para disearla, aplicarla y analizarla. En todo caso, la creacin de la lnea base requiere realizar un esfuerzo considerable de recoleccin y anlisis de informacin; mientras mayor sea el nmero de indicadores, mayor ser la demanda de trabajo para elaborar la lnea base. Metas Las metas son la expresin concreta y cuantificable de lo que se quiere alcanzar en un perodo definido, trtese de impactos, efectos o productos. Las metas son el compromiso ms visible y verificable que un gobierno subnacional establece con la ciudadana y, por tanto, deben ser definidas por las
21
autoridades de alto nivel, tomando en cuenta tanto los factores tcnicos y financieros, como los polticos. Para definir una meta, hay que considerar tres elementos: i) el objetivo que se pretende alcanzar, ii) el indicador con el que se vaya a medir el logro y iii) la informacin que se disponga de la lnea base. As, para el ejemplo mencionado anteriormente de reducir el trabajo infantil, podra proponerse una disminucin del 20% en un perodo de dos aos, lo que equivaldra a que la tasa de participacin de la poblacin econmicamente activa de 12 a 15 aos, disminuya de 13.1 a 10.5, y se ubique en el mismo nivel que el ao 2005, segn se muestra en el ejemplo del grfico 6.5.
Grfico 6.5. Tasa especfica de participacin de la poblacin econmicamente activa de 12 a 15 aos

14.0 13.5 13.0 12.5 12.0 11.5 11.0 10.6 10.5 10.0
2OO2 10.4 10.5 10.2 2004 2005 2006 2007 2008 2009 2010 Lnea Base 2012 META 11.2 10.5 12.4 12.3 12.6 13.1
2003
Adems del objetivo y de la informacin de la lnea base, debern tomarse en cuenta la viabilidad tcnica de cumplir la meta y los recursos necesarios y disponibles para lograrla. Retomando el ejemplo anterior, supongamos que la reduccin del 20% en la tasa de trabajo infantil en un municipio conlleva retirar de las actividades laborales a dos mil 500 chicos mediante una estrategia de becas escolares y subsidios, cuyo costo es de 500 dlares anuales por cada uno. De esta manera, cumplir la meta requerir una inversin de un milln 250 mil dlares anuales.
22
Como se puede apreciar, la definicin de metas est relacionada con la planificacin y programacin, tanto de actividades como de recursos. Aunque se las use como un medio de seguimiento, su definicin involucra factores complejos que deben ser examinados y discutidos de manera conjunta por los responsables de los asuntos polticos, tcnicos y presupuestarios de un gobierno subnacional. Recoleccin y anlisis de la informacin Una vez definidos los indicadores, las fuentes de informacin y las metas, los datos debern recopilarse y procesarse peridicamente. Para ello se requiere contar con un equipo de tcnicos y recursos dedicados especficamente a esas tareas, as que conviene crear una unidad institucional a cargo del seguimiento y la evaluacin. Con el propsito de promover el uso y apropiacin de la medicin del desempeo por parte de las direcciones de presupuesto o de planificacin del gobierno subnacional, se recomienda que la unidad de SyE est adscrita a estas direcciones. Debern crearse, adems, procedimientos y protocolos para que el proceso de recoleccin y anlisis de los datos se realice de manera regulada. Por otro lado, es necesario establecer acuerdos formales de coordinacin con las dependencias y organizaciones que proveern los datos, sean integrantes del gobierno subnacional o externas a l. La elaboracin de los indicadores depende de esas fuentes de informacin y es conveniente involucrar a sus responsables desde el inicio del proceso, pues son ellos quienes conocen en detalle la calidad, periodicidad y validez de la informacin que producen. Conviene enfatizar en que el seguimiento tradicional da cuenta de los insumos y actividades realizadas y, ocasionalmente, de los productos. El seguimiento, en el marco de un enfoque basado en los resultados, toma tambin en consideracin los efectos que se logran con los productos. Por ese motivo, el razonamiento que gua el anlisis de los indicadores est orientado a responder las siguientes preguntas bsicas: los insumos de los que dispongo y las actividades que realizo, son los adecuados para elaborar los productos?; los bienes y servicios producidos, estn provocando los efectos e impactos previstos? No es suficiente informar si los insumos se emplearon y
23
si las actividades se realizaron, tambin es necesario indicar si con ellos se logr producir la cantidad y calidad de bienes y servicios establecidos. Asimismo, no basta notificar si se elaboraron los productos programados, pues hay que determinar si esos productos estn logrando modificar la realidad social de la manera prevista inicialmente. Para dar respuesta a las preguntas planteadas, es necesario que el sistema de seguimiento use, adems de los indicadores, otros instrumentos como los informes de actividades, reuniones con los involucrados, estudios de caso, grupos focales, encuestas y evaluaciones. Aunque los indicadores son la columna vertebral del sistema de seguimiento, no son suficientes para establecer juicios sobre la obtencin de los resultados. Es necesario utilizar informacin adicional para explicar las causas y factores que influyen en el desempeo, para lo cual, se requiere emplear instrumentos como los mencionados. Incorporar la informacin sobre el desempeo en la toma de decisiones El objetivo de construir sistemas de seguimiento es usar la informacin sobre el desempeo institucional para tomar decisiones y rendir cuentas. La elaboracin de indicadores y la recoleccin y anlisis de los datos son actividades que no tienen sentido en s mismas, pues de nada sirven si no se las utiliza como insumos para tomar decisiones sobre los distintos aspectos de la marcha institucional, y para rendir cuentas a los ciudadanos y a las autoridades, sobre la gestin desarrollada. Por lo tanto, es necesario advertir que es ocioso implementar programas informticos con datos sobre el desempeo, que no vayan ligados a procesos de cambio organizacional; la decisin de implementar un sistema de seguimiento debe surgir de la voluntad de construir una estructura institucional orientada a la obtencin de resultados. Esto conlleva implementar cambios profundos en las prcticas tradicionales que estn basadas en la repeticin de conductas4 y en una cultura de gestin pblica excesivamente impregnada de consideraciones
4 El mejor ejemplo de la repeticin de conductas es el presupuesto incremental, vigente en casi toda Amrica Latina, que consiste en aumentar la misma proporcin de recursos a todos los ejecutores ao tras ao. 24
corporativas y polticas5. La nueva cultura debe crearse con base en prcticas y procedimientos que alienten el uso de la informacin sobre el desempeo de las personas e instituciones. As habrn mejoras en la forma de conseguir los objetivos de desarrollo social y econmico trazados por el gobierno subnacional. En la unidad 3 se exponen de manera ms detallada los usos de la informacin y algunos aspectos relacionados con la comunicacin de los resultados del seguimiento.
1.3. Sntesis de la unidad

El seguimiento es una funcin continua, sta utiliza la recopilacin sistemtica de datos sobre indicadores del desempeo institucional para proporcionar informacin sobre el avance y el logro de los objetivos, as como sobre la utilizacin de los fondos asignados. Estos insumos estn destinados a los administradores y a las principales partes interesadas de una intervencin para el desarrollo. El propsito principal del seguimiento radica en mejorar el desempeo de las instituciones en la creacin de valor pblico y contribuir con informacin para que las autoridades y los gerentes pblicos rindan cuentas a los ciudadanos con base en los resultados obtenidos. El proceso de implementacin de un sistema de evaluacin incluye varios pasos, entre los que constan la identificacin de los objetivos, el diseo de indicadores, la conformacin de una lnea base, la elaboracin de metas, la recoleccin y anlisis de informacin y el uso de la informacin en la gestin institucional.
5 La poltica es un ingrediente consustancial de la gestin de las polticas pblicas, pero para que esa gestin est orientada al logro de resultados, es necesario que tambin tome en cuenta los ingredientes tcnicos.
25
1.4. Bibliografa de la unidad

BID-CLAD (2007). BID y CLAD (Banco Interamericano de Desarrollo y Centro Latinoamericano de Administracin para el Desarrollo) (2007). Modelo abierto de gestin para resultados en el sector pblico. Washington, D.C.: Banco Interamericano de Desarrollo. Bonnefoy, Juan Cristbal y Marianela Armijo (2005). Indicadores de Desempeo en el Sector Pblico. Santiago de Chile: ILPES. Garca Lpez, Roberto y Mauricio Garca Moreno (2010). La gestin para resultados en Amrica Latina y el Caribe. Avances y desafos. Washington D.C.: Banco Interamericano de Desarrollo. Mackay, Keith (2008). Cmo crear sistemas de SyE que contribuyan a un buen gobierno. Washington D.C.: Banco Mundial6. OECD (2002). Glosario de los principales trminos sobre evaluacin y gestin basada en resultados. Pars: OECD. Zall Kusek, Jody y Ray C. Rist (2005). Diez pasos hacia un sistema de seguimiento y evaluacin basado en resultados. Bogot: Banco Mundial y Mayol Ediciones.
6 sta es la versin en espaol del libro escrito originalmente en ingls. Esta es la versin en espaol del libro escrito originalmente en ingls How to Build a M&E Systems to Support Better Government. Desgraciadamente, la traduccin es descuidada y de mala calidad, lo que provoca equvocos en los trminos tcnicos. Por ello, si el interesado leer en ingls, se le sugiere optar por la edicin en ese idioma. Con respecto a esta publicacin, ver recomendacin en la nota 2 de esta unidad. 26
Unidad 2. La evaluacin de los resultados

Identificar los principales conceptos y definiciones relacionados con la
evaluacin de los resultados de la gestin de un gobierno subnacional.

Conocer y apropiar conceptualmente informacin sobre los elementos
que deben tomarse en cuenta para implementar evaluaciones sistemticas de la gestin institucional.
2.1. Conceptos bsicos

Segn el glosario de la Organizacin para la Cooperacin para la Cooperacin y el Desarrollo Econmicos (OECD, por sus siglas en ingls), la evaluacin es la apreciacin sistemtica y objetiva de un proyecto, programa o poltica en curso o concluido, de su diseo, su puesta en prctica y sus resultados. El objetivo es determinar la pertinencia y el logro de los objetivos, as como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluacin deber proporcionar informacin creble y til, que permita incorporar las enseanzas aprendidas en el proceso de toma de decisiones (OECD, 2002: 21). La diferencia fundamental entre el seguimiento y la evaluacin radica en que el primero ofrece informacin sobre la situacin relativa al cumplimiento de los objetivos y los efectos de una poltica, programa o proyecto, mientras la evaluacin explica por qu esos objetivos o efectos se estn logrando (o se han logrado), o no, y expone los cambios que se han producido entre los beneficiarios y en la sociedad como resultado de la implementacin de la poltica, programa o proyecto. La evaluacin, mediante un proceso sistemtico de recoleccin y de anlisis de informacin relevante, emite juicios sobre las causas y las razones de los resultados, examina resultados no buscados,
27
estudia el proceso que se ha seguido para obtenerlos y proporciona recomendaciones para acciones futuras. Adems, mientras el seguimiento es una funcin que se ejecuta permanentemente durante la gestin de un programa, proyecto o poltica, la evaluacin se realiza en momentos determinados. El siguiente cuadro presenta sintticamente las diferencias ms importantes entre el seguimiento y la evaluacin.
Cuadro 6.5. Diferencias entre el seguimiento y la evaluacin

Seguimiento Informa sobre el cumplimiento de los procesos, productos y efectos. Observa slo lo que se planifica. No examina la pertinencia7 de una intervencin. No analiza si los efectos son atribuibles8 a la intervencin. Se realiza continua y paralelamente a la ejecucin. Se basa en indicadores que miden el desempeo. El agente que realiza el seguimiento es parte de la organizacin. La informacin se usa para la gestin cotidiana. Evaluacin Informa sobre los efectos, los impactos, y explica lo que se ha logrado y por qu. Observa resultados buscados y no buscados. Examina la pertinencia de una intervencin. Algunos tipos de evaluacin analizan si los efectos son atribuibles a la intervencin. Se realiza en momentos especficos, durante y despus de la ejecucin. Se basa en investigaciones y estudios cuantitativos y cualitativos. El agente evaluador es, generalmente, externo a la organizacin9. La informacin se usa para la gestin estratgica.
789
7 Pertinencia es la medida en que los objetivos de una intervencin para el desarrollo son congruentes con los requisitos de los beneficiarios, las necesidades del pas, las prioridades globales y las polticas de los asociados y donantes. (OECD, 2002: 32). 8 La atribucin se refiere a la accin que explica los cambios observados o los resultados obtenidos. Representa la medida en que los efectos de desarrollo observados pueden atribuirse a una intervencin especfica o a la actuacin de una o ms partes teniendo en cuenta otras intervenciones, factores exgenos (prev istos o imprevistos) o choques externos. (OECD, 2002: 17). 9 En ALC, el agente evaluador es generalmente externo a la organizacin que implementa el proyecto. Esto no ocurre en todas las regiones. En la mayora de los pases de la OECD, por ejemplo, las evaluaciones son efectuadas por agentes internos (Mackay, 2008). Esto se debe al diferente grado de institucionalizacin del SyE que existe en las regiones. 28
La evaluacin de los resultados
Es necesario tener en cuenta que el seguimiento y la evaluacin son instrumentos complementarios. Aunque cada uno de ellos tiene su funcin y fortalezas propias, el objetivo de ambos es contribuir con informacin adecuada para que la gestin se realice con base en los resultados que las instituciones desean obtener. La construccin de un sistema en que los componentes de SyE estn debidamente articulados es condicin sine qua non para implementar una gestin orientada al logro de los resultados.
2.1.1. Tipos de evaluacin10

Las evaluaciones pueden clasificarse segn distintos criterios: el propsito que las anima, la metodologa que usan, la forma de participacin de los involucrados, el momento de su realizacin, etc. Aqu adoptaremos este ltimo criterio, pues nos permite articular los distintos tipos de evaluacin con la cadena de resultados. As, tenemos que las evaluaciones pueden dividirse en tres tipos: 1) aquellas que se realizan antes de la intervencin, 2) las que se realizan durante la intervencin y, 3) las que se realizan despus de la intervencin.
Grfico 6.6. Tipos de evaluacin
EVALUACIN DURANTE LA EJECUCIN
EVALUACIN EX POST
Insumos
Procesos EJECUCIN
Productos
Efectos
Impactos
RESULTADOS
10 La publicacin Seguimiento y evaluacin: instrumentos, mtodos y enfoques del Banco Mundial (2004) presenta varios mtodos con sus usos, ventajas, desventajas, requisitos, tiempo de ejecucin y costos correspondientes.
29
Aunque este documento trata solamente de las evaluaciones que se realizan durante y despus de la ejecucin, conviene mencionar que las evaluaciones ex ante tienen como propsito asegurar que el diseo de una intervencin para el desarrollo sea pertinente, idneo y rentable, segn sea el caso. Tradicionalmente, el examen ex ante se ha orientado a analizar la viabilidad econmica y financiera de los proyectos de inversin, utilizando tcnicas como el anlisis costo beneficio, la Tasa Interna de Retorno (TIR) y Valor Actual Neto (VAN)11. Sin embargo, desde la perspectiva de la GpRD, es necesario evaluar tambin aquellas intervenciones diferentes a los proyectos como, por ejemplo, las polticas y los programas. Adems, es importante analizar la estructura lgica de las propuestas y su contribucin al logro de los resultados establecidos en el plan de gobierno.
cualquier momento es adecuado para realizar una evaluacin, si existen preguntas que requieren respuesta para mejorar la gestin o resolver problemas surgidos en la marcha del programa o proyecto.
Por otro lado, las evaluaciones que se realizan durante la intervencin tienen la funcin de mejorar el desempeo. En el caso de los proyectos, es frecuente que estas evaluaciones se ejecuten una vez transcurrida la mitad de tiempo de ejecucin previsto o una vez al ao. No obstante, cualquier momento es adecuado para realizar una evaluacin, si existen preguntas que requieren respuesta para mejorar la gestin o resolver problemas surgidos en la marcha del programa o proyecto. Los instrumentos y tcnicas de recoleccin y anlisis de la informacin que se aplican en estas evaluaciones son muy variados: encuestas, grupos focales, entrevistas a informantes calificados, anlisis del marco lgico, estudio de casos, anlisis de informacin documental, anlisis de los indicadores de desempeo, etc. Pueden ser efectuados por evaluadores externos o por los mismos responsables del diseo e implementacin de la intervencin. Tambin pueden ser participativas, es decir, ejercicios en los que los representantes de las entidades y partes involucradas en el programa o proyecto trabajan conjuntamente en el diseo, implementacin e interpretacin de una evaluacin. Las evaluaciones que se realizan una vez concluidas las intervenciones, tienen el propsito de identificar sus resultados, la sostenibilidad de sus logros y los factores que contribuyeron a su xito o fracaso. Las tcnicas e instru11 El trabajo de Ortegn y otros (2005) presenta un anlisis detallado de las tcnicas de evaluacin ex ante de los proyectos de inversin.
30
mentos son los mismos que se usan para las evaluaciones intermedias. No obstante, hay un tipo de evaluacin que tiene caractersticas particulares: se trata de las evaluaciones de impacto12. stas buscan establecer las diferencias hipotticas que existiran entre la situacin de las personas luego de participar en un proyecto o programa, y la situacin de esas mismas personas en ese mismo momento, si no hubieran participado en el proyecto o programa. Esto equivale a preguntarse cul sera la situacin de esas personas si el proyecto o programa no se hubiera ejecutado? Dado que no se puede responder a esa pregunta mediante la verificacin de los hechos, los evaluadores usan tcnicas tomadas de los mtodos cientficos para dilucidarla. Mediante la observacin y comparacin entre grupos de personas que participaron y que no participaron en el programa, y usando tcnicas estadsticas, proyectan el posible impacto de la intervencin en los participantes. La evaluacin de impacto es costosa, tcnicamente compleja y emplea abundante tiempo. Generalmente se la reserva para proyectos estratgicos de gran envergadura y en los cuales las variables que se observan son pocas y estn bien definidas. La metodologa y tcnicas de evaluacin deben ser escogidas cuidadosamente, tanto por los gerentes pblicos como por los evaluadores, en funcin de los objetivos y preguntas de la evaluacin, las caractersticas del programa o proyecto, la disponibilidad de recursos financieros y personal experto con que se cuente. Es necesario enfatizar en que, as como el sistema de indicadores de desempeo se construye para observar el cumplimiento de los objetivos y metas institucionales, las evaluaciones merecen atencin porque son un insumo para el aprendizaje institucional, para perfeccionar la manera en que se crea valor pblico y para rendir cuentas a la ciudadana. Las evaluaciones que no se inscriben en estos propsitos se convierten en ejercicios acadmicos con poca utilidad prctica.
12 Se recomiendan los textos de Aedo (2005) y del Banco Mundial (2006) para una revisin ms exhaustiva sobre la evaluacin de impacto.
31
2.2. Pasos necesarios para implementar evaluaciones

Recuadro 6.3. Pasos para realizar evaluaciones en un gobierno subnacional
Programar las evaluaciones Elaborar los trminos de referencia de la evaluacin Contratar la evaluacin La comunicacin de los resultados de la evaluacin
Programar las evaluaciones

tradicionalmente, la evaluacin estaba limitada al examen de los proyectos, sin embargo, en la actualidad se considera importante evaluar tambin las polticas, las instituciones y los programas
El primer paso para establecer un sistema de evaluaciones en el gobierno subnacional consiste en responder a la pregunta qu se va a evaluar? Para ello, es necesario considerar cuidadosamente los objetivos y estrategias establecidos en el plan de gobierno y determinar qu polticas, instituciones, programas o proyectos desempean un papel preponderante en la consecucin de sus resultados. Esto permitir seleccionar las intervenciones ms importantes y focalizar la atencin en ellas. Es necesario sealar que tradicionalmente la evaluacin estaba limitada al examen de los proyectos, sin embargo, en la actualidad se considera importante evaluar tambin las polticas, las instituciones y los programas, pues todos ellos forman parte del arsenal de intervenciones de las polticas pblicas. Una vez identificadas las intervenciones que se desea evaluar, es conveniente desarrollar un programa plurianual de evaluaciones que cubra todo el perodo gubernamental y que establezca aquellas que se realizarn cada ao. Dicho programa deber establecer el monto de recursos que se emplear en cada evaluacin, sus objetivos, la fecha en que se realizar, su duracin y la metodologa que se aplicar. El calendario de evaluaciones debe tomar en cuenta aspectos como el cronograma de ejecucin de las intervenciones, su
32
nivel de madurez, la demanda existente para el anlisis y otros elementos que pudieran influir en la ejecucin de los estudios. Para establecer los objetivos y la metodologa de las evaluaciones con mayor precisin, es conveniente realizar un anlisis de evaluabilidad13 de las intervenciones que se van a examinar. Este anlisis consiste en verificar si existe claridad en la intencionalidad de la intervencin que ser evaluada, indicadores mensurables suficientes, fuentes de informacin evaluables y fiables y ningn factor significativo que interfiera con un proceso de evaluacin imparcial (UNEG, 2005: 9). Adems, pretende comprobar si un evaluador, utilizando mtodos y tcnicas de evaluacin adecuados, en el tiempo estipulado y a un costo compatible con las restricciones existentes, ser capaz de responder a las preguntas de evaluacin con una alta probabilidad de alcanzar conclusiones tiles. (Merino, 2007: 19). Una vez definido el programa plurianual de evaluaciones, ser necesario asignar anualmente el financiamiento correspondiente para poder llevarlas a cabo. El costo de las evaluaciones depende de varios factores, entre ellos, la metodologa empleada, las caractersticas de las intervenciones y la disponibilidad de expertos en evaluacin. En tanto que los mtodos de evaluacin rpida son menos costosos, los de evaluacin del impacto requieren la inversin de ms recursos. El siguiente cuadro resume algunas indicaciones sobre los costos de cuatro modelos de evaluacin, de los efectos e impactos.
13 Para una revisin del concepto de evaluabilidad y su aplicacin a la gestin pblica se recomienda el texto La evaluabilidad: de instrumento de gestin a herramienta estratgica en la evaluacin de polticas pblicas, de Marisa Merino (2007).
33
Cuadro 6.6. Costos y duracin de evaluaciones de los efectos e impactos

Modelo Costo y duracin De 1 a 5 aos que dependen del tiempo que transcurre antes de que puedan observarse los resultados. El costo puede variar entre US $ 50.000 y 1 milln segn el tamao y la complejidad del programa que se est estudiando.
Evaluacin aleatoria antes y despus de la prueba
Diseo semi experimental con comparaciones previas y ex post de la poblacin a la que estaba destinado el proyecto y la de control. Comparacin ex post de un grupo que participe en el proyecto y un grupo de control no equivalente. Evaluaciones rpidas de los efectos.
Costo y duracin similares a los del modelo 1.
US $ 50.000 o ms. El costo suele ascender a la tercera parte o la mitad de un estudio comparable en que se usen los modelos 1 o 2. US $ 25.000 o ms. Algunos estudios llevan uno o dos meses, para otros se requiere ms tiempo.
Fuente: Tomado de Banco Mundial (2004)
Hay que advertir que es conveniente que la decisin de evaluar una intervencin sea tomada en consenso por la mayor cantidad de involucrados posible: las autoridades gubernamentales, el rgano deliberativo del gobierno local, los gerentes pblicos encargados de la intervencin, los sindicatos pblicos, las organizaciones de la sociedad civil (OSC) involucradas, etc. Esto contribuir a que el proceso de evaluacin no se perciba como una amenaza y, por el contrario, se realice en un ambiente propicio que permitir que los resultados de la evaluacin sean provechosos para todos. Elaborar los trminos de referencia de la evaluacin Una vez que se ha decidido evaluar una intervencin, es necesario elaborar los trminos de referencia (TR) de la evaluacin, como paso previo a su realizacin. Los TR deben explicar por qu, para qu, cmo, cundo, quin y con qu recursos se realizar la evaluacin. Los siguientes son algunos de los elementos que generalmente integran los TR de una evaluacin.
34
Cuadro 6.7. Elementos que contienen los trminos de referencia de una evaluacin
Elemento Descripcin de la intervencin Objetivos Definicin Incluye la informacin bsica sobre los objetivos, los involucrados, la ubicacin, los recursos de la intervencin. Establece por qu y para quin se hace la evaluacin. Debe especificar lo que la evaluacin pretende conseguir y la manera en que se emplearn los resultados. Son las interrogantes que se desea que responda la evaluacin. Estas preguntas, por lo general, se refieren a la pertinencia, eficiencia, eficacia, impacto y sostenibilidad de la intervencin. Establece los mtodos, tcnicas e instrumentos que se debern usar para realizar la evaluacin, as como las etapas que cumplir el proceso. Tambin se debe indicar la manera en que se tomar en cuenta a los distintos involucrados. Indica las fuentes de informacin que debern usarse durante la evaluacin: documentacin, informantes calificados, etc. Establece los productos que debern entregarse al final de la evaluacin: informes, talleres de retroalimentacin, publicaciones, etc. Se debe realizar un clculo preliminar del costo de la evaluacin para tenerlo como referencia interna. Identifica la fecha en la que se deber iniciar la evaluacin, su tiempo de duracin y el cronograma de ejecucin. Indica la composicin y calificaciones del equipo de evaluacin.
Preguntas
Metodologa
Fuentes de informacin
Productos que se entregarn Clculo preliminar del costo Plazos de ejecucin y cronograma Calificaciones del equipo de evaluadores
Fuente: Elaboracin del autor basada en OECD (2010)
Contratar la evaluacin Una vez elaborados los trminos de referencia, se procede a contratar los servicios de empresas o personas expertas en evaluacin, de acuerdo a las normas de contratacin pblica que exista en cada pas. La decisin de contratar empresas o personas debe meditarse cuidadosamente, pues ambas tienen ventajas y desventajas, tal como se resume en el siguiente cuadro.
35
Cuadro 6.8. Ventajas e inconvenientes de contratar empresas de evaluacin o evaluadores individuales

Individuos Los consultores autnomos pueden ofrecer conocimientos especializados y muchos aos de experiencia en temas especficos. Las mltiples capacidades de los miembros del equipo contribuyen al debate y a las discusiones, lo que enriquece el ejercicio. Puede ser menos costoso. Puede ser ms susceptible a cambios de ltimo minuto en los TR u otras disposiciones. Empresas El monto de la consultora es acordado como un paquete que no cambiar a menos que haya una alteracin en los TR. Los miembros del equipo estn acostumbrados a trabajar juntos. La empresa asegura la calidad de los productos. Est garantizado un enfoque multidisciplinario. Los procedimientos de contratacin, aunque pueden ser ms largos que para un individuo, son generalmente ms fciles.
Ventajas
La empresa desarrolla la metodologa o El proceso de evaluacin puede brindar propuesta de evaluacin. la oportunidad para el fortalecimiento de las capacidades institucionales y para En caso de una indisposicin repentina de el aprendizaje de expertos nacionales. un evaluador (p.ej. enfermedad), la empresa es responsable de proporcionar un sustituto. La identificacin de los consultores independientes requiere ms tiempo y existe el riesgo de seleccionar a miembros del equipo con base solamente en la informacin de su postulacin. Inconvenientes Un equipo de profesionales que nunca ha trabajado en conjunto puede tener dificultades para cohesionarse y, adems, se pueden generar conflictos internos que afecten el proceso. Los cambios en el calendario pueden desembocar en costos adicionales en honorarios, dietas y arreglos de viaje. La logstica debe ser proporcionada por la entidad contratante. La logstica debe ser proporcionada por la empresa. Las tarifas pueden ser ms elevadas, ya que los costos generales de la empresa estarn incluidos. Si la firma ha tenido excesiva visibilidad en el tema o en la organizacin, la credibilidad del ejercicio podra quedar comprometida. Los miembros del equipo tienden a tener enfoques y perspectivas similares, de modo que se pierde algo de la riqueza de las diferentes posiciones. Los procedimientos de licitacin pueden ser largos y engorrosos. Las empresas pueden tener dificultades para proveer una combinacin de expertos nacionales e internacionales.
Fuente: PNUD (2009)
36
Comunicar y usar los resultados Una vez que se ha realizado la evaluacin, el paso final consiste en comunicar los hallazgos y utilizarlos, sea para mejorar la gestin de esa u otras intervenciones o para rendir cuentas. La comunicacin de los resultados de una evaluacin es un proceso que debe planificarse cuidadosamente a fin de que la informacin contribuya al aprendizaje institucional y a la toma decisiones acertadas. Debe tenerse en mente que se requieren formatos y medios especficos para cada uno de los pblicos usuarios: autoridades, gerentes y personal de la intervencin evaluada; beneficiarios, opinin pblica, etc. En la siguiente unidad, se analizan con mayor detalle tanto la comunicacin como el uso de los resultados de las evaluaciones.

La evaluacin es el anlisis sistemtico y objetivo del diseo, ejecucin y resultados de un proyecto, programa o poltica en curso o concluido, cuyo objetivo es determinar la pertinencia y el logro de los objetivos, as como la eficiencia, la eficacia, el impacto y la sostenibilidad para el desarrollo. Una evaluacin debe proporcionar informacin creble y til sobre lo que se ha aprendido para incorporarla en el proceso de toma de decisiones. La diferencia fundamental entre el seguimiento y la evaluacin radica en que el primero ofrece informacin sobre la situacin relativa al cumplimiento de los objetivos y los efectos de una poltica, programa o proyecto, mientras la evaluacin explica por qu esos objetivos o efectos se estn logrando (o se han logrado) o no, y expone los cambios que se han producido entre los beneficiarios y en la sociedad, como resultado de la implementacin de la poltica, programa o proyecto. Los pasos necesarios para implementar un sistema de evaluacin en un gobierno subnacional incluyen: programar las evaluaciones, elaborar los TR de la evaluacin, contratarla y comunicar los resultados.
37

Aedo, Cristin (2005). Evaluacin del impacto. Santiago de Chile: ILPES. Banco Mundial (2006). Realizacin de evaluaciones de impacto de calidad con limitaciones de presupuesto, tiempo e informacin. Washington D.C.: Banco Mundial. Banco Mundial (2004). Seguimiento y evaluacin, instrumentos, mtodos y enfoques. Washington D.C.: Banco Mundial. Feinstein, Osvaldo (2006). Evaluacin pragmtica de polticas pblicas. Revista ICE N 83601-05-2007. Madrid: ICE. Merino, Marisa (2007). La evaluabilidad: de instrumento de gestin a herramienta estratgica en la evaluacin de polticas pblicas. Madrid: AEVAL. OECD (2010). Estndares de Calidad para la Evaluacin del Desarrollo. Pars: OECD. OECD (2002). Glosario de los principales trminos sobre evaluacin y gestin basada en resultados. Pars: OECD. Ortegn, Edgar y otros (2005). Metodologa general de identificacin, preparacin y evaluacin de proyectos de inversin pblica. Santiago de Chile: ILPES. PNUD (2009). Manual de planificacin, seguimiento y evaluacin de los resultados de desarrollo. Nueva York: PNUD. UNEG (Grupo de Evaluacin de las Naciones Unidas) (2005). Normas de evaluacin en el sistema de las Naciones Unidas www.uneval.org/ documentdownload?doc_id=21&file_id=124 (Fecha de acceso: 04/04/2011)
38
Unidad 3. Construccin del sistema de seguimiento y evaluacin

Identificar los distintos usos que tiene el sistema de SyE en las po-
lticas pblicas, as como los distintos usuarios que se benefician de dicho sistema.
Reconocer algunos elementos clave que un gobierno subnacional debera
tener en cuenta para institucionalizar y fortalecer el sistema de SyE
3.1. Usos del sistema de seguimiento y evaluacin

A diferencia de las unidades anteriores en las que las funciones de SyE se presentaron por separado, en esta unidad se las tratar como una sola entidad con el nombre de sistema de seguimiento y evaluacin pues ambas deben funcionar de manera simultnea y complementaria. Como se ha subrayado anteriormente, el propsito de las funciones de SyE es brindar informacin para mejorar los resultados de la gestin pblica. Por tanto, el referente principal para la construccin del sistema de SyE debe ser el uso que se dar a la informacin que se obtenga. De manera general, se puede afirmar que el sistema de SyE tiene dos usos principales, de los que se desprenden otros de mayor particularidad: 1) la gestin de la creacin de valor pblico y 2) la rendicin de cuentas. A continuacin, se analizarn cada uno de estos usos ms detalladamente.
3.1.1. La gestin de la creacin de valor pblico

En la primera unidad, se ha sealado que el valor pblico son las respuestas efectivas de un gobierno a las necesidades o demandas sociales que
39
se concretan en cambios sociales observables y susceptibles de medicin. Mediante los indicadores de desempeo y los estudios evaluativos, el sistema de SyE hace posible tal observacin y medicin. Aquellos instrumentos, adems de posibilitar la apreciacin de los cambios sociales logrados, permiten saber hasta qu punto fueron efectivas las estrategias empleadas para la solucin de problemas. En tal sentido, el sistema de SyE cumple dos funciones importantes en la gestin de la creacin de valor pblico: observa y mide el cambio social (los resultados) y determina la efectividad de las respuestas del gobierno a las demandas sociales. Estas dos funciones se concretan en una serie de aplicaciones durante el ciclo de gestin pblica que, adems del SyE, involucra los siguientes componentes: planificacin, presupuesto, gestin financiera pblica, gestin de programas y proyectos (Garca Lpez y Garca Moreno, 2010). Se examinar a continuacin, el uso del sistema de SyE en cada uno de estos componentes.
El sistema de SyE cumple dos funciones importantes en la gestin de la creacin de valor pblico: observa y mide el cambio social (los resultados) y determina la efectividad de las respuestas del gobierno a las demandas sociales.
El sistema de SyE proporciona a la planificacin, informacin valiosa para el diseo de estrategias idneas orientadas a resolver problemas institucionales o sociales. Las tres preguntas que debe responder una planificacin orientada a resultados son dnde estamos? a dnde queremos ir? y cmo podemos llegar? El sistema de SyE ayuda a los planificadores a responder la tercera pregunta. Efectivamente, a partir del anlisis de la efectividad de las intervenciones pasadas, los planificadores disponen de elementos de juicio que les permiten identificar las mejores soluciones a los problemas presentes. Les facilitan tambin establecer la mejor combinacin de insumos, procesos y productos para lograr determinados efectos e impactos. Adicionalmente, en un marco de presupuesto por resultados, la informacin sobre los resultados obtenidos mediante la ejecucin de los recursos del presupuesto, debe provenir de los indicadores de desempeo elaborados para dar seguimiento a los programas. Estos indicadores deben considerar no slo los productos (bienes y servicios) que se generan, sino tambin los efectos que generan en la poblacin. Los anlisis provenientes de las evaluaciones de las polticas, los programas y los proyectos tambin son un insumo importante para el proceso presupuestario, pues complementan los datos del sistema de seguimiento con el aporte de criterios sobre los efectos
40
Construccin del sistema de seguimiento y evaluacin
y los impactos de la accin gubernamental. Con base en los indicadores de desempeo y en las evaluaciones, las autoridades presupuestarias identifican la efectividad del gasto pblico y pueden sustentar sus decisiones sobre la asignacin de fondos o establecer reglas del juego para el acceso a los recursos pblicos.14 La gestin financiera pblica est conformada por principios, normas, sistemas y procedimientos que intervienen en las operaciones de programacin, gestin y control necesarias tanto para la captacin como para el gasto de recursos, es decir, establecen las reglas del juego del los procesos financieros de la gestin pblica. Estas reglas del juego definen una buena parte de los procesos mediante los que se generan los productos. Al analizar la eficiencia de la gestin (relacin insumos productos), el sistema de SyE observa tanto la aplicacin de esas reglas como su idoneidad para lograr los resultados. La gestin de programas y proyectos es el centro de creacin de valor pblico, pues stos generan los bienes y servicios que producen los cambios sociales previstos en el plan de gobierno. El SyE permite a los gerentes pblicos contar con informacin sobre la eficiencia de los procesos, la calidad de los bienes y servicios y el efecto que provocan entre los ciudadanos. No es posible conseguir un alto desempeo institucional si no se cuenta con esa informacin. Adicionalmente, la funcin de control interno15 slo puede implementarse adecuadamente si las instituciones cuentan con un sistema de SyE adecuado.
3.1.2. La rendicin de cuentas

La rendicin de cuentas es el otro campo para el uso de los sistemas de SyE. Efectivamente, en una gestin orientada hacia la obtencin de resultados,
14 Un caso interesante es el sistema desarrollado por el estado de Cear, en Brasil, para asignar recursos a programas sociales (Holanda y Barbosa, en prensa). 15 El control interno es un proceso integral efectuado por la gerencia y el personal, est diseado para dar una seguridad razonable de que en la consecucin de la misin de la entidad, se alcanzarn los siguientes objetivos gerenciales: i) ejecucin ordenada, tica, econmica, eficiente y efectiva de las operaciones, ii) cumplimiento de las obligaciones de rendicin de cuentas, iii) cumplimiento de las leyes y regulaciones aplicables y, iv) salvaguardia de los recursos para evitar prdidas, mal uso y dao (INTOSAI, 2004).
41
tanto la rendicin de cuentas de parte de los gerentes pblicos a las autoridades, como de stas a los ciudadanos, deben basarse en pruebas sobre el valor pblico que se ha creado durante su administracin. No basta con que las autoridades informen la cantidad de recursos que se invirtieron o el nmero de obras pblicas inauguradas en su perodo de gobierno, sino que deben ser capaces de responder de qu manera esos recursos invertidos y esas obras construidas contribuyeron efectivamente a lograr los objetivos de gobierno para los que fueron elegidos por sus conciudadanos. El caso de la seguridad ciudadana puede ilustrar bien este punto. Si las autoridades de un gobierno subnacional fueron elegidas debido a su oferta de mejorar la seguridad, deben rendir cuentas de su gestin con informacin confiable acerca de indicadores relacionados con los delitos y la percepcin de los ciudadanos sobre la seguridad. Por tanto, no basta que las autoridades informen a la Polica sobre el incremento de los recursos, sobre el aumento del nmero de patrulleros o sobre la dotacin de equipo moderno, pues deben probar que todos esos elementos realmente contribuyeron a la reduccin del delito y a mejorar la seguridad ciudadana.
Grfico 6.7. Usos del sistema de seguimiento y evaluacin

PLANIFICACIN: Cmo podemos llegar?
PRESUPUESTO: Efectividad del gasto Gestin de la creacin de valor pblico
GESTIN FINANCIERA PBLICA: Reglas del juego que generen resultados PROGRAMAS Y PROYECTOS: Gestin de la produccin de bienes y servicios
Sistema de seguimiento y evaluacin
AUTORIDADES A CIUDADANOS Rendicin de cuentas GERENTES A AUTORIDADES

42
3.2. Los usuarios del sistema de seguimiento y evaluacin

El sistema de SyE debe brindar informacin sobre el desempeo a todos los actores que intervienen en el proceso de generacin de valor pblico: las autoridades, los gerentes pblicos y los prestadores de servicios. Esto supone considerar las necesidades de cada usuario para que el proceso de recoleccin, anlisis y devolucin de la informacin sea apropiado y til para cada uno de ellos. As, por ejemplo, las autoridades requieren informacin agregada sobre todos los efectos que produce la accin del gobierno, en tanto que los prestadores de servicios necesitan informacin detallada sobre los procesos especficos en los que participan. En general, se puede decir que la informacin que las autoridades requieren est ubicada en la parte derecha de la cadena de resultados (resultados) mientras que los prestadores de servicios necesitan la informacin ubicada en la parte izquierda de la cadena (ejecucin). Los gerentes pblicos requieren informacin sobre toda la cadena, pues deben considerar tanto la ejecucin como los resultados. El siguiente grfico presenta, de manera esquemtica, el tipo de informacin que requiere cada grupo de usuarios. Es necesario disear una estrategia que se sustente en los valores del aprendizaje institucional, la mejora continua y la transparencia, para entregar la informacin a cada uno de los usuarios.
Grfico 6.8. Usuarios del sistema de seguimiento y evaluacin
INFORMACIN DESAGREGADA
INFORMACIN AGREGADA
Insumos
Procesos
Productos
Efectos
AUTORIDADES
Impactos
PRESTADORES DE SERVICIOS
GERENTES PBLICOS

43
Puesto que la informacin del sistema de SyE sirve tambin para rendir cuentas, la opinin pblica y los ciudadanos deben ser considerados tambin como usuarios. La informacin que se difunde entre ellos debe enfocarse en los resultados agregados (productos, efectos, impactos) y presentarse de manera que expliquen de forma sencilla los datos tcnicos y los vinculen con los objetivos del gobierno. Esto no impide, sin embargo, que se entregue informacin tcnica desagregada para dar cumplimiento a la poltica de trasparencia.
3.3. Institucionalizacin del sistema de seguimiento y evaluacin

Entre los elementos relacionados con la operacin del sistema existen dos que tienen una gran importancia en la institucionalizacin del SyE: la formalizacin del sistema y la capacitacin de los operadores y usuarios.
La institucionalizacin del sistema de SyE, es decir su uso como instrumento de gestin y rendicin de cuentas, es un proceso continuo de largo aliento que rebasa la gestin de una sola administracin gubernamental, tal como puede observarse en las experiencias de construccin de los sistemas nacionales de Brasil, Chile y Colombia (Banco Mundial y BID, 2006). Diversos estudios sealan varios factores que contribuyen a la institucionalizacin de los sistemas de SyE (Mackay, 2008; Zall Kusek y Rist, 2005) que deben tomarse en cuenta a la hora de emprender los procesos de construccin de estos sistemas. Dichos factores pueden dividirse en dos categoras: los relacionados con la operacin del sistema (mbito interno) y los relacionados con el entorno (mbito externo). Entre los elementos relacionados con los operadores del sistema existen dos que tienen una gran importancia en la institucionalizacin del SyE: la formalizacin del sistema y la capacitacin de los operadores y usuarios. La formalizacin supone, adems de la existencia de una norma que regule el sistema, la construccin de instrumentos y modelos de trabajo, la definicin de procesos y procedimientos, la elaboracin de guas, manuales y otros documentos tcnicos que sirven para la operacin del sistema. Todo esto permite su buen funcionamiento y crea un marco adecuado para la produccin de informacin de buena calidad, creble y oportuna. El proceso de elaboracin de todos estos elementos demanda tiempo y no se lo hace de una sola vez, por el contrario, requiere de aproximaciones sucesivas y de los
44
aprendizajes que se producen de los ensayos y errores frecuentes. En todo caso, la regla de oro de este proceso es partir de lo sencillo y, solamente con el trascurso del tiempo, aadir complejidad al sistema y a sus componentes. En ningn campo esto resulta ms cierto que en el de la construccin de los indicadores de desempeo: es mejor partir con pocos indicadores relevantes que efectivamente se usen, que con muchos indicadores que midan cada aspecto de la gestin institucional, pero que no se apliquen adecuadamente. Otro aspecto a tomar en cuenta en la formalizacin es la ubicacin de la unidad a cargo de la operacin del sistema de SyE. Es importante que esta unidad est vinculada de alguna forma a las mximas autoridades del gobierno subnacional, sea que se ubique dentro de los departamentos de planificacin o de presupuesto, o que forme una oficina independiente. La experiencia muestra que la consolidacin del sistema de SyE requiere de un fuerte respaldo de las autoridades que se complemente con un liderazgo tcnico slido por parte de los operadores del sistema y una coordinacin adecuada con las funciones de planificacin y presupuesto. Otro factor relacionado con el mbito interno del sis- No se trata solamente de brindar tema de SyE es la capacitacin tanto de los fun- cursos y talleres sobre la importancia cionarios a cargo de operar el sistema, como de los del SyE y el funcionamiento del distintos usuarios: autoridades, gerentes pblicos, pres- sistema, sino de acompaar a cada tadores de servicios y OSC. En gran medida, la insti- uno de los usuarios para que pueda tucionalizacin del sistema descansa en su apropia- ejercer adecuadamente el rol que cin por parte de los usuarios; son ellos quienes, en le corrresponde desempear en la funcin de SyE. ltima instancia, deciden si el sistema funciona o no. Un instrumento valioso para fomentar esta apropiacin es la capacitacin. Por ello, los encargados del sistema deben establecer una estrategia de capacitacin a mediano plazo con componentes diferenciados para cada uno de los pblicos usuarios. No se trata solamente de brindar cursos y talleres sobre la importancia del SyE y el funcionamiento del sistema, sino de acompaar a cada uno de los usuarios para que puedan ejercer adecuadamente el rol que les corresponde desempear en la funcin de SyE que, como se ha visto anteriormente, atraviesa el conjunto del ciclo de la gestin pblica. Igual importancia tiene el acompaamiento a los usuarios para que utilicen adecuadamente la informacin, propsito central del SyE. Esta tarea implica que los operadores del sistema vayan ms all de la mera entrega de la informacin, y acten como consultores de sus usuarios.
45
Otro aspecto que la capacitacin debe considerar con especial cuidado, son las resistencias al uso del SyE. En el sector pblico de Amrica Latina existe la idea muy extendida de que el SyE es parte de un sistema punitivo al arbitrio de las autoridades. Desterrar esta idea, surgida de la ausencia de meritocracia en la cultura burocrtica de nuestros pases, y sembrar la nocin de que el seguimiento y la evaluacin son instrumentos para el aprendizaje institucional y personal, son desafos que la capacitacin debe enfrentar.
Las autoridades, los gerentes pblicos y todos aquellos que tienen responsabilidades de jefatura en el gobierno subnacional son los usuarios primordiales de la informacin de SyE
Respecto al mbito externo, hay que considerar dos factores esenciales para la institucionalizacin del sistema de SyE: i) la demanda por parte de las autoridades y gerentes pblicos y, ii) la demanda por parte de las OSC y la opinin pblica. Las autoridades, los gerentes pblicos y todos quienes tienen responsabilidades de jefatura en el gobierno subnacional son los usuarios primordiales de la informacin de SyE, sea que pertenezcan a las reas de planificacin, presupuesto, gestin financiera o gestin de programas y proyectos. En su mayor parte, ellos desempean una doble funcin en el sistema: por un lado, proveen informacin y por otro, la demandan. En un entorno institucional que no est organizado con base en los resultados, es ms fcil conseguir que los usuarios desempeen su papel como proveedores de informacin, mientras que es arduo lograr que demanden informacin sobre los resultados, pues no la necesitan. Con seguridad, demandarn informacin sobre la ejecucin fsica y financiera de la institucin, pero no les interesar saber acerca de dimensiones tales como la eficacia y la calidad. Por ello, la nica manera de conseguir una demanda continua de informacin sobre SyE es construir una estructura y una cultura institucionales orientadas hacia el logro de resultados. En ltima instancia, esto conlleva generar nuevas reglas del juego que coloquen a la obtencin de resultados en el centro de la accin institucional. Solamente de esa manera, se generar una demanda permanente de informacin de SyE. En cuanto a la demanda por parte de las OSC, hay que decir que se la puede promover de manera activa publicando regularmente en el Internet informes explicativos sobre los resultados de la gestin institucional. Aunque el Internet es un instrumento poderoso para difundir informacin, es necesario anotar que el tipo de informacin que se publique marca la
46
diferencia en cuanto al consumo y demanda por parte de la sociedad civil. As, por ejemplo, publicar el presupuesto y los informes presupuestarios anuales sin ningn anexo que explique de manera sencilla la relacin entre el gasto realizado y los objetivos de gobierno, puede resultar intil pues, debido a su naturaleza tcnica, slo los especialistas pueden comprenderlos. Lo mismo puede ocurrir al publicar el listado de indicadores de desempeo sin anexos explicativos. Por lo dicho, la publicacin peridica de informacin sobre los resultados de la gestin gubernamental es un medio para fomentar la demanda de esa misma informacin por parte de la sociedad civil. Las consideraciones sealadas anteriormente tambin deben tenerse en cuenta para fomentar la demanda de informacin sobre SyE por parte de los medios de comunicacin y de la opinin pblica. Conviene mencionar, adems, que es ms fcil generar demanda cuando el gobierno local implementa mecanismos participativos para la elaboracin del plan de gobierno, de las polticas sectoriales o del presupuesto, pues las OSC requerirn informacin sobre la gestin pblica para orientar su participacin en tales procesos. Adems de los aspectos ya mencionados, existe un ele- Si una institucin establece como mento clave, que configura los mbitos tanto externo requisito para los ascensos de como el interno, sin el cual no es posible instituciona- su personal cierto historial de lizar el sistema de SyE y, por extensin, un modelo de desempeo, es ms probable que GpRD. Se trata de las reglas del juego que regulan la all se desarrolle un sistema de gestin del proceso de creacin de valor pblico, en par- evaluacin con base en indicadores ticular los incentivos que se ofrecen a las instituciones y de desempeo que en una a los funcionarios con el fin de mejorar el desempeo y organizacin en la cual basta cumplir un nmero determinado de aos de las consecuencias que resultan de no hacerlo. Estas reservicio para ser promovido. glas bsicas tienen el poder de potenciar el cambio institucional ms que ningn otro elemento y, con ello, logran un efecto positivo en la institucionalizacin del sistema de SyE, puesto que a travs de este instrumento, se mide y examina el desempeo. Si una institucin establece como requisito para los ascensos de su personal cierto historial de desempeo, es ms probable que all se desarrolle un sistema de evaluacin con base en indicadores de desempeo que en una organizacin en la cual baste cumplir un nmero determinado de aos de servicio para ser promovido. De la misma forma, si existen reglas que establecen la asignacin de recursos
47
a las instituciones con base en su buen desempeo, ser necesario que se desarrolle el instrumental adecuado para medir ese desempeo y as asignar los recursos. Por otro lado, tambin deben establecerse las consecuencias de la ineficiencia e ineficacia, tanto si se trata de instituciones como del personal. Es importante estimular el logro mediante incentivos, pero esta medida debe complementarse con sanciones que inhiban las conductas no deseadas16. El siguiente grfico resume, de manera esquemtica, los elementos que coadyuvan a la institucionalizacin del sistema de SyE.
Grfico 6.9. Institucionalizacin del sistema de seguimiento y evaluacin
MBITO EXTERNO
Incentivos y consecuencias (reglas de juego)
MBITO INTERNO
Demanda de autoridades y gerentes pblicos
Formalizacin
Demanda de la sociedad civil y de la opinin pblica
Uso del sistema de SyE
Capacitacin
16 El libro de Mackay (2008: p 63 - 66) presenta un conjunto de incentivos, sanciones y consejos tiles para promover la institucionalizacin de los sistemas de SyE. Esta es la versin en espaol del libro escrito originalmente en ingls How to Build a M&E Systems to Support Better Government. Desgraciadamente, la traduccin es descuidada y de mala calidad, lo que provoca equvocos en los trminos tcnicos. Por ello, si el interesado lee en ingls, se sugiere optar por la edicin en ese idioma. 48
3.4. Integracin horizontal y vertical del sistema de seguimiento y evaluacin

Finalmente, cabe mencionar algunos aspectos relacionados con la articulacin de sistema de SyE a la estructura institucional del gobierno subnacional. Si bien se requiere establecer una unidad especializada que opere ciertas actividades tcnicas de SyE, dicha unidad no es la nica responsable del funcionamiento del sistema, pues ste involucra a mltiples entidades del gobierno subnacional que deben actuar de manera coordinada. Por otro lado, puesto que el sistema de SyE tiene como propsito mejorar el desempeo del conjunto de la gestin pblica, es necesario examinar tanto las polticas pblicas, como las instituciones y el desempeo del personal. A continuacin, se examinarn los conceptos de integracin horizontal y vertical de los sistemas de SyE (Cunill y Ospina, 2008).
3.4.1. Integracin horizontal

Llamamos integracin horizontal al funcionamiento coordinado de los distintos componentes del ciclo de gestin pblica. Cada uno de estos componentes desempea un rol especfico en el funcionamiento del seguimiento y la evaluacin. As, por ejemplo, el sistema de planificacin establece los objetivos y metas cuyo cumplimiento debe vigilarse, el sistema de presupuesto establece los incentivos que promueven el buen desempeo, el sistema de gestin financiera pblica produce informacin sobre los insumos y los procesos, el sistema de gestin de programas y proyectos produce la informacin de SyE y la usa para mejorar la gestin de la produccin de bienes y servicios y el sistema de SyE integra la informacin, la analiza y produce los informes. Desde esta perspectiva, la funcin del SyE es transversal a todos los sistemas de gestin pblica y slo puede funcionar adecuadamente si todos ellos trabajan de manera conjunta y coordinada. Por ello, es importante incluir a todos los actores institucionales en el proceso de implementacin y desarrollo del sistema de SyE.
49
3.4.2. Integracin vertical

Un sistema de SyE est articulado verticalmente cuando toma en cuenta apropiadamente los siguientes mbitos en los que se desarrolla la gestin gubernamental: 1) las polticas pblicas, 2) las organizaciones, los programas y los proyectos y, 3) el desempeo del personal. Efectivamente, el anlisis del desempeo gubernamental debe comprender las polticas, las instituciones y el personal, pues todos esos mbitos son interdependientes: no puede haber un buen desempeo de las instituciones sin que el personal que trabaja en ellas realice eficientemente sus tareas. De la misma manera, una poltica pblica exitosa slo es posible cuando las instituciones son eficaces. No obstante, es comn que en ALC los sistemas pblicos de evaluacin del desempeo del personal no se tomen en cuenta los resultados institucionales. Asimismo, es frecuente que la evaluacin de los proyectos no contribuya a la elaboracin de anlisis ms globales sobre el desempeo de las polticas sectoriales. El sistema de SyE debe, por tanto, abarcar los tres mbitos descritos y establecer instrumentos, tcnicas y procedimientos propios, para cada uno de ellos, observando que se retroalimenten entre s.

El desarrollo de los elementos tcnicos de SyE examinados en las primeras dos unidades, como los indicadores de desempeo y la elaboracin de un programa de evaluaciones, no son sino una parte de las tareas que es necesario llevar a cabo para construir el sistema de SyE. La implementacin de un sistema de este tipo supone lograr que los usuarios, sean las autoridades, los gerentes pblicos o los prestadores de servicios, integren los instrumentos de SyE en su trabajo cotidiano y, al mismo tiempo, conseguir que todos los componentes del ciclo de gestin como la planificacin, el presupuesto y la gestin de programas y proyectos, usen la informacin producida por el sistema. Asimismo, se requiere la implementacin del seguimiento y la evaluacin, no slo de los proyectos, sino tambin de las instituciones, las polticas y los programas.
50

Banco Mundial y BID (2006). Hacia la institucionalizacin de los sistemas de monitoreo y evaluacin en Amrica Latina y el Caribe. Washington D.C.: Banco Mundial. Cunill, Nuria y Sonia Ospina (2008). Fortalecimiento de los sistemas de monitoreo y evaluacin en Amrica Latina. Informe comparativo de 12 pases. Caracas: CLAD. Garca Lpez, Roberto y Mauricio Garca Moreno (2010). La gestin para resultados en Amrica Latina y el Caribe. Avances y desafos. Washington D.C.: Banco Interamericano de Desarrollo. Holanda, Marcos y Marcelo Barbosa (2010). Incentivos para la adopcin de un enfoque orientado a resultados en la prestacin de servicios pblicos en el estado de Cear. BID (en prensa). INTOSAI (2004).Gua para las normas de control interno del sector pblico. Viena: INTOSAI. Mackay, Keith (2008). Cmo crear sistemas de SyE que contribuyan a un buen gobierno. Washington D.C.: Banco Mundial. Zall Kusek, Jody y Ray Rist (2005). Diez pasos hacia un sistema de seguimiento y evaluacin basado en resultados. Bogot: Banco Mundial y Mayol Ediciones.
51
52

UNAM HFL Modulo 6 - Seguimiento y Evaluacion de Los Resultados

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

UNAM HFL Modulo 6 - Seguimiento y Evaluacion de Los Resultados

Transféré par

Droits d'auteur :

Formats disponibles

Gestin para resultados en el desarrollo en gobiernos subnacionales

MDULO 6 Seguimiento y evaluacin de los resultados

Mdulo 6: Seguimiento y evaluacin de los resultados

Unidad 2. La evaluacin de los resultados..................................................................27

Unidad 3. Construccin del sistema de seguimiento y evaluacin...........................39

Mdulo 6: Seguimiento y evaluacin de los resultados

6.5 6.6 6.7 6.8 6.9

Mdulo 6: Seguimiento y evaluacin de los resultados

Objetivos del mdulo

Preguntas orientadoras del aprendizaje

Gobiernos subnacionales, descentralizacin y gestin para resultados

Mdulo 6 Seguimiento y evaluacin de los resultados

Mdulo 6: Seguimiento y evaluacin de los resultados

Unidad 1. El seguimiento de los resultados

dos con el proceso de seguimiento de los resultados de la gestin de un gobierno subnacional.

1.1. Conceptos bsicos

Grfico 6.1. Componentes del ciclo de gestin

Fuente: Elaboracin del autor (2011)

Mdulo 6: Seguimiento y evaluacin de los resultados

1.1.1. El seguimiento de los resultados

El seguimiento de los resultados

Recuadro 6.1. Componentes de la cadena de generacin de resultados

generar los productos.

como consecuencia de la recepcin de los productos (bienes o servicios).

Grfico 6.2. La cadena de resultados

EJECUCIN Insumos Procesos Productos Efectos Impactos

Fuente: Elaboracin del autor (2011)

Mdulo 6: Seguimiento y evaluacin de los resultados

Grfico 6.3. La matriz del marco lgico y la cadena de resultados

Fuente: Elaboracin del autor (2011)

1 Este es el caso de Mxico. Para mayor informacin, visitar el sitio: www.coneval.gob.mx 12

El seguimiento de los resultados

Cuadro 6.1. Ejemplo de indicadores segn componentes de la cadena de resultados

Fuente: Elaboracin del autor (2011)

Mdulo 6: Seguimiento y evaluacin de los resultados

1.1.2. Medicin del desempeo

El seguimiento de los resultados

Grfico 6.4. Dimensiones del desempeo

EFICIENCIA Insumos Procesos ECONOMA Productos CALIDAD

EFICACIA Efectos Impactos

Fuente: Elaboracin del autor (2011)

Mdulo 6: Seguimiento y evaluacin de los resultados

Cuadro 6.2. Indicadores de desempeo

Ausencia de desperdicio en la obtencin de un resultado.

Calidad de los bienes y servicios producidos.

Fuente: Elaboracin del autor (2011)

El seguimiento de los resultados

Cuadro 6.3. Indicadores segn dimensiones de desempeo y cadena de resultados

% de atrasos en el pago a proveedores

% de comits de padres de familia satisfechos con el servicio

Fuente: Elaboracin del autor (2011)

1.2. Elementos necesarios para implementar un sistema de seguimiento2

Mdulo 6: Seguimiento y evaluacin de los resultados

Recuadro 6.2. Elementos necesarios para desarrollar un sistema de seguimiento

Objetivos y estrategias definidas

El seguimiento de los resultados

Mdulo 6: Seguimiento y evaluacin de los resultados

El seguimiento de los resultados

Cuadro 6.4. Indicadores segn tipo de fuente

Encuestas peridicas Instrumentos especficos

Fuente: Elaboracin del autor (2011)

Mdulo 6: Seguimiento y evaluacin de los resultados

Grfico 6.5. Tasa especfica de participacin de la poblacin econmicamente activa de 12 a 15 aos

Fuente: Elaboracin del autor (2011)