DISEO DEL SISTEMA DE SEGUIMENTO Y EVALUACIN DE LOS PROYECTOS DEPARTAMENTO DE EVALUACIN DE OPERACIONES Lecciones y prcticas Volumen 2, Nmero 8.

Definiciones Se entiende por seguimiento la evaluacin continua de la ejecucin de los proyectos en relacin con un programa acordado, y de la utilizacin de insumos, infraestructura y servicios por parte de los beneficiarios del proyecto. El seguimiento: _ Proporciona informacin constante a los administradores y otros interesados, retroalimentando la ejecucin del proyecto. _ Permite identificar, con la mayor prontitud posible, xitos y dificultades reales o potenciales, para facilitar la oportuna modificacin de la operacin del proyecto. La evaluacin consiste en la valoracin peridica de la pertinencia, los resultados, la eficiencia y el impacto (previsto e imprevisto) de un proyecto en relacin con objetivos preestablecidos: _ Durante la ejecucin, los administradores del proyecto llevan a cabo evaluaciones provisionales, a modo de anlisis inicial del proyecto, para pronosticar los efectos probables del mismo y para identificar los ajustes necesarios en el diseo del proyecto. En la ltima dcada se ha generalizado rpidamente la utilizacin de evaluaciones de mitad de perodo de los proyectos en ejecucin. _ Al acabar el proyecto, se deben realizar evaluaciones terminales para la elaboracin de informes de finalizacin del proyecto. Estos informes comprenden la evaluacin de los efectos del proyecto y de su potencial sostenibilidad. Necesidad de un seguimiento y una evaluacin eficaces La labor de seguimiento y evaluacin (S y E) constituye una actividad valorada cada vez ms ampliamente como un instrumento indispensable de gestin de los proyectos y de la cartera. La reconocida necesidad de mejorar los resultados de la asistencia para el desarrollo lleva a prestar atencin ms estrecha al suministro de informacin gerencial tanto para respaldar la ejecucin de los proyectos y programas, como para brindar informacin de retroalimentacin para el diseo de nuevas iniciativas. La labor de S y E tambin sirve de base para hacer efectiva la responsabilidad en el uso de los recursos destinados al desarrollo. Dada la mayor transparencia que ahora se espera de la comunidad del desarrollo, los gobiernos y los organismos que los asisten tienen que responder a las exigencias de un mayor xito sobre el terreno proporcionando ejemplos del impacto en materia de desarrollo y demostrando que disponen de sistemas que respalden un aprendizaje logrado a travs de la experiencia. Utilizados cuidadosamente en todas las etapas del ciclo de los proyectos, el seguimiento y la evaluacin pueden ayudar a reforzar el diseo y la ejecucin de los proyectos y estimular la formacin de asociaciones de esfuerzos con interesados en los mismos. Esas actividades pueden: _ Influir sobre la estrategia de asistencia sectorial. A travs de anlisis pertinentes que surjan de la evaluacin de proyectos y polticas se pueden destacar los resultados de medidas de intervencin anteriores, as como las virtudes y defectos de su ejecucin. _ Mejorar el diseo de los proyectos. La utilizacin de instrumentos de diseo de proyectos tales como el marco lgico, da lugar a una seleccin sistemtica de indicadores para el seguimiento de los resultados de los proyectos. El proceso de seleccin de indicadores para el seguimiento pone a prueba la solidez de los objetivos del proyecto y puede mejorar el diseo de los mismos. _ Tener en cuenta las opiniones de los interesado s. Se comprende cada vez con mayor claridad que la participacin de los beneficiarios de un proyecto en su diseo y ejecucin logra que dichos beneficiarios se comprometan en mayor medida con los objetivos del proyecto y aumenta la sostenibilidad de los beneficios. Esta participacin fomenta una mayor responsabilidad. Los objetivos deben establecerse y los indicadores

deben seleccionarse en consulta con los interesados, en procura de una identificacin compartida de los objetivos y las metas. Este compromiso se refuerza cuando se logran beneficios en una etapa incipiente. Asimismo, la deteccin temprana de problemas que se presenten permite adoptar medidas correctivas antes de que los costos sean mayores. _ Revelar la necesidad de correcciones a mitad del trayect o. Una corriente de informacin confiable durante la ejecucin permite a los administradores realizar el seguimiento del avance logrado y reajustar las operaciones teniendo en cuenta la experiencia. Diseo del sistema de S y E: cinco componentes Lograr un adecuado diseo de S y E durante la preparacin del proyecto constituye una labor mucho ms amplia que la mera preparacin de indicadores. Un adecuado diseo tiene cinco componentes, que se examinan sucesivamente a continuacin: _ Claros enunciados de objetivos mensurables para el proyecto y sus componentes, para los cuales puedan definirse indicadores. _ Un conjunto estructurado de indicadores que comprenda la produccin de bienes y servicios generados por el proyecto y sus repercusiones sobre los beneficiarios. _ Medidas referentes a la recopilacin de datos y al manejo de los registros del proyecto, a fin de que los datos requeridos por los indicadores sean compatibles con las estadsticas existentes y puedan obtenerse a un costo razonable. _ Convenios institucionales para la recopilacin, anlisis e informacin de datos del proyecto e inversin en creacin de capacidad con el fin de respaldar al servicio de S y E. _ Propuestas referentes a los mecanismos que permitan la retroalimentacin de las conclusiones de la labor de S y E en el proceso de adopcin de decisiones. La presencia de esos cinco componentes ayuda a asegurar que la labor de S y E es pertinente, dentro de los lmites de capacidad de las instituciones prestatarias, y puede utilizarse eficazmente. Objetivos de los proyectos Los proyectos son diseados para alcanzar objetivos sectoriales a largo plazo, pero, como mnimo, sus objetivos inmediatos deben poder medirse fcilmente. As, por ejemplo, podra disearse un proyecto de salud para alcanzar los objetivos sectoriales de reduccin de la mortalidad infantil y de la incidencia de enfermedades infecciosas, pero teniendo como objetivo mensurable inmediato brindar un acceso ms equitativo a los servicios sanitarios. Los objetivos deben tener especificidad con respecto a las medidas de intervencin de los proyectos; deben ser realistas en relacin con el marco cronolgico de ejecucin de los mismos, y deben ser mensurables a los efectos de la evaluacin. En el Proyecto Distrital de Educacin Primaria de la India, por ejemplo, los objetivos se establecen a nivel de distrito en enunciados claros vinculados directamente con indicadores. _ Creacin de capacidad: Los equipos de subproyectos de distritos seran plenamente operativos y ejecutaran actividades de subproyectos e informaran trimestralmente sobre el avance logrado. Los equipos en servicio estaran en funcionamiento, con personal y equipos ampliados, y brindaran respaldo en materia de planificacin y administracin, capacitacin en servicio de docentes, elaboracin de material didctico y evaluacin de programas. _ Reduccin de la desercin y mejores logros didctico s: Las organizaciones acadmicas y comunitarias estaran en pleno funcionamiento en por lo menos la mitad de los centros de enseanza y las tasas de desercin se reduciran a

menos del 10%. En el ltimo ao de enseanza primaria los logros pedaggicos en materia de lenguaje y matemticas se incrementaran un 25% con respecto a las estimaciones de lnea de base. _ Acceso ms equitativo. Las disparidades de inscripcin por gneros y castas se reduciran a menos del 5%. Lecciones y prcticas 4 Los objetivos de un proyecto pueden definirse con mayor precisin al determinar los mecanismos para medirlos (por ejemplo, qu indicadores permiten determinar la equidad del acceso) y analizando cmo las actividades de los componentes conducen a esos objetivos. De este modo, el diseo de las actividades de S y E contribuye directamente a la calidad de los proyectos cuando stos ingresan en la cartera. La calidad de un nuevo proyecto depende tambin de que los interesados estn identificados con el mismo y del conocimiento del alcance y las limitaciones de las actividades del proyecto. En el contexto de la labor de seguimiento puede ser necesario obtener informacin sobre las medidas de respaldo que probablemente han de afectar al xito del proyecto. El anlisis de los problemas constituye un mecanismo que puede ayudar a identificar las medidas de ese tipo (vase el Recuadro 1). Indicadores estructurados Los indicadores permiten establecer los detalles cuantitativos y cualitativos de un conjunto de objetivos. Se trata de enunciados sobre la situacin que existir cuando se alcance un objetivo. La capacidad de definir un indicador en consulta con los interesados y convenir en el valor y la oportunidad de lograr un objetivo demuestra que los objetivos del proyecto han sido enunciados claramente, son comprendidos y cuentan con respaldo. Ese acuerdo genera responsabilidad.

Para disponer de informacin sobre el progreso logrado ya desde las primeras etapas de ejecucin y a lo largo de todo el ciclo del proyecto es necesario estructurar indicadores. El enfoque de marco lgico del diseo de los proyectos da lugar a una estructura eficiente, al postular una jerarqua de objetivos para los cuales se requieren indicadores. Es necesario conocer su terminologa en el contexto del sector al que se aplican, pero en el cuadro siguiente se ilustran los trminos ms comnmente usados. Objetivos de los proyectos Tipos de indicadores Meta Impacto Finalidad Resultados o efectos Productos Productos Actividades Proceso Insumos Insumos La informacin referente a los indicadores de insumos proviene en gran medida de registros contables y de administracin. Los indicadores de insumos suelen dejarse al margen de los anlisis de seguimiento de los proyectos, aunque forman parte del sistema de informacin gerencial. Se requiere un adecuado sistema contable para mantener informacin sobre el gasto y suministrar datos de costos para el anlisis de los resultados en materia de productos. Los indicadores de insumos son utilizados principalmente por los Lecciones y prcticas 5 Recuadro 1: Anlisis de problemas Los objetivos de los proyectos deben estructurarse de modo que exista correspondencia con el anlisis de los problemas que se tratan de superar a travs de los mismos. El anlisis de los problemas es una tcnica de prospeccin de ideas en que los interesados identifican las causas y los efectos de los problemas. Los diagramas de rbol permiten presentar el anlisis visualmente en forma resumida. Luego se estructuran los objetivos del proyecto de modo de resolver esos problemas, lo que puede representarse como una imagen en el espejo del diagrama de rbol del problema. Los problemas que el proyecto no pueda enfrentar directamente pero que haya que resolver para alcanzar las metas son objeto de otras estrategias, o se convierten en riesgos para el proyecto si no se adopta medida alguna. Las medidas necesarias para alcanzar los beneficios del proyecto que este ltimo no pueda realizar directamente deben ser objeto de un seguimiento tan estrecho como las actividades del proyecto, e

inclusive pueden formar parte de las condiciones del prstamo. Son ejemplos la modificacin de la legislacin o la adopcin de medidas por parte de otras entidades pblicas. En el marco lgico esos ejemplos apareceran como supuestos importantes.
Alta tasa de fracaso de compaas recientemente privatizadas
Productos no orientados a la demanda del mercado

Deficiente administracin financiera interna Crisis de efectivo por falta de capital de explotacin
El proyecto ofrece cursos de capacitacin en investigaciones de mercado El proyecto sostiene consultoras en investigaciones de mercado

El proyecto prepara cursos de capacitacin en administracin RIESGO El proyecto no cubre el financiamiento Eficaces investigaciones de mercados y consumidores Mejoramiento de la administracin financiera interna
Las medidas referentes al financiamiento pueden afectar al xito del proyecto

Reduccin de la tasa de fracasos en las compaas privatizadas RBOL DE OBJETIVOS Efecto RBOL DE PROBLEMAS

Causa Medios Fines

Alta tasa de fracaso de compaas recientemente privatizadas Productos no orientados a la

demanda del mercado Deficiente administracin financiera interna Crisis de efectivo por falta de capital de explotacin El proyecto ofrece cursos de capacitacin en investigaciones de mercado El proyecto sostiene consultoras en investigaciones de mercado El proyecto prepara cursos de capacitacin en administracin RIESGO El proyecto no cubre el financiamiento Eficaces investigaciones de mercados y consumidores Mejoramiento de la administracin financiera interna Las medidas referentes al financiamiento pueden afectar al xito del proyecto Reduccin de la tasa de fracasos en las compaas privatizadas RBOL DE OBJETIVOS Efecto RBOL DE PROBLEMAS Causa Medios Fines Lecciones y prcticas 6 administradores que mantienen una relacin ms prxima con las tareas de ejecucin, y se consultan frecuentemente: a veces a diario, o semanalmente. Ejemplos: costos

de operacin de vehculos para el servicio de extensin de cultivos; niveles de aportes financieros del Estado o de fuentes de cofinanciamiento; designacin de funcionarios; suministro de edificios; estado de la legislacin habilitante. Los indicadores de procesos miden lo que sucede durante la ejecucin. Con frecuencia se tabulan como conjunto de obras contratadas terminadas, o hitos extrados de un plan de actividades. Ejemplos: fecha en que debe realizarse el despeje del lugar de construccin de un edificio; fecha de vencimiento del plazo de entrega de fertilizantes a almacenes de establecimientos agropecuarios; nmero de dispensarios de salud que declaran actividades de planeamiento familiar; nmero de mujeres que reciben asesoramiento en anticonceptivos; estado de la adquisicin de libros de texto escolares. Los indicadores de productos muestran los productos fsicos y financieros inmediatos del proyecto: cantidades, fortalecimiento institucional, flujos iniciales de servicios. Comprenden medidas de desempeo basadas en el costo de los coeficientes operativos. Ejemplos: kilmetros de carreteras para todo tiempo construidos al finalizar el mes de septiembre; porcentaje de productores rurales que asisten a un lugar de demostracin de cultivos antes de que se ponga la capa superior de fertilizantes; nmero de docentes capacitados en utilizacin de libros de texto; costo por kilmetro de construccin de caminos; rendimiento por hectrea de los cultivos, relacin entre el nmero de libros de texto y el de alumnos; tiempo que se requiere para tramitar una solicitud de crdito; nmero de demostraciones realizadas por trabajador de extensin; etapas del proceso de establecimiento de asociaciones de usuarios de agua. El impacto se refiere a la variacin a mediano o largo plazo en materia de

desarrollo. (Algunos autores hacen referencia tambin a una categora adicional de indicadores de resultados, relacionados ms especficamente con las actividades del proyecto que los indicadores de impacto, que pueden consistir en estadsticas sectoriales y mantener una relacin ms estrecha con el efecto directo de los resultados de los proyectos para los beneficiarios.) Para medir el cambio frecuentemente se requieren complicadas estadsticas sobre el bienestar econmico o social, cuya elaboracin depende de datos recopilados por los beneficiarios. Pueden obtenerse indicadores tempranos de impacto mediante encuestas de percepciones de los beneficiarios con respecto a los servicios del proyecto. Este tipo de indicador de orientacin tiene dos tipos de beneficios: el hecho de que se consulte a los interesados y de que puedan Lecciones y prcticas 7 detectarse tempranamente los problemas que puedan suscitarse. Ejemplos de impacto: (en salud) incidencia del bajo peso al nacer; porcentaje de mujeres que padecen anemias moderadas o graves; (en educacin) tasas de continuacin de educacin primaria a secundaria, por sexos; proporcin de nias que completan la educacin secundaria; (en silvicultura) porcentaje de disminucin del rea de la cosecha; porcentaje de aumento de los ingresos de los hogares a travs de la venta de productos de madera y de otro tipo. Ejemplos de percepciones de los beneficiarios: proporcin de los productores rurales que hayan probado una nueva variedad de semillas y se propongan volver a utilizarlas; porcentaje de mujeres satisfechas con la asistencia sanitaria por maternidad que reciben. (Vase el Recuadro 2.) Recuadro 2: Ejemplo de indicadores estructurados El siguiente ejemplo, correspondiente a Filipinas, proviene de un componente de reduccin de la prevalencia del

cncer cervical en el marco del Proyecto de Salud de la Mujer y Maternidad Segura. Insumos Nmero de mquinas de crioterapia adquiridas y entregadas Cantidad de medicamentos, reactivos y suministros mdicos adquiridos y entregados Nmero de proveedores de asistencia sanitaria capacitados en tratamiento del cncer cervical, por tipos de proveedores y capacitacin Proporcin de proveedores de asistencia sanitaria que pueden realizar pruebas de Papanicolau, biopsias cervicales, histerectomas y crioterapia, por tipos de proveedores Nmeros y meses-funcionario de asistencia tcnica suministrada Proceso Porcentaje de mujeres de ms de 35 aos sometidas a por lo menos una prueba de Papanicolau Nmero de casos detectados Nmero de biopsias cervicales realizadas por lesiones sospechosas Nmero de procedimientos de crioterapia realizados en relacin con el cncer invasivo temprano Nmero de histerectomas simples y radicales realizadas Productos Proporcin de mujeres con acceso a servicios de tratamiento del cncer cervical Porcentaje de mujeres que han recibido tratamiento eficaz contra el cncer, conforme a protocolos o normas Impacto Disminucin de: - la incidencia del cncer invasivo - los fallecimientos a causa del cncer cervical. Lecciones y prcticas 8 Recuadro 3: Indicadores, en orden jerrquico Nivel de objetivos Carcter de los indicadores Responsabilidad Meta Pruebas estadsticas a largo plazo de repercusiones del proyecto Organismos nacionales y sectoriales Objetivo Encuestas sociales y econmicas de resultados y efectos de los proyectos Indicadores de orientacin que brindan alerta temprana sobre las percepciones de los beneficiarios y su reaccin frente al proyecto Evaluadores del proyecto o evaluadores independientes Personal del proyecto Productos Registros administrativos Informacin interna Personal del proyecto Actividades Administracin de tareas de

procesos del proyecto Contabilidad financiera Registros administrativos de avance Personal del proyecto Insumos Contabilidad financiera Registros administrativos de recursos disponibles y utilizados. Personal del proyecto La clasificacin de los objetivos del proyecto por niveles destaca el hecho de que la administracin deber elaborar sistemas que proporcionen informacin a todos los niveles: desde contabilidad bsica hasta estadsticas con respecto a los objetivos del proyecto. El Recuadro 3 muestra el contenido y la localizacin de la responsabilidad por los indicadores en cada nivel en el marco lgico. El control de las actividades y sus resultados o productos directos est a cargo de la administracin del proyecto, y en gran medida puede realizarse mediante tareas internas de mantenimiento de registros y anlisis. La mayor parte de los indicadores de insumos, procesos y resultados se generan en el marco de la administracin del proyecto. En contraposicin, el logro de los objetivos del proyecto depende normalmente de la reaccin de los beneficiarios con respecto a los bienes o servicios suministrados por el proyecto. Lecciones y prcticas 9 Para obtener elementos de juicio sobre su reaccin y sobre los beneficios que obtienen deben realizarse consultas y actividades de recopilacin de datos que la administracin puede no estar en condiciones de realizar. Es importante determinar la reaccin previsible de los beneficiarios frente a los servicios del proyecto, porque los administradores necesitarn pruebas de esa reaccin para modificar sus actividades y estrategias. Los indicios de que los beneficiarios tienen acceso a los servicios del proyecto, los

utilizan y estn satisfechos con ellos constituyen un indicio temprano de que el proyecto brinda servicios tiles y de que es probable que se alcancen los objetivos directos. Esos elementos de juicio obtenidos a travs de investigaciones de mercado pueden estar disponibles antes y con mayor facilidad que las estadsticas de impacto, como la modificacin de la situacin sanitaria o el aumento de los ingresos. La informacin de las investigaciones de mercado es un ejemplo de indicador de orientacin sobre las percepciones de los beneficiarios que puede revelar tambin repercusiones sustanciales ulteriores. Es posible identificar otros indicadores de orientacin como alerta temprana con respecto a supuestos clave que afecten al impacto del proyecto. Los ejemplos comprenderan niveles de precios utilizados para el anlisis econmico, factores de carga de pasajeros en proyectos de transporte y adopcin de prcticas de asistencia sanitaria. Al planificar las necesidades de informacin de un proyecto debe distinguirse entre el detalle necesario para la administracin cotidiana a cargo del organismo ejecutor o, ms tarde, para la evaluacin del impacto, y el limitado nmero de indicadores clave necesarios para resumir el progreso global en los informes dirigidos a los niveles gerenciales superiores. Por ejemplo, durante la construccin de pozos entubados de aldeas, los administradores de proyectos tendrn que mantener registros sobre los materiales adquiridos y consumidos, la mano de obra empleada y los detalles de su contratacin, el tipo de cedazo y bomba instalados, la profundidad en que se encuentra agua, y el coeficiente de flujo. Los indicadores clave, en cambio, podran consistir simplemente en el nmero de pozos exitosamente realizados y sus promedios de costos y tasas de flujo.

Se denominan indicadores exgenos los referentes a factores que escapan al control del proyecto pero que pueden influir sobre sus resultados, por ejemplo, los riesgos (parmetros identificados en el curso del anlisis econmico, social o tcnico que pueden comprometer los beneficios del proyecto), y sobre los resultados del sector en que opera el proyecto. Como es preciso realizar el seguimiento tanto del proyecto como de su Lecciones y prcticas 10 entorno ms amplio, debe contarse con capacidad de recopilar datos fuera del proyecto, lo que representa una carga adicional para este ltimo en materia de S y E. Un ejemplo reciente de un proyecto de almacenaje de granos en Myanmar pone de manifiesto la importancia de vigilar los indicadores de riesgo. Durante la ejecucin del proyecto, las decisiones de poltica econmica referentes a los tipos de cambio y al acceso directo a compradores del exterior por parte de molinos de arroz de propiedad privada influyeron desfavorablemente sobre la rentabilidad de los molinos privados. Los encargados del proyecto habran sido alertados sobre el continuo deterioro de la situacin si se hubieran vigilado cuidadosamente esos indicadores del sector en que operaban. Por el contrario, el hecho de que se adoptara un enfoque limitado referente a los indicadores de insumos y procesos impidi percibir la variacin fundamental de los supuestos del proyecto. Es probable que la importancia relativa de los indicadores vare durante la ejecucin de un proyecto, hacindose mayor hincapi inicialmente en los indicadores de insumos y procesos, y ms tarde en los productos y el impacto. Se trata de una distincin entre los indicadores de progreso en la ejecucin y los indicadores de resultados en materia de desarrollo. Recopilacin de datos

Registros de campo del proyecto. Los indicadores de insumos y procesos provienen de registros de administracin de proyectos originados en el trabajo de campo. La calidad de los registros que se lleven sobre el terreno establece la norma para toda ulterior utilizacin de los datos, y merece una cuidadosa atencin. Los diseadores de S y E deben examinar los sistemas de mantenimiento de datos existentes y los procedimientos de informacin utilizados por las autoridades del proyecto para evaluar la capacidad y generar los datos que se necesitarn. Al mismo tiempo deben explicar cmo y por qu se utilizarn los indicadores en los niveles de campo, intermedios y superiores de administracin del proyecto. El diseo de los registros de campo con respecto, por ejemplo, al nmero de productores rurales en grupos de extensin, personas que asisten a una clnica o aldeanos que utilizan un nuevo sistema de suministro de agua, influye sobre el alcance del anlisis posterior. La inclusin de caractersticas socioeconmicas simples, como la edad y el sexo, puede mejorar considerablemente dicho anlisis. Un enfoque adecuado consiste en estructurar los informes provenientes del terreno de modo de elaborar agregados o resmenes en etapas intermedias. De este modo el personal de campo puede realizar comparaciones y mejorar el trabajo de campo a partir de promedios o totales de aldeas o distritos especficos. Encuestas y estudios. Para medir los productos y el impacto puede ser Lecciones y prcticas 11 necesario recoger datos a partir de encuestas de muestras o estudios especiales (lo que comprende, cuando es pertinente, la aplicacin de mtodos participativos). Para estudios de investigacin de temas especficos pueden requerirse ms aptitudes y una mayor capacitacin del personal de las necesarias para una recopilacin

ordinaria de datos destinada a preparar una serie cronolgica. Si es posible, en general conviene montar las encuestas ordinarias especficas de proyectos sobre encuestas nacionales o dotadas de respaldo internacional existentes, en lugar de crear un nuevo servicio de recopilacin de datos. Los estudios especiales pueden ser manejados con mayor eficacia por una unidad de proyecto en forma directa, o subcontratarse su realizacin a una universidad o a consultores. Si los estudios especiales se efectan con fines de comparacin con datos de otras encuestas, es esencial que se utilicen los mismos mtodos para la recopilacin de datos (vase ms abajo). En el plan del proyecto, las propuestas de recopilacin de datos para estudios deben incluir un anlisis de: _ los objetivos del estudio o encuesta _ la fuente de los datos _ las opciones, as como el mtodo de recopilacin de datos que se propone _ la probable confiabilidad de los datos. Comparabilidad de los datos. Algunos indicadores deseados de impacto, como las tasas de mortalidad, la asistencia escolar o los ingresos familiares atribuibles a un proyecto, pueden requerir comparaciones con la situacin anterior al proyecto o la existente en zonas no abarcadas por el proyecto. Esas comparaciones pueden depender del mantenimiento de sistemas nacionales de estadsticas y censos o encuestas nacionales. Antes de que se elijan esas fuentes como indicadores del impacto del proyecto, el diseador debe confirmar la disponibilidad de sistemas de datos confiables y el hecho de que los datos sean vlidos para el mbito administrativo en cuestin y para eventuales mbitos de control. Entre los problemas que pueden afectar a las comparaciones con datos existentes figuran una incompleta cobertura de la zona especfica del proyecto, la

utilizacin de diferentes mtodos de recopilacin de datos por ejemplo la realizacin de entrevistas a miembros de la familia en una encuesta y slo a jefes de familia en otra y la modificacin de tcnicas tales como la medicin del resultado de la cosecha en una encuesta y la recopilacin de estimaciones de los productores en otra. Los problemas de ese tipo pueden frustrar toda comparacin que se desee realizar para poner de manifiesto la variacin de los resultados. A fin de lograr la comparabilidad necesaria para la evaluacin, a travs de esas propuestas debe explicarse y justificarse el enfoque propuesto y los mtodos deben ser mutuamente congruentes. Lecciones y prcticas 12 Con frecuencia, la complejidad de las estadsticas y los problemas de determinacin del nexo causal hacen que resulte ms apropiado utilizar la entrega de servicios y la reaccin de los beneficiarios como indicadores representativos, en lugar de tratar de medir el impacto (vase el Recuadro 4).. Los mtodos participatorios de recopilacin de datos pueden permitir conocer mejor las necesidades de la poblacin para la planificacin y ejecucin de proyectos, pero su aplicacin no requiere menos aptitudes que las encuestas basadas en cuestionarios. Esos mtodos consumen mucho tiempo y requieren considerables aptitudes en materia de comunicacin y negociacin entre los planificadores y los participantes (vase el Recuadro 5). Contexto institucional; creacin de capacidad. A travs de una labor de S y E adecuada es probable que se logre desarrollar la capacidad del prestatario y construir a partir de los Recuadro 4: Limitaciones de los datos de las encuestas Cambio en el sector agrcola En el contexto de los proyectos agrcolas, Casley y Kumar (1987) examinaron las posibilidades de medicin del

cambio y de demonstrar que dicho cambio obedeci a actividades del proyecto. Los autores llegaron a la conclusin de que, en relacin con indicadores tales como el rendimiento de los cultivos en las condiciones variables de una agricultura en pequea extensin con riego natural, sera necesario mantener una serie cronolgica uniforme, de alta calidad, durante un mnimo de nueve aos, para tener la certeza de que se est registrando una tendencia ascendente de hasta un 12% anual. Aunque se disponga de ese conjunto de datos, la capacidad de extraer conclusiones causales se ver afectada por las influencias exgenas que experimente el agricultor. Estos ltimos factores no pueden mantenerse constantes ni aislarse de las actividades del proyecto. Es improbable que los datos de los estudios permitan realizar una evaluacin causal rigurosa. Los autores concluyen que las inferencias realizadas a partir de estudios de casos tienden a ser ms eficaces. Pobreza e ingresos de los hogares Las dificultades que entraan las comparaciones entre una Encuesta de Presupuesto de Hogares realizada en 1989/90 y una Encuesta Integrada de Hogares, en 1992/93, referentes a Uganda, muestran que inclusive en condiciones de estrecha supervisin y riguroso diseo, pequeas variaciones de formulacin de las preguntas con respecto al consumo de los hogares, la presentacin del formulario de la encuesta y la orientacin dada a los encuestadores pueden dificultar las comparaciones. (Vase Appleton, 1996). Los diseadores de encuestas de S y E deben tener en cuenta especialmente la posibilidad de realizar comparaciones con datos existentes emanados de estudios de lnea de base o encuestas nacionales de proyectos mediante la utilizacin de instrumentos y mtodos comunes de realizacin de encuestas. Es improbable que la idea de que cabe efectuar comparaciones entre datos recogidos mediante distintos mtodos corresponda a la realidad. Lecciones y prcticas 13 Recuadro 5: Varios mecanismos de medicin del impacto Entre las propuestas de evaluacin del Programa de Inversiones del Sector Agrcola (PISA) en Zambia figura la referente a un mtodo doble de medicin del impacto: _ Se utilizar un programa de encuestas cuantitativas para estimar el impacto del programa sobre la produccin y el ingreso. El mismo ser administrado por la Oficina Central de Estadstica (OCE) a partir de la muestra aleatoria anual elaborada por esa entidad, de la que forman parte 5.000 pequeos y medianos agricultores. Se utilizarn cuestionarios adicionales para determinar la opinin de los agricultores con respecto a los subprogramas de PISA.

_ Se realizarn consultas sistemticas con los clientes para obtener informacin de los beneficiarios previstos con respecto a la eficacia del diseo de los subcomponentes del proyecto. La Universidad de Zambia tendr a su cargo la gestin de las evaluaciones de impacto y adems analizar datos referentes al desempeo del sector agrcola, provenientes de la OCE, as como otros datos secundarios sistemas existentes. Se admite en forma amplia la importancia de la creacin de capacidad, pero a menudo la definicin de la misma no es adecuada. Crear capacidad supone: _ Mejorar las aptitudes en materia de seguimiento y evaluacin, lo que comprende anlisis de proyectos, diseo de indicadores y sistemas de suministro de informacin, recopilacin de datos socioeconmicos y gestin de la informacin. _ Mejoramiento de los procedimientos para crear sistemas funcionales de bsqueda y utilizacin de informacin a los efectos de la adopcin de decisiones. _ Fortalecimiento de las instituciones para formar personal capacitado, destinado a cargos apropiados y responsable de sus actividades. El diseo de las necesidades de capacidad de S y E del proyecto debe realizarse en el contexto de las necesidades en materia de capacidad de evaluacin que tengan las instituciones sectoriales y nacionales del pas de que se trate [vase el estudio No. 4 de la serie de publicaciones Lessons & Practices, Building Evaluation Capacity (Creacin de capacidad de evaluacin)]. Prcticamente todos los organismos de ejecucin dispondrn de sistemas de informacin ya existentes. A travs del diseo de S y E debe procurarse avanzar a partir de esos sistemas, pero desarrollar an ms las aptitudes tcnicas necesarias para planificar las necesidades de informacin, disear el sistema de recopilacin de datos, llevar a cabo estudios y encuestas, analizar los datos y dar cuenta de los resultados en un formato til para la administracin. La

mayor parte de las unidades de S y E Lecciones y prcticas 14 poseen capacidad de reaccin rpida para investigar problemas de ejecucin o reacciones desalentadoras de los beneficiarios, y recomendar medidas de correccin en forma inmediata. A travs de una evaluacin del flujo de informacin y del grado de detalle necesario en cada nivel de administracin ser ms fcil establecer claramente qu indicadores es necesario medir. Se adoptan numerosas decisiones operativas a nivel de campo o regional, por lo cual la corriente de informacin debe satisfacer esas necesidades. Tratndose de proyectos complejos, o con respecto a los cuales no exista un sistema de suministro de informacin, ser preciso elaborar formularios proforma de informes. Adems, el organismo que administre el proyecto deber distinguir entre el tipo de informacin necesaria para su propia administracin interna y el que se requiera para proporcionar informacin a niveles de gobierno de mayor jerarqua, y al Banco. Como la evaluacin guarda relacin, principalmente, con el impacto, que podr medirse hacia el final del proceso de ejecucin, o en poca posterior, a menudo es conveniente que la realice una entidad autnoma, que no se ocupe de la ejecucin. No obstante, el seguimiento es un instrumento de adecuada gestin, por lo cual la unidad responsable de la misma debe estar situada en un nivel prximo al de la administracin del proyecto. Deben especificarse los recursos, la capacitacin y la asistencia tcnica necesarios para la unidad. En muchos proyectos ser conveniente que la administracin conjugue las actividades de seguimiento con otros sistemas, como los de contabilidad financiera y gestin informatizada de los proyectos. Es probable que ampliando el inters en el sistema de informacin gerencial la administracin obtenga datos ms valiosos que los provenientes de un

seguimiento orientado por los donantes, por lo cual ese enfoque debe ser respaldado por el plan del proyecto. Retroalimentacin Es necesario que en la etapa de diseo se indique el uso que se pretende dar a la informacin de S y E, ms all de dar cumplimiento a formalidades del Banco como los exmenes de mediados del perodo o de terminacin. Un adecuado flujo de informacin guarda estrecha relacin con el fomento de la responsabilidad en el marco del proyecto, el sector, el gobierno y el Banco. En muchos pases, la informacin referente a los proyectos y programas es insuficiente y de difcil acceso, y los mecanismos de retroalimentacin son defectuosos o inexistentes. Los mayores beneficios de la evaluacin se producen a nivel de polticas y programas, pero en muchos pases una evaluacin a nivel de proyecto constituye un punto de partida ms sencillo y no tan delicado. Los usos de la informacin pueden estructurarse y programarse conforme a las necesidades de los participantes: Lecciones y prcticas 15 _ La administracin del proyecto tendr que vigilar semanalmente y por lo menos una vez al mes los gastos y el avance hacia el logro de los objetivos, utilizando para ello grficos de barras. _ No es probable que puedan medirse los resultados a intervalos de menos de tres meses; en algunos casos puede requerirse un tiempo mucho mayor. _ Las consultas con los beneficiarios, o las encuestas referentes a su satisfaccin a travs de los servicios del proyecto deben programarse de modo de obtener informacin que pueda utilizarse para la planificacin de las actividades del proyecto. _ El plazo al que corresponda el informe puede variar en funcin del nivel de administracin; por ejemplo mensualmente a nivel de distrito;

trimestralmente a nivel de regin o de estado. _ Es necesario programar algunos flujos de informacin de modo que coincidan con las actividades de planificacin presupuestaria nacional. _ El financiamiento anual puede depender de los resultados de la labor anteriormente realizada. _ Los anlisis peridicos y de mitad de perodo brindan hitos en funcin de los cuales debe estar lista la informacin. En los proyectos en que figure como objetivo el cumplimiento de determinados patrones de desempeo, o en que los procesos descentralizados requieran capacidad localizada para planificar y administrar programas y presupuestos de trabajo, los diseadores debern describir cmo y cundo utilizar las conclusiones de la labor de S y E para dar forma a los planes de trabajo y promover el programa o poltica de desarrollo. En Mxico, por ejemplo, en el Segundo Proyecto de Descentralizacin y Desarrollo Regional se procura hacer del seguimiento de la ejecucin un componente del procedimiento de administracin ordinaria del proyecto. Deben prepararse planes anuales para cada componente, incluido un elemento de desarrollo institucional, como base del seguimiento anual. El anlisis de la ejecucin depender del funcionamiento de una base de datos central referente a subproyectos, creada en cada estado a partir de hojas de datos estandarizadas. La base de datos producir los informes necesarios para el cumplimiento de los procedimientos de aprobacin de proyectos, dando un incentivo al personal de campo para que utilice el sistema. Los resultados de la base de datos de ejecucin han de ser analizados a los efectos de establecer los objetivos de los anlisis de campo y de un anlisis de mitad de perodo. No existe una unidad especfica de seguimiento y evaluacin, sino que cada subunidad de administracin encargada de

la supervisin tcnica de un componente se encarga de velar por la calidad y puntualidad de la recopilacin de datos, y de elaborar y analizar los informes. Esos informes sern presentados por componentes del proyecto y sern Lecciones y prcticas 16 utilizados para facilitar el diagnstico de los problemas tcnicos e institucionales de ejecucin, proponer y realizar estudios y planificar actividades de desarrollo institucional y capacitacin. Experiencia en materia de ejecucin Conforme a la experiencia del Banco, por ms que la labor de S y E est adecuadamente diseada, el xito, en la etapa de ejecucin, depende en gran medida de que el prestatario se sienta identificado con el proyecto, de que las instituciones del prestatario posean suficiente capacidad, y de que los jefes de proyecto muestren un continuado inters durante toda su vigencia. A este respecto revisten importancia dos factores. Primero, la identificacin del prestatario con el proyecto promueve una administracin transparente y una adecuada informacin con respecto al avance logrado. El otro factor consiste en que, a menudo, los prestatarios dudan de la conveniencia de adoptar procedimientos que pueden ser costosos y requerir mucho tiempo para recopilar, analizar y proporcionar informacin. En esos casos, es importante contar con un diseo bien concebido, porque la informacin de seguimiento constituye un aporte esencial al proceso de adopcin de decisiones por parte de la administracin. Adems, a menudo dicha informacin permite hacer hincapi en los beneficios iniciales que se logran con el seguimiento y en los procedimientos institucionales que promueven la utilizacin de datos provenientes de dicho seguimiento para suscitar nuevas decisiones en materia de ejecucin. Lecturas recomendadas Appleton, Simon, Problems in Measuring Changes in Poverty over Time, IDS Bulletin, Vol. 27, No. 1, 1996. Brighton, Reino Unido, Instituto de Estudios sobre el Desarrollo.

Casley, Dennis J., y Kumar, Krishna, Seguimiento y evaluacin de proyectos en agricultura. Madrid, Espaa : Ediciones Mundi-Prensa, 1990. Departamento de Evaluacin de Operaciones, Banco Mundial, Building Evaluation Capacity, estudio No. 4 de la serie de publicaciones Lessons & Practices, noviembre de 1994. , Monitoring and Evaluation Plans in Staff Appraisal Reports in fiscal year 1995. Informe No. 15222, diciembre de 1995. Lecciones y prcticas 17 Lessons & Practices 1. Railway Projects 2. Adjustment Lending: Lessons of Experience 3. Area Development Projects 4. Building Evaluation Capacity 5. Managing Urban Water Supply and Sanitation 6. Agricultural Extension 7. Technical Assistance 8. Designing Project Monitoring and Evaluation 9. Ports 10. Evaluating Development Operations: Methods for Judging Outcomes and Impacts Lecciones y prcticas (traducidos) 8. Diseo del sistema de seguimento y evaluacin de los proyectos 10. Evaluacin de las operaciones de desarrollo: mtodos para valorar sus resultados y sus repercusiones. Lecciones y prcticas, publicacin del Departamento de Evaluacin de Operaciones, tiene como finalidad contribuir a difundir la experiencia del Banco Mundial en el campo del desarrollo. El presente nmero ha sido redactado por Rachel Weaving y Ulrich Thumm. Las opiniones aqu formuladas son las del personal del Departamento de Evaluacin de Operaciones y no deben atribuirse al Banco Mundial ni a sus instituciones afiliadas. Srvanse enviar sus observaciones y consultas al DEO: telfono (1-202) 473-5365, Elizabeth Campbell-Pag, Jefa de Redaccin; fax (1-202) 522-3200; correo electrnico eline@worldbank.org.