Vous êtes sur la page 1sur 136

CURSO _ E-DC-5.2.

SEGUIMIENTO, MONITOREO Y EVALUACIN DE PROYECTOS SOCIALES


TEXTO DE REFERENCIA Y DE CONSULTA

LEANA ESPINOZA CORRALES _ <curn@curn.edu.ni> HERMAN VAN DE VELDE _ <cicapnic@ibw.com.ni>

JULIO 2005

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

ndice
1. 2. Introduccin De qu hablamos?
2.1. La necesidad de conceptualizar 2.2. Trminos Clave 2.3. Tipos de Evaluacin 2.4. Sistemas de Evaluacin, Monitoreo, Seguimiento y Evaluacin (SEMSE)

3 8
10 11 23 36

3.

Evaluacin de Procesos y de Productos


3.1. Evaluacin de Procesos 3.2. Evaluacin de Productos (resultados, efectos, impactos) 3.3. Identificacin de factores incidentes y sus significados 3.4. Mtodos de evaluacin rpida

44
44 45 55 57

4. 5.

Seguimiento en proyectos de cooperacin


4.1. GTZ 4.2. VOLENS_itinerans

60
61 64

Evaluacin Institucional y de Proyectos


5.1. Evaluacin Institucional (Planes, Programas y Estrategias) 5.2. Evaluacin de Proyectos 5.3. Herramientas para la evaluacin

69
69 77 83

6.

El Enfoque de Gnero en Sistemas de Evaluacin


6.1. La dimensin de Gnero en la Evaluacin 6.2. Construccin de un Sistema de Monitoreo, Seguimiento y Evaluacin sensible a Gnero

92
92 100

7. 8.

La participacin en la Evaluacin
7.1. Pautas 7.2. Una experiencia interesante: Los G.I.S. en Estel - Nicaragua

103
103 107

Preguntas frecuentes sobre evaluacin


8.1. Mis preguntas _ Nuestras respuestas / propuestas 8.2. Otras preguntas _ mis respuestas / propuestas

111
111 120

Bibliografa
Anexo A: Evaluacin Constructivista

121
128

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

1. Introduccin
La evaluacin, bien desarrollada, es una oportunidad de aprendizaje, integrante de una actitud emprendedora de calidad, orientada a la superacin en cada una/o y todas/os las/os involucradas/os, La calificacin, peor si es con una nota, es un riesgo permanente y latente de convertir un punto de referencia y de partida constructivo en una descalificacin decepcionante.
Herman Van de Velde, Estel - Junio 2005.

El asunto de la evaluacin es sin duda uno de los fenmenos ms discutidos en los contextos del trabajo socio-educativo. Slo pensemos en las siguientes preguntas: Qu es evaluar? Qu diferencia y relacin existe entre evaluacin y medicin? Y en cuanto a la evaluacin y el control? Y el seguimiento, qu papel juega dentro del marco de una evaluacin? Quines evalan, quines deberan evaluar? Qu se evala y cmo lo hacemos, por qu? Y la pregunta talvez ms importante: Para qu evaluar? Desde esta introduccin (captulo 1) queremos mencionar que independientemente del nombre actual del curso Seguimiento, Monitoreo y Evaluacin, quisiramos proponer ya un cambio y ponerle: Monitoreo, Seguimiento y Evaluacin o mejor todava: Sistemas de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ SEMSE. Por qu? Si queremos responder a esta pregunta, entonces, est invitada/o a trabajar este texto de referencia y de consulta, a intercambiar con y entre las y los dems e ir construyendo SU respuesta, en base al contexto particular que en-globa sus quehaceres. acuerdo? 3 De

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Realmente, un texto como ste es un espacio demasiado reducido para abordar todo lo referente a los sistemas de evaluacin1. Existen concepciones muy tradicionales, concepciones ms modernas, pero tambin concepciones adecuadas, es decir concepciones que se van construyendo de acuerdo (adecundose) a la realidad, al contexto particular que se vive con la participacin de las y los actore/as clave relacionadas/os. A esto ltimo es que apuntamos: no pretendemos decir la palabra definitiva, sino ms bien invitar a la reflexin crtica de una muestra de aportes como base para encaminarnos a ir construyendo nuestros propios conceptos. Y esto es lo primero que tendremos que hacer: aclarar de qu hablamos (captulo 2) de manera que estemos mejor preparadas/os para seguir intercambiando nuestras experiencias. Tambin se describen diferentes formas de clasificar los tipos de evaluacin, sin pretender ser exhaustiva/o al respecto. Y al en-marcar el todo como un sistema se har nfasis en el marco metodolgico, tambin de este tipo de proceso, como una oportunidad de aprendizaje, integrante de una actitud emprendedora de calidad, a construir conjuntamente (metodologa P-COA_acem). Mucha discusin existe sobre si debemos evaluar procesos o ms bien productos. A ambos se hace referencia en el captulo 3. Es importante la evaluacin, ya que a pesar de los miles de millones de dlares que se emplean en ayuda para el desarrollo cada ao, an se conoce muy poco acerca del efecto real de los proyectos en los niveles de pobreza. Hay evidencias generalizadas sobre los beneficios que el crecimiento Pero para un programa o proyecto especfico en un pas econmico, las inversiones en capital humano y el suministro de redes de seguridad tienen en los pobres. determinado, la intervencin qu palabra ms fea est produciendo los beneficios previstos y cul fue el efecto general en la poblacin? Se podra disear mejor el programa o proyecto para lograr los resultados esperados? Se estn empleando los recursos en forma eficiente? Se logr el efecto previsto? Y a largo plazo, qu cambio hay? Estos son los tipos de preguntas que slo se pueden responder mediante una evaluacin de impacto, un enfoque que mide los productos de la intervencin de un programa aislndolo de otros posibles factores.
1

Al referirnos a Sistemas de Evaluacin, incluimos implcitamente tambin el monitoreo y el seguimiento.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Considerando que muchos proyectos sociales forman parte de un paquete de cooperacin externa (tcnica o financiera), en el captulo 4 se presentan dos experiencias concretas en construccin (GTZ y VOLENS/itinerans). Tambin es importante diferenciar entre la Evaluacin Institucional y la Evaluacin de Proyectos. Esto mismo se hace en el captulo 5, cerrndolo con una referencia a herramientas concretas para la evaluacin. En el captulo 6 aprovechamos para plantear la necesidad de implicar todo proceso de evaluacin con un enfoque de gnero y presentamos puntos de vista al respecto. Uno de los puntos fuertes de discusin es siempre quines y cuntas personas deben participar en el proceso de evaluacin, en cada una de sus etapas. Nos referimos, en el captulo 7 al carcter participativo del proceso de evaluacin en su sentido ms amplio. Camara Lpez (2005, 74) expresa al respecto: En cuanto a quines deben tomar parte en el proceso es imposible ofrecer recetas vlidas para todo tipo de situaciones. No obstante, ya hemos dicho que la planificacin ha de concebirse como un ejercicio participativo, identificando y reclutando implicados y lderes del proceso de manera que estn representados los criterios y puntos de vista de los principales grupos de inters: el patronato, junta directiva o consejo de direccin, el rgano de direccin o gerencia de la organizacin, los responsables de las distintas reas, el personal contratado y voluntario que se desempea actualmente en la organizacin (incluyendo a veces a personas que trabajaron en ella en el pasado) y por supuesto, las personas clientes o usuarias de los servicios, adems de otros posibles implicados en cada caso. El proceso debe ser inclusivo, favoreciendo la participacin y colaboracin entre los distintos departamentos de la organizacin, de forma que se propicie el sentido de pertenencia, la asuncin de responsabilidades y la apropiacin general del proceso. Lo anterior no significa que tenga que existir necesariamente un consenso o unanimidad total entre todos los implicados, pero s que todos tengan la oportunidad de estar informados, ser escuchados y sus intereses y expectativas puestas de manifiesto. Todo proceso de Evaluacin implica posibles cambios. Todo cambio provoca reaccin. Dependiendo del tipo de reaccin, habr diferentes niveles de disposicin a participar. Se pueden distinguir tres tipos de reacciones: la de aquellas personas favorables al cambio, las de quienes se muestran indiferentes y las de los que se oponen al mismo, cuyas actitudes y formas de resistencia se sintetizan en la siguiente tabla:

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales ACTITUDES FRENTE AL CAMBIO Actitudes: Resistencia Activa Pasiva Favorables al cambio Indiferentes

Julio 2005

En contra del cambio

Agentes de cambio

Escpticos, carentes de inters Opositores, crticos, dogmticos Esconden la cabeza bajo el ala

Asistentes, simpatizantes Espectadores, masa inerte

Fuente: Zimmermann,1998 en Camara Lpez L. (2005)

En todo caso, una de las causas ms importantes de la resistencia, entre otras, puede atribuirse a una ausencia de informacin, a que sta sea incompleta, deficiente o se produzca a destiempo. Como se ha mencionado, casi nadie acepta un cambio si no comprende su finalidad y si no cree que le reportar un beneficio en forma de reconocimiento, responsabilidad, poder o mejores condiciones de trabajo. La pirmide que se representa a continuacin establece niveles sucesivos de resistencia de las personas frente al cambio, para los que se proponen diversos medios de superacin basados en la comunicacin: La pirmide de resistencia al cambio

Por lo tanto, si se desea garantizar la participacin y trabajar de forma constructiva con la resistencia, no puede subestimarse la importancia de una buena estrategia de comunicacin. Tanto antes como durante el ejercicio de planificacin es importante explicar el sentido del mismo, confirmar el apoyo de los niveles directivos y explicar la importancia que se conceder a los distintos puntos de vista de los miembros de la organizacin y otros implicados.

Como ya dijimos anteriormente es imposible tratar de manera exhaustiva la problemtica relacionada con el tema de este curso. De all la necesidad de concluir el
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

texto (sin ponerle fin a la discusin) con preguntas, con Preguntas frecuentes sobre evaluacin, con mis preguntas y con otras preguntas. Ya veremos. Para dar por concluida esta introduccin y abrir puerta (lo que significa: a-portar) a la conceptualizacin en el captulo 2, una referencia a la tan indispensable e innegable relacin entre evaluacin e informacin. Si hablamos de un sistema de evaluacin, esto necesariamente tambin implica un sistema de informacin. Sobre la problemtica de la necesidad de la informacin, Peters y Flores (2000, 75) plantean: Muchos directivos no pueden hacer su trabajo bien porque no cuentan con los insumos, es decir informacin para poder analizar y tomar decisiones. Los directivos dependen de diferentes tipos de informacin para poder hacer su trabajo. Claro es que los dirigentes no tienen que tomar decisiones sobre asuntos diarios. Les corresponde decidir sobre los asuntos macros y las lneas grandes generales. La tarea del equipo tcnico en esto es ayudarles a viabilizar las decisiones. Por lo tanto, si el equipo tcnico y administrativo no brinda buena informacin oportunamente a los dirigentes, sus tareas son imposibles. Los directivos tienen el derecho de pedir y exigir cada vez la informacin necesaria.

Me atrevo a lanzar la pregunta: Y cmo estamos con el manejo de la informacin en nuestras organizaciones? Cmo funciona el sistema (existe?) de informacin? Hay informacin oportuna disponible a servicio de un sistema de evaluacin?

Con una profunda reflexin crtica estaremos encaminadas/os para ir construyendo una propuesta de un Sistema (real) de Evaluacin, Monitoreo, Seguimiento y Evaluacin en el marco de nuestro contexto laboral, a nivel de la institucin, de un programa o a nivel de un proyecto. este curso. Empecemos a construir la propuesta desde ya En esto consiste el Trabajo de Campo (la propuesta del equipo, acompaada de un informe de proceso personal de cada participante) correspondiente a

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

2. De qu hablamos?
Antes que todo es interesante analizar el siguiente esquema (Camara, 2005, 75) que indica los pasos en una planificacin estratgica:

Y qu tiene que ver la evaluacin con el proceso de planificacin estratgica? Qu nos indica el esquema anterior? Interprete y comente entre vecinas/os ________________________________________________________________________________ ________________________________________________________________________________ La evaluacin es una herramienta de gestin a considerar desde su realidad y su perspectiva: Existen diferentes niveles desde los cuales se puede observar la evaluacin. En su nivel ms genrico o abstracto, evaluar supone la implantacin de un cierto tipo de metodologa que se caracteriza por tener una terminologa propia, un conjunto de herramientas conceptuales y analticas especficas, y unos procesos, fases y procedimientos del mismo modo especficos.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

En su nivel ms concreto, evaluar implica la aplicacin de aquel modelo o metodologa de intervencin capaz de producir informacin vlida y confiable que permita el establecimiento de juicios sobre el qu y el cmo de los logros de una determinada actuacin. Naturalmente, esto puede significar el uso de uno o ms tipos2 de evaluacin (evaluacin de necesidades, de calidad, de resultados e impactos, de eficiencia, etc.) y su realizacin en varios momentos (exante, ongoing, expost). Del mismo modo, dependiendo de quin se encargue de llevar a cabo la evaluacin, sta puede ser externa, interna o autoevaluacin. (Salle, 2003, 21) Realmente, dentro de una nueva visin alrededor del quehacer evaluativo, se reconoce ya ampliamente que la evaluacin como capacidad tcnica funcional es un componente clave en TODO el ciclo de los programas y proyectos. Se pretende que atrs queden los tiempos cuando se evaluaba despus de que todo haba concluido y se buscaban los nmeros de las actividades realizadas, sobre todo para volver a solicitar recursos al financiador. Tambin queda atrs la relacin entre evaluacin y supervisin, ya que evaluar no implica emitir dictmenes sino recomendaciones fundadas en el conocimiento. Adems de romper con la lgica de evalo para el financiador, se trata que la evaluacin de calidad permita un control de la gestin; la evaluacin se convierte en un proceso de aprendizaje social, ejercido por aquellos que quieren saber y conocer para mejorar la tarea asignada, para saber cmo comprometerse o para la exigibilidad de los derechos. La lgica de la evaluacin actual no es la de un sistema de vigilancia del cumplimiento, sino es ante todo un mtodo de aprendizaje institucional para una mayor capacidad al momento de realizar intervenciones sociales efectivas en la realidad de los y las jvenes. (Urza, 2004, 5) Parcialmente podramos sacar las siguientes conclusiones en base a lo abordado: 1. La evaluacin es inherente a TODO el ciclo del proyecto 2. Una evaluacin de calidad apunta al aprendizaje institucional 3. La evaluacin tiene que ver con control 4. Los resultados de una evaluacin constituyen insumos para la toma de decisiones y adecuar rumbos 5. La evaluacin es una herramienta de gestin 6. Lo anterior slo son orientaciones en cuanto a los procesos evaluativos. orientaciones nos ayudan a comprender, sin embargo no me definen. significados. De esto trata el inciso 2.1. de este captulo.
2

Estas

Es necesario

seguir profundizando y CONCEPTUALIZAR los trminos, describir y contextualizar los

Ver tambin el inciso 2.3. Tipo de Evaluacin.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

2.1. LA NECESIDAD DE CONCEPTUALIZAR


Objetivos Resultados Esperados Palabras clave Variables Indicadores Criterios Descriptores Dimensiones Control Monitoreo Productos Efectos Metas Propsitos Fines Seguimiento Evaluacin - Cada uno de estos conceptos, segn el contexto, puede adquirir muchos y diferentes significados, a veces hasta contradictoras. necesario CONCEPTUALIZAR. En todo y cada uno de los contextos es Conceptualizar quiere decir, entre las y los

involucradas/os ir construyendo el concepto, o ms bien el significado de cada trmino. Bajo este inciso slo pretendemos ilustrar la variedad de interpretaciones con algunos extractos, indicando los trminos ms relacionados con nuestro tema en negrilla y subrayados. De esta manera nos preparamos para leer y analizar crticamente otros aportes en el siguiente inciso, donde les invitamos a concluir con su construccin propia despus de abordar cada trmino clave. Antes de iniciar con estos extractos, es oportuno sealar que la conceptualizacin no es algo nuevo dentro del marco del Desarrollo Comunitario. En varias de las temticas abordadas anteriormente se ha hecho referencia a la necesidad de conceptualizar. Especficamente en los cursos sobre procesos de facilitacin, planificacin estratgica, auto-diagnstico, etc. Adems, ya profundizamos sobre una metodologa muy comn en cuanto a la conceptualizacin: la identificacin de variables y la construccin de indicadores. Todo lo abordado al respecto es claramente parte de la tan necesaria conceptualizacin. A travs de los indicadores dejamos claro qu entendemos por la esencia planteada en un objetivo o resultado esperado. A travs de los indicadores, aclaramos contenidos (conceptualizacin contextual - comprensin compartida) y priorizamos aspectos y dimensiones a abordar (valor estratgico). Miremos ahora algunos extractos de la literatura relacionada, identificando conceptos o trminos clave relacionados con la problemtica de la evaluacin. Budinich (1998, 5) hace referencia a la confusin de conceptos as: Aunque normalmente nos referimos a los trminos seguimiento y evaluacin como una unidad integrada, la realidad es que estos representan dos funciones, que aunque complementarias, tienen diferencias fundamentales entre si. Se considera el seguimiento como un sistema de informacin (comprendida su retro-alimentacin) de apoyo a la
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

10

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

gestin, orientado a la solucin de problemas que se plantean durante la ejecucin de proyectos y programas, y la evaluacin como un medio para comprobar si los proyectos y programas de desarrollo rural alcanzan sus objetivos. Otra funcin importante del seguimiento y evaluacin es ofrecer enseanzas para el diseo, la planificacin y la administracin de proyectos en el futuro. En teora, el seguimiento o monitoreo es una actividad de la administracin interna del programa o proyecto, mientras que la evaluacin en si es una preocupacin de la agencia que lo implementa o de organizaciones externas a ste. Urza (2004, 9), al referirse al sistema de seguimiento y evaluacin (sse) de la poltica pblica de Juventud en Nicaragua aporta en cuanto a la diferencia entre monitoreo y seguimiento: La palabra monitoreo, que apareca en los trminos de referencia ha sido sustituida por seguimiento, dado que define de mejor forma el sistema propuesto. Monitorear sugiere una posicin esttica, como quien est viendo un monitor desde su lugar. Seguir implica el movimiento e involucrarse con el proceso. De ah que hablemos de un viaje, un trayecto y de los recursos tcnicos para emprenderlo. Chassagnes (s.f., 13), desde la realidad cubana, tambin enfatiza la discusin conceptual: El seguimiento (tambin denominado acompaamiento o monitoreo) y la evaluacin son como dos caras de una misma moneda. Es la forma que tenemos de saber si hemos aprovechado o no nuestro tiempo en el desarrollo de un proyecto. El seguimiento es un proceso continuo, mientras que la evaluacin generalmente se hace al finalizar una etapa o al llegar al final del proyecto. De todas formas, ambos elementos marchan unidos, puesto que el seguimiento es una forma de ir evaluando da a da el proyecto y en definitiva nos servir para llegar al momento de la evaluacin con ms informacin, adems de permitirnos la realizacin de ajustes peridicos. La evaluacin, por su parte, nos permite realizar una valoracin ms global antes de pasar a otra etapa superior. Ahora es nuestro turno aportemos a la conceptualizacin desde nuestros contextos!...

2.2. TRMINOS CLAVE


Bajo este inciso haremos referencia a tres conceptos fundamentales y en este orden: monitoreo, seguimiento y evaluacin. Para cada uno se incluyen aportes desde la literatura para concluir con una observacin propia y una invitacin a construir su propio concepto. En el inciso 2.4. se visualizar la interrelacin entre los trminos y se har una propuesta conceptual y metodolgica ms global para que sea considerada y criticada por la/el lector(a) de este texto.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

11

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

A. Monitoreo Desde Holanda y dentro del mbito de cooperacin (ICCO3, 2000, 30) se plantea: Se conoce como monitoreo participativo cuando involucra a los beneficiarios y no solamente al personal del proyecto. El monitoreo de impacto incluye la evaluacin de los avances respecto al impacto esperado dentro del grupo meta. En este contexto se concibe monitoreo ms amplio que la evaluacin, o sea como que la evaluacin est incluida en el monitoreo. No todas las organizaciones comparten este punto de vista. Por ejemplo, CANTERA _ Centro de Educacin y Comunicacin Popular (2002, 33-37) de Nicaragua expresa: Monitoreo significa observar y recolectar informacin. Evaluar es reflexionar sobre lo que ha sido observado para as verificar si seguimos en el rumbo correcto El monitoreo es la observacin y el anlisis sistemticos de la ejecucin de un proyecto, los medios empleados y los resultados intermedios, debe basarse en hitos de la ejecucin e indicadores de desempeo previamente definidos y sirve para alertar sobre problemas e ir haciendo ajustes adaptativos o correcciones en el camino. Cabe observar que en la primera parte de la cita, se pretende limitar el monitoreo a la recoleccin de datos, dejando la reflexin sobre el significado de los mismos (el anlisis) a la evaluacin. Sin embargo despus indica que el anlisis tambin es parte del monitoreo Cmo no confundirnos? Rodrguez (1999, 8-9), desde Costa Rica expresa: Un sistema de monitoreo es un proceso continuo y sistemtico que mide el progreso y los cambios causados por la ejecucin de un conjunto de actividades en un perodo de tiempo, con base en indicadores previamente determinados. Es un mecanismo para dar seguimiento a las acciones y comprobar en qu medida se cumplen las metas propuestas. Es una herramienta de la evaluacin que no slo mide ejecuciones: tambin revisa y da seales de advertencia sobre actividades problemticas que no funcionan de acuerdo a lo planificado. PLANIFICADO EFICIENCIA Plan Operativo Indicadores Sistema de Monitoreo EFICIENCIA

EJECUTADO Toma de decisiones Recoleccin de Informacin Actividades

Organizacin inter-eclesistica para la Cooperacin al Desarrollo

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

12

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

En el monitoreo se buscan las razones de las fallas comprobadas, con el objetivo de encontrar alternativas de solucin. Tambin pone nfasis en los aspectos considerados como positivos, reporta logros para que las prcticas exitosas puedan ser replicadas y las errneas revisadas. El monitoreo nos reporta informacin sobre el nivel de eficiencia alcanzado por la organizacin o proyecto. Una de las funciones muy relacionadas con el monitoreo es la medicin. Abdala (2004, 38) indica que la medicin es la calificacin o la cuantificacin de las variables que permite clasificarlas segn los diferentes hechos estudiados. Arriagada (2002, 25-66) es ms especfico en relacin a la medicin al plantear: Es posible afirmar que la medicin es la accin de medir, y que medir es comparar dos o ms magnitudes de la misma especie o naturaleza, utilizando a una de ellas como patrn. La medicin siempre requiere un referente para observar la magnitud de la medida. La medicin parece un simple concepto. De algn modo, cuando se intenta disear un sistema de medicin de desempeo, la confusin y la ambigedad tienden a aparecer. Hay 25 criterios que determinan la calidad de un buen sistema de medicin. 1. Dinmico y flexible en el tiempo. 2. Adecuadamente simple. Tan simple como sea posible. 3. Operacionalmente claro. Facilitar una comprensin comn de la medicin. 4. Con nfasis en el grupo meta. 5. Comunicativo en el cambio. 6. Comunicativo en el conocimiento. Suministrar retroalimentacin. 7. Visible a los/as usuarios/as. 8. Integrado en los procesos para permitir anlisis de secuencias de tiempo. 9. Grfico. 10. Analtico y estadstico. 11. Equilibrado en las diferentes dimensiones del desempeo. 12. Equilibrado en la perspectiva, de cara a la visin estratgica. 13. Equilibrado en los enfoques cuantitativo y cualitativo. 14. Participativo. 15. Integrado, incluyendo indicadores de desempeo individual, grupal y organizacional. 16. Cooperativo. Fomentar la cooperacin, ms que la competencia interna. 17. Integrado en la jerarqua. Coherencia vertical. 18. Alineado con las metas. 19. Integrado en las reas. 20. Integrado en las estrategias, acciones y mediciones. 21. Regenerativo. Mejoramiento continuo. 22. Oportuno. Puntual y a tiempo para decidir al surgir problemas. 23. Relevante. Comprensin de cmo decisiones afectan el proceso entero. 24. Preciso. Localizar adecuadamente los temas para dar los datos y la informacin. 25. ntegro. Proporcionar una medida significativa en la que se pueda confiar. 13

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Despus del anlisis de lo anterior, construya su propia concepcin de monitoreo. ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ Compare su conclusin con el siguiente aporte: El monitoreo es un componente del Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ seMse, el cual en su esencia constituye una herramienta prctica para la recoleccin de datos en diferentes momentos dados del desarrollo de un proceso. Su funcin es medir el estado de la cuestin (enfoque de eficiencia) de cara a los objetivos y los resultados esperados formulados y en base al sistema de indicadores construido en una etapa previa. Es un proceso sistemtico que se ejecuta con la aplicacin de instrumentos especficos cuyos contenidos corresponden a los indicadores ya mencionados. El monitoreo se orienta al control sobre la ejecucin de responsabilidades asignadas y a la facilitacin del seguimiento, del acompaamiento en el cumplimiento de responsabilidades compartidas. Por ende debe ofrecer los datos necesarios para una evaluacin (auto)crtica y participativa. B. Seguimiento La conceptualizacin de lo que es e implica el seguimiento siempre depender del contexto del proyecto. Analicemos algunos aportes: Quintero (1995, 76) refiere al seguimiento de la siguiente manera: Se entiende por seguimiento la observacin, registro y sistematizacin de la ejecucin de las actividades y tareas de un proyecto social en trminos de los recursos utilizados, las metas intermedias cumplidas, as como los tiempos y presupuestos previstos, las tcticas y la estrategia. Dentro del marco de la construccin de un Municipio Productivo (PADER, s.f., 1-18): El seguimiento consiste en tener diferentes momentos de medicin de la situacin del municipio para evaluar el proceso en marcha. Una vez obtenida la Lnea de Base, se comienza con la implementacin de las estrategias acordadas. En este proceso se podrn definir los nuevos momentos de medicin del avance de la estrategia, que son la base de este sistema de seguimiento. Se debe informar el grado de avance de la estrategia de desarrollo comunitario para poder ver cmo est avanzando y qu ajustes se deben realizar.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

14

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

En un documento del Banco Mundial se relacionan los trminos de seguimiento y evaluacin continua, al expresar (Weaving y Thumm, 1998, 2): Se entiende por seguimiento la evaluacin continua de la ejecucin de los proyectos en relacin con un programa acordado, y de la utilizacin de insumos, infraestructura y servicios por parte de los beneficiarios del proyecto. El seguimiento proporciona informacin constante a los administradores y otros interesados, retroalimentando la ejecucin del proyecto. Permite identificar, con la mayor prontitud posible, xitos y dificultades reales o potenciales, para facilitar la oportuna modificacin de la operacin del proyecto. Urza D. (2004, 19-) plantea: El seguimiento es una accin permanente a lo largo del proceso de los proyectos, permite una revisin peridica del trabajo, tanto en su eficiencia en el manejo de recursos humanos y materiales, como de su eficacia en el cumplimiento de los objetivos propuestos. Es de vital importancia que el seguimiento se realice como una parte integrante del proceso del proyecto, acordada con los responsables de la gestin, para que no suceda como una mera supervisin. Recordemos que la funcin del sistema consiste en aportar aprendizaje institucional y no en emitir dictmenes. Los propsitos del seguimiento son:
Fomentar la cultura de la evaluacin, la gestin del desempeo y la rendicin de cuentas en funcin de los resultados esperados. Alinear la evaluacin con el ciclo de los proyectos, como un elemento sustantivo de la planificacin estratgica. Alentar el aprendizaje institucional de todos los actores involucrados en el proyecto con base en las evaluaciones efectivas y de calidad. Promover el uso de la evidencia proporcionada por el seguimiento. Elegir los resultados pertinentes y demostrar cmo y por qu producen los resultados previstos o cmo mejoran lo esperado.

El mismo autor indica como claves del seguimiento: Es indispensable realizar un seguimiento efectivo que sirva de base para una evaluacin de calidad, por esto es necesario:
Integrar un DIAGNSTICO o LNEA DE BASE que sirva para identificar las expectativas, hiptesis, supuestos y resultados esperados. La lnea de base es el punto de referencia contra el cual evaluaremos las informaciones obtenidas. Establecer los indicadores de cada caso, ya sea cobertura, eficacia, eficiencia, efectividad o proceso. Los resultados esperados son el germen de los indicadores, en estos se describe un punto de referencia que ser reflejado en una medida estadstica para cada caso. Es importante que en la definicin de los indicadores participen los encargados de la gestin del proyecto y los aliados estratgicos involucrados formalmente. Programar el seguimiento conforme a plazos pertinentes y convenientes acordados con los encargados de la gestin de cada proyecto.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

15

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Compartir en equipo el anlisis de la informacin resultante, con la participacin de los encargados de la gestin y los aliados estratgicos. Destinar recursos especficos a las actividades programadas para el seguimiento. Definir los plazos y los medios para la difusin de la informacin, as como las audiencias principales que debern conocerla.

Chassagnes (s.f., 15) plantea respecto al seguimiento: El seguimiento es acompaar, verificar y actualizar lo que estamos haciendo en nuestro proyecto. Es el modo que tenemos de rectificar y mejorar las acciones si las cosas estn saliendo mal. Permite adems controlar la utilizacin de los recursos y el logro de los resultados previstos. Los resultados del seguimiento contribuyen a consolidar la informacin necesaria para la toma de decisiones durante la etapa de ejecucin, permitiendo el manejo de datos concretos y sistematizados al momento de abordar una evaluacin. Este proceso ha de ser gil, orientado y concertado, debe combinar elementos cuantitativos y cualitativos. Desde los aportes anteriores podemos observar y constatar diferentes puntos de vista, sin embargo hay algunas similitudes. Tambin las hay con su propia experiencia? Nuevamente le invitamos a escribir en las siguientes lneas su concepcin de seguimiento y posteriormente comparar su aporte con l que aparece en el recuadro. ________________________________________________________________________________ ________________________________________________________________________________ El seguimiento es otro componente integrante de un Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ seMse, el cual se basa en los datos obtenidos a travs del monitoreo. Mientras que el monitoreo mide estados, el seguimiento, que es un proceso -o sea, consta de sus propias etapas-, permite identificar tendencias en base a la reflexin conjunta (participativa) y comparativa (lnea base) de cara a los niveles de cumplimiento de objetivos y resultados esperados que se van alcanzando. La identificacin de estas tendencias con sus consecuencias, llevar a continuar el camino iniciado, a remediar, o a rectificar totalmente. El enfoque principal del seguimiento es la eficacia del trabajo que se est desarrollando. Igual como en el caso del monitoreo, el seguimiento se orienta al control sobre la ejecucin de responsabilidades asignadas y a la facilitacin de la evaluacin a travs de este acompaamiento en el cumplimiento de responsabilidades compartidas. El seguimiento no slo apunta a la evaluacin, sino es parte integrante de todo proceso evaluativo con enfoque de calidad.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

16

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

C. Evaluacin Rodrguez (1999, 14) identifica DIFERENCIAS entre monitoreo y evaluacin y dice: Las diferencias entre monitoreo y evaluacin se refieren ms a los mecanismos utilizados, su periodicidad y el objetivo propuesto en la planificacin inicial. El monitoreo es una serie de pasos para la evaluacin, ya que permite el seguimiento cotidiano del proceso y genera informacin que servir de insumo para las evaluaciones previstas. Las diferencias ms tradicionales entre los dos conceptos los resume el siguiente cuadro:
monitoreo Se realiza con mayor frecuencia, se puede decir que es permanente. Afecta las decisiones cotidianas, lo que permite flexibilizar la planificacin operativa. Trata de medir la tendencia que llevan las actividades hacia el logro de las metas y objetivos. Refleja el proceso de ejecucin de las actividades del proyecto. La informacin que proporciona est dirigida para ser utilizada hacia el interior del proyecto. Es una herramienta importante para la ejecucin del proyecto. Puede modificar la asignacin de rubros o recursos del presupuesto aprobados al indicar el cumplimiento de metas. Se manifiesta a travs de documentos (informes) ms frecuentes, pero menos extensos. Su nivel de accin es la eficiencia. El objeto del monitoreo son las actividades, productos, medios, recursos y resultados. Corresponde al nivel de programacin operativa. Para medir se basa en indicadores empricos, unidades de medida de las actividades. El nivel de anlisis del monitoreo es la ejecucin y la oferta tcnica. evaluacin Se realiza con menor frecuencia en perodos generalmente anuales o al finalizar etapas. Afecta las decisiones en plazos mayores, por lo general es insumo para la elaboracin de la planificacin anual y de futuros proyectos. Mide el grado en que se modifica la situacin deseado por el cumplimiento de los objetivos y metas en plazos a perodos establecidos. Refleja el estado o situacin en que se encuentra el proyecto y su impacto. La informacin que brinda contribuye al mismo tiempo en el mbito interno y externo, principalmente entes financieros externos, donantes, contrapartes y poblacin participante. Es una funcin importante para reflexionar sobre la planificacin. Afecta la planificacin futura de recursos del presupuesto, incluso puede determinar el plazo del proyecto mismo, como en los casos donde se propone ampliar o cerrar un proyecto. Se manifiesta en documentos (informes) menos frecuentes, pero ms extensos. Su nivel de accin es la eficacia y los impactos. El objeto de la evaluacin son los efectos y los impactos. Corresponde a la planificacin de largo plazo, planes estratgicos. Se base en indicadores de impacto, efecto, resultados. En la evaluacin se analiza la visin, misin, objetivos, estrategias y otros aspectos esenciales.

Quintero (1995, 76), al referirse a la Evaluacin de Proyectos y la Construccin de Indicadores expresa: La Evaluacin es un proceso de anlisis crtico de todas las actividades y resultados de un proyecto, con el objeto de determinar la pertinencia de los mtodos utilizados y la
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

17

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

validez de los objetivos, la eficiencia en el uso de los recursos y el impacto en los beneficiarios. La evaluacin utiliza la informacin obtenida y producida por el Sistema de Seguimiento y Evaluacin y al comparar los resultados con los objetivos, identifica los aspectos que han dificultado o favorecido el desempeo del proyecto, con el propsito de sacar enseanzas para un futuro proyecto. La evaluacin es un proceso general de aprendizaje cuyos fines son, bsicamente (1) mejorar las condiciones presentes del proyecto, (2) sacar a flote las posibles insuficiencias o errores del proyecto para contrarrestarlos y prevenirlos en el futuro, y (3) destacar lo til, eficiente y aceptable para actualizarlo teniendo en cuenta las circunstancias que ayudaron a su xito y las nuevas que se prevean. ICCO de Holanda (2000, 29-30) define la evaluacin como: Medidas diseadas para evaluar el resultado del proyecto en relacin con sus objetivos establecidos y el impacto que se desea lograr. Tradicionalmente, esta evaluacin es considerada una actividad externa y retrospectiva en un punto en el tiempo. Pero tambin incluye "evaluaciones permanentes" basadas en el proyecto, y "auto-evaluaciones" (continuadas o nicas) que realiza la organizacin que implementa el proyecto. Budinich (1998, 8) establece diferencias entre evaluacin, auditora e investigacin, en base a una referencia a un manual del PNUD para la Administracin de Proyectos: Lo mismo que la evaluacin, una auditora supone la valoracin de la eficiencia y eficacia y la formulacin de recomendaciones para promover mejoras. No obstante, en la valoracin de estos elementos, la auditoria se distingue de la evaluacin por su orientacin u objetivo. Normalmente, una auditoria se concentra principalmente en la observancia de las normas y reglamentos vigentes, en vez de tratar de comprobar la pertinencia y determinar los probables efectos o sostenibilidad de los resultados. Una auditora por lo tanto no necesita ni analizar, ni documentar el aprendizaje del proyecto. La Comisin Nacional de Juventud de Nicaragua (s.f. 5) expresa que la Evaluacin: Implica juicios de valor implcitos o explcitos. Resulta de comparar la informacin contra patrones de referencia valorativos. Las evaluaciones dicen si algo es bueno o malo, si sirve o no sirve, si responde o no a las expectativas. Urza (2004, 14), en el contexto de un Manual del sistema de seguimiento y evaluacin de la poltica pblica de juventud (sse), plantea: Entendida como evaluacin de resultados, es un proceso organizado de aprendizaje que resulta de cotejar lo realizado con lo planificado. La evaluacin consiste en la determinacin de una valoracin acerca de la marcha de la eficiencia y la eficacia, o sea de los mismos aspectos que observa el seguimiento, slo que al momento de evaluar se ubica el punto con respecto a lo esperado, es como una foto del momento.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

18

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

El Cubano Chassagnes (s.f., 17) responde la pregunta Qu es la Evaluacin? as: A diferencia del seguimiento, la evaluacin es un proceso ms completo y profundo de anlisis de la accin. All, luego de un lapso de tiempo previamente establecido, realizamos un anlisis crtico de todas las actividades y resultados del proyecto. En este momento es de indudable importancia la informacin que hemos ido recogiendo en el seguimiento. La evaluacin es el momento preciso de reajustar y programar las prximas etapas del proyecto o bien el momento de darlo por terminado. En este ltimo caso se la denomina Evaluacin Final. Rodrguez (1999, 10-11), a quien ya citamos anteriormente, al comparar monitoreo y evaluacin, aporta todava sobre evaluacin, esta vez desde un enfoque de gnero: La evaluacin desde el punto de vista semntico significa estimar, apreciar, calcular el valor de una cosa. Como mecanismo institucional es el proceso integral y continuo de investigacin y anlisis de los cambios ms o menos permanentes que se materializan en el mediano y largo plazo, como una consecuencia directa o indirecta del quehacer institucional o del proyecto en el contexto, la poblacin y las organizaciones participantes. La evaluacin es de carcter integral y transformador, nos refiere a cmo mujeres y hombres de las comunidades en que trabajamos han modificado sus actitudes y comportamientos. La evaluacin compara los avances del proceso con los objetivos, identifica los aspectos que han dificultado o favorecido el desempeo y avance, con el propsito de generar aprendizajes. La evaluacin facilita el anlisis crtico de los efectos e impactos del plan, programa o proyecto, con el propsito de determinar la pertinencia de los mtodos utilizados, la validez de los objetivos, la eficiencia en el uso de los recursos y el impacto en relacin con los grupos participantes. En cuanto a los procesos de evaluacin, nos encontramos con muchas concepciones terico-prcticas, tambin muchas crticas. CERIS (2003, 7), desde Brasil plantea: El criterio econmico, la eficiencia medible, la productividad, los bienes materiales construidos no deben ser tomados como criterios absolutos para la evaluacin de un proyecto. Muchas veces esos proyectos son elaborados sin la participacin efectiva de la comunidad y son ejecutados siguiendo modelos de gestin vertical, de arriba hacia abajo, con la colaboracin de instituciones locales que actan nicamente como representantes formales de la comunidad. En la perspectiva de construccin de nuevas relaciones sociales, un proyecto concebido, elaborado y gestionado de arriba hacia abajo es impensable. Sin embargo, cada da nos encontramos con proyectos verticales y centrados en una visin estrictamente econmica. Y, finalmente, son divulgados como proyectos de xito. Uno de los aspectos fundamentales de cara a la calidad en los procesos de evaluacin constituye sin duda la participacin.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

19

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Los mtodos participativos permiten la intervencin activa en la toma de decisiones para quienes tienen algo que ver con un proyecto, programa o estrategia; generan un sentimiento de identificacin con los resultados y recomendaciones. Los mtodos examinan las cuestiones pertinentes haciendo que participen en el diseo los verdaderos protagonistas. Establecen asociaciones y una mayor identificacin local con los proyectos. Mejoran los conocimientos locales, la capacidad de gestin y las competencias. Ofrecen informacin oportuna y fiable para la toma de decisin sobre la gestin. Algunas veces, estos mtodos parecen poco objetivos. Requieren mucho tiempo para que las partes interesadas puedan participar de forma significativa. Posible predominio y utilizacin inadecuada de algunas partes interesadas para proteger sus propios intereses. (BM, 2002, 16) Y como instrumentos de participacin se indica en el mismo documento: Anlisis de las partes interesadas: es el punto de partida de la mayora de las evaluaciones sociales y estudios basados en la participacin. Se utiliza para llegar a una comprensin de las relaciones de poder, influencia e intereses de las distintas personas que participan en una actividad y para determinar quin debe intervenir y cundo. Evaluacin local participativa: es un mtodo de evaluacin que trata de intercambiar conocimientos entre la poblacin local, tanto rural como urbana, y personas ajenas. Permite a los responsables de las actividades de desarrollo y a la poblacin local evaluar y planificar intervenciones adecuadas basadas en la colaboracin, utilizando muchas veces tcnicas visuales para que puedan participar las personas que no saben leer ni escribir. Evaluacin de los beneficiarios: implica la consulta sistemtica a los beneficiarios de los proyectos y a otras partes interesadas para identificar y disear iniciativas de desarrollo, detectar los obstculos a la participacin e intercambiar opiniones para mejorar los servicios y actividades. Seguimiento y evaluacin participativos: implica la participacin de las partes interesadas en diferentes niveles y en forma conjunta para identificar problemas, recopilar y analizar la informacin y generar recomendaciones. Qu observaciones merecen estos aportes anteriores? Est de acuerdo con lo planteado? Observa contradicciones entre los diferentes puntos de vista? Defina a continuacin su propio concepto de evaluacin. Puede relacionarlo con los conceptos anteriores tratados en este captulo. Comparta su construccin con la de las/os dems y saque sus conclusiones. Posteriormente, compare con lo planteado en el re-cuadro que sigue. Mi concepto:____________________________________________________________________ ________________________________________________________________________________
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

20

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Mis conclusiones, despus de compartir con los conceptos construidos por las dems personas: ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ _________ La evaluacin, igual como el monitoreo y el seguimiento, constituye un componente del Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ seMse. Es un componente integrador, ya que abarca los aprendizajes significativos de los dos componentes anteriores, siempre y cuando se trata de un momento de evaluacin que corresponde a despus de haber iniciado la ejecucin del proyecto. Como se constatar ms adelante tambin se debe considerar la evaluacin PREVIA al proyecto (ver 2.3.), esto no es el caso por el momento. La evaluacin es un proceso en si y puede tener como objeto un proceso o un producto (parcial o final) (ver 2.3.). Este proceso parte de los hallazgos del monitoreo y el seguimiento -donde ya se ha establecido una comparacin con una lnea base y los resultados de otros momentos anteriores de evaluacin-, profundiza sobre los mismos para poder llegar a la formulacin de un juicio de valor. La interpretacin que permite llegar a este juicio de valor se basa en el sistema de indicadores correspondiente a los objetivos y los resultados esperados. Consideramos fundamental la metodologa que se implementa en el proceso de evaluacin. Para que la evaluacin resulte en un aprendizaje significativo, es indispensable que el Proceso sea Construido colectivamente (niveles altos de participacin de todos los sectores involucrados) como una Oportunidad de Aprendizaje, el cual debe integrar una actitud emprendedora (de cara a encontrar alternativas de interpretacin de resultados y de alternativas de superacin) de calidad. Un proceso de evaluacin, igual como el monitoreo y el seguimiento, se orienta al control de responsabilidades asignadas con su valoracin crtica correspondiente, y al juicio crtico colectivo (consensuado o diferenciado) de los niveles de cumplimiento de responsabilidades compartidas. 21

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

En esta pgina, se les presenta un resumen, indicando la interrelacin y las diferencias entre monitoreo, seguimiento y evaluacin. Es un resumen incompleto, ya que al considerar el todo como un sistema hace falta integrar la evaluacin previa, tal como se ver ms adelante.
Dimensiones Temporal

SISTEMA DE - MONITOREO SEGUIMIENTO - EVALUACIN


MONITOREO Frecuente y sistemticamente Cortes transversales SEGUIMIENTO Permanentemente Enfoque de proceso y de vivencia Resultados de Monitoreo Observacin Participar y compartir Comunicacin Sistematizacin (Intra-, Inter-, Retro- e Infra-visin) Objetivo y Resultados Esperados Sistema de Indicadores Lnea base y resultados monitoreo Decisiones tcticas (definir rumbos programas) EVALUACIN Peridicamente Enfoque de Proceso y/o de Producto Resultados del Monitoreo Resultados del Seguimiento Participacin Comunicacin Aplicacin de Tcnicas (Intra-, Inter-, Retro- e Infra-visin) Objetivo y Resultados Esperados Sistema de Indicadores Lnea base Decisiones estratgicas (visiones, misiones, estrategias, niveles alcanzados en cuanto a objetivos y resultados esperados) Emite juicios de valor Valora IMPACTOS de ESTRATEGIAS EN EJECUCIN O YA EJECUTADAS (pertinencia,) Construir conjuntamente una oportunidad de aprendizaje de cara a la superacin Interno y/o Externo De Aprendizaje Constructivo El mayor nmero posible de actoras/es involucradas/es

Base

Aplicacin de Instrumentos (Supervisin)

Referencia

Objetivo y Resultados Esperados Sistema de Indicadores Lnea base y resultados anteriores de monitoreo Decisiones operativas (actividades)

Toma de decisiones

Lo que hace

Mide estados de la cuestin Mide RESULTADOS de ACTIVIDADES (eficiencia,) Obtencin de datos Interno De control (y de Acompaamiento) Autoridades en base a un poder compartido

Identifica y describe tendencias Describe EFECTOS de QUEHACERES (eficacia,) Compartir sentires y pensares, saber interpretar Retro-alimentacin Interno De acompaamiento (y de Control) Facilitadoras/es y actora/es clave

Relevancia Uso Enfoques Quin?

Podemos completar el cuadro anterior? Qu le falta, qu le sobra, qu est mal ubicado? Analicen, discutan, comparen y decidan CONSTRUYAN, en base a todo lo anterior y su experiencia propia, SU CUADRO COMPARATIVO
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

22

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

2.3. TIPOS DE EVALUACIN


En este apartado se abordan algunos tipos de evaluacin, que podran servir para comprender y orientar mejor nuestras prcticas. Queda como tarea identificar y definir/describir otros, que por una u otra razn no se integraron a este texto. a. Evaluacin ex-ante (antes), on-going (durante), ex-post (despus) Al analizar los textos disponibles sobre evaluacin, resulta interesante constatar que en el mbito socio-educativo, la evaluacin hace referencia a procesos (participativos) a desarrollar ms que todo al finalizar una determinada etapa o el proyecto completo en si, independientemente que hay muchas voces que asignan importancia a la evaluacin continua, la evaluacin permanente, la evaluacin formativa, en contraposicin de la evaluacin de productos, la evaluacin de resultados o la evaluacin sumativa Sin embargo, al retomar textos cuyos contenidos hacen referencia a la evaluacin (social) de proyectos4 desde el rea administrativa y socio-econmica, nos encontramos con un enfoque de la evaluacin hacia el trabajo previo (diagnstico), un nfasis en los estudios previos (pre-inversin: pre-factibilidad y factibilidad) a la ejecucin de los proyectos. Se trata de estudios, cuyos resultados ms bien permitirn evaluar (= emitir un juicio de valor) TODAS las condiciones previas de un proyecto. En los quehaceres orientados hacia el desarrollo comunitario, es importante retomar las ideas esenciales de los diferentes enfoques. De all, que en el siguiente inciso, al referirnos a un Sistema, lo haremos en el sentido de un Sistema de Evaluacin MonitoreoSeguimientoEvaluacin, dejando claro que la evaluacin es principio y fin (para empezar de nuevo) de todo proyecto socio-econmico, tambin en la comunidad, ya que lleva a mayores niveles de conciencia sobre lo que hacemos y a qu apuntamos. Urza (2004, 45) propone cuatro tipos de evaluacin que aportan valoraciones distintas: Al principio5 (ex ante): Una evaluacin diagnstica que arroja informacin sobre los posibles impedimentos o las oportunidades para obtener los resultados esperados.
4

Baca Urbina G. (2001-4), Evaluacin de Proyectos. McGraw-Hill, Mxico, 383 pp. / Fontaine E.R. (1999-12), Evaluacin social de proyectos. Alfaomega, Colombia, 471 pp. / Sapag Chain N. y Sapag Chain R. (1996-3), Preparacin y evaluacin de proyectos. McGraw-Hill, Santaf de Bogot, 404 pp. 5 Ojo con esta terminologa, ya que al principio se podra interpretar como al inicio de la ejecucin del proyecto y al ser as, ya no correspondera a una evaluacin ex-ante como se plantear ms adelante en este texto. PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

23

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

A la mitad (intermedia): Facilita plantear correcciones dentro del proceso del proyecto. Es importante no confundirla con el seguimiento que es una actividad continua. La evaluacin intermedia es una actividad programada con los siguientes pasos:
1. Definir preguntas concretas a las que la evaluacin deber responder conforme al ANLISIS DE LOS OBJETIVOS, ANLISIS DE LOS INDICADORES Y EL ANLISIS PARTICIPATIVO. 2. Definir los indicadores necesarios para analizar los criterios de evaluacin de la gestin: EFICIENCIA, EFICACIA, PERTINENCIA, RESULTADOS y EFECTOS. 3. Establecer un plan de recoleccin de la informacin para los criterios acordados y los indicadores definidos. 4. Identificar a los principales implicados en el proceso, los informantes clave, los aliados estratgicos, los responsables de la gestin u otros. 5. Elaborar el informe intermedio y difundirlo a los implicados.

Al trmino (evaluacin final): La evaluacin al final sirve para establecer los alcances obtenidos y compararlo con lo planificado y formular hiptesis sobre nuevos proyectos. Posterior (ex post): Es una evaluacin con mayor profundidad, ms all del alcance inmediato del proyecto; extrae lecciones, hallazgos y evidencias, permite la elaboracin de recomendaciones objetivas para nuevos proyectos. Es la base para determinar el grado de efectividad sostenible. Tambin Robles y Luna R. (1999, 6), refirindose especficamente a proyectos ambientales, hacen referencia a diferentes perspectivas temporales y metodolgicas de evaluacin: a. Ex-ante con el fin de lograr una ubicacin plena en el contexto y determinar la intencionalidad y direccionalidad ptimas para lograr el mximo de impacto. b. Concurrente, durante la ejecucin con el fin de determinar si la forma en que se est ejecutando permite generar el impacto buscado. c. Ex-post para determinar si se gener o no el impacto previsto y hasta qu punto, los resultados son atribuibles a las acciones realizadas. Profundizaremos brevemente en cada uno de estos momentos. ANTES En el caso de los procesos de evaluacin que se realizan antes de ejecutar un proyecto todava hay que considerar dos momentos:
1. Todo el proceso evaluativo que se desarrolla, en sus diferentes etapas, como parte de la preparacin de un proyecto hasta llegar a la decisin definitiva de elaborar el proyecto tal como se requiere formalmente. (pre-inversin_ preparacin del proyecto) 2. El proceso evaluativo que se necesita desarrollar durante la formulacin del proyecto y que facilitar los datos necesarios para la elaboracin del sistema de objetivos y de indicadores. El sistema de indicadores es la base fundamental para la construccin posterior de todo el plan de monitoreo, seguimiento y evaluacin durante la ejecucin del proyecto. (formulacin del proyecto_ preparacin de la evaluacin)
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

24

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Lgicamente el primer momento permitir obtener mucha informacin, muy til para el segundo. Sin embargo, posiblemente no es suficiente y habr que conseguir datos adicionales (complementarios). ICCO (2000, 15-17), de Holanda, considera la evaluacin en esta etapa (ANTES) como preliminar para preparar el terreno: La evaluacin preliminar de cualquier intervencin proyectada comnmente incluye:
Una evaluacin general del rea factible de ser intervenida, tomando en cuenta el contexto nacional e internacional. Una identificacin preliminar de las personas que seran directamente beneficiadas con el proyecto posibles beneficiarios o grupos meta- y sus caractersticas y preocupaciones, sus problemas y los factores que podran causarlos. Un anlisis de los intereses y preocupaciones de las personas presentes en el rea que podran verse afectadas por o podran afectar - el proyecto (anlisis de los participantes), incluida la consideracin de las respuestas que ya se hayan dado a los problemas y preocupaciones de los grupos meta. Una definicin preliminar de la respuesta que podra ofrecer la ONG, tomando en cuenta su misin, visin y mandato, adems de su base de recursos.

En este punto, la ONG por lo general decide si, tomando en cuenta su mandato, est bien posicionada y preparada para intervenir en el rea. Tambin se forma una primera visin de las prioridades y limitaciones que afectarn la planificacin. Como parte de una evaluacin preliminar, tambin identifican la evaluacin de la participacin: Quin est participando, clarificando principalmente el rol de las mujeres, pero tambin la participacin de otros grupos o categoras sociales? Hacia quin estn destinados los beneficios del proyecto? Qu mtodos e instrumentos se utilizarn en el proceso de planificacin participativa (por ejemplo, relaciones pblicas, debates grupales, entrevistas semi-estructuradas)? Otro aspecto mencionado de la Evaluacin Preliminar es el anlisis de la situacin, incluyendo el problema: Un anlisis de situacin identifica:
(a) problemas prioritarios, tal como stos son entendidos a nivel local; (b) sus principales causas, tanto a nivel local como a nivel regional, nacional o internacional; (c) causas que podran ser abordadas mediante una intervencin local; (d) recursos existentes al interior de la comunidad, o provenientes de terceros, que podran ayudar a contrarrestar los problemas.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

25

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

La identificacin de los problemas y el sondeo de las bases deberan ayudar a identificar tanto las oportunidades como los obstculos existentes. Tambin es importante saber qu estn haciendo o planean hacer otras ONGs. Es necesario realizar un anlisis de riesgo para identificar factores externos que podran hacer peligrar la produccin o resultados o el logro de los efectos y/o impacto buscados. Las consideraciones costo/beneficio y las restricciones de tiempo deben ser tomadas en cuenta al momento de considerar qu problema podra ser abordado, y de qu forma. El anlisis de la situacin raramente es terminado antes del inicio del proyecto y, por lo tanto, debera ser extendido y actualizado utilizando la informacin y puntos de vista obtenidos de los monitoreos, las revisiones y los estudios posteriores de evaluacin. Parte fundamental de la evaluacin preliminar es visualizar cmo se va a monitorear y evaluar el desarrollo de proyecto, en caso que se decida su ejecucin: Las bases del monitoreo se establecen en la etapa previa, cumpliendo los siguientes requerimientos: Especificacin de acuerdos para realizar monitoreo, incluidas las responsabilidades, procedimientos, mtodos y herramientas para obtencin y anlisis de la informacin. Es necesario que los mtodos y procedimientos a ser incorporados observen y entreguen informacin sobre actividades y resultados imprevistos, pero importantes, y sobre los cambios de contexto y al interior de la propia ONG. Durante el perodo de planificacin, es necesario realizar preparativos para la evaluacin: Se debe preparar una lista con los efectos esperados del proyecto en relacin con sus objetivos especficos, con indicadores de efectividad; adems, dicha lista debe contener el impacto esperado, en relacin con la meta, con sus correspondientes indicadores de impacto. Debe existir una disposicin organizacional para realizar una evaluacin que especifique las responsabilidades, procedimientos e instrumentos para la recopilacin y anlisis de los datos, y tambin un presupuesto. Desde un punto de vista ms administrativo, se hace referencia al concepto de evaluacin de proyectos, conceptualizndolo como: un conjunto de antecedentes justificatorios en donde se establecen ventajas y desventajas que significa la asignacin de recursos a una determinada idea o a un objetivo determinado. El objetivo es plantear premisas y supuestos que hayan sido sometidos a convalidacin a travs de distintos mecanismos y tcnicas de comprobacin. Aqu se trata de la etapa de pre-inversin, la que integra los estudios de perfil, pre-factibilidad y factibilidad.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

26

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

El nivel de estudio inicial es el denominado perfil, el cual se elabora a partir de la informacin existente, del juicio comn y de la opinin que da la experiencia. En trminos monetarios slo presenta estimaciones muy globales de las inversiones, costos o ingresos. Se hacen consideraciones acerca de la situacin sin proyecto: proyectar qu pasar en el futuro si no se pone en marcha el proyecto. Se busca determinar si existe alguna razn que justifique el abandono de una idea antes de que se destinen recursos para calcular la rentabilidad en niveles ms acabados (PRE-FACTIBILIDAD y
FACTIBILIDAD).

Se seleccionan aquellas opciones que son ms atractivas para solucionar un problema. Otro nivel de estudio es el llamado de prefactibilidad. Profundiza la investigacin, y se basa principalmente en informacin de fuentes secundarias para definir, con cierta aproximacin, las variables principales referidas al mercado, a las alternativas tcnicas de produccin y a la capacidad financiera de los inversionistas. En trminos generales, se estiman las inversiones probables, los costos de operacin y los ingresos que demandar y generar el proyecto. Como resultado de este estudio, surge la recomendacin de su aprobacin, su continuacin en un estudio ms profundo, su abandono o su postergacin hasta cumplir determinadas condiciones mnimas. El estudio ms acabado, denominado de factibilidad, se elabora sobre la base de antecedentes precisos obtenidos a travs de fuentes primarias de informacin. Se pretende contestar la interrogante de si es o no conveniente realizar una determinada inversin. Esta recomendacin slo ser posible si se dispone de todos los elementos de juicio necesarios para tomar la decisin. En trminos generales, 5 son los estudios particulares que deben realizarse para evaluar la factibilidad: la viabilidad comercial, tcnica, legal, de gestin y financiera. Cualquiera de ellos que llegue a una conclusin negativa determinar que el proyecto no se lleve a cabo, aunque razones estratgicas, humanitarias u otras de ndole subjetiva podran hacer recomendable una opcin que no sea viable financiera o econmicamente, como por ejemplo algunos proyectos de impacto social. Viabilidad comercial: Indicar si el mercado es o no sensible al bien o servicio producido por el proyecto y la aceptabilidad que tendra en su consumo o uso. En muchos casos, la viabilidad comercial se incorpora como parte del estudio de mercado en la viabilidad financiera. 27
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Viabilidad tcnica: Estudia las posibilidades materiales, fsicas, y qumicas de producir el bien o servicio que desea generarse con el proyecto. Viabilidad Legal: Podran existir algunas restricciones de carcter legal que impediran su funcionamiento en los trminos que se pudiera haber previsto. Viabilidad de gestin: Definir si existen las condiciones mnimas necesarias para garantizar la implementacin, tanto en lo estructural como en lo funcional. Verificar en el estudio financiero si existen incongruencias que permitan apreciar la falta de capacidad de gestin. Viabilidad financiera: Determina la conveniencia econmica y financiera del proyecto. Existen otros estudios de viabilidad tales como: el estudio de viabilidad organizacional para el anlisis de la estructura de la organizacin; el estudio de viabilidad poltica que permite el anlisis del apoyo de las instituciones polticas al proyecto, y de la estabilidad institucional del pas; el estudio de viabilidad sociocultural en base al anlisis de las barreras e incentivos que tiene el medio social para la implementacin del proyecto; etc. Desde otro punto de vista, ms integral, se distinguen en esta etapa de evaluacin (ANTES) tres enfoques: (i) la medicin de la rentabilidad del proyecto, (ii) el anlisis de las variables cualitativas y (iii) la sensibilizacin del proyecto.
(i) Cuando se calcula la rentabilidad se hace sobre la base de un flujo de caja que se proyecta sobre una serie de supuestos.

(ii) El anlisis cualitativo complementa a la evaluacin realizada con todos aquellos elementos no cuantificables que podran incidir en la decisin de realizar o no el proyecto. Principal dedicacin habr de darse la identificacin de los aspectos ms dbiles del proyecto; (iii) El ltimo enfoque podr avocarse a sensibilizar slo aquellos aspectos que podran al tener mayores posibilidades de un comportamiento distinto al previsto, determinar cambios importantes en la rentabilidad calculada.

Las evaluaciones ex-ante pueden ayudar a mejorar el desempeo de un proyecto en todas las etapas de su ciclo y mejorar las polticas y procedimientos de la organizacin. Las evaluaciones ejecutadas correctamente (antes) reportan las siguientes ventajas: 1) ayudar a analizar el desempeo de la organizacin en las etapas de definicin y planificacin de los proyectos; 2) respaldar el desempeo de las unidades ejecutoras mediante el monitoreo y la capacitacin en mtodos de evaluacin; 3) medir hasta qu punto se alcanzan los resultados previstos y analizar los factores que obstaculizaron o contribuyeron a este logro; y 4) evaluar los efectos e impactos de los proyectos sobre sus beneficiarios.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

28

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

La evaluacin de los proyectos se realiza para contestar por parte de las/os responsables (privado o estatal) y segn la orientacin (comercial o social) las siguientes preguntas:
Qu producir? ( tipo de bienes productos y cantidades) Cmo producir? ( relaciones de produccin tipos de insumos y cantidad) Para quin producir? Quin va a financiar? Dnde producir? Cundo producir?

Para ello deben determinarse:


Los beneficios sociales del impacto Las demandas de los productos dirigidas al proyecto Los posibles precios de los productos ofertados por el proyecto La viabilidad financiera (comparando ingresos de los productos con gastos en insumos o costos de los productos) Despus se debe realizar un anlisis de beneficio costo La aplicacin de esta metodologa general, modificada con las particularidades que cada tipo de proyecto exige, permite la formulacin de proyectos en forma sistemtica y eficiente.

Otro componente de una evaluacin ex-ante del proyecto es su ANLISIS DE RIESGO. El riesgo se manifiesta en la variabilidad de los rendimientos del proyecto Para su clculo econmico tcnico referimos a los libros especializados6. Sapag y Sapag (1996, 377) tambin hacen referencia al NALISIS DE SENSIBLIDAD: El anlisis de la sensibilidad permite medir cun sensible es la evaluacin realizada a variaciones en uno o ms parmetros decisorios. Visualizar qu variables tienen mayor efecto en el resultado frente a distintos grados de error en su estimacin permite decidir acerca de la necesidad de realizar estudios ms profundos de esas variables, para mejorar las estimaciones y reducir el grado de riesgo por error. Definitivamente, la evaluacin, desde ANTES de formular el proyecto es un componente fundamental a tomar en cuenta. Su proyeccin sigue durante y despus de la ejecucin del proyecto. Cmo manejamos la evaluacin en esta etapa de los proyectos en nuestro mbito institucional? Por qu? Ventajas y desventajas? A continuacin implicancias de la evaluacin durante el desarrollo del proyecto.

Sapag Chain N. y Sapag Chain R. (1996-3), Preparacin y evaluacin de proyectos. McGraw-Hill, Santaf de Bogot, 404 pp. / Fontaine E.R. (1999-12), Evaluacin social de proyectos. Alfaomega, Colombia, 471 pp.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

29

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

DURANTE Una vez elaborado el proyecto y tomada la decisin de ejecutarlo, es necesario implementar el Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ SEMSE. En concreto esto implica, al menos tres procesos, todos de acuerdo a lo planificado anteriormente:
1. Elaboracin y definicin de una lnea base (situacin al inicio de la ejecucin del proyecto), la que ser el punto de referencia para valoraciones posteriores. 2. Momentos intermedios (de monitoreo, seguimiento y evaluacin) 3. Evaluacin final, al concluir el proyecto en cuestin.

a. En cuanto a la definicin de la Situacin Inicial _ lnea (de) base: Se realiza al inicio, con la mayor participacin posible de representantes de los grupos meta para facilitar la construccin de mayores niveles de conciencia todava en cuanto a la situacin que vivimos. El marco de referencia, lgicamente es el sistema de indicadores incluido en el proyecto. b. En cuanto al monitoreo y el seguimiento7:
* Los proyectos deberan ser monitoreados no slo con una mirada retrospectiva, sino que, adems, con un punto de vista prospectivo. * El proceso de monitoreo debera efectuarse con la activa participacin del personal en todas las etapas, y debera disponer que exista una apertura en el flujo ascendente y descendiente de informacin y un espacio para el aprendizaje y el desarrollo organizacional. * La recopilacin de los datos debera limitarse a la mnima cantidad de informacin que sea necesaria para el cumplimiento de los objetivos del SEMSE.

Esta evaluacin durante u on-going, en ocasiones tambin es calificada como Evaluacin intermedia. La evaluacin intermedia se puede hacer en cualquier momento durante la ejecucin del proyecto. Suele usarse para analizar ms a fondo los problemas de ejecucin, o para ayudar a tomar decisiones sobre el desarrollo del proyecto. En todo proceso de evaluacin intermedia se suele considerar:
a) Antecedentes: Propsito de la Evaluacin. Involucrados Principales. b) Marco Lgico del Proyecto
7

Basado en: ICCO (2000), Pautas para una buena planificacin, monitoreo y evaluacin (pme) de proyectos de desarrollo comunitario implementados por ong del hemisferio sur con el respaldo de organismos ecumnicos europeos. En internet: http://www.ico.nl, p. 18.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

30

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

c) Metodologa de Evaluacin: Diseo / Enfoque General. Fuentes de Datos. Instrumentos. Equipo de Evaluacin. Factores Limitantes. Organizacin del Informe. d) Pertinencia del proyecto. Repercusiones de continuar el proyecto con o sin reformulacin. e) Eficiencia: Administracin de las Actividades al proyecto. Normas y control de calidad. f) Problemas en la Ejecucin del Proyecto: identificacin, anlisis y soluciones propuestas Conclusiones y recomendaciones. g) Eficacia: Logro de los componentes del Proyecto, planificados y reales hasta la fecha. Repercusiones de deficiencias encontradas. Efectos no planificados y su congruencia con el propsito. h) Conclusin: Continuidad de la justificacin del proyecto. Medidas para mejorar el desempeo. Experiencia adquirida y lecciones emergentes. Desempeo operativo. Impacto de desarrollo.

Datos obtenidos del monitoreo y el seguimiento revisten la siguiente importancia:


Los datos de monitoreo, vlidos y oportunos, pueden mejorar la ejecucin de los proyectos. Los mecanismos eficaces, para recopilar y distribuir datos, facilitan la toma de decisiones para mejorar el desempeo de los proyectos. La evaluacin de monitoreo puede contribuir al rediseo de los proyectos para mejorar su desempeo. La evaluacin intermedia puede servir para diagnosticar problemas de gestin durante la ejecucin. A veces es necesario efectuar las dos evaluaciones por existir problemas de diseo y gestin

c. En cuanto al perodo de conclusin del proyecto: Adems de las actividades de monitoreo y de evaluacin formales ejecutadas durante la ejecucin de los proyectos en el ciclo de evaluacin, tambin se produce la evaluacin de terminacin. La adquisicin de conocimiento institucional emergente de la experiencia adquirida se puede lograr por medio de los: Informes de Terminacin de Proyectos, los Anlisis de Ejecucin de Proyectos; y las Evaluaciones Ex-Post (ver prximos inciso despus). Los Informes de terminacin de proyecto constituyen al mismo tiempo el ltimo eslabn del monitoreo y seguimiento, y el primer eslabn de la evaluacin ex-post del proyecto. Un Informe de Terminacin de Proyecto suele incluir como mnimo:
Resumen del proyecto Detalles del proyecto Resultados del proyecto Fundamentos para los cambios desde que se aprob el proyecto Resultados obtenidos Diferencias entre los resultados planificados y los obtenidos Recomendaciones para proyectos futuros.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

31

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Tambin se deben de considerar los siguientes aspectos:


Continuidad de la justificacin del proyecto Eficiencia del proyecto Efectividad del proyecto Efectos e impactos del proyecto Experiencia adquirida (nivel de aprendizaje) con el proyecto

Para concluir en cuanto a los aportes sobre la evaluacin durante mencionamos los tres campos o competencias que indica Quintero Uribe (1995, 227-258) al referirse a la evaluacin de avances y logros parciales y el seguimiento a la estrategia y al proceso8:
. El cumplimiento de actividades o metas intermedias (productos, grado de eficacia y grado de efectividad) . La evaluacin del proceso (Recursos humanos, fsicos y financieros; tiempo y grado de eficiencia) . La evaluacin de la estrategia (estrategia y tcticas: pertinencia, sustentabilidad, desarrollo humano sostenible, equidad y apropiacin).

A continuacin, lo que significa la evaluacin DESPUS o ex-post. DESPUS Al considerar la evaluacin como un proceso continuo, se asume que la terminacin de un proyecto no significa el final de las contribuciones al proceso de desarrollo. An cuando un proyecto haya tenido xito en generar sus productos, generalmente falta mucho para alcanzar los objetivos de contribucin directa a la calidad de vida de los beneficiarios y de impacto de desarrollo (a largo plazo). La funcin especial de una evaluacin ex-post es efectuar un examen sistemtico sobre los niveles de desarrollo, correspondientes al sistema de objetivos e indicadores, alcanzados ms a largo plazo. Desde un enfoque ms administrativo, se refiere a informe de operaciones (se elabora despus de haber concluido la ejecucin del proyecto). La evaluacin de operaciones del proyecto, o evaluacin del impacto9 implica entender sus efectos sobre el proceso de desarrollo para confirmar xitos y aprovechar la experiencia adquirida para aprender de proyectos cuyo impacto fue modesto. Se valora en lo Tecnolgico, Institucional, Las evaluaciones operativas Econmico, Poltico, Social y cultural, y lo Ambiental.

eficaces de tipo ex-post, estudian la continuidad de la justificacin, la eficacia, la efectividad, los efectos e impactos, y aportan lecciones aprendidas a travs de la ejecucin de proyectos.
8 9

En cuanto a la evaluacin de procesos y productos se profundizar en el captulo 3 de este texto. Ver tambin inciso 3.2. de este texto.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

32

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

El Proceso de Evaluacin Ex-post:


1) Determinacin de cuestiones preliminares (trminos de referencia, si es externa o interna) 2) Seleccin de evaluadoras/es en base a competencias (autoridades construidas) 3) Formulacin del plan de trabajo. 4) Informe de evaluacin: sesiones informativas con involucradas/os, oportunidades para confirmar conclusiones y recomendaciones, distribucin electrnica de conclusiones, recomendaciones y lecciones aprendidas, y al final un informe de evaluacin escrito. 5) Aprobacin del informe.

En el caso de CANTERA (2002, 37), definen la evaluacin ex-post de un proyecto como: . El propsito principal de esta fase es aprender de la experiencia. . Lo que se evala, fundamentalmente, es si el proyecto fue eficaz y eficiente, y por qu. . El impacto sobre el desarrollo slo se conoce bastante tiempo despus de la terminacin. . El conocimiento logrado con la evaluacin se utiliza en el diseo de otros proyectos posteriores. Sin mayor discusin, podemos afirmar que el desarrollo de la capacidad de evaluacin es importante por diferentes razones: Una mayor capacidad de evaluacin contribuir a aumentar la efectividad de la inversin y ayudar a resolver los problemas de desarrollo, mejorando as el desempeo global de la organizacin. El desarrollo de la capacidad de evaluacin contribuir a respaldar el mejoramiento en la capacidad de gestin de las organizaciones. Las evaluaciones, definitivamente son herramientas de aprendizaje.

Despus de haber profundizado sobre los diferentes tipos de evaluacin de acuerdo al criterio temporal, ahora pasaremos a distinguir brevemente la evaluacin segn el inters que exista, sea ste privado o ms bien social. Antes de esto, le invitamos a formular su conclusin principal relacionada con las evaluaciones ANTES-DURANTEDESPUS y particularmente de cara al desarrollo comunitario: ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ 33

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

b. Evaluacin privada y evaluacin social de proyectos Adems de la importancia y la necesidad de prever y disear el sistema de evaluacin, monitoreo, seguimiento y evaluacin _ SEMSE desde la misma planificacin estratgica, tambin es indispensable diferenciar entre evaluacin en contexto de proyectos sociales y otro tipo de proyectos. Al respecto dicen en una publicacin (2003, 12-13) desde la realidad brasilea lo siguiente:
Hay una gran diferencia entre proyectos sociales y proyectos de ingeniera. Para construir un viaducto existen etapas, hay un presupuesto de cemento, de hierro, mano de obra, gra. El resultado es visible, concreto, palpable. Ciment la base? S. Cimentaron las columnas? S. Ante este esquema de ejecucin, uno puede acompaar el desarrollo del proyecto y evaluar el xito o fracaso del equipo. En un proyecto social, s hay un punto de partida, pero muchas veces el punto de llegada no est tan definido. Un proyecto social es un proceso sujeto a variaciones de todo orden. No se ve un marco fsico fijo de llegada, pero s un marco referencial que evala si los actores sociales aumentaron su protagonismo y asumieron las riendas de su historia.

Fontaine (1999) plantea respecto a la evaluacin privada y la evaluacin social:


La evaluacin privada de proyectos incluye (i) una evaluacin financiera y (ii) una evaluacin econmica. La primera contempla, en su anlisis, a todos los flujos financieros del proyecto, distinguiendo entre capital propio y prestado. Esta evaluacin es pertinente para determinar la llamada capacidad financiera del proyecto y la rentabilidad de capital propio invertido en el proyecto. La evaluacin econmica, en cambio, supone que todas las compras y las ventas son al contado riguroso y que todo el capital es propio; es decir, la evaluacin privada econmica desestima el problema financiero. Para la evaluacin social o socioeconmica, interesa el flujo de recursos reales (de los bienes y servicios) utilizados y producidos por el proyecto. Para la determinacin de los costos y beneficios pertinentes, la evaluacin social definir la situacin del pas (de la comunidad) versus sin la ejecucin del proyecto en cuestin. La evaluacin social de proyectos consiste en comparar los beneficios con los costos que dichos proyectos implican para la comunidad, para la sociedad; es decir, consiste en determinar el efecto que el proyecto tendr sobre el bienestar de la sociedad (de la comunidad). El rol fundamental de la evaluacin social estar en determinar la rentabilidad de proyectos cuyos bienes y servicios no pueden convenientemente venderse o comprarse en el mercado, como por ejemplo: calles, carreteras menores y alumbrado pblico.

Sapag y Sapag (1996, 6) expresan: Tanto la evaluacin social como la privada usan criterios similares para estudiar la viabilidad en un proyecto, aunque difieren en la valoracin de las variables determinantes de los costos y beneficios que se le asocien. La evaluacin privada trabaja con el criterio de precios de mercado, mientras que la evaluacin social lo hace con precios sombra o sociales, con el objeto de medir el efecto de implementar un proyecto sobre la comunidad, teniendo en cuenta los efectos indirectos o externalidades que se generan sobre el bienestar de la comunidad (p.ej. la redistribucin de ingresos o la disminucin de contaminacin ambiental). 34

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

c. Evaluacin externa, evaluacin interna y auto-evaluacin Evaluacin externa: A cargo de un equipo externo a la institucin. Evaluacin interna: A cargo de un equipo tcnico de la propia institucin. Auto-evaluacin: A cargo de las personas involucradas mismas en el proyecto. Para incrementar la demanda de auto-evaluacin habra que lograr que sta se convierta en un instrumento de aprendizaje para lograr una mejor gestin y no de sancin. No imponerla sino incentivarla. Caracterizar a la evaluacin como un ejercicio de aprendizaje es tanto ms importante cuanto no existen metodologas uniformes para realizarlo y en todos los casos implica partir de definir los objetivos especficos dentro de la misin de cada organizacin en un momento dado. En el caso de la autoevaluacin, los niveles de participacin amplios juegan un papel fundamental. Cules seran las condiciones indispensables para lograr que la auto-evaluacin se convierta en una estrategia dominante dentro del marco del desarrollo comunitario? ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ d. Otros tipos de Evaluacin Para concluir este apartado respecto a los tipos de evaluacin, incluimos un extracto del Manual para la evaluacin de impacto en programas de formacin para jvenes de Abdala (2004, 23) por ofrecer una visin general diferente: Enfoques de la evaluacin Pseudo-evaluaciones En ellas, se cumple un proceso evaluatorio, pero con fuerte injerencia de alguna de las partes comprometidas con el proyecto y que presiona para que aparezcan resultados preestablecidos. El evaluador no acta neutralmente. Evaluaciones experimentales y cuasi-experimentales Son evaluaciones exclusivamente cuantitativas. Este diseo exige que se constituya un grupo de control (tarea ardua y compleja). Se mide el impacto por comparacin estadstica entre el grupo de control y el grupo beneficiario de las acciones del programa. Se miden: incremento del bienestar de los beneficiarios, segn empleo (empleabilidad, insercin laboral posterior, tipo de trabajo, satisfaccin laboral) ingresos y ciudadana. Asimismo, puede medirse focalizacin, desercin, retencin, cobertura. 35

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Evaluaciones verdaderamente mixtas _ cuanti-cualitativas El abordaje mixto permite tener los datos sealados en el grupo anterior y agrega el aporte cualitativo. Entre estos:
_ cambios actitudinales _ cambios psico-sociales _ autoestima _ empleabilidad _ necesidad y satisfaccin con el programa

Puede medirse tambin el impacto sobre los restantes actores (capacitadores, empresarios, informantes claves de la poblacin). Se utilizan los estudios de casos, las observaciones, las entrevistas, en profundidad. El aporte mixto ayuda a entender ms por qu unos programas son exitosos y otros fracasan. Con lo anterior se han abordado varios tipos de Evaluacin. Seguramente en las

experiencias de desarrollo comunitario se podr identificar otros tipos de evaluacin. Escriba a continuacin en base a su experiencia y comparte con las y los dems: ________________________________________________________________________________ ________________________________________________________________________________ A qu conclusin llegamos? ________________________________________________________________________________ ________________________________________________________________________________

2.4. SISTEMAS DE EVALUACIN, MONITOREO, SEGUIMIENTO Y EVALUACIN/SEMSE


Un sistema es la idea de ver a la organizacin o el proyecto como un todo y no como una serie de partes que pueden o no estar relacionadas. Un sistema es un conjunto de componentes, conectados en una forma organizada. Los componentes estn afectados al estar en el sistema y el comportamiento de ste cambia si lo abandonan. Este conjunto organizado hace algo y ha sido identificado como de particular inters. Vemos a los sistemas como aceptando entradas desde el entorno, y emitiendo salidas hacia l. Un sistema cerrado es uno que no tenga entradas ni salidas. Los sistemas significativos, tienen un objetivo bien definido. Todo sistema se puede dividir en subsistemas. La interaccin entre subsistemas se conoce como acoplamiento. Es bueno hacer notar que el desacoplamiento de subsistemas puede tener un efecto negativo, o contraproducente: cada uno de los subsistemas trabaja correctamente, pero el sistema en su totalidad no funciona bien porque los subsistemas operan sin tener en cuenta al sistema como un todo.10
10

Ideas retomadas de: Guerra Dvila R.E.F. (1998), Sistemas de Informacin para la Administracin. Universidad Abierta, internet, 11 pp.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

36

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Weaving y Thumm (1998, 3-4) identifican 5 componentes para el Diseo de un Sistema de Seguimiento y Evaluacin de los Proyectos: Claros enunciados de objetivos mensurables para el proyecto y sus componentes, para los cuales puedan definirse indicadores. Un conjunto estructurado de indicadores que comprenda la produccin de bienes y servicios generados por el proyecto y sus repercusiones sobre los beneficiarios. Medidas referentes a la recopilacin de datos y al manejo de los registros del proyecto, a fin de que los datos requeridos por los indicadores sean compatibles con las estadsticas existentes y puedan obtenerse a un costo razonable. Convenios institucionales para la recopilacin, anlisis e informacin de datos del proyecto e inversin en creacin de capacidad con el fin de respaldar el seguimiento y la evaluacin. Propuestas referentes a los mecanismos que permitan la retroalimentacin de las conclusiones de la labor de evaluacin en el proceso de adopcin de decisiones. Ya apuntamos anteriormente que toda buena evaluacin inicia con la planificacin, no slo del proceso de evaluacin, sino de la misma actividad de la cual se va a evaluar su proceso y/o su producto. Por lo mismo se deben adjudicar varias caractersticas a un Sistema de Evaluacin11. a. Enfoque de Marco Lgico El marco lgico sirve como punto de partida, y como tal es un instrumento til para examinar los progresos y tomar medidas correctivas. Ofrece una base objetiva para el Cuando seguimiento y evaluacin de las actividades. Garantiza que los responsables de las decisiones formulen preguntas fundamentales y analicen supuestos y riesgos. seguimiento y la evaluacin. Podra existir el riesgo de aplicarlo con demasiado rigidez, tal que sofoca la creatividad y la innovacin. Si no se actualiza durante la aplicacin, puede convertirse en un instrumento esttico que no refleja las nuevas condiciones. se usa de forma dinmica, es un instrumento eficaz de gestin que permite orientar el

11

Usamos aqu el trmino evaluacin en su sentido integrador, abarcando todo el proceso correspondiente, desde antes, durante y despus.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

37

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

b. Una herramienta metodolgica12 Un sistema de evaluacin debe ser una herramienta metodolgica a utilizar para mejorar la capacidad de una organizacin al implementar el cambio planificado. Dado que los resultados de los procesos de desarrollo social son, en gran medida, impredecibles, las organizaciones necesitan contar con mtodos e instrumentos que le ayuden a calibrar sus quehaceres a la par con los cambios reales efectuados en el terreno, as como tambin para mejorar la comunicacin. Es posible identificar un rango de propsitos que debera satisfacer cualquier sistema de Planificacin, Monitoreo y Evaluacin (PME): transparencia, aprendizaje, responsabilidad, autonoma, la comprensin mutua, el empoderamiento, eficiencia, propiedad compartida, la eficacia, sustentabilidad, Algunas cualidades son esenciales en un sistema de evaluacin para que funcione bien:
Hecho a medida: adaptarse a la misin, visin, objetivos superiores, estrategias y recursos de la organizacin y, al mismo tiempo, ser compatible con otras organizaciones relacionadas. Flexible: debe ser susceptible a ser adaptado segn experiencia adquirida. Claro y transparente: el propsito, operacin y productos de un sistema de evaluacin deberan ser claros para los usuarios del mismo y para los otros interesados; adems tiene que ser comprendido fcilmente por los mismos. Susceptible de ser usado y sustentable: un sistema de evaluacin debe ser simple y accesible de modo que quienes participen en l se sientan motivados/as a usarlo, posibilitando con ello el uso de la disciplina necesaria y la aplicacin de las normas con responsabilidad.

ICCO (2000, 27-28) indica los siguientes pasos para establecer un sistema de evaluacin: Evaluacin preliminar (preparando el terreno) Planificacin (trazando la ruta) Evaluacin de la participacin (determinando quin debera participar) Anlisis de la situacin (comprendiendo el problema) Definicin del propsito y los objetivos relacionados (hacia dnde queremos ir?) Desarrollo de indicadores para los objetivos (cmo sabremos que hemos llegado?) Definicin de resultados, actividades y aportes (cmo llegamos adonde queremos? Preparacin para el monitoreo y la evaluacin (cmo sabremos que estamos llegando y
cundo sabremos si hemos llegado o no?

Monitoreo (verificando que estemos en el camino correcto) Evaluacin (sabiendo si hemos llegado y qu diferencia hemos marcado)
12

Basado en: ICCO (2000), Pautas para una buena planificacin, monitoreo y evaluacin (pme) de proyectos de desarrollo comunitario implementados por ong del hemisferio sur con el respaldo de organismos ecumnicos europeos. En internet: http://www.ico.nl, p. 11-13.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

38

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Qu observaciones le resultan del anlisis de este proceso que propone ICCO? ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ Despus de compartir mis observaciones con las/os dems, qu conclusiones resultan? ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ c. La lnea base Un tercer aspecto, despus del Marco Lgico y la concepcin de la evaluacin como una herramienta metodolgica, es la importancia que tiene la lnea base13. Es la descripcin, en base al sistema de indicadores definido durante la planificacin, de la situacin actual en el momento de iniciar la ejecucin del proyecto. La lnea base ser el referente para todo el resto del proceso de evaluacin. No se trata de un diagnstico general, sino una descripcin especfica de cara al sistema de indicadores establecido. Es un instrumento esencial de seguimiento y evaluacin, dado que:
Identifica las condiciones iniciales en las que encuentran los elementos que hacen al proyecto. Permite visualizar si las acciones que se estn desarrollando conducirn a los objetivos que se plantearon o debern ser reajustadas. Esencialmente sirve para evaluar el impacto logrado al final del proyecto o a un determinado momento en relacin a las variables importantes que se plantearon a tiempo de disear la intervencin.

Cules son nuestras experiencias con la elaboracin de una lnea base, quines participan, por qu y cmo debera de ser? ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________

13

Ya abordamos este asunto anteriormente al referirnos al primer paso de la evaluacin DURANTE.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

39

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

d. Sistemas de Informacin Es indispensable, para establecer un buen Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin, tambin ir construyendo un Sistema de Informacin de calidad. Sus caractersticas particulares dependen del tipo de proyecto. Lo importante es que la informacin est disponible y accesible para las personas involucradas en el proyecto comunitario. Qu implicaciones visualizan al respecto? ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ e. Una esquema metodolgico general y conceptual Antes que todo se debe aclarar que un sistema de evaluacin, monitoreo, seguimiento y evaluacin es SISTEMA porque: Es un instrumento marco que ordena las variables claves que contribuyen a medir y valorar el desarrollo equitativo y sostenible dentro del contexto del proyecto, programa o la institucin en cuestin. Porque como instrumento debe articularse con:
El Plan Estratgico de la institucin y Planes operativos de otros proyectos y programas, Supone el diseo de la LINEA BASE para los indicadores claves, Incorpora una BASE DE DATOS manejable a nivel institucional, Prev un PROGRAMA DE CAPACITACIN y ASESORAMIENTO permanente para la recoleccin y verificacin de los datos, Implica contar con tecnologa apropiada para el registro y manipulacin de los datos, Implica contar con un presupuesto adecuado para financiar la implementacin del sistema.

Un sistema de evaluacin, monitoreo, seguimiento y evaluacin para que funcione debe responder a las siguientes caractersticas14:
a. Hbitos de registro detallado, ordenado, sistemtico y permanente de datos. b. Perfeccionamiento de instrumentos de medicin ms sofisticados, sin que caigan en formalizaciones estriles. c. La integracin del factor presencial como elemento relevante para la medicin. d. La incorporacin de la evaluacin del impacto y el desempeo en el proceso de planificacin estratgica y operativa. e. La simplicidad y bajo costo de la actividad evaluativa y del proceso de planificacin en general

14

Basadas en: Robles T. y Luna R. (1999), Elaboracin de indicadores para proyectos ambientales. PROARCA/CAPAS, Guatemala, p. 8

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

40

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Las preguntas que necesitan ser respondidas para lograr el diseo de un buen Sistema: Por qu haremos seguimiento y evaluacin? Para quin lo estamos haciendo? Qu tipo de informacin necesitamos? De qu fuentes podramos obtenerla? Con qu grado de precisin y frecuencia necesitamos est informacin? Cmo y quin obtendr la informacin? Cmo analizar y procesar esta informacin? Cmo y a quin se comunicar la informacin? Cunto tiempo se requiere para obtener los datos, analizarlos y comunicarlos de manera efectiva? Qu nivel de recursos humanos y que nmero de personas necesito para implementar el sistema? Cunto costar el sistema? Es importante mencionar algunas realidades a enfrentar en nuestras prcticas: # La mayora de los sistemas tienden a producir reportes de progreso enfocados principalmente en la transferencia de recursos financieros. # Para la mayora de los proyectos, el grado de sistematizacin de las experiencias de los proyectos es muy bajo lo que dificulta la documentacin y diseminacin de lecciones aprendidas. # La Unidad de Seguimiento y Evaluacin tiende a ser percibida por el equipo del proyecto como un auditor interno ms que como un recurso para mejorar la gestin y entender las tendencias. # Existe una tendencia a priorizar la seleccin de indicadores que sean susceptibles desde el punto de vista de agencias externas, lo que limita el grado de relevancia para el propio proyecto. # Salvo raras excepciones, los proyectos tienden a reportar principalmente sus logros y no sus fracasos, lo que afecta directamente su capacidad de aprendizaje y de hacer ajustes sobre la marcha. Antes de concluir este captulo, no podemos dejar de hacernos la siguiente pregunta: Cuales son las caractersticas tcnicas de base para establecer un SISTEMA de Evaluacin/Monitoreo/Seguimiento/Evaluacin - SEMSE? Un SEMSE (informatizado o no) debe tener como finalidad: 1. la recoleccin de datos fcil, homognea y sencillamente demostrable; 2. el cmulo y la seleccin progresiva de la informacin; 41

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

3. la evaluacin automtica y sistemtica de la calidad, cantidad y distribucin de los resultados = la eficacia, como tambin la eficiencia y su pertinencia; 4. una retroalimentacin permanente de los resultados hacia los principales agentes de cambio y desarrollo (agencias, clientes y usuarios del Proyecto o Programa); 5. la disponibilidad de datos de base que puedan servir de fundamento a la evaluacin tcnica, administrativa y/o de impacto; 6. el apoyo a la planificacin de las actividades en el mbito de las instituciones y las comunidades. El monitoreo, el seguimiento y la evaluacin deben estar organizados en un plan donde se ubican las operaciones a realizar, quin las llevar a cabo y un cronograma tentativo. Este instrumento se define como el plan operativo, cada proceso de evaluacin deber contar con un plan. El formato o tabla de organizacin deber lo elabora el equipo encargado (si hay). El Plan Operativo del SEMSE define el inicio del seguimiento, los momentos de la evaluacin, el cierre del seguimiento y la difusin de los resultados. Todo SEMSE tiene por finalidad contribuir a conocer la marcha de un Proyecto (comunitario), evaluar el nivel de cumplimiento y propiciar la oportuna y suficiente informacin que permita hacer correctivos al proyecto y sistematizar15 sus experiencias. Tambin es importante observar que cada etapa del proceso de preparacin y montaje del SEMSE debe ser interiorizada por las/os sujetas/os participantes. Por esta razn, el sistema no est acabado desde la primera vez que se instala, es un proceso que ir madurando y mejorndose con la prctica. Por lo mismo hay que mantener integrado el primer momento de evaluacin (previa), ya que sus resultados tendrn que ser retomados y actualizados de manera permanente. Es necesario dedicar tiempo para comprobar el avance, validez y agilidad del sistema. Siempre habr quienes se oponen, pero el ejercicio y la prctica irn construyendo un sistema ajustado a las necesidades particulares de cada organizacin o proyecto. Es recomendable que las organizaciones y proyectos sistematicen su experiencia en este campo. Por otra parte, los SEMSE no siempre explican los sucesos del contexto, las reacciones de las/os participantes o las exigencias del plan. A veces se hace necesario complementar informacin con evaluaciones puntuales sobre hechos especficos.
15

En el mdulo VI, el curso 6.1. abordar especficamente el asunto de la sistematizacin.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

42

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Le invitamos a analizar crticamente el siguiente cuadro, compartir sus observaciones y terminar de construir su propio esquema de lo que implica un Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin. S E Orientacin
Identificar un problema que queremos superar Visualizar productos: Resultados, Efectos e Impactos Cercano . . . . Lejano Objetivo (proyectos) Propsito (programa) Fin (meta, visin, misin)

S E Proceso

Producto
Nivel de factibilidad Proyecto con su SEMSE Resultados * Eficiencia Efecto * Eficacia Impacto * Pertinencia

EMSE
Evaluacin_previa * Preparacin del Proyecto Evaluacin * Preparacin de la evaluacin Monitoreo

Contexto andante Formulacin del Proyecto (sistema de indicadores) Actividades (en relacin a) Medios Quehaceres Estrategias

PREVIO

DURANTE

Seguimiento Evaluacin

DESPUS

En funcin de la interpretacin del cuadro anterior podemos observar: 1. Se concibe todo el SEMSE como un solo proceso continuo 2. Los resultados se relacionan con los objetivos ms a corto plazo, los efectos con los propsitos a mediano plazo y los impactos ms a largo plazo. 3. A corto plazo es ms viable considerar eficiencia, a mediano la eficacia y a largo plazo la pertinencia. Cada uno de estos criterios, dentro de este marco conceptual, integra el anterior tal como lo indica la flecha. 4. La evaluacin integra el seguimiento y el monitoreo. El seguimiento se basa en los resultados del monitoreo. (ver tambin el cuadro de la p. 23) Qu le hace falta al cuadro? Complete, discuta, comparta y construya su propia concepcin de un Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin Como trabajo de campo correspondiente a este curso: 1. Elaborar un Plan Operativo 2005-2006 de SEMSE para su organizacin, un programa o un proyecto particular. (tarea en equipo) 2. Un informe de proceso a nivel personal. En el siguiente captulo, le invitamos a acompaarnos en la reflexin en cuanto al significado de la evaluacin de procesos versus la evaluacin de productos. 43

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

3. Evaluacin de Procesos y Evaluacin de Productos


Toda evaluacin cuenta con dos componentes complementarios: la evaluacin del producto y la evaluacin del proceso que ha llevado a conseguir ese producto.

3.1. EVALUACIN DE PROCESOS


Mejorar la gestin implica la identificacin de procesos clave, el mejoramiento de los procesos y la administracin del progreso del proceso.16 * La identificacin de los procesos clave generalmente es el resultado de una aplicacin rigurosa de un conjunto de criterios derivados de las prioridades estratgicas y tcticas. * El mejoramiento de los procesos fundamentalmente se apoya en la identificacin de los factores crticos de xito y en la manera en que stos impactan en los procesos. * La administracin del progreso del proceso est referida al control y verificacin de las mejoras y al reconocimiento permanente de las oportunidades de mejoramiento. Una herramienta muy til para la evaluacin de procesos ha sido el FODA, identificando los factores internos y externos incidentes en el proceso. Para toda evaluacin de proceso es necesario, que entre las personas involucradas, primero se consense en cuanto a lo que es la calidad de un proceso. El Marco Lgico del Proyecto debe de haber previsto indicadores correspondientes a la calidad de los procesos. Son estos indicadores que se deben retomar, elaborar los instrumentos correspondientes, aplicarlos e interpretar los resultados de cara a componentes fundamentales identificados en el proceso. En la prctica, la evaluacin de proceso es complementario necesario e indispensable de la evaluacin de productos. El monitoreo y el seguimiento constituyen procedimientos mediante cuales verificamos eficiencia y eficacia del desarrollo de un proyecto (su PROCESO), identificando sus logros y debilidades y, recomendando medidas correctivas para optimizar los resultados esperados del proyecto.
16

En: Arriagada R. (2002), Diseo de un sistema de medicin de desempeo para evaluar la gestin municipal: una propuesta metodolgica. ILPES, Santiago de Chile, p. 65-67.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

44

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

El monitoreo y el seguimiento durante el desarrollo de los procesos genera los siguientes beneficios: identifica fallas en el diseo y el plan de ejecucin; establece si el proyecto se est realizando conforme al plan; examina continuamente los supuestos del proyecto, determinando as el riesgo de no cumplir con objetivos; determina la probabilidad de que se produzcan los componentes o productos en la forma planificada; verifica si los componentes resultarn en el logro del propsito; identifica problemas recurrentes que necesitan atencin; recomienda cambios al plan de ejecucin del proyecto; ayuda a identificar soluciones a problemas; y establece vnculos entre el desempeo de las operaciones en marcha.

Estos beneficios se logran visualizar, ms especficamente con un enfoque de proceso. Sin embargo, como ya se plante anteriormente, producto y proceso son dos aspectos de un mismo fenmeno. Es a travs del proceso que se logra el producto. La calidad del producto depende de la calidad del proceso He aqu la importancia de la reflexin a la que estamos invitadas/os de cara al aprendizaje de experiencias relacionadas con evaluacin de procesos y de productos.

3.2. EVALUACIN DE PRODUCTOS (RESULTADOS, EFECTOS, IMPACTOS)


La evaluacin de productos se acompaa de la gestin basada en el desempeo y de la asignacin de responsabilidad conforme a rendicin de cuentas. La efectividad17 en la obtencin de los productos es el horizonte que de manera concatenada establece un sistema evaluativo. El procedimiento supone que la eficiencia est en funcin de la eficacia y no a la inversa, aunque por supuesto la eficiencia siempre ser un factor a tomar en cuenta para garantizar la efectividad del conjunto. 3.2.1. nfasis en los PRODUCTOS Los productos son todas las consecuencias materiales y culturales que se derivan de las actividades y abarcan a los resultados, los efectos y los impactos.

17

La efectividad consiste en una eficacia eficiente, donde la eficiencia de hecho facilita lograr tambin la eficacia.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

45

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

PRODUCTOS ACTIVIDADES RESULTADOS EFECTOS IMPACTOS

RESULTADOS Los logros cuantitativos que el equipo se propone obtener en un tiempo determinado y relativamente corto (POA). Ej: Introducir en 100 parcelas la tecnologa de cultivo orgnico. EFECTOS Las modificaciones inmediatas provocadas directamente por el uso/aplicacin de los productos en las poblaciones locales. Ej.: El incremento de abono verde en las parcelas por efecto de la aplicacin de tecnologa orgnica. IMPACTOS Las transformaciones profundas en el habitat y la vida de la poblacin, las reducciones (o no) en los indicadores de pobreza, como consecuencia de las acciones del proyecto y de los esfuerzos de la poblacin local. Ej: La apropiacin campesina de la tecnologa orgnica para mejorar su produccin; los cambios en seguridad alimentaria y/o ingresos familiares. 3.2.2. Alcance de PRODUCTOS COMUNIDAD Corresponde a las transformaciones que se dan en el entorno institucional, en tanto fortalecen la participacin comunitaria. En este nivel se sitan los resultados de alcance global a nivel de la comunidad, que afectan el contexto en que operan los habitantes, organizaciones e instituciones en una jurisdiccin local. LIDERAZGO COMUNITARIO Son los cambios en la gestin del liderazgo en la comunidad, que favorecen o inhiben la eficiencia y eficacia en el uso de recursos disponibles en la comunidad a travs de acciones directas e indirectas. A este nivel pertenecen los resultados que promueven la acumulacin de capital social y el empoderamiento de las organizaciones locales y de representacin que intervienen en el mbito comunitario. GRUPOS META Son los cambios en las condiciones de vida material y espiritual de las personas y familias, localizadas en un territorio reconocido como el rea de influencia directa del proyecto. En este nivel se producen beneficios directos para la poblacin afectada por la gestin del proyecto. 46

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

3.2.3. Tipos de PRODUCTOS: Tangibles e Intangibles Los resultados de las acciones son de distinta magnitud y cualidad, y combinan aspectos materiales y subjetivos. Los resultados de los procesos de desarrollo comunitario son, adems de cambios en bienes y servicios, transformaciones integrales que influyen aspectos interiores y sutiles de las personas y las colectividades, que estn relacionados entre s como un continuum de resultados tangibles e intangibles. PRODUCTOS TANGIBLES Son los cambios locales que se registran empricamente y se los constata directamente, pues son eventos que se observan, cuentan, miden y documentan en forma inmediata. PRODUCTOS INTANGIBLES Son los cambios locales ms sutiles, culturalmente aceptados, que tambin se registran y documentan de manera indirecta. Robles y Luna (1999, 10) valoran los productos de la ejecucin de un proyecto en 4 niveles: 1. ACTIVIDADES: Cantidad, calidad y orientacin de las acciones y tareas concretas que se desarrollaron para obtener los productos programados. 2. RESULTADOS: Productos concretos de la ejecucin de las polticas, programas o proyectos evaluados, tales como bienes producidos y/o productos prestados. Pueden corresponder con los objetivos especficos en la programacin 3. EFECTOS: Productos obtenidos al utilizar los resultados. Pueden corresponder con los objetivos generales o propsitos en la programacin. 4. IMPACTO: Productos obtenidos al utilizar los efectos, los cuales aseguran la permanencia y continuidad de los logros alcanzados, ms all de la vida til de las polticas, programas o proyectos evaluados. Pueden corresponder con la misin de la organizacin y/o con el fin en la programacin. 3.2.4. Evaluacin de Impacto Etimolgicamente impacto es huella o seal dejada. En tal sentido, el concepto de impacto se refiere a productos como cambios o variaciones en el grado de estructuracin. Desde la perspectiva de las acciones de programas y proyectos, el impacto se puede dividir en dos vertientes, ambas vlidas y necesarias. a. Las acciones tendientes a cambios concretos, directos, tangibles e inmediatos en el ambiente, tales como la descontaminacin de un ro. b. Las acciones tendientes de ampliacin de la conciencia social, como base para los cambios sociales en cuanto a actitudes, comportamientos y relacin con el ambiente en general, principalmente de las futuras generaciones. 47
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

* Asuntos centrales de la evaluacin de impacto se resumen as: a. Cambios Cambiarn / estn cambiando / o han cambiado significativamente las condiciones iniciales del ambiente, grupos sociales, instituciones u organizaciones involucradas,... a travs de acciones que se derivarn / se derivan / o se derivaron de la intervencin? b. Sentido de los cambios Si es as, cul es el sentido de los cambios que se observarn / se observan / se observaron? Hay que considerar que cambios no siempre son positivos, hay efectos no previstos que pueden variar sustancialmente el rumbo de la intervencin. c. Medicin En qu medida sern observables / son observados / o se observarn los cambios? d. Atribuibilidad Hasta qu punto los cambios observables / observados / que se observarn, pueden atribuirse al tipo y caractersticas de la intervencin que se trate, o a las condiciones del ambiente? O bien, de qu forma se combinan ambos factores para producir los cambios buscados? Siempre intervienen varios factores internos y de contexto que contribuyen o limitan en el avance y los resultados. Es relevante determinarlos, as como su proporcin de impacto en los cambios, resultados o impacto. * Mtodos ms comunes de evaluacin de impacto (Budinich,1998, 51)

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

48

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

3.2.5. Evaluacin del IMPACTO de proyectos de desarrollo?18 La evaluacin del impacto tiene el objeto de determinar en forma ms general si el programa produjo los productos deseados en las personas, hogares e instituciones y si esos productos son atribuibles a la intervencin del programa. Las evaluaciones de impacto tambin permiten examinar consecuencias no previstas en los beneficiarios, ya sean positivas o negativas. Algunas de las preguntas que se abordan en la evaluacin del impacto: Cmo afect el proyecto a los beneficiarios? Algn mejoramiento fue el resultado directo del proyecto o se habra producido siempre? Se podra modificar el diseo del programa para mejorar sus repercusiones? Se justificaban los costos? Para asegurar un rigor metodolgico, una evaluacin del impacto debe estimar el escenario contrafactual o simulado alternativo, es decir, lo que habra ocurrido si el proyecto nunca se hubiera realizado. Esto se logra con la ayuda de grupos de comparacin o de control (aquellos que no participan en un programa ni reciben beneficios), que luego se comparan con el grupo de tratamiento (personas que reciben la intervencin). Los grupos de control se seleccionan en forma aleatoria de la misma poblacin que los participantes del programa, mientras que el grupo de comparacin es simplemente el grupo que no recibe el programa que se est investigando. Los grupos de comparacin y de control deben ser semejantes al grupo de tratamiento en todo aspecto y la nica diferencia entre los grupos es la participacin en el programa. * Mtodos Cuantitativos para evaluar el impacto de un programa Dado que ningn mtodo es perfecto, siempre es conveniente hacer una triangulacin. Diseos de control experimental o aleatorio_ Aleatorizacin: la seleccin para grupos de tratamiento y de control es aleatoria dentro de un conjunto bien definido de personas. Diseos no experimentales o cuasi-experimentales * Mtodos de pareo o controles construidos. El grupo de comparacin se compara con el grupo de tratamiento sobre la base de un conjunto de caractersticas observadas. * Mtodos de doble diferencia o diferencia en las diferencias, en los cuales se compara un grupo de tratamiento y uno de comparacin antes (primera diferencia) y despus de un programa (segunda diferencia). * Comparaciones reflexivas, en las cuales se realiza una encuesta bsica o de referencia de los participantes antes de la intervencin y luego se realiza una encuesta de seguimiento. La encuesta bsica proporciona el grupo de comparacin y el efecto se mide mediante el cambio en los indicadores de resultado antes y despus de la intervencin. * Mtodos Cualitativos Por ejemplo la observacin de participantes, puede proporcionar informacin sobre las formas en que los hogares y las comunidades locales perciben un proyecto y cmo se ven afectados por ste. Entre las metodologas que se usan en las evaluaciones cualitativas
18

Retomado y adecuado de: Baker J. (2000), Evaluacin del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales. BM, Washington, p. 9.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

49

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

de los efectos se encuentran las tcnicas elaboradas para la evaluacin rural rpida, las que se basan en el conocimiento de los participantes sobre las condiciones que rodean al proyecto o el programa que se est evaluando, o las evaluaciones participativas, en que las partes interesadas intervienen en todas las etapas de la evaluacin. La validez y confiabilidad de los datos cualitativos depende en gran medida de la habilidad metodolgica, sensibilidad y capacitacin del evaluador. * Integracin de Mtodos Cuantitativos y Cualitativos Aunque existe abundante literatura en que se comparan los mtodos cuantitativos con los cualitativos en la evaluacin del impacto, cada vez hay ms aceptacin de que es necesario integrar los dos enfoques. Las evaluaciones de impacto que se basan en datos cuantitativos de muestras estadsticamente representativas son ms adecuadas para evaluar la causalidad. Sin embargo, los mtodos cualitativos permiten estudiar cabalmente los temas, casos o hechos seleccionados y pueden proporcionar informacin decisiva sobre las perspectivas de los beneficiarios, la dinmica de una determinada reforma o los motivos de ciertos resultados observados en un anlisis cuantitativo. Existen significativas ventajas y desventajas en la seleccin de una tcnica u otra. * Otros enfoques para la Evaluacin de Impacto Hay otros temas que son especialmente pertinentes al momento de analizar la evaluacin de las repercusiones de los proyectos en la pobreza:(a) los enfoques para medir el efecto de los programas de ajuste estructural y (b) evaluaciones basadas en la teora. En ambos se incorporan muchas de las metodologas antes analizadas, pero cada uno utiliza un enfoque diferente. Sin embargo este tipo de evaluaciones de impacto ya sobrepasa lo que es el mbito de la evaluacin en el marco de la Gestin del desarrollo comunitario. * Eleccin de una metodologa Cada estudio de evaluacin de impacto ser diferente y requerir cierta combinacin de metodologas cuantitativas/cualitativas. El/la facilitador(a) debe examinar con cuidado opciones metodolgicas con el objetivo de producir los resultados ms slidos posibles. Es ideal combinar mtodos cuantitativos y cualitativos, porque esto proporcionar el efecto cuantificable de un proyecto y una explicacin de los procesos e intervenciones que originaron estos resultados. Aunque cada evaluacin del impacto tendr caractersticas nicas que requieren diferentes enfoques metodolgicos, el establecimiento en tiempo y forma de una lnea base es un requisito fundamental para la evaluacin de impacto.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

50

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

* Principales pasos en el diseo e implementacin de una evaluacin de impacto: Durante la identificacin y preparacin del proyecto 1. Determinar si realizar o no una evaluacin 2. Aclarar los objetivos de la evaluacin 3. Examinar la disponibilidad de datos 4. Disear la evaluacin 5. Formar el equipo de evaluacin 6. Si se recopilan datos:
(a) Disear y seleccionar muestras (b) Elaborar instrumentos de recopilacin de datos (c) Reunir y capacitar personal para trabajo en terreno (d) Realizar pruebas piloto (e) Recopilar datos (f) Administrar datos y acceder a ellos

Durante la implementacin del proyecto 7. Recopilar datos actuales 8. Analizar los datos 9. Redactar los resultados y analizarlos con las autoridades responsables y otras partes interesadas 10. Incorporar los resultados en el diseo del proyecto * Puntos Clave para identificar las fuentes de datos para la evaluacin de impacto Conocer bien el programa. Recopilar informacin sobre los hechos estilizados pertinentes al entorno. Ser eclctico con respecto a los datos (siempre tender a verificar). Las fuentes pueden abarcar entrevistas informales no estructuradas con participantes en el programa y datos cuantitativos de muestras representativas. Asegurarse de que existen datos sobre los indicadores de resultados y variables explicativas pertinentes (sexo, edad, nivel acadmico,). Los datos sobre resultados y otras variables explicativas pertinentes pueden ser cuantitativos o cualitativos. Pero debe ser posible organizar la informacin en cierto tipo de estructura sistemtica de datos. Los datos de las encuestas con frecuencia se pueden complementar con otros datos tiles sobre el programa (como de la base de datos de supervisin del proyecto) o escenario (como de las bases de datos geogrficas). Qu otros aspectos le parecen fundamental para tomar en cuenta para el diseo y la aplicacin de una Evaluacin de Impacto? ________________________________________________________________________________ ________________________________________________________________________________
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

51

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

* Principales Instrumentos de recopilacin de datos para la evaluacin de impacto


Tcnica
Estudios de casos

Definicin y uso
Recopilacin de informacin que genere un recuento que puede ser descriptivo o explicativo y puede servir para responder las preguntas cmo y por qu

Fortalezas
Abordar una variedad completa de evidencias de documentos, entrevistas, observacin Pueden agregar poder explicativo cuando se centran en instituciones, procesos, programas, decisiones y sucesos Ventajas similares a las entrevistas (a continuacin) Especialmente tiles cuando se desea una interaccin entre los participantes. Una manera til de identificar las influencias jerrquicas

Debilidades
Son difciles de realizar/repetir Requieren conocimientos especializados de investigacin y redaccin para que sean rigurosos Los resultados no se pueden generalizar a toda la poblacin Tardan mucho tiempo Puede ser costosos y tardar mucho tiempo Deben ser sensible a la combinacin de niveles jerrquicos No se pueden generalizar

Grupos Conversaciones focalizadas con represen- miembros de la poblacin tativos beneficiaria que estn familiarizados con los temas pertinentes antes de redactar un conjunto de preguntas estructuradas. El propsito es comparar las perspectivas de los beneficiarios con conceptos abstractos de los objetivos de la evaluacin. Entrevistas El entrevistador plantea preguntas a una o ms personas y registra las respuestas de los declarantes. Las entrevistas pueden ser formales o informales, directas o por telfono, de interpretacin cerrada o abierta.

Las personas e instituciones pueden explicar sus experiencias en sus propias palabras y entorno Son flexibles, permitiendo que se explore vas de indagacin no previstas y sondee temas en profundidad Especialmente tiles cuando se prevn dificultades de lenguaje. Mayores posibilidades de obtener informacin de funcionarios superiores

Tardan mucho tiempo Pueden ser costosas Si no se realizan adecuadamente, el entrevistador puede influir en la respuesta del entrevistado

Observa- Observacin y registro de una Proporciona informacin descriptiva cin situacin en un registro o diario Esto sobre el entorno y los cambios incluye quin participa; qu sucede, observados cundo, dnde y cmo. La observacin puede ser directa (el encuestador observa y registra) o participativa (el observador se hace parte del entorno durante un perodo). Cuestionarios Elaboracin de un conjunto de preguntas de encuesta cuyas respuestas se pueden codificar coherentemente Pueden llegar simultnea a una muestra amplia Da tiempo a los declarantes para pensar antes de responder Anonimidad Imponen uniformidad al preguntar lo mismo a todos los declarantes Facilita obtencin/ comparacin de datos Permite identificar problemas e investigarlos en ms detalle y proporciona evidencia de acciones, cambios y efectos para apoyar las percepciones de los declarantes Pueden ser costosos

La calidad y utilidad de los datos dependen en gran medida de las capacidades de observacin y redaccin del encuestador Los resultados pueden ser susceptibles a diversas interpretaciones No se aplican fcilmente dentro de un plazo breve al cambio de proceso

La calidad de las respuestas depende en alto grado de la claridad de las preguntas Puede significar que hay que ajustar las actividades institucionales y las experiencias de las personas dentro de categoras predeterminadas Puede tardar mucho tiempo

Anlisis de documentos escritos

Revisin de documentos como registros, bases de datos administrativas, materiales de capacitacin y correspondencia.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

52

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Para concluir esta decisin sobre Evaluacin de Productos, citamos a Quintero Uribe (1995, 115), quien en cuanto a la evaluacin de los resultados plantea: En tal sentido, la Evaluacin de Resultados debe mirarse al menos en los siguientes niveles: . Evaluacin final de la eficacia del proyecto (relacin entre resultados y meta / objetivos) . Evaluacin final de la eficiencia del proceso (relacin entre resultados y medios) . Evaluacin de la Estrategia y de cada Tctica (bondades y limitantes del modelo que orient toda la marcha del Proyecto) Por Evaluacin de Impacto se entiende en este texto (p. 118): El proceso de identificacin, anlisis y explicitacin de los cambios o modificaciones que se han producido en las condiciones sociales de la poblacin-sujeto y en su entorno, como consecuencia de la aplicacin del proyecto. Realmente, la evaluacin de impacto es la valoracin de lo que deja la accin institucional despus de un tiempo de haberse realizado los planes, programas o proyectos. * Utilidad de la evaluacin de impacto La evaluacin de impacto permite:
_ registrar y analizar todas las experiencias (positivas y negativas), (mediante la comparacin en el grupo control), sistematizndolas; _ evaluar el contexto socioeconmico y poltico en que se da la experiencia; _ identificar los actores involucrados y su peso especfico en los resultados; _ estudiar la articulacin interinstitucional y pblico-privado; _ ofrecer estudios de costo-beneficio; _ concertar aportes de los tcnicos en gestin, mediante la difusin de la informacin proveniente de la evaluacin y su posterior discusin entre todos los responsables de la gestin; _ informar de forma clara y objetiva a los responsables de la toma de decisiones sobre la marcha de los programas; esta retroalimentacin promueve el reforzamiento institucional.

Coincide esto con su experiencia en cuanto a Evaluaciones de Impacto? ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ 53

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

3.2.6. Productos de Procesos Como ya sealbamos anteriormente, todo resultado, efecto o impacto constituye un PRODUCTO de un PROCESO, la diferencia puede enfocarse a proyeccin temporal y a complejidad de accin. No siempre es un asunto tan fcil diferenciar miremos el siguiente ejemplo y comentmoslo (CERIS, 2003, 10): Un ejemplo del mbito de los pequeos proyectos El ao pasado, cuando estbamos pidiendo los informes a los grupos que no los haban hecho, uno de ellos nos dijo que no haban elaborado el informe porque el proyecto haba terminado y no haba resultados. Indagu sobre los motivos del fracaso del proyecto. Era un proyecto para organizar una delegacin de mujeres del Sindicato de los Trabajadores Rurales (STR). Al final del curso, ellas no volvieron al sindicato porque prefirieron hacer una asociacin de mujeres para resolver el problema del saneamiento bsico, ya que segn ellas, muchos nios y nias estaban muriendo de enfermedades digestivas provocadas por la falta de infraestructura de agua y desage. Y?. Pregunt. Qu estn haciendo? Ah!, no sabemos con seguridad, parece que estn negociando con la municipalidad y los concejales; ya vimos hasta algunos funcionarios de la municipalidad visitando los barrios con ellas!. Desde entonces me pregunto: de qu resultados estamos hablando? Por una parte, el Sindicato tena razn al afirmar que el proyecto no alcanz los resultados esperados, dados los objetivos previstos en el proyecto. Me parece que el error del Sindicato fue llegar con un proyecto totalmente elaborado para las mujeres sin contar con ellas en la elaboracin del mismo, determinando hasta dnde ellas deberan llegar y posteriormente evaluando para verificar si alcanzaron o no la meta prevista. Comentarios y conclusin? ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________ Para seguir ejemplificando la concepcin variada en cuanto a la Evaluacin de Productos o Evaluacin de Resultados, a continuacin un aporte del BM sobre Evaluacin de Efectos (BM, 2000, 20): La evaluacin de los efectos es la identificacin sistemtica de las repercusiones positivas o negativas, deliberadas o involuntarias en los individuos, hogares, instituciones y el medio ambiente, como consecuencia de una determinada actividad de desarrollo, por ejemplo, un programa o proyecto. La evaluacin de los efectos nos ayuda a 54

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

comprender mejor hasta qu punto las actividades llegan a los pobres e influyen en su bienestar. Sirve para: Medir los resultados y efectos de una actividad y distinguir entre stos y la influencia de otros factores externos. Para ayudar a aclarar si los costos de una actividad estn justificados y orientar las decisiones sobre la conveniencia de ampliar, modificar o eliminar proyectos, programas o polticas. Para comparar la eficacia de intervenciones alternativas y para contribuir a una mejor rendicin de cuentas sobre los resultados. Su ventaja es que permite estimar la magnitud de los resultados y los efectos para diferentes grupos demogrficos y regiones o a lo largo del tiempo; da respuesta a algunas preguntas fundamentales del desarrollo: Estamos haciendo realmente algo? Cules son los resultados sobre el terreno? Cmo podemos hacer las cosas mejor? El anlisis y el rigor sistemtico pueden dar a los administradores y autoridades mayor confianza en la toma de decisiones. Sus inconvenientes son que es costosa y lenta. Resulta menos til cuando las autoridades necesitan la informacin con rapidez. Su costo es elevado. Algunas de las evaluaciones de los efectos realizadas por el Banco Mundial han oscilado entre US$200.000 y US$900.000, segn la magnitud, complejidad y requisitos de recopilacin de datos del programa. Se requieren de slidos conocimientos sobre el diseo de investigaciones sociales, gestin, anlisis y presentacin de informes. Sera aconsejable un equilibrio entre las capacidades de investigacin cuantitativa y cualitativa por parte del grupo de evaluacin. Puede durar hasta dos aos, o ms. Hasta aqu la versin del BM sobre Evaluacin de Efectos. Comentarios? ________________________________________________________________________________

3.3. IDENTIFICACIN DE FACTORES INCIDENTES Y SUS SIGNIFICADOS


Entre los factores incidentes podemos distinguir factores que han facilitado el xito, el buen desarrollo del proceso y por consiguiente el logro de los productos previstos y factores que ms bien han obstaculizado el proceso. Adems de identificar dichos factores es indispensable tambin llegar a valorar sus significados, los cuales puedan ser diferenciados dependiendo del grupo de personas relacionadas. Arraigada (2002, 67) hace referencia a factores crticos de xito y dice: Estos factores son aquellos que pueden apoyar significativamente el mejoramiento de los procesos claves de una organizacin, y por lo tanto, tambin colaborar significativamente con el logro de los objetivos estratgicos que se apoyan en los procesos claves. Estos factores no son absolutos y dependen de la naturaleza de la organizacin y de su realidad especfica. Esto significa que pueden existir organizaciones de igual naturaleza, que al tener realidades distintas requieran de distintos factores crticos para apoyar el mejoramiento, ya que desde sus realidades poseen distintas referencias y necesidades para el mejoramiento. 55
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Es posible identificar un conjunto de factores crticos de xito comunes a las organizaciones, pero de distintas magnitudes de impacto a las organizaciones. Existen muchos estudios que identifican los factores crticos de xito para distintos procesos; tales como: la planificacin estratgica, la administracin de proyectos, la implementacin de proyectos, etc., sin embargo lo comn NUNCA reemplazar lo particular. Entre factores comunes que inciden positivamente en la implementacin de un proceso de evaluacin:
* Apoyo de la direccin superior: proporciona liderazgo, fortaleza, motivacin y compromiso, necesarios para sentar las bases del trabajo en equipo. * Personal adecuado: es fundamental que el personal tenga los conocimientos, la experiencia y la capacidad para interactuar y crear sinergia en torno a su equipo. * Calidad y precisin del plan: una efectiva planificacin traza la diferencia entre la eficiencia y la improvisacin; la planificacin es vital para iniciar cualquier propuesta de mejoramiento. * Trabajo en equipo: es un importante componente en la eficiencia, ya que la planificacin se apoya fundamentalmente en el trabajo en equipo, el que fortalece el sentido de pertenencia y mejora significativamente el clima organizacional.

Un sistema de evaluacin no slo debe identificar e interpretar los factores que inciden en los procesos, tambin hay que construir conciencia en cuanto a los factores, que a su vez, inciden en el desarrollo del sistema de seguimiento y evaluacin Cules son factores principales para que un sistema de evaluacin sea exitoso?19 Que los intereses y criterios de cada nivel de usuario estn representados El sistema debe considerar, estructuradamente, indicadores y descriptores relacionados desde el rea social, poltico, tcnico, econmico, ambiental, etc. Que el sistema est diseado para evolucionar en el tiempo y en los temas La recoleccin de datos debe estar diseada para evolucionar en el tiempo y alargar el campo temtico de cobertura, sobre la base del desarrollo de una demanda de informacin. La demanda, a su vez, se crea con la experiencia acumulada durante la ejecucin y la retroalimentacin de informacin vlida sostenida en el tiempo. Que exista una capacidad institucional para acoger y utilizar los datos obtenidos El objetivo y la razn de ser de un sistema de evaluacin es la retroalimentacin para mejorar la toma de decisiones, y reorientar el trabajo hacia ejes que permitan un mayor impacto. Sin un asiento, aceptacin y uso institucional de la informacin, el sistema pierde su razn de ser y se vuelve un estrato burocrtico ms.
Retomado de: Speelmans M. (s.f.), Preguntas ms frecuentes y lecciones extradas sobre sistemas de S/E. Internet, p. 8 PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO
19

56

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

3.4. MTODOS DE EVALUACIN RPIDA


En la prctica no siempre hay tanto tiempo para planificar y ejecutar procesos complejos y largos de evaluacin. De all que han ido surgiendo algunos mtodos llamados de Evaluacin Rpida. Se consideran algunas referencias al respecto bajo este apartado. Por ejemplo la FAO (Food and Agriculture Organization de Naciones Unidas)20 hace referencia a las MDR, Metodologas de Diagnstico Rpido, en la evaluacin de proyectos: La caracterstica bsica que distingue las Metodologas de Diagnstico Rpido es el uso de la triangulacin para validar los resultados. Por triangulacin se entiende la recopilacin de datos de al menos dos fuentes diferentes preferiblemente utilizando dos tcnicas diferentes (por ejemplo entrevistas con los principales informadores, grupos focales, sondeo), para cada cuestin que se estudie y llevar/sintetizar esta informacin en el tercer punto del tringulo. Las etapas del diagnstico rpido se indican a continuacin. Esta han de seguirse, ms o menos en el orden cronolgico que se indica o, si es posible, simultneamente: 1. Revisin de la bibliografa disponible: informes, revistas tcnicas; estudios de casos, datos demogrficos y documentos de referencia; mapas generales; e informes de proyectos. 2. Recopilacin de datos cuantitativos procedentes de datos estadsticos disponibles a nivel local, nacional o internacional (internet); informes de proyectos; anlisis de datos existentes. 3. Entrevistas con los principales informadores tanto agentes de desarrollo externos como internos al proyecto. (otros donantes, ONGs con intereses similares, autoridades locales,). Durante esta fase, el objetivo es determinar las preguntas de base y establecer una primera lista de temas que se utilizar para las encuestas sobre el terreno. 4. Grupos focales a diferentes niveles. Aqu es necesario tomar en cuenta:
* grupos focales pequeos (entre 5 y 15) y homogneos (edad, sexo, status socio-econmico,); * utilizacin de grupos de control, o sea, grupos focales constituidos por personas que no son beneficiarios del proyecto pero presentan caractersticas anlogas a los grupos metas; * utilizacin de agentes externos al proyecto como informadores; p.ej.: el personal de centros de salud, instituciones de crdito y los maestros(as) de escuelas que conozcan la comunidad. Tales agentes pueden brindar informacin cualitativa de inters sobre la situacin local.

5. Observaciones sobre el terreno: para verificar lo que estn haciendo efectivamente los participantes del proyecto; mediciones tangibles del nivel de vida, por ejemplo, y lo que realmente se ha obtenido en presencia de lo que se ha informado.

20

FAO, Metodologas de Diagnstico Rpido para Evaluar el Impacto. http://www.fao.org/pbe/pbee/docs/other/field_proj/sp/rapid_s.htm, 9 pp.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

57

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

6. Retro-alimentacin y verificacin al nivel de la aldea/comunidad de las conclusiones de la misin hacia los participantes del proyecto. En este primer nivel, las conclusiones se comparten en una amplia reunin para tratar de conseguir confirmacin, aprobacin e ideas para su eventual aplicacin y/o reforma. 7. Retro-alimentacin, verificacin y revisin de las conclusiones a nivel institucional. Los debates se centran aqu en reuniones de intercambio de experiencias entre las mltiples partes interesadas y si es posible a travs de talleres interinstitucionales para:
* Evaluar la validez, pertinencia y posible uso de los resultados con agentes de desarrollo internos y externos al proyecto; * Contribuir al prximo plan de trabajo, detectar obstculos administrativos y de otro tipo que han de superarse; * Identificar criterios adicionales de xito; * Identifica medidas que aseguren la sostenibilidad y/o "institucionalizacin" de los resultados.

8. El posible uso de mini-encuestas al final del proceso investigativo. Estas miniencuestas constaran de pocas preguntas bien definidas y orientadas, y se basaran preferiblemente en un muestreo al azar con grupos de control. Las mini-encuestas se utilizaran para:
* Establecer datos sobre las personas incluidas en el proyecto, especialmente las que viven en entornos sociales complejos; * Responder a las preguntas que siguen sin respuesta; * Cuantificar conclusiones y/o proporcionar informacin cuantitativa en apoyo a conclusiones.

El Banco Mundial (2002, 14), al referirse al Seguimiento y Evaluacin: Instrumentos, mtodos y enfoques, tambin plantean la pregunta: Qu son Mtodos de Evaluacin Rpida? y responden: Se trata de mtodos rpidos y de bajo costo para obtener las opiniones y comentarios de los beneficiarios y otras partes interesadas, con el fin de atender las necesidades de informacin de los responsables de la toma de decisiones. Se podran utilizar para: _ Ofrecer informacin rpida para la toma de decisiones, sobre todo en relacin con los proyectos o programas. _ Ofrecer una comprensin cualitativa de los complejos cambios socioeconmicos, las situaciones sociales fuertemente interactivas, o los valores, motivaciones y reacciones de las personas. _ Ofrecer el contexto e interpretacin para los datos cuantitativos recopilados mediante mtodos ms formales. Sus principales ventajas son su bajo costo, rapidez y flexibilidad para explorar nuevas ideas. Los resultados normalmente se refieren a comunidades o localidades especficas, 58

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

lo que dificulta su generalizacin y por lo que son menos vlidos, fiables y crebles que las encuestas formales. Se requiere de una capacidad de realizar entrevistas no guiadas, de dotes de moderador, observacin sobre el terreno, toma de notas y conocimientos estadsticos bsicos. Se hace en cuatro a seis semanas, segn la cantidad y ubicacin de las personas involucradas. Mtodos de evaluacin rpida Entrevista a informantes clave: serie de preguntas abiertas formuladas a algunos individuos seleccionados por su conocimiento y experiencia en un tema de inters. Las entrevistas son cualitativas, en profundidad y semi-estructuradas. Estn basadas en guas de entrevista en que se recogen los temas o preguntas. Debates en grupos focales: debate moderado entre ocho a 12 participantes cuidadosamente seleccionados, con antecedentes semejantes. Los participantes podran ser beneficiarios o personal del programa, por ejemplo. El moderador utiliza una gua de debate. Se toma nota de las observaciones y comentarios. Entrevista de grupos comunitarios: serie de preguntas y debates moderados en una reunin abierta a todos los miembros de la comunidad. El entrevistador sigue un cuestionario cuidadosamente preparado. Observacin directa: utilizacin de un formulario de observacin detallado para registrar lo que se ve y oye en el sitio de un programa. La informacin puede referirse a actividades en curso, procesos, debates, interacciones sociales y resultados observables. Mini-encuesta: cuestionario estructurado con un nmero limitado de preguntas con respuestas estructuradas que se aplica a 50-75 personas. La seleccin de los encuestados puede ser aleatoria o deliberada (entrevistas a las partes interesadas en dispensarios, por ejemplo, para una encuesta sobre la atencin de la salud). Y cules son sus experiencias en la aplicacin de mtodos de evaluacin rpida? ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________

DRRP _ Diagnstico Rural Rpido y Participativo; EER _ Evaluacin Epidemiolgica Rpida; En el siguiente captulo se abordarn asuntos especficos relacionados con seguimiento y evaluacin dentro del marco de programas de cooperacin para el desarrollo.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

59

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

4. Seguimiento en Proyectos de Cooperacin


Considerando que todas y todos las y los participantes de este curso, de este programa de especializacin, a travs de sus organizaciones o instituciones, de una u otra forma estn relacionadas/os con la cooperacin, se decidi incluir un captulo con aportes desde experiencias en el Seguimiento al desarrollo de Proyectos de Cooperacin. Despus de una breve introduccin con referencias puntuales sobre el asunto, incluimos aportes de GTZ de Alemania y de VOLENS_itinerans Blgica, a travs de la coordinacin regional para Centroamrica. De parte de GTZ (Klinger, 1998, 6) se plante la pregunta qu se opina del seguimiento en
la prctica cotidiana de los proyectos.

Retomamos algunas de las respuestas como

aportes para esta introduccin al captulo e invitamos al comentario e intercambio productivo:


El seguimiento consume muchsimo tiempo, energa y dinero, y produce pocos resultados concretos. El costo no guarda relacin con los beneficios. Al fin un instrumento que es realmente una ayuda!. Si tuviese que ponerme al da con todos los lineamientos, recomendaciones e instrucciones en materia de seguimiento, tendra que dedicar dos aos nada ms que a estudiarlas. Quin puede creer todava que se puede abarcar y medir la realidad con un sistema tan amplio y tan difcil de organizar? El seguimiento no produce ms que frustraciones y cementerios de datos. Despus de trabajar cinco aos en seguimiento, todava no s realmente cmo funciona. El seguimiento es difcil, pero es apasionante y tiene mucha ms vida de lo que se cree. El seguimiento no es ms que otro mecanismo de control impuesto desde arriba. Lo nico que hace es distraernos del trabajo prctico. No nos sirve para nada. Cmo vamos a llegar nunca al seguimiento, si ya la planificacin apenas cumple con los requerimientos y estamos todo el tiempo completndola, modificndola y reelaborndola? En nuestros proyectos hay un exceso de administracin. Lo que falta es conduccin. Tal vez el seguimiento nos ayude a corregir esta tendencia.

Cul es nuestra respuesta a la pregunta? Con cul de las anteriores respuestas nos identificamos ms? Por qu? 60

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

ICCO (2000, 7), de Holanda, expresa tres inquietudes clave: Cmo mejorar nuestra comunicacin sobre temas relacionados con los programas y proyectos en los que cooperamos? Qu tipo de informacin debera tener disponible una ONG del Hemisferio Sur para demostrar que est actuando como un organismo de implementacin responsable? Qu clase de informacin debera tener una agencia para demostrar que est actuando como un organismo de financiamiento responsable? Ms adelante en el mismo documento observa: Si bien algunas ONGs del Hemisferio Sur siguen percibiendo en forma bastante marcada que el sistema de Planificacin, Monitoreo y Evaluacin es una imposicin de los organismos, muchas han comenzado a considerarlo como un instrumento indispensable para su propia autodeterminacin y aprendizaje, as como tambin una herramienta que les ayuda a responder ante las organizaciones de base y los organismos encargados del financiamiento, sean stos gubernamentales, multilaterales o privados. No obstante, a menudo los mtodos son inadecuados y tienden a inclinarse ms por la planificacin y la evaluacin (incluidas las herramientas de participacin), que por el monitoreo y anlisis de los proyectos. Y en nuestro organismo, cmo percibimos las tareas de Evaluacin, Monitoreo, Seguimiento y Evaluacin? Se han convertido en instrumentos indispensables? Por qu s, o por qu no? ________________________________________________________________________________ ________________________________________________________________________________ ________________________________________________________________________________

4.1. GTZ (Cooperacin Tcnica Alemana, ya mencionado en los textos anteriores)


Retomado de: Klinger E. (1998), El seguimiento en los proyectos de cooperacin tcnica. GTZ, Alemania, p. 7 y adelante. Para qu sirve el seguimiento en los proyectos de cooperacin tcnica? El seguimiento no es un fin en si mismo. El esfuerzo que requiere slo se justifica si sirve a la conduccin del proyecto. Por ello, el seguimiento debe ayudar a: * orientar su trabajo hacia los resultados y objetivos que aspira a lograr el proyecto e * informar a los niveles superiores de decisin sobre la marcha del proyecto. El criterio esencial para determinar la calidad del seguimiento es si contribuye a mejorar la conduccin de un proyecto.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

61

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

... El aspecto clave del nuevo enfoque es la negociacin [...] Los resultados de la evaluacin ya no son vistos como una descripcin verdadera de las cosas como son en realidad o como funcionan en la vida real. Son construcciones creadas en un proceso iterativo entre evaluadores y otros interesados. No obstante, tampoco este enfoque puede prescindir de datos concretos. En la cooperacin con los grupos destinatarios, el seguimiento puede contribuir a
* profundizar las relaciones en sentido cualitativo y cuantitativo, * iniciar procesos de concertacin sobre los objetivos y los medios para alcanzarlos y * desarrollar formas adecuadas de participacin e iniciar procesos de seguimiento propios de los grupos destinatarios.

En la columna de supuestos y riesgos de la matriz de planificacin (ML) se identifican factores de influencia relevantes, que estn ligados a hiptesis de riesgo implcitas:
* Qu puede suceder si tal o cual condicin se da/no se da? * Qu efectos podra tener esto para la ejecucin del proyecto? * Cmo se puede determinar si se producen condiciones de riesgo?

Es aconsejable retomar esas reflexiones en el seguimiento, eventualmente reformular las principales hiptesis de riesgo y determinar los aspectos centrales que deben observarse. De este modo el potencial de riesgo resulta ms transparente y el equipo del proyecto aguza la atencin hacia estos aspectos. Para reas particularmente sensibles se pueden acordar de antemano medidas para contrarrestar dichos peligros. Aspectos prcticos del seguimiento interno del proyecto: en todo proyecto se lleva a cabo un seguimiento, lo veamos o no. Por ello, una forma de empezar a desarrollar el seguimiento interno del proyecto puede ser:
* realizar un inventario de las vas de comunicacin utilizadas y * determinar con qu mtodos se obtienen actualmente las informaciones y cmo se llega a una valoracin comn.

La calidad del seguimiento puede valorarse, en definitiva, de acuerdo al grado en que facilita las decisiones propias de la conduccin del proyecto y su implementacin en la prctica. Toda modificacin del seguimiento interno del proyecto tiene que servir para mejorar la ejecucin del proyecto; de lo contrario no cumple con su finalidad. Cuando el equipo de un proyecto decide establecer su sistema de seguimiento a fin de mejorarlo, tendra que tener presente desde un comienzo que el seguimiento siempre oscila entre dos polos, a varios niveles: * decisiones individuales - orientacin hacia el consenso, * control - dilogo, * amplios requerimientos de informacin - escasez de recursos para el seguimiento, * necesidad de tomar decisiones sobre la base de informaciones incompletas e imprecisas - pretensin de abarcar toda la complejidad de la realidad del proyecto, * exigencias externas de amplitud de informacin en los informes - necesidad del proyecto a nivel interno de obtener informaciones para la conduccin.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

62

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

En cada caso concreto, slo las personas involucradas pueden encontrar el punto de equilibrio adecuado entre estos dos polos. Una vez determinadas las principales preguntas que habr que examinar y discutir sistemticamente en el momento oportuno, se pueden plantear algunos aspectos prcticos de las actividades de seguimiento:
* Quin necesita qu informaciones, cundo, con qu precisin, elaboradas de qu manera? * Cmo se compilan esas informaciones? * En qu aspectos queremos comparar los logros con las metas fijadas? Con qu frecuencia, en qu ocasiones, con qu intervalos? * Quin debe proporcionar qu informaciones a quin? Quin participa en qu explicaciones? * Cmo se preparan y toman las decisiones? * Qu recursos se requieren para llevar a cabo actividades de seguimiento? * Quin es responsable de qu actividades de seguimiento?

Es inters de todos los involucrados que los procesos de clarificacin y de toma de decisin consuman la menor inversin posible de tiempo y fondos. No siempre es necesario que todos se pongan de acuerdo con todos. Por ello, conviene tener en cuenta:
* Cuntas reuniones de conduccin se requieren para el seguimiento? Quin tiene que participar? * Qu hay que tratar y aclarar en cada ocasin? Qu decisiones habra que tomar? * Con qu frecuencia tienen que realizarse las reuniones, en qu momentos?

Algunos proyectos han realizado experiencias positivas con un modelo de seguimiento descentralizado trasladndolo, por ejemplo, a los crculos de calidad. En este modelo, cada seccin del proyecto se hace responsable del seguimiento correspondiente a su rea y proporciona las informaciones y estimaciones necesarias a la gerencia del proyecto en el marco de reuniones de conduccin que tienen lugar mensual o trimestralmente. La direccin del proyecto dedica un da al mes a realizar visitas de campo, a fin de permanecer, a su vez, en contacto con la realidad. Cada ao se realiza un taller de uno o dos das de duracin. En l se efecta un anlisis retrospectivo y un anlisis de las perspectivas para el futuro, tematizando, de esta manera, la totalidad del curso del proyecto. La fecha de realizacin de un taller suele elegirse de acuerdo a la fecha en la que se confecciona el plan anual de operaciones y/o se presenta un informe, ya que stas son ocasiones ideales para una reflexin conjunta. En el seguimiento de los efectos, el proyecto dirige su atencin a su propia eficacia. El seguimiento de los efectos se centra en cuestiones relativas al aprovechamiento y la utilidad de la contribucin del proyecto: Hasta qu punto aprovechan los grupos destinatarios los servicios ofrecidos por el proyecto? Se da la utilidad prevista? Tambin se observan los efectos no planeados, no intencionales o negativos. El seguimiento de los efectos parte de la interaccin entre la contribucin / los servicios del proyecto y su utilizacin y abarca
* la calidad y el volumen de la contribucin / los servicios del proyecto, * la aceptacin y el aprovechamiento de esta contribucin por parte de los grupos destinatarios, *la utilidad que se deriva para los grupos destinatarios del aprovechamiento de esta contribucin, * los otros efectos reconocibles que se derivan de dicha utilidad.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

63

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Los proyectos son eficaces cuando los grupos destinatarios necesitan la contribucin / los servicios que ellos les ofrecen, los utilizan y gracias a ello pueden desarrollarse en la direccin a la que aspiran. El seguimiento de la contribucin tiene por objeto la cantidad y la calidad de los servicios prestados en un plazo determinado. Ofrece informaciones sobre la rentabilidad y la eficiencia del proyecto: Se estn haciendo las cosas como se debe? Hasta aqu unos extractos del documento correspondiente de la Cooperacin Tcnica Alemana. A continuacin incluimos unos instrumentos en construccin que se aplican dentro del marco del seguimiento al desarrollo de proyectos de cooperacin tcnica de la ONG belga VOLENS_itinerans en Centroamrica.

4.2. INSTRUMENTOS DE SEGUIMIENTO Y EVALUACIN DE VOLENS_ITINERANS


VOLENS_itinerans: http://www.volens.be / info@volens.be Coordinacin Regional para Centroamrica: Luis Van de Velde, <itinerans@navegante.com.sv> Se incluyen dos instrumentos (en construccin) que sirven de gua para el seguimiento a los proyectos de cooperacin personal de Volens Itinerans en la regin centroamericana. Se menciona el ejemplo con datos de la accin Integracin social de jvenes. Las otras acciones en la regin son: Apoyo a procesos de desarrollo rural y Fortalecer la identidad cultural de comunidades mayas. a. Seguimiento a proyectos de Cooperacin en Centroamrica

Hoja de seguimiento a proyectos de cooperacin Volens Itinerans


(Observacin: Como se puede observar en la estructura del contenido del instrumento, ste est
basado totalmente en el Marco Lgico de la Accin y del Proyecto (objetivos, resultados esperados, indicadores y actividades))

AMCE

- Proyecto #:

Objetivo de la accin: Las y los jvenes han sido menos marginados a travs de una mejor integracin social Indicador: Percepcin de niveles de participacin de jvenes en diferentes situaciones relacionadas con su contexto
social.

Resultado 1 de la accin
.Valores estn aportados en procesos de crecimiento; alternativas educativas son fortalecidas.

Resultado 2 de la accin
Estn construidas posibilidades para una cultura juvenil positiva contempornea.

Resultado 3 de la accin
Estn fortalecidas las capacidades pedaggicas para la formacin y acompaamiento de jvenes marginalizados/as. Indicador: Actitud de educador(a) / Promotor(a) hacia jvenes.

Indicador: Nivel de desarrollo


como alternativa educativa.

Indicador: Nivel organizativo


alcanzado (estabilidad).

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

64

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Objetivo del proyecto # Indicador: Resultado 1 del proyecto Indicador Resultado 2 del proyecto Indicador Resultado 3 del proyecto Indicador:

DE LAS ACTIVIDADES DEL PROYECTO: 1. Actividades (generales) previstas en el marco lgico del proyecto: 2. Actividades (ms detalladas) por ao. 2003 2004

2005

Observaciones,

3. Las actividades mencionadas estn llevando el proyecto de cooperacin hacia el logro del objetivo y de los resultados del proyecto de cooperacin?

4. Se debe ajustar, modificar las actividades del/la cooperante para poder lograr los resultados y el objetivo del proyecto? Qu habr que cambiar o modificar?

5. Se debe ajustar, modificar el marco lgico del proyecto del/la cooperante para poder adecuarlo a la dinmica del proceso? Qu habr que cambiar o modificar?

6. Al concluir un contrato de cooperacin: Elementos para la evaluacin final del proyecto: El logro del objetivo y los resultados previstos Otros logros significativos no previstos. Aspectos que no se ha logrado y las razones. Manera y medios como la organizacin local dar seguimiento a este proyecto (sin cooperante)
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

65

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

B. Gua de seguimiento y evaluacin _ cooperantes

Gua para las reuniones y entrevistas de seguimiento y evaluacin de proyectos (con cooperante) Volens Itinerans
1. Direccin Equipo de trabajo Cooperante
Acerca de la evolucin, desarrollo de la organizacin local durante el ltimo ao: - Cules son las dificultades, debilidades, logros, retos,.. generales de la organizacin? - Cmo evoluciona su proceso de planificacin (estratgico, operativo) y de evaluacin? - Han ampliado o disminuido reas de trabajo y proyeccin? Por qu?

2.

Direccin

Resp. de rea

Equipo de trabajo

Cooperante

Grupo meta

Apreciacin sobre el desarrollo del proyecto global donde el/la cooperante est integrado. - Cules son las dificultades, debilidades, logros, retos,.. generales del proyecto amplio donde el/la cooperante est integrado? - Cmo funciona el equipo responsable del proyecto?

3.

Direccin

Resp. de rea

Equipo de trabajo

Cooperante

Grupo meta

Apreciacin sobre el desarrollo del proyecto de cooperacin (el trabajo del /la cooperante) Punto de referencia el Marco Lgico, base line y otras mediciones, RP, Informacin de visitas anteriores. Ver hoja resumen de datos. - La organizacin local garantiza todos los medios necesarios para que el/la cooperante pueda realizar su trabajo y ejecutar el proyecto de cooperacin? - Cmo se desarrolla la integracin y el aporte del/la cooperante en el equipo de trabajo (aporte en la formacin del equipo?) - Cules son las debilidades, dificultades, logros, retos para el futuro de este proyecto de cooperacin (necesidades de cooperacin?) - Cmo se est fortaleciendo el grupo meta? (Cuando se acerque el fin del proyecto: cmo se est preparando la salida del/la cooperante para garantizar la continuidad? )

4.

Direccin

Resp. de rea

Equipo de trabajo

Cooperante

Apreciacin sobre el aporte del/la cooperante en cuanto al fortalecimiento institucional. - Qu hace el/la cooperante en el terreno del fortalecimiento institucional (ms all del propio proyecto de cooperacin) y cmo se aprecia ese aporte? - Qu hace el/la cooperante en cuanto a la capacitacin de personal local capacity building y cmo se aprecia esas actividades?

5.

Direccin

Resp. de rea

Equipo de trabajo

Cooperante

Apreciacin sobre aspectos financieros: - La organizacin local garantiza todos los medios necesarios para el desarrollo del proyecto de cooperacin del/la cooperante? (Cules medios?) - El/la cooperante aporta en la gestin financiera, bsqueda de recursos, para el proyecto de cooperacin? Cmo se maneja estos fondos? Cmo se aprecia esa manera de actuar? - El/la cooperante aporta en la gestin financiera para otros espacios, proyectos de la organizacin local? En qu consiste este aporte?

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

66

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

6.

Direccin

Resp. de rea

Equipo de trabajo

Cooperante

Grupo meta

Apreciacin general sobre el/la cooperante: - Qu es la evaluacin institucional que la organizacin local hace sobre el/la cooperante? - De qu manera se da feedback (comentarios sobre la evaluacin, sugerencias, discusin sobre el futuro y necesidades de mejora permanente)? - Apreciacin sobre el saber hacer y la construccin de la competencia profesional en la nueva organizacin (construccin de autoridad profesional) : oportunidades y apoyo de la organizacin para la formacin, iniciativas propias del/la cooperante para formarse, . - Apreciacin sobre el proceso de comunicacin entre cooperante y organizacin local, entre cooperante y grupo meta? - Apreciacin sobre el proceso de comunicacin entre la organizacin local y Volens (coordinacin regional Bruselas)

7.

Direccin

Resp. de rea

Cooperante

Grupo meta

Apreciacin sobre el desarrollo de y la participacin en la dinmica de la accin. -Cmo participa la organizacin local en y cmo aporta a la accin Integracin social de jvenes, desarrollo rural, Pueblos Indgenas? - Cmo participa el/la cooperante en y cmo aporta a la accin? - Cmo aporta el proyecto del/la cooperante al logro de los objetivos y resultados de la accin? - Cmo evalan el proceso de formacin que la accin realiza y qu impacto tiene en la vida de la organizacin, en el proyecto? - Qu significan los intercambios Sur Sur y las becas (de parte de Itinerans) para el fortalecimiento del proyecto de cooperacin, para el grupo meta y para la institucin en general?

8.

Direccin

Cooperante

Apreciacin sobre el aporte del /la cooperante hacia procesos de educacin para el desarrollo en el Norte, en Blgica o hacia otro pas del sur. (the return, la devolucin hacia el norte) - Se tiene informacin sobre la conexin del/la cooperante hacia el norte? Cmo se aprecia? - Cmo lo ve el/la cooperante? - Retos?

9.

Direccin

Resp. de rea

Equipo de trabajo

Cooperante

Grupo meta

Apreciacin sobre la actitud cooperante. Si hay que ubicar la actitud cooperante en la siguiente escala, dnde ubicara al/la cooperante? Comprometido con la visin / misin de la organizacin Comprometido con el desarrollo del proyecto donde coopera - Cumple con su deber - Cumple a medias con su deber (tenemos dudas) No cumple con su deber. Por qu? Con base en qu se ubica al/la cooperante en esa escala?

10.

Direccin

Equipo de trabajo

Cooperante

Apreciacin sobre el proceso de integracin del/la cooperante: - en la cultura - el entorno cultural dominio del espaol dominio del idioma indgena local - en la institucin - en la vida social y familiar

11.

Direccin

Cooperante

Apreciacin sobre el sentir del/la cooperante: -Cmo se siente el/la cooperante en su medio de trabajo (org local, equipo)? - Cmo se siente en su proyecto (equipo de trabajo, grupo meta, desarrollo del proyecto,)? - Cmo se siente el/la cooperante en el ambiente del pas? -Qu ha obstaculizado o qu ha facilitado que se sintiera bien?
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

67

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

12.

Cooperante

Apreciacin sobre las relaciones en el contexto de Volens: - Contactos con otros/as cooperantes en el pas, en la accin? - Contactos con el cooperante accin? - Contactos con el coordinador regional? - Contactos con el secretariado en Bruselas? -Qu ha obstaculizado o qu ha facilitado que hubiera una buena relacin? - Qu importancia o no tiene la relacin con Volens?

13.

Direccin

Resp. de rea

Equipo de trabajo

Cooperante

Grupo meta

Otros puntos que las diferentes instancias y personas desean tocar, compartir, incluir en esta reunin, entrevista.

Apreciacin general Este esquema puede utilizarse como resumen general en el momento de cerrar la visita (ideal que sea con la direccin, responsable de rea, representante del equipo y del grupo meta, cooperante). Debilidades Fortalezas Amenazas Oportunidades

Conclusiones Despus de realizar de manera general el FODA, se saca las conclusiones generales de este esfuerzo de seguimiento, reflexin y evaluacin del proyecto de cooperacin y su contexto. Para la organizacin local: Para el/la cooperante: Para Volens: Qu observaciones les merecen estos aportes desde la cooperacin? Hay coincidencias con lo planteado en los captulos anteriores? Hay diferencias? Qu sugerencias les podran plantear? En el captulo 5 se diferenciar entre Evaluacin Institucional y Evaluacin de Proyectos. 68
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

5. Evaluacin Institucional y de Proyectos


Todo proceso de evaluacin se enfoca a lo que pretende evaluar. Sin embargo, tambin todo proceso de evaluacin me da insumos, directos o indirectos, para valorar diferentes caras del fenmeno. Un ejemplo de aula de clase: El o la profesor(a) que facilita un proceso de aprendizaje con sus estudiantes y pretende evaluar los resultados obtenidos en ellas/os, tambin, a travs de los resultados de sus estudiantes est evaluando sus propios quehaceres, independientemente que esto no haya sido el objetivo directo. Igual pasa en el desarrollo de los proyectos comunitarios. Al mismo tiempo de evaluar el proceso o los productos del desarrollo de un proyecto, tambin evaluamos hasta el organismo facilitador y el organismo financiante, la comunidad, la vecindad, etc. En este captulo pretendemos diferenciar algo ms en cuanto a procesos de evaluacin que ms directamente apuntan a valorar componentes institucionales como los planes, los programas o estrategias, y procesos de evaluacin que ms bien enfocan procesos y productos de proyectos de desarrollo (comunitario, local,). Les invitamos, nuevamente, a compartir sus experiencias para que todas/os tengamos nuevos insumos para seguir construyendo alternativas orientadas a implementar con calidad un Sistema oportuno de Evaluacin, Monitoreo, Seguimiento y Evaluacin.

5.1. EVALUACIN INSTITUCIONAL (PLANES PROGRAMAS ESTRATEGIAS)


Existe poca informacin, poca orientacin de cara a cmo construir un SEMSE21 institucional, uno que se refiera al funcionamiento completo de una organizacin que busca concretar sus metas. Aqu surgen nuevas interrogantes. Incluso se deben Para las ONGs ms considerar ms elementos, incluida la estructura interna de la organizacin y su funcionamiento, al igual que sus intervenciones externas. pequeas o ms especializadas, tanto la estructura organizacional como el SEMSE pueden ser ms simples. Cuando no se considere necesario definir los programas, slo las etapas institucionales y del proyecto tendrn que ser consideradas para el sistema.
21

Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

69

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

ICCO (2000, 27) considera un sistema de Monitoreo y Evaluacin en relacin directa con la Planificacin (tal como tambin se ha planteado en los captulos anteriores), de tal forma que dentro de su mbito de cooperacin hacen referencia a PME que se usa por: Planificacin, Monitoreo y Evaluacin. Respecto a la Evaluacin Institucional plantean: En general, las ONGs de desarrollo del Hemisferio Norte y Sur estn enfatizando cada vez ms la planificacin estratgica a largo plazo, y habitualmente estn disponiendo la especificacin o revisin en los planes anuales. Ello crea una necesidad y proporciona la base para un monitoreo regular. En el caso de los organismos de financiamiento, el monitoreo es la funcin ms esencial y su cumplimiento depende ampliamente de la calidad de informacin de las contrapartes Dichas evaluaciones institucionales son necesariamente complejas; por lo general ser necesario contar con ayuda externa. 5.1.1. Evaluacin de Programa e Institucional Los organismos aplican diferentes criterios para definir sus programas. En unos casos el criterio es geogrfico, en otros ms bien es temtico o sectorial, tambin puede ser funcional. A lo interno de un organismo suele suceder que se presenta una combinacin de criterios. Lo importante es que cada programa tenga su(s) objetivo(s) y su ubicacin dentro de la misin a cumplir y de cara a una visin estratgica e institucional. Al respecto, ICCO dice: Debera tener claro cmo sern monitoreados los avances y cundo y cmo se evaluarn los xitos logrados. Necesita la existencia de un sistema de PME de programas. En este sistema, los proyectos que lo conformen sern incluidos entre las actividades y los resultados, pero tambin habr otras actividades, p. ej.: acciones de trabajo en red que renen a personas que estn participando en proyectos conjuntos de incidencia. Un SEMSE a nivel de programa, en esencia tendr que ser similar que l de proyecto. Sin embargo, de hecho, su complejidad ser mayor. La parte previa, que corresponde a la evaluacin que ms bien hizo surgir el programa deber estar integrada en un proceso de Planificacin Estratgica Institucional. De esta manera, necesariamente, el monitoreo y el seguimiento posterior tendr que considerar, adems de los avances y logros de los proyectos, tambin cmo stos se integran al programa y cmo el programa cumple con su funcin dentro de la planificacin estratgica institucional.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

70

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Con las palabras de ICCO se expresa as: Adems, cualquier evaluacin de la efectividad de un programa tambin debe cubrir dos aspectos: la efectividad de los proyectos y la efectividad del programa como un todo, y la forma de contribuir a la existencia de metas institucionales ms amplias. Se hace ms complejo todava, cuando construimos conciencia sobre el hecho que tambin tendrn que evaluarse e integrarse al SEMSE institucional, las estrategias definidas en la Planificacin Estratgica de nuestro organismo.
* La estrategia es un plan, un cmo, un medio de conseguir de aqu para all; * La estrategia es un modelo en accin sobre el tiempo; * La estrategia es una posicin demandada; * La estrategia es una perspectiva, es decir, visin y direccin.

Las formas ms

comunes de concebir una estrategia son (Mintzberg, 1994 en Arraigada, 2002, 44):

Cada modelo de planificacin estratgica tendr sus consecuencias metodolgicas para la evaluacin. El monitoreo y el seguimiento, y por ende la evaluacin de las estrategias institucionales deben ubicarse dentro de un proceso continuo y permanente de evaluacin del cumplimiento con el Plan Estratgico Institucional. Independientemente que el mismo plan incluye sus estrategias especficas, a nivel global, el propio PLAN es la ESTRATEGIA principal de la Institucin. Como consecuencia un buen Plan Estratgico ya debe de integrar tambin los criterios e indicadores para valorar crticamente, en el camino y al concluir su perodo de vigencia, el nivel de cumplimiento del propio Plan Estratgico, o sea de la Estrategia Institucional Mayor. No cabe duda que el proceso de evaluacin estratgica estar en dependencia del modelo de planificacin estratgica que hemos seguido. A continuacin una breve referencia a algunos modelos22 y sus consecuencias para la evaluacin. Modelo de planificacin estratgica bsica Este es un proceso muy bsico y es utilizado por organizaciones pequeas, ocupadas que no han hecho mucha planificacin estratgica antes. El proceso puede ser implementado en el primer ao, y entonces enriquecerlo en los aos posteriores. La planificacin generalmente es consumada por la administracin del nivel superior e incluye:
22

Basado en . Arriagada R. (2002), Diseo de un sistema de medicin de desempeo para evaluar la gestin municipal: una propuesta metodolgica. ILPES, Santiago de Chile, 188 pp.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

71

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

* Identificacin del Propsito (declaracin de la misin). Describe las necesidades que son deseadas por el cliente, para ser satisfechas, y con qu servicios. El tipo de comunidad se menciona a veces. * Seleccin de las metas que la organizacin debe alcanzar para lograr su misin. Son afirmaciones acerca de lo que se necesita para lograr los propsitos, y superar los problemas que enfrenta la organizacin. * Identificacin de estrategias o mtodos especficos que puedan ser implementadas para alcanzar cada meta. * Identificacin de planes de accin especficos para implementar cada estrategia. Los objetivos deben ser claramente expresados en el alcance en que las personas puedan evaluar si los objetivos se han reunido o no. * Monitoreo y puesta al da del plan. Los planificadores regularmente reflexionan sobre el grado en el cual las metas estn siendo cumplidas y si los planes de accin estn siendo implementados. Quizs el ms importante indicador de xito de la organizacin, es la positiva retroalimentacin de los clientes de la organizacin.

Modelo de planificacin basada en los problemas (o en las metas)


* Evaluacin interna y externa para hacer un anlisis de fortalezas, oportunidades, debilidades y fortalezas (FODA). * Anlisis estratgico para identificar y priorizar los principales problemas y/o metas. * Disear y actualizar la visin, la misin y la importancia. * Disear las principales estrategias (o programas) para orientar los problemas y/o las metas. * Establecer planes de accin (objetivos, recursos necesarios, roles y responsabilidades para la implementacin). * Registrar los problemas, metas, estrategias y programas, y actualizar la misin, la visin y los planes de accin en el documento del Plan Estratgico, adjuntando el anlisis FODA y otros anexos importantes. * Desarrollar y documentar un plan de operaciones anuales (desde el primer ao del plan estratgico multi-anual). * Elaborar y autorizar el presupuesto para el primer ao (localizacin de fondos necesarios para financiar el primer ao). * Conducir las operaciones del primer ao de la organizacin. * Monitorear, revisar, evaluar y actualizar el documento del Plan Estratgico.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

72

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Modelo de planificacin de alineamiento El propsito general de este modelo es asegurar un fuerte alineamiento entre la misin de la organizacin y sus recursos para una efectiva operacin de la organizacin (aplica cuando est experimentando una gran cantidad de problemas en torno a su eficiencia interna). El conjunto de pasos incluye:
* El grupo de planificacin delinea la misin, los programas y los recursos de la organizacin y el apoyo necesario. * Identifica qu est trabajando bien y qu necesita ajustes. * Identifica cmo estos ajustes deberan ser hechos. * Incluye los ajustes como estrategias en el plan estratgico.

Por lo tanto, la medicin de desempeo debe localizarse en el plan estratgico, al nivel de cumplimiento de los objetivos estratgicos, y en los procesos que sustentan estos objetivos estratgicos, integrndola vertical y transversalmente a travs de la organizacin. Modelo de planificacin de escenarios Este modelo puede ser usado en conjunto con otros modelos para asegurar a los planificadores una verdadera comprensin del pensamiento estratgico. El modelo puede ser til, particularmente en la identificacin de problemas y metas estratgicas:
* Seleccionar varias fuerzas externas e imaginar los cambios relacionados que podran influir en la organizacin. La exploracin de los titulares claves en los peridicos frecuentemente sugieren potenciales cambios que pueden afectar a la organizacin. * Para cada fuerza de cambio se discuten tres diferentes escenarios organizacionales futuros, (el mejor caso, el peor y el razonable) que podran surgir con la organizacin como resultado de cada cambio. La revisin del escenario para el peor caso provoca una fuerte motivacin para cambiar la organizacin. * Pensar en lo que la organizacin podra hacer, o las estrategias potenciales, en cada uno de los tres escenarios para responder a cada cambio. * Los planificadores detectan tempranamente consideraciones comunes o estrategias que pueden ser dirigidas para responder a los posibles cambios externos. * Seleccionar el cambio externo ms probable que puede afectar a la organizacin, por ejemplo, sobre los siguientes tres a cinco aos, e identificar la estrategia ms razonable que la organizacin puede emprender para responder al cambio.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

73

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Modelo de planificacin orgnica (o de auto organizacin) Otra visin de la planificacin es similar al desarrollo de un cuerpo, esto es, un proceso orgnico auto organizacional. La auto-organizacin requiere referencias continuas a valores comunes, dilogos alrededor de estos valores y reflexiones permanentemente compartidas en torno de los actuales procesos del sistema. Este tambin es utilizado preferentemente por los crculos de calidad. Los pasos generales incluyen:
* Clarificar y articular los valores culturales de la organizacin (dilogo, sondeo, apoyados en instrumentos de diagnstico). * Articular la visin de la organizacin para el grupo (dilogo, sondeo, apoyados en instrumentos de diagnstico). * Sobre un progreso bsico, se debe conversar acerca de los procesos actuales y de las mejoras necesarias para llegar a la misin y lo que el grupo va a hacer ahora sobre esos procesos. * Recordar continuamente que este tipo de planificacin naturalista nunca est verdaderamente acabada, y que el grupo ms bien necesita aprender a clarificar sus propios valores, dilogos, reflexiones y actualizaciones de los procesos. * Proporcionar capacitacin y apoyo de la direccin superior. * Enfocarse ms sobre el aprendizaje y menos sobre el mtodo. * Reflexionar sobre cmo la organizacin describir sus planes estratgicos a los sostenedores (autoridades, contribuyentes o la comunidad toda), etc., quines frecuentemente esperan un plan de formato mecnico o lineal.

Para cada uno de estos modelos de Planificacin APUNTE al menos una implicacin de cara a un proceso de Evaluacin Institucional. Por ejemplo: en qu debera de enfocarse principalmente la Evaluacin Institucional para ser coherente con su Planificacin Estratgica?

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

74

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

# 1. 2. 3. 4. 5.

Modelo planificacin estratgica bsica planificacin basada en los problemas planificacin de alineamiento planificacin de escenarios planificacin orgnica

Concepto clave

Enfoque de la Evaluacin Institucional

5.1.2. Las evaluaciones estratgicas y la estrategia de las evaluaciones Las evaluaciones estratgicas se concentran en aquellas polticas, programas y proyectos que hayan sido escogidas como las prioridades crticas. Pero, cmo seleccionar lo estratgico a evaluar? Qu criterio aplicar? Adems de lo planteado en el mismo plan estratgico, puede ser un buen criterio aquello donde est creciendo ms rpidamente el gasto o dnde existen claras seales de fracaso o de estancamiento. En este caso, ms bien la misma evaluacin se convierte en una estrategia para encontrar alternativas de superacin de cara a la misin de la institucin. De hecho as debemos considerar el Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ SEMSE, como una estrategia priorizada desde el mismo momento que se formule el Plan Estratgico. Por consiguiente tendr que ser parte inherente del mismo. Para confirmar si realmente es as, Speelmans (s.f., 7) se hace las siguientes preguntas: Los sistemas de seguimiento y evaluacin que se han implementado han servido para redefinir polticas y programas? Para que los sistemas de evaluacin y seguimiento sirvan de apoyo al desarrollo de polticas y programas institucionales, deben arrojar informacin que sea de inters a nivel poltico. Lo anterior implica varias cosas (adaptado de Speelman, s.f.)
1) que los sistemas de seguimiento y evaluacin estn ideados para retroalimentar de manera permanente y fluida a quienes concierne.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

75

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

2) que se usen formatos apropiados (resmenes ejecutivos, informes sectoriales o de avance, certificacin administrativa, etc.) y periodicidad lgica, relevante y oportuna. 3) que los indicadores de xito de cada sector y nivel de usuarios hayan sido incluidos, y sean utilizados, como punto de convergencia de la informacin recogida. 4) que est bien claro - y que no se pretenda - que la informacin recogida refleja la ntegra realidad.

El monitoreo y la evaluacin como herramienta de fortalecimiento institucional23 El diseo y puesta en marcha de sistemas de monitoreo y evaluacin supone que las organizaciones o proyectos optan por impulsar el desarrollo humano, sostenible y equitativo y desean influir en el estado y otros agentes de desarrollo, con el propsito de ampliar la viabilidad de la propuesta. Estas gestiones requieren de organizaciones fuertes, no por la cantidad de recursos que posean, sino por su capacidad de identificar la misin de trabajo, mantener un proceso permanente de reflexin y crecimiento del personal, y generar procesos que contribuyan a lograr los cambios propuestos. El desarrollo institucional no es un propsito en si mismo, es el medio que le permite actuar con la adecuada eficacia y una creciente eficiencia que asegure la generacin de los impactos deseados, en las personas y el medio en el cual interviene. Para lograr este propsito, mantener en ejecucin un sistema de monitoreo y evaluacin es esencial. El siguiente grfico ilustra esta dinmica.

DESARROLLO INSTITUCIONAL RESULTADOS QUE LOGRE LA INSTITUCIN

Adecuada EFICACIA El grado en que se alcanzan los objetivos del proyecto, plan o programa, en el perodo determinado de tiempo.

IMPACTO Los cambios estructurales. El desarrollo humano sostenido y equitativo.

Alta EFICIENCIA El rendimiento que existe entre los logros y los recursos utilizados: . Utilizacin de recursos humanos, fsicos, financieros y el tiempo. . El cumplimiento de actividades principales y productos. . El costo promedio costo/efectividad, esfuerzo/resultado, costo beneficio.

23

En base a: Rodrguez G. y otros (1999), Tomndole el pulso al gnero. Sistemas de monitoreo y evaluacin sensibles a gnero. ABSOLUTO, San Jos Costa Rica, p. 15-17

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

76

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Como SISTEMA, el monitoreo y evaluacin es una estrategia y funcin importante de la gerencia, que sirve para conocer la marcha del proceso de desarrollo social y para valorar el cumplimiento de los objetivos institucionales propuestos, proporcionando la informacin suficiente y oportuna para la toma de decisiones que mejoren la marcha institucional. Ya constatamos que la Evaluacin Institucional es un proceso complejo, necesitado de mucha creatividad y capacidad de contextualizacin. Es un reto, ya que de la implementacin oportuna del Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin depender el xito de nuestros quehaceres, depender el nivel de cumplimiento de nuestra misin, depender el nivel de logro del objetivo estratgico propuesto, depender en qu medida nos acercamos a la Visin Estratgica y la Visin Institucional integradas en nuestra Planificacin Estratgica. Todo lo anterior a nivel global, ahora regresamos a los proyectos

5.2. EVALUACIN DE PROYECTOS


En el captulo 3, al referirnos a la evaluacin de procesos y de productos, ya nos referimos tambin implcitamente a la evaluacin de proyectos. Sin embargo, dentro de este inciso se pretende enfocar ms sistemticamente asuntos de ndole tcnico y de secuencia lgica en este tipo de procesos evaluativos. Abdala (2004, 25) plantea los siguientes requerimientos tcnicos para la evaluacin de los proyectos (especficamente de formacin para jvenes): Antes del inicio del proceso de la evaluacin se deben tener presentes los siguientes sealamientos: _ Es necesario saber lo que se desea saber sobre el proyecto y acordarlo entre todas las partes involucradas para que las personas encargadas de la planeacin y ejecucin de la evaluacin conozcan de antemano la cantidad y la calidad de la informacin que se desea recopilar, la profundidad del anlisis a la que sern sometidos los datos y la difusin y uso que se les dar a los resultados. Esto evita confusin metodolgica y falsas expectativas. _ Es imprescindible la mayor claridad en la definicin de cada etapa para evitar la confusin metodolgica y la falta de sistematizacin que impide medir el impacto real. _ Se debe buscar la menor complejidad posible para bajar los costos. _ Hay que saber que no existen modelos ideales de planeacin ni de prcticas de evaluacin: existen guas, marcos, lineamientos que se deben adaptar a cada programa.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

77

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Las etapas bsicas de la evaluacin son: _ Toma de decisin de ejecutar una evaluacin y su estructuracin organizativa, clarificando las responsabilidades y las orientaciones del proceso; _ Constitucin del marco de referencia (marco-gua del proceso); _ Seleccin de evaluadores y planeacin de la evaluacin (costos, cronograma) (El
principal responsable del proyecto es el decisor poltico y el diseador. El evaluador debe estar calificado y libre de presiones en su tarea); Puede tratarse de tcnicos externos especializados

o de responsables internos de la gestin (intermedia o de base) que se capacitan en las herramientas de la evaluacin de impacto. Finalmente, la evaluacin participativa involucra a todos los actores, al igual que las auto-evaluaciones peridicas. Una de las primeras preocupaciones que surgen a la hora de construir los procesos de evaluacin, es la necesidad de superar los enfoques ms tradicionales, los que sitan a la evaluacin como el contraste estricto entre objetivos y resultados. _ Implementacin y gestin; La etapa de implementacin debe estar anclada en una serie de requisitos que, junto a la conviccin por parte de todos los involucrados de que la evaluacin es una instancia de aprendizaje, permiten gestionar una evaluacin de buena calidad que genere conclusiones transparentes. Ellos son:
. la evaluacin debe ajustarse a los trminos de referencia; . el diseo metodolgico debe ser apropiado para el tipo de programa implicado, segn los objetivos propuestos; . las herramientas para la recoleccin de datos deben hacer que estos sean confiables; . los sistemas de anlisis propuestos deben ser los adecuados para la metodologa utilizada.

_ Difusin de resultados. La Secuencia Lgica de un Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin (SEMSE) de un Proyecto 1. La Evaluacin PREVIA que consiste en la consideracin global y especfica del contexto (pre-factibilidad, factibilidad) y en la definicin de los Objetivos, Resultados Esperados y el Sistema de Indicadores correspondientes. Dentro de la lgica del SEMSE, es fundamental este perodo de evaluacin previa. 2. La Lnea de Base: descripcin de la situacin inicial de acuerdo al sistema de indicadores. 3. El monitoreo y el seguimiento. Una vez obtenida la Lnea de Base, se comienza con la implementacin de las estrategias de desarrollo definidas en el proyecto. En este proceso se podrn definir los nuevos momentos de medicin del avance de la estrategia (monitoreo), as como priorizar aquellos componentes donde se priorizar el seguimiento (acompaamiento ms continuo. 4. Presencia permanente del Sistema de Variables e Indicadores en funcin de la definicin operativa. Es lo que garantizar la orientacin de los quehaceres hacia el objetivo y los resultados esperados. 78

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

5. Construccin de la Informacin relevante 5.a. Acopio Para facilitar el levantamiento de los datos, las variables que constituyen la estructura del conocimiento deseado estn planteadas como preguntas cuyas respuestas debern ser concretas y pertinentes. Los indicadores sugeridos, son una propuesta que se puede complementar y/o precisar, con mayor detalle en los indicadores en funcin de las necesidades de mayor informacin y posibilidades reales de ser obtenida. Las matrices (descriptores) de referencia permitirn obtener respuestas objetivas que contribuyan a su cuantificacin o cualificacin. Las fuentes informativas podrn ser de diversa naturaleza segn la pregunta de que se trate, pero en cualquier caso interesar conocer la percepcin de diferentes actores pblicos y privados involucrados en el proceso del desarrollo. Entre las tcnicas usadas que se emplean para recopilar informacin, se deben sealar las siguientes:
Informacin secundaria: POAs, resoluciones, informes, etc. Entrevistas a informantes clave Entrevistas institucionales con autoridades locales Entrevistas con responsables de organizaciones de apoyo Observacin directa

5.b. Depuracin Puede que determinadas preguntas efectuadas a diferentes fuentes presenten incoherencias o contradicciones severas. Al ser posible hay que procurar a reconstruir las respuestas con los mismos o nuevos informantes. 5.c. Validacin De ser posible, ser de gran utilidad presentar los resultados preliminares a actores principales, tanto para que comiencen a sensibilizarse sobre la realidad del proyecto, como para que alguna informacin pueda ser rectificada o ratificada. 5.d. Presentacin Hay informacin general sobre el contexto del proyecto que hay que incluir en el informe. El cuerpo en si del informe deber presentarse en un documento estructurado en base a las variables sealadas y sus indicadores correspondientes. Robles y Luna R. (1999, 7 / adaptado) mencionan condiciones a tomar en cuenta para un Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin de Proyectos:
a. La evaluacin, el monitoreo, el seguimiento y nuevamente la evaluacin constituyen un solo proceso continuo, el monitoreo es un medio para controlar el avance en cuanto a desempeo e impacto, el seguimiento es un acompaamiento, mientras que la evaluacin es la valoracin del grado de logro, as como la definicin del grado de logro y la elaboracin de un mensaje retroalimentador para las siguientes etapas. b. Definidas las expectativas de desempeo de la audiencia c. Definidos los datos crticos para valoracin y toma de decisiones

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

79

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

d. Pertinencia, claridad y coherencia de los objetivos e. Elaborada una estrategia institucional para alcanzar los objetivos f. Estructurado un sistema de indicadores g. Definidas las fuentes de informacin h. Definidos los supuestos sobre factores condicionantes i. Establecidos los mecanismos de retroalimentacin y comunicacin j. Utilizacin de una estructura simple de programacin (el ML es una de las herramientas tiles) k. Elaborada una estrategia de implementacin del SEMSE para comparaciones en puntos clave l. Indicadores medibles, precisos, consistentes m. Fuentes de informacin existentes, regulares y de bajo costo n. Recursos para la recoleccin, manejo, almacenamiento y anlisis de datos o. Participacin del equipo ejecutor en la planificacin para garantizar objetivos realistas, acuerdo sobre estrategia, apropiacin y aprendizaje p. Objetivos e indicadores basados en la implementacin de un SEMSE anterior q. Definidos mtodos, roles y responsabilidades r. El anlisis se establece como sistema continuo s. El SEMSE tiene apertura para nuevos factores t. Hay flexibilidad para revisar el plan de monitoreo u. Un SEMSE simple y de bajo costo pero con recursos suficientes para hacerlo bien. v. Se utilizan diversas herramientas complementarias como matrices con escalas de calificacin, entrevistas estructuradas, grupos focales, observaciones directas con listas de chequeo, mapeo. w. Hay un sistema de informacin para sistematizar y comparar la informacin en el tiempo, el cual emite reportes oportunos, claros y significativos. x. Se revisan los resultados con los interesados y. Definidas las formas en que la informacin de resultados ser utilizada en el aprendizaje y la toma de decisiones z. Elaborada una estrategia de comunicacin de resultados y procedimientos de reporte.

Con lo anterior se les present prcticamente una gua de valoracin para revisar la calidad del SEMSE que pretendemos implementar o que estamos ejecutando dentro del marco del proyecto, programa o a nivel del organismo. Esta gua servir para autovalorar la calidad de nuestro trabajo de campo. Observaciones?

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

80

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Para concluir este inciso, dos Modelos Tericos para la implementacin de la evaluacin de proyectos: 1. Modelo CIPP (propuesto por Stufflebeam y Shinkfield) Este modelo organiza el proceso de la implementacin segn cuatro dimensiones y sus correlaciones. Contexto: Esta dimensin se nutre de los datos globales socioeconmicos y sociolaborales nacionales y locales, con nfasis especial en las polticas relacionadas con nuestro proyecto. Input (Insumos): Identifica y valora los recursos disponibles (humanos, materiales y financieros) antes del proyecto; los objetivos y las estrategias planteadas segn los recursos disponibles; las estrategias implementadas; los recursos asignados y utilizados, el soporte normativo y las intervenciones realizadas. Proceso: Incluye la interrelacin dinmica entre las estructuras del proyecto y los diversos actores, generando un sistema vincular: medio ambiente del proyecto. Se evala especialmente por tcnicas cualitativas. Producto (resultados, efectos e impactos en relacin con los objetivos): Los productos (indicadores) se pueden caracterizar segn:
_ eficacia: medida de los logros en un tiempo determinado; _ eficiencia: medida de los logros en un tiempo determinado, segn los recursos utilizados; _ cobertura: proporcin entre beneficiarios/as que accedieron al proyecto y el total de personas carenciadas; _ pertinencia: grado de satisfaccin de las necesidades especficas de beneficiarios/as; _ adecuacin: correlacin entre los objetivos y los recursos disponibles; _ coherencia: grado de correspondencia entre los objetivos y los dispositivos; _ imputabilidad: medida de causalidad o de fuerte asociacin entre dispositivos y resultados.

Las cuatro dimensiones del modelo CIPP se relacionan con cuatro niveles de decisin, que a su vez se corresponden con cuatro etapas de la evaluacin.
Niveles y etapas de la evaluacin en los cuatro componentes del CIPP Niveles de decisin Etapas de evaluacin Decisiones de Proyecto Objetivos / Evaluacin de Contenidos o de Contexto Procedimientos planeados / Evaluacin de Entrada Decisiones de Planeacin Input - Insumos Decisiones de Implementacin Procedimientos efectuados, reales / Evaluacin de Proceso Decisiones de Relevamiento Productos / Evaluacin de Resultados, Efectos o Impactos

C I P P

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

81

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

En cada una de las cuatro etapas de la evaluacin correspondientes a cada nivel de decisin (que se acaban de presentar) se recogen y analizan datos especficos. (ver cuadro a la izquierda)) El modelo CIPP desentraa el entretejido y las interrelaciones de la totalidad de los componentes, en un enfoque sistmico, con adecuaciones permanentes. Su representacin en el espacio podra corresponder a una imagen espiralada helicoidal de complejidad y perfeccionamiento crecientes, en los que todas las dimensiones se concatenan posibilitando la readecuacin de cada etapa del programa.

2. Modelo evaluativo centrado en el cliente propuesto por Stake Este modelo recalca que se deben registrar, tanto los resultados directos como indirectos, los logros planeados y los accidentales. Asimismo se deben recoger y analizar datos de mrito y de valor entre todos los actores: los evaluadores deben estar compenetrados del lenguaje explcito e implcito de los participantes. Las dos tareas principales son la descripcin y el juicio; es as que el conocimiento sobre la poblacin permite al evaluador comprender los logros y las dificultades en profundidad. Esta prctica evaluativa se basa fundamentalmente en tcnicas cualitativas, aunque no descarta los datos concretos. Por otra parte, considera especialmente tiles la evaluacin interna y las auto-evaluaciones. Cada paso desencadena el siguiente, mediante el uso de las tcnicas descriptivas: la observacin detenida y las entrevistas abiertas, privilegiando el vnculo y la empata.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

82

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

5.3. HERRAMIENTAS PARA LA EVALUACIN


Como ltimo inciso de este captulo, se incluyen algunos instrumentos, o referencias a ellos, para que sean considerados en funcin de su pertinencia en determinado contexto. Cabe reiterar que no existen modelos ni instrumentos vlidos en todo lugar y tiempo, sino SIEMPRE ser necesario adecuar el proceso, las tcnicas y procedimientos, los instrumentos al contexto particular del organismo o del proyecto a evaluar. Herramientas de la metodologa cuantitativa24
El cuestionario es un instrumento, como un formulario impreso que es llenado directamente por el entrevistado, con o sin la presencia del investigador y puede ser enviado por correo. Este ltimo punto genera una de sus dificultades: la prdida de cuestionarios, su no devolucin. Adems, no es adaptable a un caso particular. Es de bajo costo y lleva poco tiempo recoger muchos datos.

Encuesta escrita cuestionario/formulario

Encuesta oral cuestionario/gua


La encuesta es una tcnica que permite obtener informacin de los actores proporcionada por ellos mismos sobre: conceptos, opiniones, actitudes, prcticas y sugerencias. Aporta una dinmica ms completa: el entrevistador explica con claridad y detenimiento los motivos de la pesquisa y explicita qu tipo de datos busca. Este aspecto es especialmente til en una poblacin, con dificultades en la lecto-escritura. Es estructurada o cerrada, est estandarizada en cuanto a la formulacin de las preguntas, ofreciendo un nmero limitado de respuestas. Las posibles respuestas estn codificadas para facilitar el anlisis. Es una tcnica fcil de implementar para el encuestador, quien no requiere un entrenamiento exigente. Es de bajo costo, pero la informacin est limitada a lo preestablecido.

Herramientas de la metodologa cualitativa25 Entrevistas en profundidad


La entrevista abierta no estructurada o semiabierta es ms flexible que la estructurada o cerrada, aunque requiere mayor inversin en recursos econmicos, en entrenamiento y en tiempo. Las preguntas se esbozan en una gua de ayuda y el entrevistador es libre de modificar el orden de las preguntas, haciendo hincapi en las que resulten de mayor inters en cada caso particular. La gua est pautada en sus contenidos con los indicadores de las variables segn objetivo. Para el anlisis posterior de los datos de la entrevista, es imprescindible que, inmediatamente despus a su finalizacin, el entrevistador registre los sucesos que le hayan llamado la atencin, as como el detalle de la distancia ptima, el encuadre y el clima creados. El anlisis de la entrevista abierta es, por supuesto, de mayor complejidad que la estructurada, requirindose en ocasiones la colaboracin de antroplogos, pedagogos, socilogos, psiclogos, para su interpretacin, en aras de una comprensin y un conocimiento ms profundos, bases de una mejor retroalimentacin. Este aporte multidisciplinario junto a los cuidados en la tcnica: distancia ptima, encuadre, empata, minimizarn los efectismos impresionistas, las proyecciones emocionales y los preconceptos, favoreciendo la objetividad.
24

Retomado de: Abdala E. (2004), Manual para la evaluacin de impacto en programas de formacin para jvenes. CINTERFOR, Montevideo, p. 56 25 dem PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

83

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

La observacin
Es el registro visual del mundo real, con pautas preestablecidas y que al igual que los otros instrumentos de recoleccin, contemple los objetivos y las variables. La observacin debe ser profunda y prolongada buscando la sistematizacin mediante un esquema previamente elaborado y relevando los aspectos ms significativos de la realidad. Segn la integracin del investigador al medio a ser observado, se dividen en participante (participativa) y no participante (no participativa). Por otra parte, las observaciones pueden considerarse estructuradas (sistemticas, reguladas) o no estructuradas (simples, no reguladas). En forma similar a lo que sucede en las entrevistas: la estructurada guiada por lneas muy pautadas, favorece la recoleccin y el anlisis de los datos, pero el aporte a la comprensin se ve empobrecido si se la compara con las no estructuradas. El observador, al finalizar, debe registrar por escrito los aspectos no contenidos en la indagacin, el contexto detallado en que transcurri la observacin, sus impresiones respecto a la eficiencia del mtodo y su aplicacin concreta.

Anlisis de documentos institucionales


Los productos de las articulaciones horizontales y verticales del programa, as como los aislados pertenecientes a una nica instancia, deben ser analizados en su vertiente cualitativa, con profundidad y detenimiento. Posiblemente aporten una parte sustancial de la trayectoria del programa. Durante su anlisis, debe preservarse la objetividad para sopesarlos adecuadamente, manteniendo las exigencias tcnicas sealadas para la entrevista en profundidad, ya que en un documento tambin hay un interlocutor.

Urza (2004, 19) menciona en su Manual del sistema de seguimiento y evaluacin de la poltica pblica de juventud instrumentos de SEGUIMIENTO especficamente: Observacin directa o trabajo de campo. Reuniones programadas de evaluacin de resultados con el personal al frente de la gestin y con los responsables de generar los productos. Participacin en reuniones o eventos de difusin para los jvenes derechohabientes. Participacin en reuniones de coordinacin con los aliados estratgicos. Los registros de informacin del proyecto: planes, formatos, matrices, video grabaciones, fotografas, etc. Plan de programacin del seguimiento, elaborado en coordinacin entre la CNJ y los responsables de la gestin. Carpeta con la informacin del proyecto.

Otra herramienta muy utilizada en momentos de evaluacin es la aplicacin del anlisis FODA: 84

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

El anlisis FODA es una herramienta de diagnstico de cara a la toma de decisiones para las organizaciones pues permite conformar un cuadro de situacin actual y tomar decisiones con toda la informacin que se posea sobre la organizacin respecto de sus Debilidades, Oportunidades, Fortalezas y Amenazas. Este tipo de anlisis representa un esfuerzo para valorar la interaccin entre las caractersticas particulares de la organizacin y el entorno en el cual compite. El anlisis FODA tiene mltiples aplicaciones y puede ser usado por todos los niveles de una organizacin y en diferentes unidades de anlisis tales como en la evaluacin de un proyecto que signifique la creacin de un producto, el desarrollo de infraestructura, el incremento de la oferta, la incorporacin de nuevas sedes o puestos de produccin y venta, etc. Muchas de las conclusiones obtenidas como resultado del anlisis FODA, podrn serle de gran utilidad en el anlisis del mercado y en las estrategias de desarrollo que la organizacin disee. Tambin permite obtener una primera aproximacin a los problemas que tiene la organizacin (las debilidades) y sus bases para enfrentarlos (las fortalezas); as como tambin las seales del entorno positivas (oportunidades), y negativas (amenazas); estas dimensiones condicionan el desenvolvimiento y desarrollo de la organizacin; y por supuesto tal como se haba sealado, los proyectos son respuestas a los problemas, frente a oportunidades relacionadas con los quehaceres de la organizacin.

MATRIZ FODA
FACTORES INTERNOS F1 F2 F3 FO (MAXI-MAXI) ESTRATEGIA PARA MAXIMIZAR TANTO LAS FORTALEZAS COMO LAS OPORTUNIDADES FA (MAXI-MINI) ESTRATEGIA PARA MAXIMIZAR LAS FORTALEZAS Y MINIMIZAR LAS AMENAZAS FORTALEZAS D1 D2 D3 DO (MINI-MAXI) ESTRATEGIA PARA MINIMIZAR LAS DEBILIDDES Y MAXIMIZAR LAS OPORTUNIDADES DA (MINI-MINI) ESTRATEGIA PARA MINIMIZAR TANTO LAS AMENAZAS COMO LAS DEBILIDADES DEBILIDADES

FACTORES EXTERNOS OPORTUNIDADES O1. O2 O3. AMENAZAS A1 A2 A3

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

85

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Para ms ejemplos de instrumentos de evaluacin: 1. Ver Anexo C del texto correspondiente al curso 4.2. Gestin de Proyectos Sociales. 2. Geilfus F. (1997), 80 Herramientas para el desarrollo participativo. IICA/Holanda, San Salvador, 207 pp. En 80 herramientas se encuentran tcnicas e instrumentos abundantes en cuanto al diagnstico participativo en diferentes mbitos, tambin en funcin de: - Anlisis de problemas y soluciones - Monitoreo y evaluacin participativa, tales como:
* Matriz de planificacin de monitoreo y evaluacin * Matriz de indicadores de monitoreo * Formularios de monitoreo participativo (cumplimiento de tareas) * Formularios de monitoreo participativo (indicadores cuantitativos) * Formularios de monitoreo participativo (indicadores cualitativos) * Matriz de indicadores de evaluacin de impacto.

Considerando la poca disponibilidad de instrumentos relacionados con la evaluacin institucional, queremos hacer referencia al proceso de evaluacin que se llev a cabo en el Centro Universitario Regional del Norte en el mes de Diciembre del 2002. Su objetivo era evaluar el nivel de cumplimiento del Plan Estratgico 1998-2002, como base para la elaboracin del nuevo plan. A partir de la siguiente pgina les incluimos algunos de los instrumentos que fueron utilizados tal como los presentamos. 1. Gua para el Anlisis crtico del nivel de cumplimiento de la Visin de Futuro, formulada por rea en 1998 2. Gua para la evaluacin del nivel de cumplimiento de las ESTRATEGIAS 3. Gua para valorar la utilidad del Plan Estratgico

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

86

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

1.

Gua para el Anlisis crtico del nivel de cumplimiento de la Visin de Futuro, formulada por rea en 1998 rea: _____________

1. Considerando la PRODUCCIN PREVISTA dentro del marco del rea, seleccione personalmente DOS que ms te llamen la atencin subjetivamente e indique el nivel de cumplimiento (en escala del 1 al 10). Justifique su seleccin y valoracin

Produccin prevista

Nivel de cumplimiento (1 al 10)

Por qu?

2. De los INDICADORES DE XITO mencionados, seleccione los dos ms significativos (segn tus razones subjetivas) y valore si cada uno se ha realizado Totalmente, a Medias o de Ninguna manera. Fundamente y ejemplifique su valoracin.
Indicadores de xito
T M N

Fundamentacin

Ejemplo

3. De los CRITERIOS DE CALIDAD incluidos para el rea, seleccione siempre dos (segn su criterio subjetivo) e igual, valore si se ha cumplido Totalmente, a Medias, o No de todo. Fundamente y ejemplifique su valoracin.

Criterios de Calidad

Fundamentacin

Ejemplo

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

87

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

4. Considerando sus respuestas a las primeras tres preguntas, describa en qu medida se cumpli, en el transcurso de estos 5 aos de vigencia del Plan Estratgico, el OBJETIVO del rea e identifique cules son los elementos que han facilitado y cules que han obstaculizado alcanzar el objetivo. Igual anota Alternativas viables para la superacin futura. Descripcin global del nivel de cumplimiento del objetivo:

Elementos facilitadores

Elementos obstaculizadores

Alternativas de Iniciativa: INSTITUCIONAL:

PERSONAL:

2.

Gua para la evaluacin del nivel de cumplimiento de las ESTRATEGIAS


Se cumpli S No Logros Dificultades Alternativas

# Estrategia 1. 2. 3. 4. 5. 6. 7. 8. 9.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

88

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

3.

Gua para valorar la utilidad del Plan Estratgico

De cada uno de los siguientes planteamientos, indique su respuesta con X segn la escala. 1: No es verdad de todo, pura mentira 2: No creo, me parece que no 3: No s, no tengo idea, a saber 4: Es algo verdadero, ms o menos 5: Es correcto, as es, es verdad

Planteamientos
1. El PE fue una gua para mi trabajo durante estos 5 aos 2. El PE, en su contenido, correspondi a las necesidades institucionales 3. El PE, en su contenido, correspondi a las demandas regionales 4. El PE fue una herramienta bsica para la planificacin anual durante estos 5 aos 5. El PE permiti cumplir mejor la misin y visin del CURN 6. El PE nos ayud a visualizar los caminos estratgicos a seguir 7. El PE nos permiti dimensionar el papel del CURN dentro de la problemtica de desarrollo a nivel de la regin 8. El PE hizo posible compartir visiones de trabajo en las diferentes reas 9. EL PE dio luces para establecer alianzas, coordinaciones y convenios 10. El PE permiti unificar la labor educativa del CURN como tal 11. 12. 13. 14. 15.

1 2 3 4 5

EL PLAN ESTRATGICO FUE TIL PARA EL TRABAJO EN EL CURN Fundamente su valoracin global en cuanto a la utilidad del Plan Estratgico en el siguiente cuadro y apunte sus sugerencias para el Plan del 2003 al 2007. Fundamentacin Sugerencias

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

89

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

ILUSTRACIONES desde un Programa de Capitalizacin de los Pequeos Productores del


Trpico Seco26

26

. Tropisec (2002), Gua de Seguimiento y Evaluacin. TROPISEC-IDR, Biblioteca Digital, p. 14-15.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

90

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Con estas imgenes concluimos este 5to. captulo. Ahora nos queda todava reflexionar sobre dos temticas muy particulares: El enfoque de gnero en un SEMSE y los niveles de participacin Estn invitadas/os a seguir adelante 91

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

6. El enfoque de gnero en Sistemas de Seguimiento y Evaluacin


La equidad es un reto permanente en el trabajo social. Slo cumpliremos con este reto en la medida que lo integramos conscientemente en nuestros quehaceres, desde la planificacin hasta la evaluacin, desde la evaluacin previa, la que se desarrolla antes de tomar la decisin de empezar a preparar la formulacin de un proyecto, hasta la evaluacin del impacto de este mismo proyecto y ya de cara a otras tareas. En este captulo se abordarn dos temticas. Una primera alrededor de la dimensin de gnero en la evaluacin en general y una segunda de cara a la integracin de un enfoque de gnero en la elaboracin e implementacin de un Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ SEMSE. Como ya se ha planteado tantas veces, no es suficiente la inclusin de este captulo, ni la discusin de su temtica de manera constructiva, ni el intercambio de experiencias al respecto lo que vale en realidad es la integracin oportuna y creativa de la dimensin de gnero, como una expresin de equidad necesaria en nuestros quehaceres, no como una obligacin, sino como una respuesta y propuesta a nuestra necesidad de SER.

6.1. LA DIMENSIN DE GNERO EN LA EVALUACIN


La demanda de integracin de una dimensin de gnero en el trabajo social, en los proyectos de desarrollo se ha expresado de diferentes maneras. profundizar al respecto en este espacio. No quisiramos Dentro del debate relacionado con la

incorporacin de una perspectiva de gnero existe la tendencia de pasar de un enfoque de Mujer en Desarrollo hacia un enfoque de Gnero en Desarrollo. Budinich (1998, 12) dice al respecto: A comienzos de los 70, el enfoque de Mujer en Desarrollo (MED) fue el primero en demostrar que los cambios introducidos por el desarrollo y la modernizacin tienen un efecto diferente en hombres y mujeres y que a menudo los proyectos de desarrollo tenan un efecto negativo en las mujeres. Las estrategias de MED se basaron en la idea de integrar a la mujer en el desarrollo sin una definicin de desarrollo y sin un
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

92

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

reconocimiento que la mujer, en mayor o menor medida siempre haba sido parte de los procesos de desarrollo. Esto result en una generacin de proyectos enfocados a integrar a la mujer al desarrollo, pero que la vean de manera aislada y como un grupo homogneo, independiente de su nivel de ingresos o su condicin social. Muchos de estos proyectos tendan a perpetuar la marginalizacin de mujeres. Dado el limitado impacto de estos esfuerzos, el enfoque vari de mujer en desarrollo a gnero en desarrollo. Para definir el concepto de Gnero, Budinich hace referencia a Mones (1198) quien lo define como: Conjunto de caractersticas sociales, econmicas, sociolgicas, simblicas, prcticas, normas, prescripciones y valoraciones que atribuyen las sociedades a las mujeres y los hombres, basadas en sus diferencias biolgicas, para orientar sus comportamientos, actitudes y formas de relacionarse e interactuari. Definicin cultural de las sociedades de lo femenino y masculino. Es la construccin simblica de la diferencia sexual. Observa el autor (Budinich) que a partir de est definicin, el enfoque de Gnero en Desarrollo (GED), plantea diferencias fundamentales con el enfoque de Mujer en Desarrollo (MED). Mientras que bajo MED el objetivo son las mujeres como categora aislada, para GED lo son las relaciones sociales inter-genricas y la divisin sexual del trabajo. La meta del enfoque MED es igualar la situacin y oportunidades de las mujeres a las de los hombres para obtener as un desarrollo ms eficiente. El enfoque GED, sin embargo, plantea un cambio mucho ms profundo al ponerse como meta el balance de poder y la equidad entre los sexos. Las estrategias de ambos enfoques son diferentes. Para el primero es aumentar la productividad, la participacin y los ingresos de las mujeres. Mientras que para el enfoque GED es, adems de esto, el ampliar las opciones y oportunidades y el acceso y control de la mujer sobre los recursos y los beneficios. Un enfoque de gnero en desarrollo implica la definicin explcita de objetivos, metas y estrategias con una direccionalidad e intencionalidad al cambio de las relaciones de inequidad por gnero entre mujeres y hombres. Esto implica generar condiciones para el ejercicio pleno de los derechos humanos de las mujeres y para la construccin de nuevas identidades de gnero de mujeres y hombres, basadas en la equidad (Mones, 1998). Tomando en cuenta lo anterior y de la misma manera que no existe una receta para la construccin de un Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin, tampoco existe la receta para la integracin del enfoque de gnero en desarrollo en este Sistema. La consistencia genrica en todo caso debe observarse desde la formulacin de los propios objetivos del Sistema, en el establecimiento de sus estrategias y en su organizacin prctica (niveles de participacin) dentro de un contexto particular. La perspectiva de gnero se reconocer a partir del momento que esta dimensin est integrada de cara a erradicar todo tipo de expresin de inequidad en las relaciones entre hombres y mujeres. 93

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Se reconocen al menos tres elementos de construccin de conciencia de gnero que son relevantes para el desarrollo: * Las mujeres tienen tanto necesidades diferentes a los hombres, como necesidades propias o especiales; * Las mujeres son un grupo en desventaja, en relacin a los hombres, en trminos de su nivel de vida y el acceso y el control sobre los factores de produccin; * El desarrollo de las mujeres implica el trabajar hacia un incremento de la equidad y el empoderamiento de las mujeres en relacin a los hombres. De cara a una integracin oportuna de la dimensin de Gnero en la evaluacin, se requiere la atencin en datos particulares relacionados que permitirn ir construyendo la informacin relevante para la toma de decisiones. corresponden a las siguientes preguntas:
* Mide explcitamente el Sistema de Seguimiento y Evaluacin los efectos del proyecto en los hombres y las mujeres? * Obtiene el proyecto informacin peridica para actualizar el anlisis de actividades y el anlisis del control y acceso de los hombres y las mujeres (empezando con un anlisis racional con hombres) a los recursos y beneficios? * Obtiene el proyecto informacin cualitativa y cuantitativa sobre los niveles de conciencia de mujeres y hombres sobre sus condiciones desiguales de genero y sus implicaciones para el desarrollo? * Son los datos y la informacin obtenida con la suficiente frecuencia para hacer los ajustes necesarios durante la vida del proyecto? * Son los datos retro-alimentados al equipo del proyecto y a los beneficiarios de una forma que ellos y ellas puedan comprenderlos y acceder a estos de manera peridica para as facilitar los ajustes al proyecto? * Estn los hombres y las mujeres involucradas en la recoleccin e interpretacin de la informacin? * Son la informacin y los datos analizados de manera que puedan guiar el diseo de nuevos proyectos? * Estn siendo identificadas las reas claves de investigacin sobre la participacin de los hombres y las mujeres en el desarrollo?

Algunos de estos datos

Para su anlisis, incluimos el siguiente ejemplo en el contexto de Venezuela:

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

94

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Proyecto PROFALASA-Venezuela (1998): Una nueva generacin de proyectos FIDA27 El objetivo es contribuir al mejoramiento de las condiciones de vida de 5.185 familias agrcolas de escasos recursos. El proyecto est en su V ao de implementacin y est localizado en una regin semi-rida con limitados recursos hdricos, pobre infraestructura de caminos y poblacin rural dispersada. Las principales actividades generadoras de ingreso incluyen la produccin de cabras, cocos, pias, aloe vera (zabila) y productos artesanales, el proyecto se divide en cuatro componentes:
1. Manejo de suelo y agua (manejo de la cuenca y desarrollo de infraestructura) 2. Asistencia tcnica a pequeos productores (Capacitacin; transferencia de tecnologa; comercializacin y desarrollo de microempresas; y pesca artesanal) 3. Crdito y ttulos de tierra y 4. Organizacin y manejo (Gerencia) (Unidad gerencial del proyecto)

PROFALASA es uno de los primeros proyectos consolidados en la regin Latino Americana y del Caribe que fue formulado sin un especfico componente para dirigir las necesidades de las mujeres rurales. La evaluacin Ex-Ante (1992) estableci el objetivo de un 38% de los beneficiarios mujeres jefes de hogar y/o esposas productoras comprometidas en la produccin agrcola. El supuesto implcito detrs de este objetivo definido es que hombres y mujeres deberan participar en todas las actividades del proyecto y los servicios deberan estar disponibles para ambos. La evaluacin ex-ante incluye acciones para asegurar la incorporacin de la perspectiva del gnero. Entre las actividades propuestas est la capacitacin de mujeres para contribuir a su habilitacin ante la comunidad y a nivel del hogar, capacitacin para proyectar tcnicas en los aspectos del gnero, la produccin de material de capacitacin a medida del proyecto, y localizacin especfica del crdito y asistencia tcnica dirigida a mujeres. A pesar de esto, el proyecto se focaliza durante los primeros aos a la implementacin de componentes tradicionales de MED en los que el compromiso con las campesinas fue aislado de las principales actividades del proyecto y ligado ms a su papel domstico que a su papel productivo. Esta situacin cambi al tiempo de evaluacin de mediotrmino cuando se establecieron objetivos especficos del gnero, basados en:
* Expansin de la participacin de la mujer rural en asistencia tcnica y actividades de transferencia de tecnologa, referente a la produccin de animales y vegetales, as como al manejo de agua y suelo. * Entregar capacitacin del gnero a mujeres y hombres productores partcipes as como a tcnicos del proyecto y personal profesional. * Expandir el acceso de las mujeres a los recursos productivos (crditos, agua y tierra); * Desarrollar las condiciones apropiadas para la participacin de las mujeres en todas las actividades del proyecto.

En la evaluacin de medio-trmino, se observ que haba ms ventajas que desventajas en trabajar con mujeres beneficiarias: las mujeres tendan a prestar ms atencin a nuevos conceptos y tecnologas, eran ms responsables en pagar sus prstamos y
Basado en el Informe de Aspectos del Gnero y Mujeres/Evaluacin de Medio-Trmino (Campaa, 1997) y un documento preparado por el equipo del proyecto sobre el sistema S&E con una aproximacin del Gnero. PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO
27

95

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

estaban ms motivadas en participar en actividades que podran resultar en mejoramientos de las condiciones de vida de la familia. Desventajas observadas eran la inexperiencia de las mujeres en la toma de decisiones, su limitado compromiso en las actividades de comercializacin y el poco tiempo de que disponan (debido a sus mltiples papeles y carga de trabajo). Como parte de las recomendaciones de la evaluacin de medio-trmino sobre aspectos del gnero, el proyecto incorpor a un especialista del gnero en la unidad gerencial del proyecto y dos profesionales del gnero en sus unidades de terreno. Una de las limitaciones encontradas al tiempo de la evaluacin de medio-trmino fue que los datos reunidos no fueron desagregados por sexo. Por lo tanto no permiti fijar la extensin de la participacin de mujeres. El esfuerzo para redisear el sistema S&E empez con el desarrollo de un marco lgico para PROFALASA. Este marco estableci una conexin directa entre cada objetivo del proyecto, sus respectivas actividades, y los correspondientes indicadores. Los pasos siguientes consistieron en la creacin de una base de datos computarizada y un sistema de manejo de informacin. Fue posible la incorporacin de la perspectiva del gnero en el nuevo sistema S&E. El propsito de este sistema es facilitar la oportuna y adecuada toma de decisiones en orden de hacer los ajustes apropiados a la estrategia del proyecto y llenar los objetivos del proyecto. Y de cara a la implementacin del sistema, la unidad S&E est comprometida con:
* Establecer la lnea de base para los sectores y villas donde el proyecto est en operacin; * Implementar una metodologa de evaluacin por beneficiarios de las actividades del proyecto; * Implementar una metodologa para evaluar las inter-relaciones entre las unidades tcnicas; * Construir un sistema de indicadores como base para el anlisis completo de la implementacin del proyecto.

Corrientemente, el proyecto est trabajando en la incorporacin de indicadores (cualitativos) sensitivos adicionales al gnero (ver cuadro a la par). Estos indicadores cualitativos son consistentes con los objetivos de igualdad del gnero establecidos por el proyecto y seran un complemento con los indicadores incluidos en el sistema corriente.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

96

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Qu papel jug la evaluacin ex-ante de cara a la perspectiva de gnero? Cmo se integra la perspectiva de gnero al proyecto? Le parece adecuado? Por qu? Qu implica un enfoque de gnero al momento de recolectar y procesar datos?

Ya anteriormente hicimos referencia a la diferencia entre un enfoque MED y un enfoque GED en cuanto a la integracin de la perspectiva de gnero. Compartimos la siguiente tabla comparativa: Diferencias de Apreciaciones entre Mujeres en Desarrollo y Gnero en Desarrollo

No es tan sencillo identificar las tendencias relacionadas con la incorporacin de un enfoque de gnero (es enfoque la palabra ms correcta?) en los proyectos y especficamente en los procesos de evaluacin, en los Sistemas de evaluacin, monitoreo, seguimiento y evaluacin. No es tan sencillo porque mucho depende de las concepciones de las personas, las cuales tambin estn condicionadas por contextos socio-culturales, polticos, acadmicos, econmicos, etc.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

97

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Dosal (2003) coordin un trabajo de investigacin titulado Cmo evaluar las polticas pblicas desde la perspectiva de gnero? y en uno de los aportes, M ngeles Salle seala en cuanto a Gnero y Evaluacin: Se aprecia una voluntad sostenida por consolidar la sensibilidad de gnero, lo que incluye recomendaciones especficas en torno al hecho de evaluar. En este sentido, se pueden observar referencias directas sobre el tratamiento de la perspectiva de gnero en propuestas de evaluacin de organismos internacionales oferentes de financiacin. La importancia de que este tipo de instituciones evidencien una poltica definida en torno a la igualdad de oportunidades de gnero y la incorporen -entre otros- en mbitos tan fundamentales como es el de la evaluacin, radica en que su capacidad de generar transferibilidad supera con creces la de cualquier otra instancia de mbito ms local. Pero lo cierto es que an nos encontramos en una etapa muy temprana en lo referido a la integracin de la perspectiva de gnero como un elemento esencial de toda poltica, programa o proyecto a implementar para el desarrollo. Por ello, parte de la tarea actual es continuar aportando sin descanso y desde muchos frentes a la vez, elementos que contribuyan a acortar las distancias entre el momento presente y aqul en el que trminos como sensibilidad de gnero o igualdad de oportunidades entre hombres y mujeres, hayan perdido sustancialmente su connotacin reivindicativa. Se cuenta todava con pocas, si bien cada vez ms numerosas, herramientas especficas para medir la sensibilidad de gnero en actuaciones concretas. Y as todava se lleva a cabo la evaluacin teniendo en cuenta los marcos lgicos institucionales, sobre todo para dar cumplimiento a los requerimientos bsicos de efectividad y eficiencia, pero el tema gnero -en el mejor de los casos- se corresponde con una aceptable recogida y anlisis de datos cuidando el detalle de la desagregacin por sexo. En una propuesta metodolgica concreta y sistematizada para la evaluacin de programas considerando en ella el gnero de un modo transversal y tocando los criterios comunes, se podran considerar los siguientes elementos para el anlisis de gnero:.
CRITERIO DEFINICIN GUA FSE ANLISIS DE GNERO Participacin de mujeres y hombres por eje y tipo de medida (en la entrada y en la salida de los programas) Existencia de un proyecto sociolaboral definido por parte de las mujeres y los hombres participantes a corto plazo Cambios en el estatus profesional de mujeres y hombres a medio y largo plazo: 1. Insercin 2. Sostenibilidad 3. Mejora de la empleabilidad 4. Mejora del estatus profesional 5. Cambio en los usos del tiempo

Eficacia de Grado en el que se alcanzan los objetivos realizacin de las intervenciones Eficacia de Cambios producidos en beneficiarios/as resultados una vez finalizada su participacin en la intervencin que se trate Eficacia de Permanencia de los efectos en las y los beneficiarios al menos 10 meses de impactos finalizada la accin

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

98

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales Eficiencia Relacin entre los recursos empleados en la ejecucin de las acciones, por un lado, y los productos y efectos de stas

Julio 2005

Satisfaccin de hombres y mujeres participantes. Coste/hora por mujer y hombre participante. Duracin de la accin por sexos. Relacin entre satisfaccin/coste actuacin/ resultado obtenido con mujeres y hombres participantes. Sostenibilidad de las intervenciones Pertinencia de objetivos de gnero Relacin entre objetivos de gnero y actuaciones puestas en marcha. Adecuacin de las actuaciones a los colectivos de hombres y de mujeres con mayores problemticas de empleo. Adecuacin de las actuaciones a los colectivos con mayor potencialidad y efecto multiplicador en trminos de igualdad de oportunidades. Relacin perfil de mujeres y hombres participantes con el tipo de actuacin. Consideracin de las necesidades de hombres y mujeres con responsabilidades familiares Relacin entre objetivos de gnero y actuaciones puestas en marcha respecto a los principios comunitarios de igualdad de oportunidades. Adecuacin de los sistemas de gestin, coordinacin, seguimiento y evaluacin.

Pertinencia Adecuacin de los objetivos implcitos de los ejes y medidas, as como de los tipos de actuacin implementados en relacin a cuatro aspectos: a) Las caractersticas del contexto socioeconmico de las intervenciones. b) Las necesidades de las y los beneficiarios directos de las actuaciones cofinanciadas. c) Los principios comunitarios de igualdad de oportunidades. d) Los sistemas de aplicacin y puesta en prctica de las intervenciones.

En la misma obra mencionada anteriormente (Dosal, 2003, 117), Isolda Espinosa aporta: La prctica mostr que no se lograban buenos resultados al aislar los intereses de las mujeres de las polticas y estrategias de desarrollo global. Ante la evidencia, el foco se ha desplazado desde Mujeres en el Desarrollo (MED) a Gnero en el Desarrollo (GED); es decir, desde las mujeres aisladas hacia una perspectiva ms comprehensiva de los hombres y las mujeres y las interrelaciones entre ellos, segn la cual, los cambios para asegurar un desarrollo ms equitativo para ambos sexos involucran a todo el sistema social y sus estructuras existentes. La tarea no ha sido fcil. Investigaciones realizadas por instancias no gubernamentales han revelado lo inadecuado de muchas polticas que an se basan en la percepcin que se tiene de los tradicionales roles de gnero; es decir, los hombres como proveedores econmicos del hogar y las mujeres como un grupo vulnerable dedicado al cumplimiento de sus roles de esposas, amas de casa y madres. En muchos de nuestros pases, los roles de las mujeres como proveedoras de sus hogares, como lderes de sus comunidades, y como aportantes de trabajo comunitario, son ignorados no slo por quienes disean las polticas pblicas, sino tambin al interior de sus hogares y comunidades. Cul es su experiencia al respecto? Comprtela y construyamos juntas/os posibles alternativas de superacin
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

99

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

6.2. CONSTRUCCIN DE UN SISTEMA DE EVALUACIN, MONITOREO, SEGUIMIENTO Y EVALUACIN SENSIBLE A GNERO


Definitivamente, todo Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin debe ser sensible a gnero. No se trata de una caracterstica extra, sino de una particularidad inherente indispensable al pretender calidad en la evaluacin. Rodrguez (1999, 9-45) plantea que deben tomarse en cuenta 6 pasos bsicos: 1. Tomar la decisin. La decisin no es solamente establecer un sistema de recoleccin de informacin. Es organizar un sistema sensible a gnero, asignar los recursos necesarios, y prepararse para los procesos de empoderamiento que el mismo sistema va a ir generando. 2. Seleccin de las/os participantes en (1) el montaje del sistema, en (2) la recopilacin de informacin y (3) como informantes. Debe considerar la participacin activa de mujeres, en la definicin de las variables e indicadores y como recolectoras de informacin. 3. Variables e indicadores. Es importante determinar si en la fase de identificacin y diseo del proyecto se consideraron los elementos centrales de la perspectiva de gnero (divisin del trabajo, acceso y control de los recursos y la condicin y posicin de hombres y mujeres). Posteriormente, revisar el plan estratgico y los planes operativos de la institucin, para determinar la correspondencia entre objetivos, resultados y, por supuesto, los indicadores sensibles a gnero que correspondan a los niveles antes mencionados y por ltimo identificar los elementos de gnero que facilitarn el monitoreo del progreso y la evaluacin de impacto del proyecto. 4. Escalas de desempeo son los instrumentos que se construyen tomando en cuenta las realidades del entorno. Esto es sumamente importante, especficamente en el caso de relaciones de gnero, para evitar que se utilicen indicadores estndares o creados en pases que han avanzado en la construccin de relaciones ms equitativas. Para cada indicador que se seleccione ya sea en un sistema de monitoreo o evaluacin, es necesario fijar o construir una escala de desempeo. Ello implica definir el mejor, el peor y todos los valores intermedios. Los mejores valores son necesariamente las metas. 5. Herramientas para la recoleccin de informacin. Para la identificacin o el anlisis de la situacin problemtica en la que se desea intervenir se debe recoger informacin desagregada por sexo y tener claras las relaciones o aspectos de gnero que se desean modificar mediante el proyecto. Asegurarse de que el anlisis de esta situacin se efecte desde la perspectiva de gnero nos facilita la identificacin de criterios de evaluacin en el futuro y en cierta forma asegura que el plan incorpore estas variables. 6. Procesamiento de la informacin y elaboracin de informes. Es necesario establecer formas de presentacin que visualizan los datos relacionados con gnero. Finalmente, debe tomarse en cuenta que para el montaje de sistemas de monitoreo y evaluacin participativos sensibles a gnero, los tiempos, posibilidades, oportunidades, 100
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

intereses y necesidades diferenciadas de mujeres y hombres deben ser diferenciadas para evitar recargos innecesarios de responsabilidades, y en consecuencias, su aislamiento de los procesos de desarrollo. En muchos proyectos, el esfuerzo por integrar la perspectiva de equidad de gnero se debilita, al no contar con un sistema de evaluacin, monitoreo, seguimiento y evaluacin, que oriente el proceso de construccin hacia la equidad Por lo tanto, los indicadores, que son el punto de referencia para el monitoreo, el seguimiento y la evaluacin, tienen que ser formulados de manera diferenciada por sexo para asegurar que la participacin de las mujeres y los hombres no dependa slo de la conciencia del equipo, sino que sea parte del enfoque institucional y est integrado a los objetivos y planes La base para un SEMSE diferenciado segn gnero se establece durante el anlisis situacional y la planificacin del proyecto. Rodrguez28 seala que los esfuerzos por estructurar sistemas de evaluacin con enfoque de gnero en organizaciones y proyectos han enfrentado una serie de distorsiones y obstculos terico metodolgicos como por ejemplo:
Una concepcin que evaluar con enfoque de gnero es complejo, propio de expertos, difcil de hacer aproximaciones y que el sistema de relaciones de poder es imposible de cambiar. Los aspectos cualitativos son poco medibles y que no se pueden elaborar instrumentos para ellos. Se pretende crear sistemas sin contar con indicadores ni elementos de anlisis de gnero de los aspectos que se desean afectar. Construccin de sistemas de monitoreo, seguimiento y evaluacin en un contexto sin una poltica de equidad de gnero integrada en su visin institucional. nfasis en mejoras en la condicin de las mujeres, descuidando cambios en relacin con su posicin estratgica, en los mbitos pblicos y privados. Falta prever elementos de medicin de los cambios positivos o negativos en los hombres. Atenta contra la cultura y las costumbres de una zona o pueblo, olvidando que todo proyecto ofrece opciones de cambio de actitudes.

Para concluir este captulo, no la discusin que pueda haber generado su planteamiento, cabe observar la importancia de siempre contar con los puntos de vista de hombres y mujeres para facilitar la orientacin del proyecto de acuerdo a las necesidades e intereses de ambas partes. Se tiene que comprender el SEMSE sensible a gnero, como una herramienta de reflexin que facilite el poder de decisin sobre el futuro y el
28

Tomado de: Rodrguez G. y otros (1999), Tomndole el pulso al gnero. Sistemas de monitoreo y evaluacin sensibles a gnero. ABSOLUTO, San Jos Costa Rica, 48 pp.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

101

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

desarrollo esperado, en el nivel institucional, en las personas que laboran en los proyectos y en los grupos participantes. En conclusin, si realizamos un monitoreo con perspectiva de equidad de gnero, no slo empoderamos a la comunidad, sino que nos empoderamos las personas y lograremos incidir en las relaciones de poder que justifican y mantienen desigualdades.

En el captulo 7 abordaremos lo correspondiente a los niveles de participacin en procesos evaluativos.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

102

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

7. La participacin en la Evaluacin
En todo proceso evaluativo sigue siendo un reto lograr los mayores niveles posibles de participacin de parte de las personas involucradas directamente. No nos referimos a una participacin como fuente de informacin, sino una participacin protagnica, ponindose al frente del proceso, nicamente contando con apoyo facilitador. Independientemente del inters externo que pueda haber para evaluar un proceso y valorar los productos logrados, el sector ms interesado es (o al menos debera ser) el involucrado o afectado ms directamente, son las personas que actan en el proyecto, sea como beneficiaria/o, como equipo tcnico, como dirigente comunitaria/o, o Son estas mismas personas quienes deberan de estar al frente de la evaluacin de sus propios quehaceres. Esto no niega la posibilidad de que se solicite un apoyo externo Quin tiene ms autoridad para evaluar, para valorar, para juzgar en cuanto a lo actuado, el cmo se hizo y cmo se hace, el qu se ha logrado, que las propias personas actuando? Si estamos de acuerdo al respecto, s tiene muchas implicaciones, por ejemplo en cuanto a garantizar las condiciones necesarias (es parte del SEMSE) para poder asumir esta responsabilidad. En el presente captulo incluimos dos aportes externos. Un primero respecto a pautas para la evaluacin en caso de proyectos comunitarios. Un segundo, desde Estel Nicaragua, dentro del marco de un Desarrollo Local en base a una Planificacin Estratgica Municipal, donde representantes de la poblacin se organizan para impulsar los Proyectos Estratgicos.

7.1. PAUTAS PARA SISTEMAS DE E-M-S-E EN PROYECTOS COMUNITARIOS


Hemos abordado la problemtica de la evaluacin de proyectos, la necesidad de elaborar e implementar un Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin dentro del marco de proyectos, programas o del organismo, en general. De cara al Desarrollo Comunitario las reflexiones compartidas hasta este momento, tambin son vlidas, independientemente de las adecuaciones necesarias en cada comunidad.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

103

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

En este apartado queremos compartir unas PAUTAS apuntadas por el organismo holands ICCO, ya mencionado anteriormente en este texto, justamente de cara a proyectos de desarrollo comunitario (ICCO, 2000, 20). Para la buena comprensin del aporte vale la observacin que, mientras en el marco de este texto y curso hemos venido hablando de un Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin _ SEMSE, este organismo habla de PME _ Planificacin, Monitoreo y Evaluacin. Pautas para una buena PME de Proyectos Comunitarios Las Organizaciones Comunitarias de Base (OCB) que participan en proyectos tambin deben tener sistemas de PME, aunque stos podran ser ms simples y menos formales que los de las ONGs. En el caso de una OCB, el principal propsito de un sistema de PME es facilitar la participacin, la que se debe basar, por lo menos en forma implcita, en una visin compartida de las metas de desarrollo. Por su parte, la participacin contribuye a la confirmacin o ampliacin de esa visin compartida garantizando, con ello, que la comunidad haga propio el proyecto. La autogestin local ayuda a aprender de la experiencia y capacita para ocupar un lugar ms ntegro en una sociedad ms amplia. Por esto, el proceso de PME debera:
Basarse en formas de trabajo conjuntas existentes, aplicando conocimiento y terminologa local. Considerar la cultura y capacidad de las personas, su ritmo natural y disponibilidad de tiempo. Considerar las diferencias existentes al interior de la comunidad, como gnero, diversidad tnica, edad y nivel de alfabetizacin. Favorecer la sustentabilidad, minimizando la dependencia de insumos externos.

La principal funcin del sistema de PME de proyectos comunitarios debera ser la satisfaccin de las necesidades de informacin de la propia comunidad. Pero, adems, una ONG deber obtener informacin para su propio monitoreo a partir del monitoreo y la evaluacin realizada por la organizacin comunitaria de base. Si bien la naturaleza de un sistema de PME de proyectos de la organizacin comunitaria de base depende de un contexto particular, por lo general debera incluir:
Una visin compartida del problema y comprensin de sus causas (anlisis de la situacin). Los cambios deseados y un referente para conocer xitos y/o fracasos (objetivos e indicadores). Las medidas a adoptar y quin las adoptar (definicin de actividades). Los recursos necesarios, de parte de la comunidad y del exterior (definicin de insumos). Revisiones regulares y quin las har (monitoreo). Reflexin sobre cun lejos han llegado los cambios deseados, si han sido logrados con una amplia participacin y de una forma que permita aprender para futuros proyectos (evaluacin).

Un sistema simple de PME de proyectos que se base en estos 6 elementos puede satisfacer las necesidades de muchas organizaciones comunitarias de base. Es importante CONECTAR el sistema de PME de una OCB con el sistema de PME de una ONG. La cooperacin entre una OCB y una ONG debera basarse en la disposicin de ambas partes para compartir informacin. La OCB debera conocer el mandato, misin y 104
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

polticas de la ONG, y saber cules son los intereses y prioridades de la misma. El alcance y carcter de su relacin depender de las expectativas, limitaciones y prioridades de cada una y, finalmente, de las responsabilidades que cada una pueda y quiera asumir. Las comunidades locales de personas son sujetos activos, y no objetos pasivos, de un proyecto de desarrollo; stas deberan ser sujetos activos del sistema asociado de PME de proyectos. Por lo tanto, la ONG debera procurar que la OCB lleve la delantera en la planificacin de procesos, gestin que sera facilitada por el personal de la ONG. Cuando una OCB est lista para planificar un proyecto, el personal de la ONG debera aprovechar esta oportunidad para ayudarla a desarrollar su propia capacidad y procedimientos de planificacin, monitoreo y evaluacin de proyectos. Al hacerlo, el personal de la ONG debera garantizar la existencia de un espacio ptimo para que las comunidades puedan articular sus propias preocupaciones y determinar sus prioridades. La interconexin existente entre el sistema de PME de una OCB y l de una ONG queda establecida idealmente a travs de un sistema de planificacin integral y participativo donde las propuestas pasan por un proceso de negociacin. No obstante, al ser necesario, las ONGs tambin deben proceder en una forma ms proactiva. En general, el propsito de la ONG es consolidar diversos planes de la OCB desde la perspectiva de su propio mandato, recursos y prioridades. Este proceso establece las bases para una responsabilidad mutua. Cuando una ONG est efectuando un monitoreo, los informes de terreno habituales debern incluir informacin de los resultados de evaluacin y monitoreo de las OCBs, sobre la base de los indicadores de la propia OCB. Por su parte, la ONG debera informar a las OCBs los resultados ms relevantes de su monitoreo y evaluacin, incluida la informacin referente a los pasos propuestos para adaptar sus planes de modo que puedan ser articulados con las actividades e insumos de las OCBs. Los acuerdos organizacionales que podran profundizar la conexin entre los sistemas de PME respectivos incluyen:
Participacin formal de los representantes de la OCB en el directorio de la ONG. Acuerdos de trabajo formalizados como memorndums de entendimiento, acuerdos de cooperacin o contratos de prestacin de servicios. Entrega de informacin a las OCBs, en las etapas iniciales, relativa a los presupuestos disponibles.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

105

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Para tener una visin ms clara lo que podran significar diferentes niveles de participacin en diferentes aspectos (dimensiones), retomamos lo que plantea Rodrguez (1999, 22) al respecto: Niveles de participacin en la evaluacin Niveles de participacin en la evaluacin BAJO MEDIO Dimensiones Evaluacin tpica Evaluadoras/es externas/os Origen
obligatoria como parte del programa de desarrollo. Prioriza las necesidades institucionales.

ALTO
Evaluaciones en las que la poblacin participante y el equipo del proyecto analizan, revisan y reflexionan sobre estrategias desarrolladas, manteniendo la equidad en la representacin. Desarrollo humano equitativo, programas efectivos con participacin equitativa en la toma de decisiones por parte de la poblacin destinataria. Mujeres y hombres de las comunidades, facilitadoras/es externas/os, personas ms afectadas por la intervencin del proyecto. Mtodos cualitativos altamente interactivos pero que no desestimen herramientas cuantitativas. Inventiva y creatividad para adoptar los mtodos al contexto. La persona que evala se vuelve facilitador(a) del proceso. Acta como catalizador(a) y colaborador(a). Los grupos participantes determinan la orientacin, no hay procesos predeterminados. La poblacin participante toma parte en el anlisis y mejora su capacidad para la toma de decisiones por su comprensin del proceso de desarrollo. Los productos son propiedad de las y los participantes.

invitan a representantes de la poblacin participante a asistir a una o ms tareas de evaluacin. Obtener mayor impacto de las actividades de desarrollo desde la perspectiva de la poblacin. Partir de las necesidades e intereses de la poblacin participante. Representantes locales segn el criterio de las/os evaluadoras/es externas/os. Se favorecen los mtodos cualitativos que incluyan tambin mtodos cuantitativos. Valorar un proceso de consulta con las/os participantes. Evaluador(a) trabaja colaborativamente con los grupos participantes. Promueve habilidades para desarrollar evaluacin.

Propsito

Justifica nuevos fondos. Asegurar presupuesto.

Personas consultadas

Directoras/es, administradoras/es y personal del proyecto. Diseos de investigacin establecidos, anlisis estadsticos.

Mtodos

Funcin de la personas que evala

Tomar liderazgo en el diseo. Formula preguntas sin consultar al equipo.

Resultados

Reportes, publicaciones que ocasionalmente circulan entre el personal del proyecto o los grupos participantes.

Gran participacin de los grupos participantes en la recoleccin de informacin, pero muy limitada en el anlisis de datos. La visin de la poblacin se incorpora a la planificacin. Aumenta la comprensin y apropiacin de la poblacin participante.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

106

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

7.2. UNA EXPERIENCIA INTERESANTE: LOS G.I.S. EN ESTEL NICARAGUA


Sistema de impulsin de los proyectos estratgicos y el mecanismo de monitoreo y evaluacin del Plan Estratgico de Reconstruccin y Desarrollo de Estel _ PERDE. La Direccin de Participacin Ciudadana prepar una propuesta de organizacin del sistema de impulsin para la fase de ejecucin la cual ha sido preparada bajo la asesora del CIDEU (Centro Iberoamericano de Desarrollo Estratgico Urbano). 1. Estructura del sistema El sistema de impulsin del PERDE est constituido por el Concejo Municipal, la Direccin de Participacin Ciudadana, el Comit de Desarrollo Municipal (CDM), las Mesas Temticas y los Comits de Impulso y Seguimiento (CIS) de proyectos estratgicos.

Estructura del Sistema de Impulsin


Concejo Municipal Comit de Desarrollo Municipal Mesa Econmico - Social GIS GIS GIS Mesa Educacin, Cultura y Deportes GIS GIS GIS Mesa Infraestructura y Equipamiento GIS GIS GIS Mesa Medio Ambiente GIS GIS GIS

El Concejo Municipal es el gobierno local responsable, por competencias de ley, de cualquier materia que incida en el desarrollo socio-econmico de la circunscripcin territorial del municipio. La Direccin de Participacin Ciudadana es la oficina tcnica del Plan y funciona como rgano de apoyo metodolgico y logstico de los trabajos del Plan. El Comit de Desarrollo Municipal (CDM) como rgano de consulta del gobierno municipal, es a su vez, el rgano promotor del Plan o el ncleo directivo. Las Mesas Temticas: Son responsables de la implementacin de lneas estratgicas. Las mesas temticas son a la vez comits de impulso por lnea estratgica:
Mesa temtica Econmica-Social Mesa temtica Educacin, Cultura y Deportes. Lnea 1: Hacer de Estel un centro econmico. Lnea 3: Fomentar la satisfaccin de las necesidades bsicas como garanta de una vida social agradable. Lnea 6: Impulsar el desarrollo industrial y agroindustrial Lnea 2: Hacer de Estel un centro de servicios socio-educativo. Lnea 5: Promover y fortalecer el rescate y desarrollo de la cultura popular del municipio de Estel, teniendo como eje el desarrollo humano sustentado en la participacin comunitaria. Lnea 7: Democratizar la informacin, los espacios de poder, los recursos locales y externos en funcin de fortalecer la participacin ciudadana.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

107

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales Mesa temtica de infraestructura y equipamientos. Mesa de Medio ambiente

Julio 2005

Lnea 3: Fomentar la satisfaccin de las necesidades bsicas como garanta de una vida social agradable. Lnea 4: implementar un ordenamiento territorial en funcin del uso sostenible de los recursos naturales y de la calidad ambiental.

Los Comits o Grupos de Impulso y Seguimiento (GIS) Como ya lo mencionamos anteriormente los GIS son comisiones de trabajo especficas constituidas para trabajar en pro de la ejecucin de las medidas (o proyectos estratgicos). Estn conformados por personas con capacidad de decisin que representan instituciones o dependencias o bien lo hacen de manera personal por su valor como agente econmico y social, capaz de transformar el municipio. Los comits de impulso y seguimiento se pueden organizar por lneas estratgicas o por proyectos estratgicos. Como queda explicado en el cuadro anterior las mismas mesas temticas se convierten en comits de impulso para las lneas estratgicas y luego, se conforman comits ms especficos para cada uno de los proyectos estratgicos correspondientes a cada lnea conforme a la priorizacin. La mecnica de trabajo de los grupos de impulsin y seguimiento es la autogestin, la bsqueda de consenso y comunicacin. La autogestin se refiere a que cada uno establece su propio programa de trabajo, organiza las reuniones, visitas o actividades que defina para promover y lograr consenso mediante un dilogo permanente entre sus miembros y con los agentes econmicos y sociales, ante quienes se promueven acciones o proyectos especficos, en cumplimiento de los objetivos y lneas de estrategia del plan. Los GIS tienen como finalidad impulsar la toma de decisiones que vincule la ejecucin de los proyectos. El GIS tiene que estar constituido por aquellas entidades que directamente tienen responsabilidad o que pueden ser determinantes para la efectiva consecucin de las medidas que tiene asignadas. La mayor parte de las entidades invitadas a formar parte son a su vez miembros de los rganos permanentes del Plan (mesas temticas, mesa global y CDM) y la composicin del grupo, es decir el nmero de miembros tambin puede variar en atencin a las caractersticas especficas de los proyectos. Es importante que por cada grupo se nombre presidenta/e o coordinador(a) a una persona con solvencia reconocida en los temas objeto del mismo o con una especial vinculacin a la realizacin de las medidas. Los GIS son responsables por que se cumplan las siguientes tareas: Elaborar por cada una de las medidas (o proyectos estratgicos) una Ficha-Informe que contenga los siguientes apartados:
Descripcin detallada de la propuesta o medida. Justificacin con respecto al objetivo de lnea estratgica. Impacto en otras lneas estratgicas. Identificacin de alternativas para su puesta en marcha. Identificacin de los agentes implicados en la ejecucin y grado de compromiso de la misma.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

108

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Presupuesto de realizacin. Financiacin prevista o previsible. Grado de desarrollo del proyecto. Calendario previsto de ejecucin. Actividades a impulsar por los rganos del Plan.

Para disponer de esa informacin los GIS debern realizar las siguientes actividades:
1. Constituirse en un GIS para un determinado proyecto, de entre los proyectos priorizados en el seno de la mesa temtica por cada lnea estratgica. 2. Elegir a un coordinador o coordinadora del GIS. 3. Tomar toda la informacin disponible y la ficha del proyecto de la oficina tcnica del plan. 4. Determinar la existencia o no de una entidad responsable de la ejecucin del proyecto. 5. Identificacin de los agentes implicados en la ejecucin y el grado de compromiso en la misma. 6. Gestionar su formulacin y anlisis de viabilidad y factibilidad. 7. Identificar alternativas para su puesta en marcha. 8. Gestionar la asignacin de presupuesto de realizacin ante organizaciones, programas e instituciones. 9. Realizar actividades de promocin y de recaudacin de fondos para el proyecto. 10. Definir el calendario de ejecucin 11. Elaborar peridicamente por cada proyecto estratgico la Ficha-Informe del proyecto. 12. Gestionar el desarrollo del proyecto 13. Evaluar los resultados.

2. Mecanismo de monitoreo y evaluacin Para llevar adelante el ejercicio del monitoreo y la evaluacin hemos decidido implementar la metodologa utilizada en el plan estratgico de Barcelona (Espaa), con las adecuaciones correspondientes. Para nosotros la metodologa implica la evaluacin de las siguientes medidas:
La evolucin de los proyectos entre 2001 y 2002. El nivel de desarrollo de los proyectos. Sntesis del grado de realizacin o nivel de ejecucin de los proyectos.

La evolucin de los proyectos entre 2001 y 2002. En este sentido pretendemos conocer como han avanzado los proyectos con respecto al ao 1999. Aunque fue hasta el ao 2000 que se finaliz la elaboracin del plan sin embargo los datos del diagnstico municipal fueron tomados al ao 1999. Por esta razn interesa saber como han avanzado las medidas en funcin de esos datos. El anlisis se puede hacer desde tres enfoques:
Proyectos que han avanzado con respecto a 1999 segn se haba previsto e incluso ms rpido. Proyectos que han avanzado con respecto a 1999 pero con retraso. Proyecto que no han avanzado y que estaba previsto que avanzaran.

Tambin se pueden analizar los proyectos que no han avanzado y que no estaba previsto que avanzaran.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

109

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

El resultado de esta informacin se presentar en el cuadro del anexo nmero 1. El nivel de desarrollo de los proyectos. Para evaluar el nivel de desarrollo de los proyectos debemos tomar en cuenta el desarrollo de las fases en que se divide una inversin y el que se denomina ciclo de la inversin. Estas fases son:
Formulacin. Concrecin del proyecto. Estudio previo. Todos los estudios necesarios para su ejecucin: viabilidad, factibilidad, impacto, etc. Agenda. Est en los planes operativas de las entidades responsables y/o comprometidas. Estudio informativo o de programacin. Diseo de la obras. Consignacin presupuestaria. Se designa un presupuesto para la realizacin de lo obra o inversin. Realizacin de la inversin. Materializacin de las obras.

El resultado de esta informacin se presentar en el cuadro del anexo nmero 2. Sntesis del grado de realizacin o nivel de ejecucin de los proyectos. Preparamos una sntesis del grado de realizacin de los proyectos con el objetivo de presentar una evaluacin ms comprensible y comunicable del plan. Utilizamos la siguiente ficha, tambin retomada de la metodologa de la Planificacin Estratgica de Barcelona:
Medida Identificacin de responsables Aceptacin y concrecin de la medida Concrecin de la medida Est en agenda Situacin actual (0-100) Ponderacin de las fases X 1.05 X 0.15 X 0.20 X 0.3 Grado de realizacin Para cuando estaba prevista su realizacin

Formulacin Estudios previos Agenda Elaboracin del proyecto ejecutivo Consignacin presupuestaria Realizacin de la inversin Total

Tiene dotacin econmica Nivel de implementacin

X 0.2 X 0.1

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

110

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

8. Preguntas frecuentes sobre Evaluacin


Por qu finalizar un texto como este con preguntas? Porque el objetivo es justamente construir preguntas y posibles respuestas, inquietudes a profundizar, experiencias a intercambiar. Adems, al finalizar con preguntas, algunas sin respuestas todava, Finalizamos un curso, pero NO estamos indicando que NO HEMOS CONCLUIDO.

concluimos nuestra tarea. Nos planteamos el reto de elaborar, mejorar o perfeccionar los Sistemas de Evaluacin, Monitoreo, Seguimiento y Evaluacin que nos competen en mbitos laborales y sociales, en las comunidades donde trabajamos y vivimos. Sigamos formulando PREGUNTAS sigamos construyendo, junto con la gente RESPUESTAS y PROPUESTAS

8.1. MIS PREGUNTAS _ NUESTRAS RESPUESTAS / PROPUESTAS


1. Cules han sido los avances que se han dado en los procesos, mecanismos y resultados de evaluacin, monitoreo, seguimiento y evaluacin? Hoy en da existen profesionales de S/E (Seguimiento y Evaluacin) en todo el mundo. Despus de ms de 50 aos de experiencia internacional, se ha creado una masa crtica de profesionales de evaluacin, monitoreo, seguimiento y evaluacin que est en capacidad de responder a la demanda creciente de informacin por parte de gobiernos, donantes y comunidades. Esto de por s es un gran avance en un rea de trabajo que carece de puntos de referencia, acadmicos o metodolgicos. El rol crtico de la evaluacin en la retroalimentacin a beneficio de la programacin, como el de monitoreo, seguimiento y evaluacin como instrumento de apoyo administrativo, son en la actualidad ampliamente reconocidos, y en muchos casos se han vuelto imprescindibles a fin de documentar los efectos, impactos, bondades, fracasos y oportunidades de las acciones de cambio y desarrollo. La evaluacin, el monitoreo, seguimiento y evaluacin se est beneficiando de un intercambio general de experiencias, lecciones extradas y tcnicas innovadoras de anlisis comparativo Potenciados por las facilidades de comunicacin electrnica, en casi todas las regiones del mundo, se estn constituyendo asociaciones de profesionales de la evaluacin. Estas asociaciones, a su vez, estn impulsando el intercambio de experiencias, escritos, publicaciones; y, estn facilitando el establecimiento de alianzas estratgicas entre sus miembros.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

111

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Hasta ahora, la evaluacin, el monitoreo, seguimiento y evaluacin se haba dado solamente en el mbito tcnico, con metodologas e instrumentos que dependen y provienen de la esfera de la investigacin cientfica. Hoy esto est cambiando y la evaluacin, el monitoreo, seguimiento y evaluacin se est diferenciando ms y ms del control contable y la investigacin. La evaluacin, el monitoreo, seguimiento y evaluacin est evolucionando y se propone hoy en da como instrumento de manejo ejecutivo, en apoyo de la ejecucin, evaluacin de impactos y transparencia administrativa. Existe una mayor y mejor participacin de los interesados en el proceso y el uso de la evaluacin, el monitoreo, seguimiento y evaluacin. Uno de los mayores avances en los procesos de evaluacin, monitoreo, seguimiento y evaluacin es la mayor y mejor participacin de las partes involucradas en el manejo y uso del sistema de evaluacin, monitoreo, seguimiento y evaluacin y sus productos. En otros tiempos, la evaluacin, el monitoreo, seguimiento y evaluacin era el trabajo de un grupo de especialistas del ramo o amateurs entusiastas. Un trabajo sin mayor interaccin - o con muchas dificultades de aceptacin - por su entorno institucional, poltico o social. En la actualidad, la evaluacin, el monitoreo, seguimiento y evaluacin constituye una actividad integrada al trabajo cotidiano de la mayora de los funcionarios y agentes de campo. Tambin ha habido un cambio radical en las polticas de los organismos (inter)nacionales. En la mayora de las instituciones - hoy en da - predomina el nfasis en los resultados, efectos e impactos de las intervenciones; y, una creciente demanda de mejorar la eficiencia y documentar los procesos, a travs de los cuales se amplan las actividades de campo. Con el tiempo, los procesos de evaluacin, monitoreo, seguimiento y evaluacin han evidenciado la importancia e incidencia de una buena formulacin en el seguimiento de proyectos y programas. Esto ha conllevado al rescate progresivo del marco lgico a fin de evidenciar: puntos de referencia (benchmarks), indicadores de xito, hiptesis de trabajo y riesgos potenciales de las intervenciones. El enfoque del marco lgico es esencial para la evaluacin, el monitoreo, seguimiento y evaluacin ya que facilita la identificacin de estos elementos crticos de la ejecucin y la evaluacin de impactos. Adems, facilita (e impone) la definicin de metas a alcanzar en trminos de calidad, cantidad o capacidad comparables (sistema de indicadores) a travs del tiempo y con programas similares. 2. Desde el punto de vista de un organismo financiante, qu intereses tiene en cuanto a un SEMSE? En cuanto a MONITOREO La entrega oportuna y regular de informes es un importante instrumento para el monitoreo de un organismo de financiamiento. La informacin generada por el sistema de monitoreo de la propia ONG puede entregar la mayor parte de lo que necesita el organismo de financiamiento, siempre y cuando los insumos planificados y los resultados esperados sean comparados con los insumos empleados y los resultados obtenidos, entregando las explicaciones correspondientes cuando se produzca alguna discrepancia, 112

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

y se describan las adaptaciones que se hayan hecho a las actividades planificadas para despus, explicar las razones de dichas adaptaciones. La informacin financiera debiera estar presentada en conformidad con estndares de auditora y contabilidad generalmente aceptados. Se deberan entregar las explicaciones correspondientes cuando se produzca cualquier diferencia importante entre los gastos planificados y los gastos reales. Adems de esta informacin de monitoreo, se deberan mencionar explcitamente otros dos aspectos en los informes de las ONGs a los organismos de financiamiento: Cualquier cambio en la organizacin de la ONG y en el contexto del proyecto. Cualquier evaluacin peridica realizada por el personal de la ONG respecto a si el proyecto, tal como est avanzando, lograr sus objetivos o no: va por buen camino? En cuanto a EVALUACIN Durante la etapa de planificacin de un proyecto, la ONG y los organismos de financiamiento debern acordar cundo y cmo se llevarn a cabo las evaluaciones. Una evaluacin puede ser enfocada como una autoevaluacin de la ONG. Los organismos podrn participar directamente o no dependiendo de lo que se haya acordado. Dichas evaluaciones peridicas tienden a enfocarse en la efectividad y eficiencia ms que en el impacto. Ello se debe parcialmente a que, desde el punto de vista metodolgico, es difcil capturar algunos efectos en el tiempo (por ejemplo, empoderamiento), pero, adems, porque es difcil y no siempre necesario atribuir cambios a las actividades de cualquier proyecto o incluso al trabajo de una sola ONG. No obstante, cada vez que sea posible, se deber incluir el impacto en los trminos de referencia de una evaluacin y se debera buscar un mtodo para obtener la evidencia del impacto, incluidos los mtodos participativos que permitan que las perspectivas de los beneficiarios sean registradas junto con los juicios sobre el impacto. Del organismo de financiamiento a la ONG: garantizando consistencia e informacin La adopcin y uso de prcticas y Sistemas de EMSE al interior de los organismos de financiamiento tiene implicancias inevitables para los requerimientos de informacin hacia las ONG financiadas por estos organismos. Es tpico que los esfuerzos por sistematizar las necesidades de informacin sobre los proyectos y las contrapartes que existen al interior de los organismos de financiamiento (como criterios estndar, formatos, itinerarios y procedimientos para las propuestas y los informes de las contrapartes) ejercen en forma implcita - y tambin explcita - una presin sobre las ONGs para que stas hagan lo mismo, dado que la integridad de los sistemas de asociacin de los organismos depende de la calidad de la informacin que puedan proporcionar las ONGs. Ello podra comprometer la independencia en los avances de los propios sistemas de EMSE de las ONGs. Y se agrega ms confusin cuando los requerimientos de informacin difieren en forma sustancial entre los diversos organismos que entregan financiamiento.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

113

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Para minimizar los efectos tergiversadores que podran existir sobre los enfoques de SEMSE que posean las ONGs, los organismos de financiamiento deberan asegurarse de que el desarrollo de sus sistemas se realice en tal forma que stos sean compatibles con los de las ONGs. Se podra consultar a las ONGs socias cuando se establezca o revise el sistema de EMSE de un organismo; o, por lo menos, deberan ser informadas sobre lo que sucede con la informacin que presentan en etapas claves del proyecto, incluidos los datos sobre quin la utiliza, cmo y para qu propsitos. Dicha cooperacin no slo aumenta las probabilidades de xito con los Sistemas de EMSE; tambin es un importante medio que tiene el organismo de financiamiento para responsabilizarse ante las contrapartes. Existen diversas prcticas y decisiones que deberan adoptar los organismos de financiamiento: Los organismos deberan informar a las ONGs socias cuando reciban los informes de monitoreo y evaluacin, y proporcionar informacin que incluya comentarios analticos. Cuando una ONG est asociada con varios organismos de financiamiento, ello se podra hacer a travs de un organismo que funcione como lder. En el caso de que un organismo de financiamiento est interesado en llevar a cabo una evaluacin o estudio de impacto no planificada, ello se debera discutir anticipadamente con la ONG interesada. Se debera invitar al personal de la ONG para que ayude a definir los trminos de referencia para cualquier trabajo de esa naturaleza. El organismo debera informar a la brevedad a sus contrapartes cuando se produzca cualquier cambio de sus polticas, programas, prioridades y recursos que pudiera afectar los proyectos o el sistema de EMSE de la ONG. Los organismos de financiamiento deberan institucionalizar sus sistemas de EMSE integrndolos a los procedimientos de trabajo, prcticas y cultura y compartirlos entre s y con sus contrapartes del Hemisferio Sur. Las lecciones aprendidas a partir del desarrollo y el uso de dichos sistemas tambin deberan ser compartidas a medida que vayan surgiendo, de modo que se puedan difundir las buenas prcticas y evitar las malas. Tal como sucede con las ONGs y con todas las organizaciones que desarrollen sistemas de EMSE, los organismos de financiamiento deberan mantener un equilibrio en el sistema de EMSE entre la rendicin de cuentas y los objetivos de aprendizaje. Es vital que estos procesos gemelos de EMSE sean comunicados a todos los que participen en la generacin o uso de informacin de EMSE, incluido tanto el personal del organismo como de la ONG. Los organismos de financiamiento deberan usar los sistemas de EMSE no slo para evaluar la integridad de las propuestas de proyectos de la ONG sino que, adems, y talvez lo ms importante, para ayudar a identificar las fortalezas y debilidades de las ONGs y sus proyectos con el objeto de apoyar el fortalecimiento institucional hacia donde ms se necesite. De este modo, la informacin del sistema de EMSE puede ser utilizada solidariamente entre los organismos y las ONGs como una base para el dilogo sobre desarrollo de proyectos y programas y de apoyo institucional. 114

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

3. Cules son los aspectos crticos para que los sistemas de evaluacin, monitoreo, seguimiento y evaluacin avancen? Los sistemas de EMSE deben responder efectivamente a la demanda. En el mbito (inter)nacional, existe una considerable demanda de datos e informacin por parte de la administracin de la asistencia (inter)nacional29. Esta demanda est dirigida a evidenciar el costo-oportunidad - o la oportunidad de los costos! -, la transparencia de stos y el impacto de las acciones de desarrollo rural/social/ambiental, etc. En el mbito de las comunidades y organizaciones locales existe una saturacin evidente e indiscutible de actividades y compromisos con iniciativas de asistencia (inter)nacional. Su participacin (interesada, voluntaria o no) en diagnsticos (participativos) de necesidades, propuestas de proyectos a nivel local, en medidas de descentralizacin, censos nacionales o compilaciones varias - desborda la capacidad de gobierno y ejecucin de estas comunidades. La participacin de las comunidades y organizaciones locales en actividades de cambio ha trado consigo una experiencia (y lecciones ciertamente aprendidas) que se traduce hoy en da en una participacin ms crtica y selectiva de las comunidades en actividades de promocin de cambio. Las organizaciones locales ahora requieren un seguimiento ms continuo, mayor claridez, coincidencia y pruebas concretas de los beneficios propuestos. Es una demanda que los sistemas de EMSE deberan atender. En el mbito institucional, uno de los factores crticos para poner en marcha un sistema de EMSE es el reconocimiento de su utilidad en el mbito de las instituciones, programas o proyectos como instrumento de gestin, en apoyo a la descentralizacin y programacin a niveles mltiples. La evaluacin, el monitoreo, seguimiento y evaluacin es un instrumento que puede enriquecer la institucin si esta lo desea. El anlisis de la informacin recogida y la incorporacin de esta en los mecanismos de aprendizaje administrativo y cambio institucional permiten mejorar la calidad de los servicios. Sin embargo, lo anterior requiere de una nueva visin de la realidad y contexto institucional, mecanismos de lectura de resultados y servicios innovadores y un cambio de actitud a nivel de funcionarios y directivos, que permita un anlisis crtico de los avances, errores y problemas encontrados. Dicho cambio requiere de un ambiente de trabajo abierto y proactivo, o sea una nueva cultura de trabajo que no siempre suele acompaar el incremento de la demanda de servicios informativos. 4. Por qu han fallado algunos sistemas de evaluacin, monitoreo, seguimiento y evaluacin y/o Informacin? Los sistemas de informacin y/o de evaluacin, monitoreo, seguimiento y evaluacin fallan porque no evolucionan en su (1) contenido (nuevos campos de informacin que se aaden regularmente), (2) manejo (software de acuerdo al computer environment predominante en el pas ej. Windows), y (3) clientela/usuarias/os.
29

Bancos (inter)nacionales y organizaciones privadas, donantes bi(multi)laterales, gobierno e instituciones anfitriones, ONGs, etc.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

115

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Porque no son eficientes. El manejo de la informacin debera ser eficaz. O sea, 1) con objetivos y tipos de clientes de la informacin claros, precisos y reconocidos por todos los usuarios; y, 2) productos (informes) dinmicos, oportunos y a gran difusin. El concepto de la retroalimentacin si bien aceptado colectivamente an no ha sido transformado en un servicio regular e inherente a los sistemas de evaluacin, monitoreo, seguimiento y evaluacin y/o informacin. En primer lugar, el desarrollo un sistema de Informacin y/o evaluacin, monitoreo, seguimiento y evaluacin debera pasar por un anlisis preliminar detallado de: (a) las necesidades, (b) el tipo de informacin y (c) de informes requeridos a cada nivel de su clientela potencial. El anlisis debera enseguida pasar por un examen de la informacin existente (de segunda mano) para (c) aliviar el cargo de datos e informacin a recolectar y (d) ampliar el marco de referencia de esta (nivel regional, nacional, etc.)

Los sistemas de informacin y/o de EMSE fallan porque son temidos. Y, son temidos porque an no se ven como un servicio al consumidor. O sea, que an no se han separado de su rol inicial (real o sentido) de auditoria/control. Los sistemas de informacin y/o de SEMSE fallan porque son poco crebles. La informacin contenida en los sistemas de evaluacin, monitoreo, seguimiento y evaluacin debera ante todo ser confiable. Por lo que la disciplina en la recoleccin y el control de calidad de los datos es un punto crtico del sistema. 5. Cules son los requerimientos de informacin clave por parte de los organismos de financiamiento? Los requerimientos de los organismos de financiamiento incluyen la informacin que debe entregar una organizacin para que los organismos de asistencia puedan evaluar una propuesta y la implementacin de la misma (incluida la utilizacin de fondos entregados por estos organismos); pero ellas no estn limitadas slo a eso. De hecho, las solicitudes de informacin de los organismos de financiamiento sirven para diversos propsitos: Adoptar decisiones de financiamiento que sean responsables. Aprender de las experiencias del programa. Asumir la responsabilidad de los gastos del programa, tanto a nivel interno como externo (responder a los donantes y el pblico). Estar en condiciones de actuar en representacin de las contrapartes. Asumir temas relacionados con lobby e incidencia. Ayudar a identificar las necesidades de fortalecimiento institucional. Informacin necesaria para gestionar las solicitudes de financiamiento y decidir sobre ellas: Todos los organismos requieren informacin sobre el proyecto (o programa) propuesto e informacin sobre la organizacin que implemente el mismo (o responsable). 116

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

a) Informacin del proyecto 1. Informacin clave sobre el rea y la poblacin meta. 2. Resumen del anlisis de la situacin (comprender el problema). 3. Objetivo superior y objetivos especficos:

- descripcin del objetivo superior (u objetivo a largo plazo), con indicadores de impacto. - descripcin de los objetivos especficos, con indicadores de efectividad.

4. Actividades, insumos necesarios y objetivos deseados, con metas. 5. Enfoque del trabajo, estrategia de implementacin. 6. Supuestos o factores de riesgo. 7. Informacin financiera - duracin del proyecto, costo total, aportes totales, aportes de otros donantes, aportes solicitados. b) Sobre la organizacin 1. Identidad, fecha de fundacin, antecedentes formales de inscripcin, escritura de constitucin o estatutos, estructura organizacional. 2. Un currculum Institucional breve que indique las principales actividades y experiencias en diversos campos. 3. Redes y alianzas estratgicas de las cuales forma parte la organizacin. 4. Composicin y labores del directorio. 5. Composicin del personal, antecedentes profesionales del personal clave. 6. Sistemas de toma de decisiones a nivel interno. 7. Participacin de las poblaciones meta en los procesos de toma de decisiones. 8. Sistemas y procedimientos de Planificacin, Monitoreo y Evaluacin. 9. Fortalezas y debilidades percibidas por la propia organizacin. 10. Informacin financiera general. Requerimientos de Informacin durante el proceso de implementacin Los organismos de financiamiento necesitan recibir por lo menos una vez al ao un informe narrativo y los estados financieros. a) El informe narrativo debera sealar claramente qu actividades planificadas han sido llevadas a cabo, cmo se pueden comparar los resultados producidos con los deseados, y qu avances se han realizado para lograr los objetivos especficos y el objetivo superior. b) El informe de estados financieros debera comparar los ingresos y gastos reales con el presupuesto, explicando discrepancias que pudiera existir; tambin debera adjuntar un informe de auditora en el mismo momento o poco despus. Otras necesidades de Informacin Cada organismo de financiamiento requiere informacin especfica que le ayuda a informar en qu medida se relacionan las decisiones de financiamiento y la implementacin de los proyectos con las polticas prioritarias y/o para estar en condiciones de entregar informacin para el trabajo de lobby o incidencia. Por ejemplo: La mayora de los organismos necesitan tener informacin sobre los efectos del proyecto en relacin con los temas de gnero. Algunos organismos solicitan informacin sobre aspectos medioambientales. Algunos organismos solicitan estar informados sobre los avances logrados en relacin con otros temas que con considerados altamente relevantes desde el punto de vista de la elaboracin de polticas (por ejemplo, autonoma de las organizaciones populares).
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

117

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

En determinadas circunstancias, un organismo podra solicitar informacin especfica relacionada con un trabajo de incidencia en el Hemisferio Norte y/o con las necesidades que presentan las relaciones pblicas del organismo. Algunas veces, se solicita a una organizacin socia que coopere con un estudio de evaluacin que haya iniciado un organismo, esta podra ser una de las condiciones del acuerdo entre el organismo y sus donantes. 6. En el desarrollo de los sistemas de evaluacin, monitoreo, seguimiento y evaluacin, prima ms lo tcnico o lo organizacional? Un marco institucional propicio es una condicin necesaria y obligatoria. El funcionamiento adecuado de los sistemas de evaluacin, monitoreo, seguimiento y evaluacin requiere ante todo de un marco institucional que acoja la informacin. Este tambin requiere de un soporte organizativo y logstico que permita la recoleccin de sta. La recoleccin de informacin vlida y completa es fundamental. Tal vez el punto mas critico (entre los crticos) de un sistema de evaluacin, monitoreo, seguimiento y evaluacin es la (1) capacidad de recoleccin de una informacin que sea a la vez (2) valida (cualitativa y cuantitativamente) y (3) completa. O sea, que esta ltima pueda a) servir de base a una serie cronolgica de datos y b) ser representativa del universo tcnico y contexto socio-institucional correspondiente. En base en lo anterior, prima lo organizativo sobre lo tcnico. La capacidad de recoleccin de la informacin depende de los recursos humanos disponibles. En el mbito institucional estos son los enumeradores y agentes de campo. En el mbito de la comunidad esta debe hacerse sobre la base de los recursos humanos disponibles. O sea, agentes hbiles y con inters en el clculo y la contabilidad. Estos ltimos generalmente son los jvenes y los nios y nias que van a la escuela y que precisan establecer (de por s y para su familia) un rol productivo/participativo dentro de la comunidad. La validez de los datos depende de su uso inmediato y la retroalimentacin. La validez (cualitativa y cuantitativamente) de la informacin depende de la seleccin correcta de los enumeradores/encuestadores arriba mencionados. Asimismo esta depende de la conviccin de los agentes de campo de que la informacin ser:
(a) utilizada regularmente a niveles superiores. O sea, ser utilizada para romper el aislamiento de su ministerio o de las comunidades que representa; (b) retro-alimentada a los proveedores de esta informacin para garantizar la transparencia y la continuidad de la cooperacin y colaboracin mutua; y, (c) servir en sus tareas, facilitar la elaboracin de informes rutinarios y favorecer el rol del enumerador en su medio (incentivos).

La informacin debe ser completa - concepto que es diferente de informacin integral. Talvez este es el punto con el cual inician (y repentinamente mueren) muchos sistemas de informacin y evaluacin, monitoreo, seguimiento y evaluacin. Buscando crear una base de datos que reconcilie y cubra todas las necesidades desde el inicio, generalmente se pierden al menos uno a dos aos. Durante este perodo se discuten: (a) formatos barrocos de recoleccin y (b) la informacin o datos a incluir. Al fin de esta decepcionante tarea,
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

118

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

habitualmente se establece incluir en la configuracin del sistema de evaluacin, monitoreo, seguimiento y evaluacin toda la informacin imaginable y se concluye con une recoleccin de datos fraccionaria y con formatos de compilacin libremente, desenvueltamente y tardamente finalizados! La informacin contenida en el sistema debe ser comparable. El concepto de informacin completa debera referirse ms bien a que la mayor parte de la informacin contenida en el sistema sea comparable en el tiempo y en todos los campos (seleccionados). Sin esto, el sistema de evaluacin, monitoreo, seguimiento y evaluacin pierde razn de ser, o sea, dar seguimiento (contabilizar) y comparar! El concepto de informacin completa conlleva 1ero, a separar las necesidades de evaluacin de impacto, de las necesidades ms ejecutivas de seguimiento. En segundo lugar, implica una reduccin drstica de la informacin a recoger. O sea, que la bsqueda de informacin completa debe finalizar en la identificacin, seleccin y creacin de un mnimo atinado de datos que se ampla progresivamente en base a una demanda real. Una demanda que es la expresin de las/os usuarias/os de la informacin. La seleccin de datos bsicos para el anlisis de la ejecucin y del impacto. Lo anterior a su vez conlleva a seleccionar - la documentacin e informacin necesaria para el anlisis de la ejecucin (informacin ejecutiva y financiera), de aquella necesaria para el anlisis del impacto. Para el anlisis del impacto se requiere de una pequea muestra de acciones/sitios /comunidades, etc.: (a) seleccionada dentro del universo representativo del sistema de EMSE; que sea representativa de los diferentes (b) contextos (socioeconmicos, agro-ecolgicos, etc.); (c) universos tcnicos de los resultados; y, que pueda ser (d) sistemtica y regularmente documentada por los tcnicos o especialistas de campo. El anlisis del impacto tambin conlleva a un anlisis crtico, basado en una visin clara y sinttica de los objetivos y elementos del sistema de evaluacin, monitoreo, seguimiento y evaluacin, por parte del/de la encargado/a de evaluacin, monitoreo, seguimiento y evaluacin y posteriormente de los/as evaluadores/as especializados/as. 7.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

119

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

8.2. OTRAS PREGUNTAS _ MIS RESPUESTAS / PROPUESTAS


1. En qu medida la evaluacin, el monitoreo, el seguimiento y la retroalimentacin, la apertura a los cambios, el mejoramiento continuo y la innovacin estn integradas en el quehacer de la organizacin? En mi organismo podemos hablar de una cultura de evaluacin?

2. Cmo me involucro en los procesos de evaluacin en mi trabajo?

3. Considerando todo lo planteado en este curso, cules son los aspectos que ms se cumplen en nuestro organismo? Qu hacemos ms: monitorear, dar seguimiento o evaluar? Por qu y qu relacin existe entre estos procesos, en la prctica? Qu falta para poder contar con un verdadero Sistema de Evaluacin, Monitoreo, Seguimiento y Evaluacin?

4. Qu otras preguntas (3 como mnimo) deben de responderse en la situacin de nuestro organismo?

A. ___________________________________________________________________________?

B. ___________________________________________________________________________?

C. ___________________________________________________________________________?

5. A partir de nuestra realidad, qu se debe hacer para avanzar en la construccin de un Sistema oportuno de Evaluacin, Monitoreo, Seguimiento y Evaluacin? (Ver orientacin
del trabajo de campo p. 42)

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

120

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Bibliografa
. Abdala E. (2004), Manual para la evaluacin de impacto en programas de formacin para jvenes. CINTERFOR, Montevideo, 152 pp. . lvarez M. (2001), El Equipo Directivo. Recursos Tcnicos de Gestin. Editorial Laboratorio Educativo. Caracas Venezuela, 333 pp. . AME (2005), Plan Estratgico de Reconstruccin y Desarrollo del Municipio de Estel. AME, Estel, 63 pp. . Ander-Egg E. (1982), Metodologa del Trabajo Social. Instituto de Ciencias Sociales Aplicadas, Alicante, 244 pp. . Aqum Chvez R. y Krueger C. (2001), Hacia un Sistema de Monitoreo al Plan de Reduccin de la Pobreza en Municipios _ SISMO. Presentacin en PP, La Paz Bolivia, 27 pp. . Arriagada R. (2002), Diseo de un sistema de medicin de desempeo para evaluar la gestin municipal: una propuesta metodolgica. ILPES, Santiago de Chile, 188 pp. . Asociacin de Municipios de Honduras (2001), Manual de Gestin del Ciclo de un Proyecto. PRODEMHON, Tegucigalpa, 40 pp. . Astorga A. (2003), Manual tcnico de EIA: lineamientos generales para Centroamrica. Unin Mundial para la Naturaleza - Oficina Regional para Mesoamrica. / UICN, Costa Rica, 53 pp. . Baca Urbina G. (2001-4), Evaluacin de Proyectos. McGraw-Hill, Mxico, 383 pp. . Baker J. (2000), Evaluacin del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales. BM, Washington, 218 pp. . Banco Mundial (2002), Seguimiento y Evaluacin: Instrumentos, mtodos y enfoques. OED, Washington, 26 pp. . Beccaria L.A. (1995), Enfoques para la medicin de la pobreza. S.E., S.L., 28 pp. . Betanco Aguilar D.L. y Van de Velde H. (2005), Indicadores Sociales e Instrumentos de valoracin. CURN-CICAP, Estel Nicaragua, 115 pp. . BID (1996_a), Indicadores de diagnstico, seguimiento, evaluacin y resultados. Elementos conceptuales para su definicin y aplicacin. Departamento Nacional de Planeacin, Santa Fe de Bogot, 6 pp. . BID (1996_b), Viabilidad, elegibilidad y prioridad en la gestin de proyectos de inversin pblica. Elementos conceptuales para su definicin y aplicacin. Departamento Nacional de Planeacin, Santa Fe de Bogot, 25 pp. . Blndez A.J. (1996), La investigacin-accin: un reto para el profesorado. Gua prctica para grupos de trabajo, seminarios y equipos de investigacin. INDE, Zaragoza, 196 pp. 121

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

. Bliek J. (2004), Metodologa para la elaboracin de proyectos productivos. VOLENS-itinerans, Rabinal Guatemala, 27 pp. . Bosco Pinto J. (1987), La Investigacin-Accin. Agencia canadiense para el desarrollo internacional, Colombia, 123 pp. . Budinich V. (1998), Lineamientos para Incorporar la Perspectiva de Gnero en Sistemas de Seguimiento y Evaluacin. FIDA-CDB, Castries, Sta. Luca, 53 pp. . Cceres T., Winchester L. y Rodrguez A. (1997), Indicadores de Gestin Local. SUR-Centro de Estudios Sociales y Educacin, Mxico, 8 pp. . Camacho H. y otros (2001), El enfoque del marco lgico: 10 casos prcticos. Cuaderno para la identificacin y diseo de proyectos de desarrollo. CIDEAL-ADC, Madrid, 234 pp. . Camara Lpez L. (2005), Planificacin Estratgica. Gua para entidades sin nimo de lucro que prestan servicios de insercin sociolaboral. CIDEAL, Madrid, 145 pp. . CANTERA _ Centro de Educacin y Comunicacin Popular (2002), Curso de Desarrollo y Poder Local con perspectiva de Gnero. III taller: Evaluacin, Seguimiento y Medicin de Impacto y la concepcin metodolgica de educacin popular con perspectiva de gnero. CANTERA, Managua, 50 pp. . CEPAL (1999), Indicadores de gnero para el seguimiento y la evaluacin del programa de accin regional para las mujeres de Amrica Latina y el Caribe, 1995-2001 y la plataforma de accin de Beijing. Naciones Unidas, Santiago de Chile, 83 pp. . CERIS _ Centro de Estadstica Religiosa e Investigaciones Sociales (2003), Evaluacin de Proyectos Sociales. Textos para el debate. CERIS, Brasil, 21 pp. . Chassagnes Izquierdo O. (s.f.), Fundamentos de Gerencia Contempornea. Diplomado en Participacin Comunitaria y gestin de calidad de servicios. Instituto Superior Politcnico Jos A. Echeverra, La Habana Cuba, 123 pp. . CICAP (2002), Evaluacin de Impacto. Propuestas Metodolgicas. Compendio de textos relacionados. CICAP, Estel Nicaragua, 232 pp. . CICAP (2003), Indicadores de Gestin Local Compendio de textos relacionados. CICAP, Estel - Nicaragua, 153 pp. . Comisin Europea (1999), Indicadores de Seguimiento y Evaluacin: Orientaciones metodolgicas. El Nuevo Perodo de Programacin 2000-2006: Documentos de trabajo metodolgicos. Documento de Trabajo 3. UE, Bruselas, 66 pp. . Comisin Europea (2000), Hacia un perfil de la sostenibilidad local. Indicadores comunes europeos. Informe Tcnico. Direccin General Medio Ambiente, Italia, 12 pp. . Comisin Europea (2001), Manual. Gestin del ciclo de Proyecto. Europe-Aid Oficina de Cooperacin, Bruselas, 45 pp. . Comisin Nacional de Juventud de Nicaragua (s.f.), Diseo y conformacin de un sistema de monitoreo y evaluacin. Presentacin en PP, Managua, 21 pp.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

122

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

. Competitividad Personal y Empresarial (1996), Glosario descriptivo de mtodos y tcnicas gerenciales. Competitividad Personal y Empresarial, S.L., 124 pp. . Coppens F. y Van de Velde H. (2005), Tcnicas de Educacin Popular. CURN-CICAP, Estel Nicaragua, 152 pp. . Darquea Sevilla G. (2000), Planificacin Participativa Local. Criterios mnimos e indicadores. FISDL Grupo Consultivo RTI / USAID, El Salvador, 19 pp. . Delnet (2002), Recursos de la intranet de DELNET sobre: Planificacin Estratgica, Agencias de Desarrollo Local, Incubadoras, Clusters y Parques Tecnolgicos, Asociaciones de Municipios, Indicadores. CIF OIT, Turn, 41 pp. . Delnet (2004), UD 06 Planes Estratgicos II. Programas y Proyectos. CIF OIT, Turn, 37 pp. . Direccin Regin Metropolitana (1999), Informe de Seguimiento de Implementacin de Medidas Contenidas en el Plan de Prevencin y Descontaminacin Atmosfrica de la Regin Metropolitana para 1998 y Desafos 1999. C. Nacional de Medio Ambiente, Santiago, 72 pp. . Dosal P. (coordinadora) (2003),Cmo evaluar las polticas pblicas desde la perspectiva de gnero? Diputacin Foral de Bizkaia., Bilbao, 190 pp. . DPPI (2001), El uso de indicadores socio-econmicos en la formulacin y evaluacin de proyectos sociales. Aplicacin Metodolgica. ILPES, Santiago de Chile, 109 pp. . Espinoza J. y Martnez M. (2002), Salud Comunitaria: conceptos, mtodos, herramientas. Accin Mdica Cristiana, Managua, 563 pp. . FAO (s.f.), Metodologas de Diagnstico Rpido para Evaluar el Impacto. http://www.fao.org/pbe/pbee/docs/other/field_proj/sp/rapid_s.htm, 9 pp. . Fontaine E.R. (1999-12), Evaluacin social de proyectos. Alfaomega, Colombia, 471 pp. . Forni F. (2004), Formulacin y evaluacin de proyectos de accin social. IDISCO Universidad de Salvador, Buenos Aires Argentina, 57 pp. . Fundacin Internacional de Jvenes (2003), Gua de recursos para ONGs y Organizaciones Civiles. BM Programa de Pequeas Donaciones, S.L., 62 pp. . FUNDES (2002), Indicadores del entorno de la Pequea y Mediana Empresa (PyME) en los pases FUNDES. Programa Mejora de las Condiciones del Entorno Empresarial, El Salvador, 39 pp. . Geilfus F. (1997), 80 Herramientas para el desarrollo participativo. IICA/Holanda, San Salvador, 207 pp. . Girardin Y. (1993), La gerencia en las ONG. Gestin NORSUD, Montreal Canad, 335 pp. . Gobierno de Chile (2000), Gua para la Construccin de Indicadores de Gestin de servicios pblicos. http://www.modernizacion.gov.cl/cedoc/guias/ indikdorpag1(al 6).html, 16 pp.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

123

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

. Guerra Dvila R.E.F. (1998), Sistemas de Informacin para la Administracin. Universidad Abierta, internet, 11 pp. . Helming S. y Gbel M. (1998), Planificacin de proyectos orientada a objetivos (ZOPP). Orientaciones para la planificacin de proyectos y programas nuevos y en curso. GTZ, Eschborn Alemania, 32 pp. . Herrera E. (2004), Seminario de Tesina. CURN-CICAP, Estel Nicaragua, 28 pp. . Herrera E. y Van de Velde H. (2004), Autodiagnstico Socio-Econmico. CURN-CICAP, Estel Nicaragua, 138 pp. . Holliday A. (2002), Doing and Writing Qualitative Research. SAGE, London, 211pp. . ICCO (2000), Pautas para una buena planificacin, monitoreo y evaluacin (pme) de proyectos de desarrollo comunitario implementados por ong del hemisferio sur con el respaldo de organismos ecumnicos europeos. En internet: http://www.icco.nl, 52 pp. . Instituto Latinoamericano y del Caribe de Planificacin Econmica y Social ILPES (2001), El uso de indicadores socio-econmicos en la formulacin y evaluacin de proyectos sociales. Aplicacin metodolgica. Naciones Unidas Serie Manuales # 15, Santiago de Chile, 109 pp. . Klinger E. (1998), El seguimiento en los proyectos de cooperacin tcnica. GTZ, Alemania, 31 pp. . Lpez N., Sandoval I. y Oduber Rivera J., Metodologa para la medicin de las variables pobreza y medio ambiente desde la perspectiva de gnero. CATIE OLAFO UNA - IDESPO, Costa Rica, 28 pp. . Malta J. (2003), Gestin de Proyectos en Desarrollo Local. Ideas Litogrficas, Tegucigalpa, 193 pp. . McGregor D. (1994), El lado humano de las organizaciones. McGraw-Hill, Colombia, 243 pp. . Mndez Delgado E. y Lloret Feijo M. (2003), Una forma de medir el desarrollo econmico local en cuba. Universidad Central de Las Villas, Cuba, 45 pp. . Millar C.F. (1998), La medicin de la efectividad de la institucin en un programa de administracin total de la calidad en la regin de Atlanta, al hablar de las horas de divisin de trabajo del departamento de trabajo de EU. Universidad de Georgia, Georgia, 8 pp. . Miranda Miranda J.J. (2003-4), Gestin de Proyectos. Identificacin Formulacin Evaluacin financiera-econmica-social-ambiental. MM Editores, Bogot, 470 pp. . Moragues A. y otros (2000), Monitoreo de programas y servicios sociales desde la perspectiva de los beneficiarios y actores sociales involucrados: una evaluacin desde el territorio. SIEMPRO, Argentina, 109 pp. . Muoz Giraldo J.F., Quintero Corzo J. y Munvar Molina R. (2001), Cmo desarrollar competencias educativas en educacin? Cooperativa Editorial Magisterio, Bogot, 258 pp.
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

124

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

. Ochoa M. y Van de Velde H. (2002), Microproyectos. Mdulo y Memoria. CICAP Cruz Roja / Proyecto de Salud Comunitaria, Estel Managua, 18 pp. 13 pp. . PADER (s.f.), Sistema de Seguimiento para la Construccin del Municipio Productivo. Internet, 18 pp. . Prez M. y Van de Velde H. (2004), Procesamiento de Datos. CURN-CICAP, Estel-Nic., 68 pp. . Peters C. y Flores Rejas L. (compiladores) (2000), Desafiando el Futuro. Curso Bsico para Dirigentes de las OECAs. Mdulo 4: Gestin. SNV, Sucre Bolivia, 125 pp. . PROASEL-IC (1998), Informe de monitoreo sobre la implementacin de la metodologa prctica para la incorporacin de un enfoque de gnero en proyectos de desarrollo rural. PROASEL-IC, Tegucigalpa, 23 pp. . Quintero Uribe V.M. (1995), Evaluacin de Proyectos. Construccin de Indicadores Sociales. Fundacin FES, Colombia, 279 pp. . Red de la Agenda Local para Amrica Latina y El Caribe (2001), Indicadores para el desarrollo sustentable. Posibilidades y Limitantes. ICLEI GTZ, Santiago Chile, 6 pp. . Robles T. y Luna R. (1999), Elaboracin de indicadores para proyectos ambientales. PROARCA/CAPAS, Guatemala, 45 pp. . Rodrguez G. y otros (1999), Tomndole el pulso al gnero. Sistemas de monitoreo y evaluacin sensibles a gnero. ABSOLUTO, San Jos Costa Rica, 48 pp. . Rodrguez Prez R. y Van de Velde H. (2005_a), Direccin: motivacin, liderazgo y trabajo en equipo. CURN-CICAP, Estel Nicaragua, 141 pp. . Rodrguez Prez R. y Van de Velde H. (2005_b), Direccin: Motivacin, liderazgo y trabajo en equipo. Anexos. CURN-CICAP, Estel Nicaragua, 83 pp. . Rodrguez Prez R. y Van de Velde H. (2005_c), Gestin de Proyectos Sociales. CURN-CICAP, Estel Nicaragua, 171 pp. . Romn C. M. (1999), Hacia una Evaluacin Constructivista de Proyectos Sociales. Internet: http://rehue.csociales.uchile.cl/publicaciones/mad/01/paper04.htm, Chile, 8 pp. . Santos Guerra M.A. (1998), Evaluar es comprender. Magisterio del Ro de La Plata, Buenos Aires, 285 pp. . Sapag Chain N. y Sapag Chain R. (1996-3), Preparacin y evaluacin de proyectos. McGrawHill, Santaf de Bogot, 404 pp. . Saravia D. (2003), Desarrollo Endgeno y Estrategia Nacional de Desarrollo. Borrador, Nicaragua, 87 pp. . Sazo Ramos C.C. y Valenzuela Morales L. (2000), Marco Lgico. Formulacin de proyectos y programas en el contexto del desarrollo local. Inst. Profesional del Valle Central, Talca, 30 pp. 125

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

. SCEP (1999), Manual del Equipo Municipal de Planificacin. La Comunidad y sus proyectos. Participacin activa de la comunidad en su desarrollo. INFOM-gtz-SCEP, S.L., 81 pp. . SCEP (S.F.), Gua para los equipos departamentales. Metodologa para la formulacin de Agendas de Desarrollo Departamental. Instrumento para orientar el proceso de planificacin con participacin de actores departamentales. GTZ, S.L., 17 pp. . SERNAM (1998), Manual Para Proyectos. Por qu y cmo utilizar indicadores de gnero? ACDI, Santiago de Chile, 26 pp. . Speelmans M. (s.f.), Preguntas ms frecuentes y lecciones extradas sobre sistemas de S/E. Internet, 8 pp. . Tropisec (2002), Gua de Seguimiento y Evaluacin. TROPISEC-IDR, Biblioteca Digital, 41 pp. . Unin Europea (1999), Experiencia en la elaboracin de indicadores en el tema Mujer Adolescente y Joven Managua. ALA 92/46 Programa Mujeres Adolescentes, San Jos, 68 pp. . Urza D. (2004), Manual del sistema de seguimiento y evaluacin de la poltica pblica de juventud (sse). Comisin Nacional de Juventud de Nicaragua, Managua, 68 pp. . Valdez T y Palacios I. (1999), Participacin, Liderazgo y Equidad de gnero en Amrica Latina y el Caribe. CEPAL UN, Santiago de Chile, 110 pp. . Van de Velde H. (2002), Cmo transformar datos en informacin? (dentro del marco de una investigacin cualitativa) CICAP, Estel Nicaragua, 28 pp. . Van de Velde H. (2004_a), Aspectos administrativos, planificacin estratgica y operativa. CURN-CICAP, Estel Nicaragua, 95 pp. . Van de Velde H. (2004_b), Construyendo una Cultura Emprendedora de Calidad, desde un Enfoque Integral de Desarrollo Local en la Ciudad de Estel Nicaragua. Plan de Accin para la promocin de y el seguimiento a iniciativas de construccin de buenas prcticas educativas y laborales. CICAP, Estel Nicaragua, 85 pp. . Van de Velde H. (2004_c), Procesos de Facilitacin. CURN-CICAP, Estel Nicaragua, 105 pp. . Van de Velde H. (2005), Formulacin y Gestin de (Micro-)Proyectos. CURN-CICAP, Estel Nicaragua, 156 pp. . Vela G. (2003), Enfoque del Marco Lgico como herramienta para planificacin y gestin de proyectos orientados por objetivos. NORAD, Madrid, 50 pp. . Vos Rob (1996), Hacia un sistema de indicadores sociales. Documento de trabajo de INDES. BID, Washington, 59 pp. . Weaving R. y Thumm U. (1998), Diseo de Sistema de Seguimiento y Evaluacin de los Proyectos. BM _ Departamento de Evaluacin de Operaciones OED, Washington, 17 pp. . Wiesner E. (2000), Funcin de evaluacin de planes, programas, estrategias y proyectos. ILPES, Santiago de Chile, 34 pp. 126

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

. WWF (1998), Gua del usuario sobre indicadores. Seales de xito. Internet: file://E:\PlanML_Ind\2SenalExito.html, 24 pp. . Zevallos Aguilar E. (1998), Indicadores de Gnero: mujeres rurales y proyectos de desarrollo. LASA, Per, 15 pp. . Zuluaga Abdala O. A. (1999), Diseo, formulacin y gestin de proyectos sociales. Sociedad Nacional de la Cruz Roja Colombiana Direccin de Desarrollo y Cooperacin Internacional, Santa Fe de Bogot, 25 pp.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

127

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Anexo A: Evaluacin Constructivista


Revista Mad. No.1. Septiembre 1999. Departamento de Antropologa. Universidad de Chile http://rehue.csociales.uchile.cl/publicaciones/mad/01/paper04.htm

Hacia una Evaluacin Constructivista de Proyectos Sociales _ M. Romn C.


Introduccin
Como investigadores sociales tenemos la necesidad de conocer y asumir con responsabilidad el paradigma epistemolgico desde el cual hablamos y decimos lo que decimos, acerca de lo que conocemos. De esta manera no basta declarar que nos encontramos haciendo ciencia o explicando fenmenos desde el paradigma de la post-modernidad sin efectivamente incorporar los principios y enfoques que dicho paradigma implican. Tampoco es suficiente el slo asumir que la realidad no existe de manera independiente del observador y/o que sta se define a partir de los propios sistemas que la observan y pretender explicar, sin indagar acerca de los procesos y condiciones que posibilitan lo anterior. Si tal desafo es fundamental para cualquier tipo de investigacin, lo es an ms en el caso de la evaluacin de proyectos sociales en donde los investigadores-evaluadores emiten juicios acerca del xito o fracaso de intervenciones sociales. Interrogantes como cules son los criterios que orientan la evaluacin social?, qu grado o nivel de objetividad se alcanza en ella? o cmo evaluar acertadamente?; se deben aclarar para orientar de mejor manera, las prcticas de los evaluadores sociales. El presente ensayo se inicia con una breve mirada a la evaluacin de proyectos sociales, sus criterios, principios y modelos; en la segunda parte se comentan algunas razones para adherir al constructivismo como opcin del conocer para posteriormente exponer los principios esenciales de la epistemologa sistmico/constructivista incluyendo ciertas recomendaciones para observar lo social desde esta perspectiva. Para finalizar se incluye una breve discusin acerca de las posibilidades y la necesidad de realizar evaluaciones sociales desde la perspectiva sistmico/constructivista.

I. La Evaluacin de Proyectos Sociales I.1 Descripcin


De manera breve y simple diremos que la evaluacin es el juicio emitido -de acuerdo a ciertos criterios preestablecidos- por una persona o un equipo sobre las actividades y resultados de un proyecto; en este caso particular sobre un proyecto social. Con ella se pretende realizar un anlisis lo ms sistemtico y objetivo posible acerca de las distintas etapas y resultados alcanzados por los proyectos de manera de determinar entre otros aspectos, la pertinencia y logro de objetivos, la eficiencia, el impacto y sustentabilidad de las acciones. De esta manera la evaluacin no slo se limita a registrar o medir resultados para la toma de decisiones, sino que contribuye al conocimiento que fundamenta la intervencin, aportando al aprendizaje y a los conocimientos que los propios equipos a cargo de los proyectos tienen del problema que abordan. Este aprendizaje es el que permite ampliar y enriquecer las perspectivas conceptuales y prcticas permitiendo focalizar las acciones y controlar de mejor manera, las relaciones, variables y factores que inciden en los resultados o en los cambios que se promueven y esperan lograr. As entendida la evaluacin emerge con responsabilidades y expectativas por
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

128

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

sobre el mero control y se convierte en un antecedente fundamental en decisiones como: continuidad, trmino, difusin, replicabilidad, pertinencia o relevancia de un proyecto, al proporcionar una mejor comprensin de los resultados y cambios logrados desde una perspectiva ms global e integradora. Los proyectos sociales aspiran a producir cambios en la realidad econmica, social y cultural de determinados sectores sociales. Para producir estos cambios se interviene por ejemplo en los conocimientos, percepciones, relaciones sociales, en las organizaciones, en los sistemas de produccin, en los sistemas educativos y de salud pblica propios de los sujetos implicados en las acciones a desarrollar. As entendido, los proyectos son hiptesis de intervencin sobre aspectos de la "realidad" y como tal se sustentan en determinadas teoras o en un conjunto de supuestos y de afirmaciones que le dan coherencia a la propuesta. De esta manera las hiptesis afirman relaciones entre los elementos del proyecto, el problema que se quiere enfrentar y las condiciones sociales o caractersticas del entorno en el cual se acta. Cada uno de sus componentes da cuenta de prcticas y de actores especficos cuyas interacciones producen efectos en otras reas, prcticas sociales y otros actores. En otras palabras la evaluacin que nos interesa es aquella que estudia la validez de las hiptesis y de las relaciones planteadas por el proyecto de acuerdo a criterios e indicadores validados de un modo interno y externo.

I. 2. Algunos elementos fundamentales de la evaluacin social


Para fundamentar la opinin sobre las diferentes etapas y componentes de un proyecto, el evaluador recurre a ciertos criterios y a un marco de referencia que le permite contrastar, comparar e interpretar los resultados observados en funcin de patrones explcitos o implcitos. Para tal efecto utiliza una serie de criterios bsicos; estos son: Coherencia: Este criterio se refiere al anlisis en funcin del grado de integracin lgica de los distintos componentes del proyecto (objetivos, resultados, actividades y recursos): Evaluacin de la Coherencia interna de un Proyecto Pertinencia: Anlisis de la capacidad para dar respuestas a las necesidades reales de los grupos y sujetos involucrados. Esta capacidad debe considerar los recursos disponibles para lograr lo planificado. Relevancia: Anlisis del grado de significatividad de las acciones y resultados para los sujetos directamente involucrados en el proyecto. Se entiende as que un proyecto es relevante cuando resulta ser significativo para las personas hacia quienes estn dirigidas las acciones del cambio. Evaluar de acuerdo a estos criterios bsicos es asumir una perspectiva terica en la cual la poblacin beneficiaria ya no un objeto o ente pasivo sino que emerge como un actor o "grupo de inters" que interacta con determinados equipos o instituciones que intervienen en los problemas que les afecta. Ciertamente que es posible utilizar criterios ms cuantitativos para la evaluacin como por ejemplo; Costo-beneficio: Basado en un principio econmico que en trminos generales, sostiene que un proyecto es exitoso si el beneficio que genera la inversin en un perodo determinado, es mayor que la que se puede obtener con otra alternativa durante el mismo perodo. Por otra parte considera que un proyecto es ms efectivo cuando logra sus productos con un menor costo y los beneficios sociales obtenidos son mayores que la inversin realizada. Eficiencia: La evaluacin de la eficiencia de los proyectos tiene como objeto el anlisis de los recursos o insumos utilizados para realizar las actividades y obtener los resultados o productos
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

129

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

esperados. Un proyecto es eficiente si ha tenido un adecuado gasto y no ha producido dficit en su operacin. Es decir, si ha optimizado el uso de los recursos materiales y humanos de los que dispone. En los procesos evaluativos actuales se utilizan de manera conjunto criterios cualitativos y cuantitativos de anlisis de informacin.

I.3 Etapas y Modelos de Evaluacin de Proyectos Sociales


La evaluacin de programas sociales slo es factible si se cumple con ciertas condiciones como por ejemplo, la existencia de un "modelo" que explique la relacin entre los beneficios y las intervenciones (es decir, describa las relaciones entre los componentes del proyecto) y que sea posible distinguir entre los resultados atribuibles al proyecto y los cambios que pudieron haber ocurrido sin la intervencin de ste. Para la interpretacin y evaluacin de los resultados se debe partir desde la teora del proyecto, pero para ampliar y enriquecer dicha perspectiva el evaluador recurre al conocimiento acumulado sobre el tema, a los resultados de otros proyectos similares y a las opiniones de diversos actores relacionados con el proyecto o con experiencia en el problema que se aborda. En el actual contexto de cambios y reformas sociales se requiere de enfoques evaluativos que ponen el nfasis en la calidad y pertinencia de los resultados por sobre la cobertura de sus acciones y en los aprendizajes de los equipos ejecutores ms que en el control tradicionalmente asociado a la evaluacin. Se exige fundamentalmente una efectiva y sustentable solucin a los problemas que tienen los grupos con los cuales el proyecto trabaja. No existe un modelo nico y universal para llevar a cabo las evaluaciones. De acuerdo a los mtodos que se utilizan suelen diferenciarse en evaluaciones cualitativas y evaluaciones cuantitativas; de acuerdo al tiempo en evaluaciones ex-ante y ex-post; de acuerdo al observador en internas o externas; de acuerdo al objeto en evaluaciones de proceso, efectividad e impacto entre otras. Por ejemplo en una evaluacin social cuantitativa la pregunta central es que hacen los sujetos y qu variables pueden explicar y medir tales comportamientos. Para los estudios cualitativos en cambio, lo importante no slo es describir qu hacen los sujetos sino qu significa para ellos lo que hacen, cul es el sentido o significado de sus prcticas y comportamientos. Dada la naturaleza de los proyectos y de los cambios que pretenden producir, la incorporacin y utilizacin de manera combinada de mtodos cuantitativos y cualitativos para dar cuenta de los resultados obtenidos, es cada vez mayor. Es esta la estrategia que predomina actualmente en los estudios evaluativos de proyectos sociales. A continuacin se describe brevemente en qu consiste el modelo de evaluacin CIPP, uno de los ms utilizados por los evaluadores sociales.
Modelo de Evaluacin CIPP (1): Contexto-Insumo-Proceso-Productos El enfoque de evaluacin que se presenta a continuacin analiza la relacin entre conceptos como contexto, insumos, procesos y productos o resultados del proyecto para describirlo y explicarlo. Esta perspectiva asume el proyecto como un sistema de accin, cuyos elementos interactan entre s y con su entorno, tanto para generar como para aceptar cambios. A travs del establecimiento de relaciones causales entre los componentes y niveles que se pretende evaluar (hiptesis de evaluacin), se analizan y evalan por ejemplo los niveles de logro alcanzado, los resultados obtenidos as como aquellos no alcanzados y los procesos desencadenados por el sistema en los distintos contextos. Este enfoque permite visualizar la relacin y consistencia entre los distintos componentes de la estrategia asumida por el proyecto y el efecto que estos tienen en los distintos mbitos o niveles en los que interviene. Cada uno de PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

130

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

estos niveles da cuenta de prcticas y de actores especficos cuyas interacciones al cambiar producen efectos en otros campos, prcticas y actores. El modelo que se presenta a continuacin, busca ilustrar un complejo juego de relaciones entre las distintas dimensiones y elementos de un proyecto as como de los procesos que inciden y orientan los cambios proyectados en l. De acuerdo con dicho modelo, se definen los niveles y componentes a evaluar estableciendo las hiptesis correspondientes ya sea entre insumos y procesos y/o entre procesos y resultados incorporando como variables intervinientes, aquellas referidas al contexto social y cultural en el cual se desarrolla la intervencin. Modelo de Evaluacin CIPP Insumos Insumo 1 Insumo 2 Insumo 3 hiptesis Procesos Procesos Contexto A partir de un proceso riguroso se establecen mecanismos para la recogida de datos que permitirn emitir una opinin "vlida" sobre la calidad de actividades, resultados, efectos e impacto de lo realizado por el proyecto. Para ello se procede a la construccin de "indicadores", los cuales se determinan fundamentalmente en funcin de los objetivos y productos del proyecto ms aquellos que se derivan de las hiptesis de la propia evaluacin. Los indicadores sealan que se debe medir u observar para verificar los logros prometidos. En caso que en el diseo no estn considerados los indicadores o stos se consideran insuficientes por el evaluador o los evaluadores, se procede a su elaboracin que considera lo central del elemento analizado (objetivos o productos) y a una decisin sobre que qu es lo que realmente me dar cuenta del logro hiptesis Productos/Resultados Producto/Resultado 1 Producto/Resultado 2 Producto/Resultado 3

A continuacin los principales conceptos y principios constructivos a considerar en la evaluacin.

II. Conceptos y Principios Constructivistas II. 1. Razones para adherir al constructivismo como opcin del conocer
Como investigadores sociales que asumen que la realidad no existe de manera independiente del observador y que sta se define a partir de los propios sistemas que la observan y pretender explicar, nos enfrentamos a inquietantes dudas acerca de cmo acceder a dar respuestas y explicaciones a fenmenos sociales de manera acertada y til para los sujetos y las sociedades involucradas. Los fundamentos que critican la existencia de una ciencia que explica un mundo externo a los sujetos, han sido contundentes sobre todo en relacin a la validacin del mtodo cientfico como universal y nico para cualquier disciplina cientfica en todo tiempo y lugar. Nos encontramos en medio de un cambio de paradigma epistemolgico, en el sentido otorgado por Kuhn (2) (corriente de pensamiento que domina un determinado perodo de la historia, y que se establece como un mapa de referencia para ese perodo), que traslada el foco de la atencin desde el ser de las cosas observadas al observador como sistema. Entre quienes adhieren a los nuevos postulados acerca de la importancia de realizar una epistemologa del observador, encontramos posturas ms radicales que afirman que el conocer est totalmente condicionado por estructuras internas del que conoce u observa, en tanto ser vivo y que, por lo tanto, las explicaciones dadas a los fenmenos observados son siempre referidas a las caractersticas de los sistemas observadores (3) y traslucen, reproducen y validan las limitaciones, perspectivas y medios de que disponen los que observa y explican. De tal
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

131

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

manera que la ciencia deja de ser objetiva y neutra para depender directamente de la ideologa, principios y determinismos estructurales que orientan a los sistemas observadores. El Conocer pasa as a depender de las operaciones del observador y desde ciertas ciencias como la biologa, la forma del operar cientfico que se desprende de lo descrito anteriormente, no presenta mayores dificultades por cuanto el observador es efectivamente un sistema vivo que conoce y explica fenmenos a partir de su propio sistema. Pero en las ciencias sociales no se busca hablar de las "cosas" sino de cmo las cosas o fenmenos son observados por otros y si bien es cierto que en ese proceso se realizan distinciones que se auto-implican al depender de quien observa dichas observaciones, no dependen exclusivamente ni estn condicionadas de manera endgena. En palabras de Luhmann: El entorno se hace notar al menos por sus ruidos. De estos enfoques surge el constructivismo como corriente epistemolgica que ofrece respuesta al como conocemos y explicamos desde las ciencias sociales. A continuacin se describen los principales principios de la epistemologa sistmico/ constructivista:

II. 2 Principios de las epistemologas Sistmicos/Constructivistas (4)

Clausura Operacional y Determinismo estructural: Es el observador quien constituye la unidad de lo observado; este proceso se realiza mediante distinciones hechas por l; son autoreferentes a sus propias determinaciones y no a la del entorno; el observador esta imposibilitado de contactarse plenamente con su entorno. No est en las cosas la condicin de ser percibidas. Toda observacin est contextualizada en su observador; todo intento por hacer racional sus explicaciones operan dentro de un contexto explicativo que est delimitado por el propio observador y no por algo externo a l. Observar significa manejar un esquema de distinciones propio del sistema que observa, por lo tanto la lgica de la observacin es reflejo de la lgica de quien observa. El objeto de la investigacin se desplaza desde la "verdad objetiva" a las posibilidades; al encuentro de variadas explicaciones, en tanto corresponden a mltiples posibilidades de observacin. En otras palabras hay un desplazamiento de la preocupacin epistemolgica desde la naturaleza de las cosas hacia las condiciones del observador. Los observadores son quienes producen las explicaciones y ellas son la "nica posibilidad de que disponen al no poder acceder a una verdad que siempre est fuera de sus posibilidades de observacin. En dichas explicaciones el acento est puesto en la utilidad por sobre la supuesta verdad que ellas contienen. As el conocimiento tiene ms que ver por ejemplo con el poder (Foucault), la fe (Kuhn), o las emociones: deseo, pasin, amor (Maturana), que con el contenido de verdad que supuestamente contienen. Distintos dominios de significacin: En el espacio humano y social coexisten distintos tipos de observadores que generan mltiples explicaciones que conforman distintos universos de significacin, incluso contradictorios. Cada uno de los sistemas de significacin pueden llegar a constituir un contexto institucionalizado (mltiples universos de significacin). Lo social y cultural responde a un proceso de reformulaciones, encajes y acoplamientos desde las propias experiencias y operaciones cognitivas de los sistemas de observadores que al conectarse permiten constituir un contexto institucionalizado de significacin. De acuerdo con ello, surge de la capacidad que tienen los observadores de observar otros observadores y sus observaciones y converger en puntos comunes de observacin.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

132

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Los sistemas sociales se fundamentan y apoyan en la constitucin de universos de sentido sobre la base de distintas complementariedades, los que debido a la aplicacin recursiva se reintroducen a la sociedad con un carcter de objetividad, difcilmente cuestionable. Para Luhmann y como ya lo mencionramos no existe ninguna constitucin de realidad que dependa exclusivamente de las estructuras y mecanismos de quien observa; el entorno, el afuera est disponible y se hace notar.

II.3 Cmo observar lo social y cultural desde el constructivismo?

Operando con la auto-referencia, esto es asumiendo que no nos podemos salir de ella, lo cual para el investigador social implica el no suponer un mundo social fuera de lo social y no suponer observaciones sin observadores. El investigador social es un observador externo; especializado en la observacin de observadores y en las observaciones de quienes observa: Es un "observador de segundo orden". Ms all de una descripcin cuantitativa, interesa el sentido que esos eventos tienen para los observados. Desde la posicin de un observador de segundo orden se puede observar "el qu" y "el cmo" observan sus observados, es decir como observadores de segundo orden es posible captar los esquemas de distincin con que operan los observados. El investigador social conoce al observar, describir y explicar observaciones; es decir cuando hace distinciones y diferencias con sus propios esquemas de distincin sobre distinciones y diferencias que sus observados realizan a partir de sus esquemas de distincin. En este proceso de conocer el investigador social debe ser capaz de distinguir entre los mecanismos y esquemas de distincin propios de aquellos que forman parte del operar de sus observados. Al observar puede combinar puntos de vista y revelar lo que sus observados no pueden ver desde sus particulares esquemas de referencia y distincin. Las ciencias sociales se orientan as a la observacin de observadores que en su operar construyen los mundos en que ellos actan. Por ello cobra fundamental sentido el conocer y comprender cuales son los esquemas de diferenciacin que al converger posibilitan la constitucin de mundos compartidos y significativos. Se intenta aprender a conocer la "realidad" como lo hacen quienes son observados. Los sistemas observadores estn dentro de redes de significaciones que constituyen sus horizontes de realidad y que han sido estructuradas de manera coparticipativa y externalizadas a travs del lenguaje. De esta manera es posible acceder a las distinciones a travs del lenguaje y rescatar los esquemas de diferencias que determinan las distintas construcciones de realidad. Lugar preponderante para los medios de observacin que posibilitan lo anterior.

II.4 Recomendaciones para las investigaciones sociales (5)


La investigacin debe estar dirigida hacia la identificacin de conjuntos relacionados de esquemas de distincin por sobre los procesos aislados y explicaciones lineales. Observacin de procesos sociales dinmicos que se afectan mutuamente. Las explicaciones para fenmenos complejos son mejores en la medida que estn basada en la observacin de redes de retroalimentacin de observaciones que se sostienen unas a otras, por cuanto se asegura la flexibilidad de la investigacin y la externalidad de la observacin. La investigacin debe ser aplicable a la gran diversidad y heterogeneidad de esquemas de expresin social, cultural y personal.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

133

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

Los procedimientos ms adecuados para ser aplicados a sistemas sociales son de tipo cualitativo, aunque no exclusivos La muestra que permitir recoger las distinciones debe ser estructural, por cuanto es necesario contar con todos los puntos de observacin disponibles para determinar luego su representacin en el universo. La investigacin se debe orientar hacia la elaboracin de sentido y sus distintas interpretaciones. Se buscar revelar las formas de observar y del explicar cotidiano. La objetividad que interesa es la que coproducen y sostienen los observados y su validez est sujeta al contexto en que se define como tal. Los esquemas de distincin que interesa son los compartidos y que se implican en procesos sociales cotidianos.

III. Posibilidad y Necesidad de una Evaluacin Constructivista de Proyectos Sociales


Como ya mencionramos al evaluar uno est emitiendo un juicio acerca de s aquello que se hizo estuvo bien o mal y tal juicio se establece a partir de un modelo de intervencin que otros definieron como apropiado para cambiar realidades (reflejo de los esquemas de distincin de los observados) y en base a esquemas de distincin propios de los evaluadores. Por lo tanto al evaluar uno esta opinando sobre lo ajustado y adecuado de los esquemas de distincin de quienes observa, en el gatillar y provocar determinados cambios en otros sistemas observadores, pero ms importante an se establecen juicios sobre el efecto y/o impacto que las acciones realizadas tuvieron en los sujetos involucrados en las intervenciones. En este nivel se est opinando a partir de un nuevo y distinto sistema de observadores. El esquema que se presenta a continuacin intenta clarificar lo expuesto (cada sistema se relaciona con el resto, por ello el grfico no implica ninguna jerarqua, sino que debe ser entendido como interdependencia entre los tres sistemas):
Evaluadores de Proyectos Sociales Sistemas Observadores 3 Diseadores y Ejecutadores de Proyectos Sociales Sistemas Observadores 2 Beneficiarios de los Proyectos Sistemas Observadores 1

Como se puede apreciar estamos en una investigacin con al menos tres sistemas de observacin distintos, cada uno de los cuales con sus propios esquemas de distincin. Por una parte se encuentran aquellos a quienes se destinan las intervenciones: beneficiarios; por otra las personas o equipo a cargo del proyecto y por ltimo el equipo encargado de la evaluacin del mismo. En otras palabras estamos frente a una observacin de observaciones y observadores de observaciones y observadores; esto es una observacin de una observacin de segundo orden. Dicho lo anterior la pregunta que surge es sobre si tal investigacin puede regirse por los mismos principios delineados para la observacin de segundo orden; veamos pues: Ciertamente en la evaluacin sigue siendo ms importante el sentido que los sujetos atribuyen a los cambios y resultados logrados que la descripcin cuantitativa de ciertos esos eventos tienen para los observados fenmenos o cosas. Este sentido se debe recoger tanto de los ejecutores como de los beneficiarios. Desde la posicin de un evaluador (observador de observaciones de segundo orden) se puede efectivamente observar "el qu" y "el cmo" observan sus observados, es decir como
PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

134

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales

Julio 2005

evaluadores es posible captar los esquemas de distincin con que operan tanto los ejecutores como los beneficiarios de los proyectos. El evaluador social conoce al observar, describir y explicar observaciones de segundo orden; es decir conoce cuando hace distinciones y diferencias con sus propios esquemas de distincin sobre distinciones y diferencias que tanto los ejecutores como los beneficiarios de los proyectos realizan a partir de sus particulares esquemas de distincin. En este proceso el evaluador social debe ser capaz de distinguir entre los mecanismos y esquemas de distincin propios de los tres sistemas de observadores involucrados: los propios, los de los ejecutores y aquellos que pertenecen a los beneficiarios. Sigue siendo esencial para el evaluador social el conocer y comprender cuales son los esquemas de diferenciacin tanto de ejecutores como de beneficiarios- que al converger posibilitan la constitucin de mundos compartidos y significativos. Se busca ciertamente llegar a aprehender la "realidad" como lo hacen quienes son observados.

Recomendaciones generales para la evaluacin social a partir del constructivismo

La evaluacin debe estar dirigida hacia la identificacin de conjuntos relacionados de esquemas de distincin, propios de ejecutores, beneficiarios y evaluadores, por sobre los procesos aislados y explicaciones lineales de cada sistema de observadores por separado. Realizar la evaluacin integrando el contexto en que se produce la intervencin social de manera de explicar fenmenos complejos dentro de redes de mltiples observaciones que se sostienen y retroalimentan unas a otras. La objetividad que interesa es la que coproducen y sostienen los observados y siempre su validez va depender del contexto en que tal objetividad se define. Sin duda que los procedimientos ms adecuados para ser aplicados en evaluaciones sociales del tipo aludido sern de tipo cualitativo siendo recomendable una combinacin con algunos cuantitativos. La muestra deber estructurase de manera de recoger todos los puntos de observacin disponibles en cada sistema de observadores, para lograr una mayor objetividad en la identificacin de los conjuntos de esquemas de distincin presentes en ellos e integrarlos en redes de significaciones ms globales. Para ello se requiere de tcnicas e instrumentos preferentemente cualitativos que permitan construir a partir de cada sistema de observadores lo que para ellos es relevante y significativo. A nivel de los indicadores se deber procurar siempre una construccin conjunta (desde todos los sistemas observadores), dado que son estos elementos quienes orientan en aquello que hay que mirar, en donde se debe mirar y en que momento mirar para responder a los objetivos de la evaluacin.

Como hemos podido observar la evaluacin de proyectos sociales no es nada fcil, el estudio de los cambios producidos a nivel de pautas culturales, aprendizajes, representaciones, prcticas sociales, etc., requiere de enfoques conceptuales y de instrumentos metodolgicos poco tradicionales (fundamentalmente cualitativos) y poco difundidos. Creemos que asumir la evaluacin social desde una perspectiva sistmico/constructivista aporta con elementos slidos y concretos que permiten dar respuestas efectivas, pertinentes, relevantes y sustentables a diversos problemas sociales en grupos especficos, en sociedades y momentos tambin especficos.

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

135

CURN / CICAP - Estel, Nicaragua

Mdulo 5 Curso E-DC-5.2.: Monitoreo, Seguimiento y Evaluacin de Proyectos Sociales Notas 1. Modelo de Daniel Stuffebeam

Julio 2005

2. Thomas S. Kuhn. 1962 (1986). La Estructura de las Revoluciones Cientficas. Mxico: Fondo de Cultura Econmica 3. Por ejemplo autores como H. Maturana sostienen que nuestro sistema acta con clausura operacional generando la "realidad" a partir de sus propias caractersticas y determinaciones estructurales. Desde el punto de vista de la informacin los seres vivos son sistemas cerrados. No reciben informacin del medio, el supuesto que perciben del medio, no tiene de acuerdo al autor fundamento biolgico. 4. En base a Arnold, Marcelo En Cinta de Moebio N 2, Diciembre 1997 y Cinta de Moebio N 3, Abril 1998. Facultad de Ciencias Sociales: Universidad de Chile 5. Arnold, Marcelo En Cinta de Moebio N3. Abril 1998. Facultad de Ciencias Sociales. Universidad de Chile: 3 -6

PROGRAMA DE ESPECIALIZACIN EN GESTIN DEL DESARROLLO COMUNITARIO

136

CURN / CICAP - Estel, Nicaragua