PREVAL - Los Estudios de Base

LOS ESTUDIOS DE BASE
FUNDAMENTOS DE UNA GESTIN POR RESULTADOS
PROGRAMA PARA EL FORTALECIMIENTO DE LA CAPACIDAD REGIONAL DE SEGUIMIENTO Y EVALUACION DE LOS PROYECTOS FIDA PARA LA REDUCCIN DE LA POBREZA RURAL EN AMRICA LATINA Y EL CARIBE (PREVAL III)
Se permite la reproduccin SIEMPRE QUE SE CITE LA FUENTE Serie: DOCUMENTOS DE TRABAJO Primera edicin, junio 2007 ISBN: 978-9972-9373-5-4 Depsito Legal: 2007-05731
EDITORES: Emma Rotondo Dall'Orso Jorge Rodrguez Sosa AUTORES: Jorge Rodrguez Sosa Emma Rotondo Dall'Orso Gloria Vela Mantilla AGRADECIMIENTOS POR LOS COMENTARIOS Augusto Cavassa, Eduardo Centeno, Patrick Dumazert, Brbara Massler, Daniel Jess, Daniel Laguna, Antonio Pozo, Carmela Alicia Valle
Ilustraciones: Carlos Cruz Diseo y Diagramacin: Renzo Espinel, Luis de la Lama Infografa: Ral Rodrguez Rodrguez
Impreso en el Per
CONTENIDO
SIGLAS Y ACRONIMOS ................................................................................................... PRESENTACION .............................................................................................................. INTRODUCCION ............................................................................................................. CMO SE HACE UN ESTUDIO DE BASE? ...................................................................... I) LINEAMIENTOS CONCEPTUALES ............................................................................... Deniciones............................................................................................................... Qu son los Estudios de Base? ................................................................................ Qu no son los Estudios de Base?............................................................................ Los EB en el Sistema de Seguimiento y Evaluacin ..................................................... Requisitos.................................................................................................................. Cundo llevarlos a cabo?......................................................................................... Qu hacer cuando no se ha realizado un EB? ........................................................... Participantes y Roles ................................................................................................ II) LINEAMIENTOS METODOLOGICOS .......................................................................... FASE DE DISEO Y ORGANIZACIN ............................................................................. Revisin de los Resultados ....................................................................................... Qu es el ML? ........................................................................................................ Revisin del ML y de sus indicadores ......................................................................... Los indicadores del RIMS .......................................................................................... Incorporacin del enfoque de gnero ........................................................................ Organizacin y Contenidos de los EB ....................................................................... Formular los objetivos .............................................................................................. Denir el contenido y temas de los EB ....................................................................... Elaborar la Matriz de Diseo y Anlisis ....................................................................... Denir el Plan de Trabajo y Presupuesto .................................................................... Redactar los Trminos de Referencia, Convocatoria y Adjudicacin .............................. Marco Metodolgico ................................................................................................. Criterios para la seleccin de tcnicas ........................................................................ La encuesta de impacto y tcnicas complementarias .................................................. Validacin de instrumentos complementarios ............................................................. 07 09 11 12 15 15 15 17 19 21 21 22 23 25 25 25 25 26 28 30 31 32 32 35 38 42 43 43 44 47
La participacin en la aplicacin de tcnicas ............................................................... Capacitacin al personal ........................................................................................... FASE DE RECOLECCIN Y ANLISIS ............................................................................. Aplicacin de instrumentos ...................................................................................... Logstica para la aplicacin de instrumentos ............................................................... Vericacin y calidad de los datos recogidos .............................................................. Anlisis de los Datos ................................................................................................. Codicacin y ordenamiento ..................................................................................... La disposicin de los datos para el anlisis ................................................................. La obtencin de resultados ....................................................................................... FASE DE COMUNICACIN Y USO DE RESULTADOS ...................................................... Audiencias, contenidos y medios ............................................................................. Las audiencias a quines comunicar? ....................................................................... Los contenidos qu comunicar? ............................................................................... Medios y formatos de comunicacin .......................................................................... El Informe Maestro .................................................................................................. El uso de los resultados ............................................................................................ El uso de los hallazgos ............................................................................................. El uso del proceso para el aprendizaje ....................................................................... BIBLIOGRAFA ..............................................................................................................
48 48 49 49 49 50 51 52 54 54 54 55 55 56 57 58 60 61 61 63
SIGLAS Y ACRONIMOS
Barlovento CARD CORREDOR Desco DOM HELDER CAMARA EB FAT FIDA NGABE Y BUGLE ODM ONG PADEMER POA PREVAL Proyecto de Desarrollo de Cadenas Agroproductivas en la regin de Barlovento Community Initiated Agriculture and Resource Management Rural Development Project Proyecto de Desarrollo del Corredor Econmico Cusco-Puno Centro de Estudios y Promocin del Desarrollo Proyecto de Desarrollo Sostenible para Asentamientos de Reforma Agraria en el Semirido de la Regin Nordeste de Brasil Estudios de Base Fondo de Asistencia Tcnica Fondo Internacional de Desarrollo Agrcola Proyecto de Desarrollo Rural Sostenible de la Comarca Ngbe y Bugl y Corregimientos Rurales Pobres Aledaos. Objetivos de Desarrollo del Milenio Organizaciones no Gubernamentales Proyecto de Apoyo al Desarrollo de la Microempresa Rural Plan Operativo Anual Programa para el Fortalecimiento de la Capacidad Regional de Seguimiento y Evaluacin de los Proyectos FIDA para la Reduccin de la Pobreza rural en Amrica Latina y El Caribe Programa Intensivo en Seguimiento y Evaluacin Proyecto de Desarrollo Rural en la Regin Central Proyecto de Desarrollo Rural Sostenible del Darin Proyecto de Desarrollo de Comunidades Rurales Pobres Proyecto de Desarrollo Rural en el Centro Oriente Proyecto de Desarrollo Rural de las Provincias del Noroeste Argentino Programa de Desarrollo Econmico de la Regin Seca de Nicaragua Proyecto para Pequeos Productores de la Regin Sur-Oeste Proyecto de Manejo de Recursos Naturales en el Chaco y Valles Altos Proyecto de Apoyo a Pequeos Productores de las Zonas Semiridas de los Estados de Lara y Falcn Sistema de Gestin orientado a Resultados e Impacto Unidad Regional de Asistencia Tcnica Planeamiento, Seguimiento, Evaluacin y Sistematizacin Unidad de Gestin del Proyecto Proyecto de Desarrollo de Criadores de Camlidos en el Altiplano Andino Proyecto Uruguay Rural Unidad de Seguimiento y Evaluacin
PRISE PRODAP PRODARIEN PRODECOP PRODERCO PRODERNEA PRODESEC PROPESUR PROMARENA PROSALAFA RIMS RUTA PSES UGP UNEPCA URUGUAY RURAL USE
PRESENTACIN
El Fondo Internacional de Desarrollo Agrcola (FIDA) propicia la adopcin de una gestin orientada al impacto y al aprendizaje, a n de lograr un conjunto de cambios sostenibles en los medios y calidad de vida de la poblacin rural pobre, lo que signica bsicamente mejorar sus ingresos y activos, su seguridad alimentaria y nivel nutricional, as como fortalecer su acceso a conocimientos e informacin, sus capacidades tcnicas y contribuir a la equidad de gnero, al desarrollo social y a la sostenibilidad ambiental. La comprobacin de tales resultados depender en gran parte de la adecuada elaboracin de los Estudios de Base (EB), que son el fundamento del manejo de la informacin en una gestin orientada al impacto y al aprendizaje, porque son sus primeros referentes, resultando indispensables para comparar y mostrar las evidencias del cambio, o sea la situacin del grupo objetivo durante y al trmino de la intervencin, en contraste con su situacin inicial. Mediante una investigacin realizada por Patrick Dumazert durante la segunda fase del PREVAL, sobre una muestra de 17 Proyectos de Desarrollo Rural apoyados por el FIDA en Amrica Latina y el Caribe, se evidenciaron confusin y deciencias en la manera de realizar los Estudios de Base, tanto en la metodologa como en la conceptualizacin. La poca utilidad de dichos estudios como referentes de comparacin para evaluaciones de impacto, llev a que PREVAL organice un documento sobre "Lineamientos Conceptuales y Metodolgicos para llevar a cabo Estudios de Base", cuya primera versin recibi aportes de Jorge Rodrguez Sosa y de Gloria Vela Mantilla, habiendo culminado la edicin Ada Ocampo, Coordinadora del PREVAL II al cierre de la segunda etapa, en junio del 2004. En ese mismo ao, la Junta Ejecutiva del FIDA aprob una disposicin para que todos los proyectos que conancia incorporen indicadores comunes en sus marcos lgicos, para determinar el impacto en tres momentos del ciclo del proyecto: al inicio (Estudios de Base), a mitad de periodo y al nal, teniendo como eje los lineamientos del Sistema de Gestin de los Resultados e Impacto (RIMS) e incluyendo en los Estudios de Base una encuesta estandarizada para medir el impacto registrado en los ingresos y activos, desnutricin crnica y seguridad alimentaria, en lnea con los Objetivos de Desarrollo del Milenio. Recientemente, en noviembre de 2006 se emiti el documento de Poltica del FIDA titulado: "Focalizacin. Los pobres de las Zonas Rurales", que fortalece los procesos del RIMS y proporciona pautas para el diseo y ejecucin de una estrategia de focalizacin, de manera que sta se evidencie en todos los ejercicios de evaluacin (incluyendo los Estudios de Base), as como en las actividades de supervisin y de aplicacin del RIMS. Con tales aportes se ha actualizado y ajustado el presente documento, que incluye nuevos textos, ejemplos, enlaces y bibliografa, teniendo como marco conceptual la gestin orientada a resultados.
Este nuevo documento recoge contribuciones de Gloria Vela Mantilla, Jorge Rodrguez Sosa y Emma Rotondo DallOrso, as como las precisiones realizadas al texto por Antonio Pozo Sols y Daniel Jess Ccori. Asimismo, recibi la lectura crtica de un grupo de consultores y responsables de Unidades de Seguimiento y Evaluacin, entre ellos Eduardo Centeno (Nicaragua), Augusto Cavassa (Per), Brbara Massler (FIDA/Roma), Daniel Laguna (Bolivia) y Carmela Alicia Valle (El Salvador), cuyas indicaciones y sugerencias han enriquecido el contenido nal. "Los Estudios de Base: Fundamentos de una Gestin por Resultados" orienta respecto a qu son y cmo se llevan a cabo los EB en proyectos con gestiones dirigidas al logro de resultados, enfatizando el carcter participativo de sus procesos. Asimismo, aclara de qu modo el manejo de informacin sobre el impacto comienza con estos estudios, y por qu es importante que los equipos tcnicos sean capaces de intervenir en ellos, conjuntamente con los dems actores. Esperamos que este esfuerzo se reeje en mejoras visibles en la concepcin y ejecucin de tales estudios, tan tiles al desarrollo de una cultura de evaluacin y de gestin dirigida a resultados, ambos necesarios para aumentar la ecacia de la lucha contra la pobreza rural en Amrica Latina y el Caribe.
Paolo Silveri Gerente de Operaciones Divisin para Amrica Latina y el Caribe Fondo Internacional de Desarrollo Agrcola (FIDA)
INTRODUCCIN
Este documento, que tiene como antecedente una investigacin realizada en torno a la elaboracin de Estudios de Base en la regin1, incorpora los nuevos lineamientos de seguimiento y evaluacin del FIDA y plantea una oportuna hoja de ruta (ms como propuesta que como itinerario obligado) para guiar a profesionales, tcnicos e interesados en el desarrollo de estos estudios. As, "Estudios de Base: Fundamentos de una Gestin por Resultados" busca cubrir parte del vaco bibliogrco existente en el tema, ofreciendo deniciones y herramientas que orientan sobre la realizacin de estudios pertinentes para la evaluacin de impacto, a n de mejorar las capacidades de consultores/as, directores/as de proyectos, responsables de Unidades de Seguimiento y Evaluacin, miembros de los equipos tcnicos y personal de gobierno encargados de la lucha contra la pobreza rural. Reforzado con enlaces electrnicos que amplan y aclaran lo reseado en el texto, est organizado en dos captulos, el primero de los cuales aborda Lineamientos Conceptuales acerca de lo que son y no son los EB, incluyendo los requisitos para llevarlos a cabo, recomendndose que el equipo tcnico del proyecto participe en todo o en buena parte del proceso de investigacin. El segundo captulo trata sobre los Lineamientos Metodolgicos, que incluyen tres fases: Diseo y Organizacin; Recoleccin y Anlisis; y Comunicacin y Uso de Resultados. La primera fase comienza con la revisin de los resultados esperados que se hallan en la Matriz del Marco Lgico2, con el propsito de ajustar los indicadores de efecto e impacto; contina con la determinacin de los objetivos, contenidos, temas y marco metodolgico (incluyendo como tcnica principal la encuesta de impacto del RIMS); y culmina con pautas sobre cmo elaborar el Plan de Trabajo respectivo. La segunda fase, Recoleccin y Anlisis de los Datos, implica la aplicacin de los instrumentos y la obtencin de resultados, vericando la calidad del dato. La tercera fase, Uso y Comunicacin de Resultados, explica cmo redactar el informe maestro y cmo identicar las audiencias de los EB para aprovechar los hallazgos con miras al aprendizaje de los/las usuarias interesados.
El estudio realiz un anlisis detallado de la experiencia de estudios de base en 17 proyectos co nanciados por el FIDA: PRODAP I y II, PROCHALATE, PRODERNOR en El Salvador; PROSOC, PRODERCO y PRONADEL, en Honduras; TROPISEC, PROSESUR y FAT en Nicaragua; Ngbe-Bugl en Panam; PRODECOP y PROSALAFA en Venezuela; UNEPCA y PROSAT en Bolivia y Corredor Puno Cusco y MARENASS en Per. Tambin puede usarse matrices causales
I. LINEAMIENTOS CONCEPTUALES
DEFINICIONES
QU SON LOS ESTUDIOS DE BASE? Los Estudios de Base (EB)3 ofrecen un conjunto de evidencias y apreciaciones sobre la situacin inicial de la poblacin objetivo de un proyecto, as como de la dinmica del contexto en que interviene, para que esa informacin pueda compararse con mediciones posteriores de los cambios logrados. Por tanto, son un tipo de investigacin aplicada dirigida a obtener los referentes bsicos de la evaluabilidad del proyecto y contribuir as a una mejor toma de decisiones. En sntesis, representan una primera evaluacin, cuya metodologa ha de replicarse al menos a la mitad y al nal del ciclo del proyecto, por lo que han de ser muy precisos para facilitar la medicin exacta de los cambios. Su objeto especco es determinar la situacin de inicio de los indicadores de efecto e impacto del proyecto, levantando su primer valor mediante tcnicas como la encuesta de impacto del RIMS4, cuestiona3 4
rios y otras formas de medicin de carcter cuantitativo. Los EB deben mostrar adems evidencias cualitativas de la situacin de la poblacin objetivo al inicio de la intervencin, recogidas a travs de entrevistas, talleres, grupos focales y reuniones de la comunidad, quedando registradas mediante textos, grabaciones, vdeos y fotografas.
Se los nombra en plural pues son varios estudios integrados y complementarios que se enfocan en los indicadores del ML del proyecto. Para informarse sobre el RIMS (Results Impact Management System: Sistema de Gestin de los Resultados e Impacto) y sobre la encuesta de impacto estandarizada del FIDA puede consultarse en el Enlace N 1 Bibliografa sobre el RIMS, donde gura el documento "Lineamientos prcticos para la ejecucin del sistema de gestin por resultados".
15
LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS
Dicho en otras palabras, al ser multidimensional la pobreza rural (mayormente con rostro indgena) sus cambios han de apreciarse y registrarse mediante indicadores cuanticables referidos a malnutricin en la niez, nivel de ingresos y activos y seguridad alimentaria; y tambin desde dimensiones cualitativas como el grado de capacidad de hombres y mujeres para gestionar recursos, el nivel de consolidacin de grupos comunitarios, la forma en que hacen valer sus derechos, la aptitud de las redes locales para llegar al mercado, cmo se manejan los recursos naturales, cmo se toman las decisiones, qu tecnologas se adoptan y por qu, etc. Ello a n de conocer lo necesario para crear capacidades y empoderar a los grupos ms pobres y excludos, lo que constituye la piedra angular del enfoque programtico del FIDA5. As, hay consenso que los Estudios de Base deben generar informacin cuantitativa y cualitativa para analizar y mostrar el siguiente contenido: CONTENIDO DE LOS EB Caracterizacin de la poblacin objetivo antes de la intervencin. La dinmica del contexto y su relacin con la situacin de la poblacin objetivo. Anlisis de las oportunidades y riesgos del entorno que afectaran el logro de los resultados (supuestos del Marco Lgico). El primer valor (punto de partida) de los indicadores de efecto e impacto.
ingresos y activos familiares, junto a la prevalencia de la malnutricin crnica, el acceso a agua segura y seguridad alimentaria del hogar, en lo esencial. Complementariamente, ha de analizarse la situacin inicial de otros indicadores de efecto e impacto propios del proyecto, mediante cuestionarios adhoc, entrevistas, grupos focales e informacin secundaria. Todo ello segn las caractersticas y posibilidades del proyecto. La dinmica del contexto y su relacin con la poblacin objetivo es analizada por los EB para examinar el entorno institucional (rol de los gobiernos locales en la promocin econmica, el tipo y cantidad de instituciones que prestan asistencia tcnica y las modalidades de servicios de crdito existentes), al igual que las caractersticas de las organizaciones de productores de la zona y otros tems ligados a las causas subyacentes de la pobreza rural. Para establecer los supuestos de los factores de riesgo no controlables que afectan el impacto (supuestos que se encuentran en la matriz del marco lgico) se debe levantar informacin relacionada con aspectos tales como medidas de poltica pblica, legislacin y factores medio ambientales y culturales. Es necesario hacer seguimiento a tales factores para capitalizar las oportunidades del entorno o en su defecto denir estrategias para aminorar y/o frenar sus posibles inuencias negativas. Finalmente, los primeros valores de los indicadores de efecto e impacto (tambin conocidos como lnea de base) son importantes pues dan apoyo a la gestin del proyecto en la toma de decisiones y ofrecen informacin relevante para los reportes anuales al FIDA y a otras instancias, quedando incorporados a la base de datos del sistema de Seguimiento y Evaluacin.
El FIDA valora la situacin inicial de la poblacin objetivo6 para medir el nivel y tipo de
Tmese nota que el grupo objetivo del FIDA, tal como se dene en su mandato, es la poblacin rural de los pases en desarrollo que vive en condiciones de pobreza y de inseguridad alimentaria. Vese en el Enlace N 2 el texto completo del documento "Focalizacin. Los pobres de las zonas rurales" (FIDA, noviembre 2006). La poblacin objetivo del proyecto es determinada en el documento Ex Ante. No obstante, en el ejercicio de los EB ha de aclararse si esa poblacin est bien focalizada en los mas pobres.
16
En sntesis, la idea fundamental a tener en cuenta es que los Estudios de Base son muy acotados (focalizados), pues slo recogen informacin que pueda ser comparada posteriormente con los resultados del proyecto, para determinar el antes y el despus. Como se sabe, un principio inherente a la evaluacin es la posibilidad de establecer comparaciones, disponiendo de valores y valoraciones7 iniciales respecto a los indicadores de evaluacin. Por ello, la informacin al respecto debe estar estrechamente vinculada a los indicadores de efecto e impacto del proyecto, puesto que el mismo anlisis ha de repetirse en las evaluaciones de mitad de periodo y al nal. Para concluir esta descripcin de las caractersticas de los Estudios de Base, es conveniente reiterar que su realizacin ofrece grandes ventajas para el xito de una gestin orientada al impacto y al aprendizaje, mientras que su ausencia o deciencia afecta la evaluabilidad del proyecto. En breve, el uso adecuado de los EB permite: Disear las bases de un Sistema de PSES8 para mltiples actores. Anar las estrategias y ajustar los indicadores de efecto e impacto. Denir resultados y metas realistas dados los recursos y tiempos trazados. Mayor conocimiento del equipo tcnico en los problemas de la poblacin objetivo abordados por el proyecto. Desarrollar el compromiso y la participacin de los diferentes grupos de actores en el desarrollo de los sistemas de PSES.
QU NO SON LOS ESTUDIOS DE BASE? 9 Resulta clave precisar qu son y qu no son los Estudios de Base, pues suelen producirse errores conceptuales y metodolgicos que dejan al proyecto sin elementos comparadores ecaces para la atribucin del impacto. As, la revisin de los EB realizada por PREVAL en los proyectos FIDA de la regin, evidenci problemas en stos en las siguientes reas: a. En la formulacin de de los objetivos de los EB (generalmente establecidos de manera incorrecta). b. En el tipo de informacin recogida (muchos se asemejan a diagnsticos iniciales, con abundantes, detallados e innecesarios datos). c. En su estructura (suelen presentarse slo como listados de valores iniciales de los indicadores o lnea de base).
d. En el enfoque (algunos proyectos los abordan como Evaluaciones Ex Ante). e. En el uso de las herramientas (muchas veces se asocia los EB slo a la realizacin de encuestas). Existen errores comunes en la formulacin de los objetivos, en el sentido de que unos los entienden como si pertenecieran a investigaciones generales de tipo acadmico, mientras otros yerran al determinar su foco, que no es otro que establecer los primeros referentes y favorecer la evaluabilidad del proyecto. En el siguiente ejemplo se contrasta una formulacin correcta de los objetivos de un EB con otra incorrecta.
7 8 9
Se entiende que el valor es el dato del indicador y la valoracin es el anlisis de ese valor, en relacin a la situacin de la poblacin objetivo, la dinmica del entorno y los supuestos. PSES: Planicacin, Seguimiento, Evaluacin y Sistematizacin. En los Informes de Evaluacin ex ante se encuentran diversas expresiones para referirse a los Estudios de Base, tipicndolos como Encuesta de Base (o encuesta socioeconmica y productiva), Diagnstico de Base, y Lnea de Base, por lo cual se requiere aclarar qu no es un Estudio de Base. Ver "Notas sobre Estudios de Base en proyectos nanciados por el FIDA en la Subregin de Centroamrica, Panam y Belice", trabajo presentado por Jorge Len en el Mdulo II del Programa Intensivo en Seguimiento y Evaluacin (PRISE), Guatemala, julio 2002. Revisar al respecto la pgina web de PREVAL www.preval.org
17
FORMULACION DE OBJETIVOS EN LOS EB Ejemplo de formulacin correcta: Establecer un punto de partida a travs de una caracterizacin integral (cuantitativa y cualitativa) de las condiciones socioeconmicas, culturales, institucionales y agroecolgicas propias del rea de inuencia del proyecto, as como de las instituciones relacionadas con la intervencin del mismo, que sirva de referencia en futuras evaluaciones para mostrar en el transcurso del tiempo los cambios, efectos e impactos debidos a la intervencin del Programa (Estudio de Base del PRONADEL). Ejemplo de formulacin incorrecta: Determinar las condiciones sociodemogrcas y econmicas existentes en las unidades familiares del rea de inuencia del Proyecto, recopilando, procesando e interpretando la informacin de manera diferenciada, que responda a un enfoque de gnero. (Estudio de Base de PRODAP II). Otro problema frecuente en la elaboracin de los EB radica en tomarlos como diagnsticos iniciales o como actualizaciones y/o ampliaciones de la situacin descrita en el documento ex ante10. Es menester aclarar que los diagnsticos son descripciones amplias y generales de una potencial zona de intervencin, realizados para identicar problemas, necesidades y soluciones, de modo que no se limitan a la poblacin objetivo, sino que incluyen a la poblacin total o a una parte signicativa de ella. Por el contrario, los Estudios de Base tienen como foco a la poblacin objetivo de un proyecto y se circunscriben a la misma, describindola con relacin a los efectos e impactos esperados del proyecto11. Vase al respecto el siguiente recuadro.
RECUADRO N 1 DIFERENCIAS ENTRE ESTUDIOS DE BASE Y DIAGNSTICOS INICIALES Estudios de Base Se realizan slo a partir de un proyecto ya formulado. Muestran la situacin inicial de la poblacin objetivo, su zona de inuencia y contexto. Se enfocan en la poblacin objetivo, o sea la que rene los requisitos sealados en el proyecto. Entregan informacin para valorar los cambios atribuibles al proyecto. Aportan elementos metodolgicos para revisar o redisear el sistema de PSES.
Fuente: PREVAL II (2004) 10 En el estudio mencionado se observ que en 5 de los 17 proyectos analizados, lo que se considera Estudios de Base son en realidad un diagnstico general sin referencia a los indicadores de efectos e impactos denidos en el proyecto, y por tanto, sin utilidad para un Subsistema de Evaluacin orientado al impacto. 11 En varios de los proyectos analizados, los Estudios de Base fueron realizados como estudios para complementar el diagnstico y guiar la planicacin operativa, sin enmarcarlos en un concepto de evaluacin de efectos e impactos. En otros casos, se realizaron como "lneas de base", entendidas como "una radiografa instantnea" del dato inicial de los indicadores referidos a la poblacin objetivo, sin prever los mecanismos de evaluacin posterior que permitieran la comparacin. Estas lneas de base han adolecido de dos grandes defectos: fueron concebidas como diagnsticos externos y no fueron referidas a los indicadores de efectos e impactos de los proyectos, previamente denidos.
Diagnsticos Iniciales Son previos a la formulacin del proyecto: ayudan a denir su estrategia. Describen y explican en forma general una potencial zona de intervencin. Trabajan con una poblacin amplia, que no se limita a la probable poblacin objetivo. Tratan problemas, necesidades y soluciones. Denen qu hacer, cmo y con qu. Caracterizan a la poblacin objetivo desde la poblacin general.
18
As como no son un diagnstico inicial, los estudios de base tampoco se reducen a una lnea de base, que es un listado con el primer valor de los indicadores de efectos e impactos, contemplados en el marco lgico del proyecto. Dicho listado cuantica indicadores, resumiendo situaciones, pero no las explica ni permite ver su conexin con otros fenmenos. Por ello, una parte importante de los Estudios de Base est representada por la lnea de base, mas sta no los reemplaza. Asimismo, en algunos proyectos los EB son tratados como Evaluaciones Ex Ante, que son anlisis costo-benecio y de costo-efectividad elaborados para evaluar la viabilidad, pertinencia y ecacia de un proyecto, a n de decidir si se lleva a cabo o no. Por ello, la Evaluacin ex ante presenta una descripcin breve del contexto y de las caractersticas generales de la poblacin, como sustento previo a los impactos del proyecto, mientras que los EB se desarrollan despus de formulado el proyecto y contienen informacin a partir de sus resultados esperados, no para determinar su conveniencia, sino para permitir su evaluabilidad. Por consiguiente, la Evaluacin ex ante diere sustantivamente de los Estudios de Base, tanto en objetivos como en contenido. Respecto a las encuestas de base cabe decir que constituyen una importante tcnica aplicada por los EB, pero tampoco son la nica, puesto que igualmente se pueden realizar grupos focales, talleres y entrevistas, como ya se ha indicado anteriormente.
LOS EB EN EL SISTEMA DE SEGUIMIENTO Y EVALUACIN Un Sistema de Planicacin, Seguimiento, Evaluacin y Sistematizacin (sistema de PSES) es una herramienta utilizada por la gestin del proyecto para recolectar y procesar datos que permitan analizar y comunicar informacin sobre los cambios atribuibles a una intervencin para el desarrollo. En el caso de los proyectos conanciados por el FIDA, este Sistema gua la estrategia hacia resultados visibles en la reduccin de la pobreza rural, para lo cual propicia la rendicin de cuentas, la toma de decisiones y el aprendizaje entre mltiples actores, todo ello en espacios de reexin y comunicacin sobre los cambios. En este marco, el Sistema de PSES es un medio para aprender de los problemas y errores, as como de las buenas prcticas y aciertos en la ejecucin del proyecto. Su foco son los cambios esperados, de modo que los Estudios de Base (al ser el primer referente de esos cambios) tienen un rol clave en la planicacin, seguimiento, evaluacin y sistematizacin. Este rol se consolida cuando la gestin orientada al impacto exige contar con informacin oportuna para vericar y apreciar los resultados. Para ello es necesario garantizar criterios de comparacin homogneos y rigurosos entre el marco lgico del proyecto, el Estudio de Base y las posteriores evaluaciones, tarea que junto a otras compete al subsistema de evaluacin, uno de los cuatro que componen el sistema de PSES en su conjunto, como se ve en el siguiente cuadro.
19
SISTEMA DE PSES Y EL CICLO DEL PROYECTO
Etapa de Planeamiento
Etapa de Ejecucin
Etapa de Evaluacin nal
E V A L E X A N T E
Seguimiento
ESTUDIO DE BASE
EVALUACIN CONTINUA O DE PROCESO
EVAL. FINAL
E V A L E X P O S T
EVALUACIN INTERMEDIA
Planicacin
Sistematizacin
Evaluacin
De acuerdo con el PREVAL, es necesario que los cuatro subsistemas del PSES tengan objetivos ligados entre s para dar respuesta articulada a las preguntas sobre los cambios. En general, el rol de los EB en cada subsistema es el siguiente. El subsistema de planicacin levanta las hiptesis de cambio del proyecto, establece metas, indicadores y resultados; qu debe hacerse y por quin, incluyendo la asignacin de recursos. Bsicamente, este subsistema utiliza tres herramientas: el planeamiento estratgico, la matriz del Marco Lgico y el Plan Operativo Anual o POA. Como se ha dicho, los EB proporcionan el valor inicial de los indicadores de efecto e impacto, datos que acompaan a la planicacin de manera permanente.
El subsistema de seguimiento se concentra en el desempeo de las intervenciones, valindose del POA como referente y revisando el cumplimiento de las actividades y productos. Ha de tenerse en cuenta que este subsistema se enfoca en los indicadores de primer nivel (producto), mientras que los EB lo hacen bsicamente en los de segundo y tercer nivel (efectos e impactos). Sin embargo, los EB se articulan al subsistema de seguimiento brindando datos que son los primeros comparadores de los cambios (punto de partida). El subsistema de evaluacin es el ms vinculado a los estudios de base, pues se encarga de llevarlos a cabo. En las evaluaciones de corte (por lo general a mitad de periodo y al nal del ciclo) se retoma la metodologa de los EB para
20
comparar los cambios y auscultar las tendencias hacia el impacto. Cabe anotar que no obstante los avances observados en los proyectos conanciados por el FIDA, todava son pocos aquellos donde el concepto de Estudios de Base se maneja como parte de un subsistema de evaluacin enfocado a efectos e impactos. Una contribucin a la mejora de los EB se dio el 2003, al establecerse que los subsistemas de evaluacin de todos los proyectos conanciados por el FIDA cuenten con encuestas de impacto estandarizadas, en el marco del RIMS12. Finalmente, el subsistema de sistematizacin analiza los procesos y experiencias de una intervencin de desarrollo, interpretando lo vivido por sus actores y ordenando la reexin crtica, con miras a la socializacin de los aprendizajes. Los EB aportan a este subsistema una informacin clave para reconstruir la situacin inicial, al contrastar el punto de partida de la experiencia con los resultados al momento de la sistematizacin.
Tener clara la estrategia de intervencin y los objetivos del proyecto. Contar con el diseo del subsistema de planicacin y tener avanzado el de evaluacin.
Se observa con frecuencia que para caracterizar a la poblacin objetivo, en algunos EB se levantan datos sobre poblaciones que no pertenecen al grupo de usuarios directos del proyecto, ya sea porque ello se hizo muy al inicio de la intervencin o porque la estrategia no termin de denirse y experiment muchos cambios. En una situacin como sta, resulta difcil cumplir con el propsito de facilitar las evaluaciones posteriores. Por ello, es fundamental que los EB respondan a la pregunta de si la poblacin objetivo est correctamente caracterizada en la evaluacin ex ante, y de no ser as, proceder a focalizarla13. La experiencia indica que el primer ao de ejecucin es necesario para contar con el personal contratado y comenzar con los arreglos logsticos y programticos que requieren las actividades. Claro est que ello depender en gran medida de las condiciones iniciales y de la estabilidad del entorno institucional del proyecto.
REQUISITOS
CUNDO LLEVAR A CABO LOS EB? Los EB sern tiles y cumplirn los propsitos previstos si se elaboran cuando ya estn dadas algunas situaciones clave, como por ejemplo: Contar con una caracterizacin adecuada de la poblacin objetivo y la zona de inuencia del proyecto (focalizacin). Estar en el primer ao de ejecucin y disponer de personal tcnico en nmero suficiente y con capacidades para llevar a cabo los estudios.
12 Para mayor informacin acerca del RIMS del FIDA ver el Enlace N 1. 13 En el punto "Establecer el contenido de los EB" se desarrolla en profundidad la caracterizacin de la poblacin objetivo.
21
Justamente, es necesario contar con tales condiciones para que se retomen y actualicen las estrategias de intervencin y los objetivos del proyecto, en caso hayan cambiado algunos factores externos (favorables o desfavorables). Ello es posible en el marco del dilogo inicial necesario entre los miembros de los equipos tcnicos y la poblacin objetivo, sentando las bases de una estrecha comunicacin que fortalezca la participacin.
Finalmente, para iniciar los EB debe estar avanzado el diseo del subsistema de planicacin, porque los EB requieren de la previa elaboracin del Marco Lgico del proyecto (principal referente de este subsistema) a n de establecer el primer valor de las hiptesis de cambio e indicadores. Asimismo, el diseo del subsistema de evaluacin ha de hallarse en proceso para que los EB se elaboren en coherencia con las posteriores evaluaciones de corte o temticas.
RECUADRO N 2 EL MOMENTO ADECUADO PARA REALIZAR LOS ESTUDIOS DE BASE Es comn encontrar proyectos con Estudios de Base prematuros y poco pertinentes para las evaluaciones posteriores. Causa de ello suele ser la falta de involucramiento del equipo del proyecto (en muchos casos porque todava no se ha conformado ste y en otros, por una inestabilidad del personal inicial). Tambin ello se debe a los cambios de rumbo que se toman sobre la marcha, que desenfocan la evaluacin y obligan a volver a pensar cmo evaluar. Estos casos fueron: PROCHALATE, PRODERCO, UNEPCA y PROSALAFA. Paradjicamente, cuando se ha logrado mayor capacidad y motivacin por la evaluacin de efectos e impactos por parte del equipo del proyecto, result ser demasiado tarde para reconstruir la situacin de partida hacindose, entonces, necesario apoyarse en otras fuentes de informacin a menudo generadas por el subsistema de seguimiento, por cierto sin la calidad y precisin de un Estudio de Base. Este es el caso de PRODERCO y UNEPCA. Luego hay dos proyectos que hicieron su Estudio de Base temprano y bien enfocado, aunque ciertamente requieren complemento posterior en algunos aspectos de la intervencin; es el caso de PROSOC y PRODECOP. Mientras que PRODESEC (Nicaragua) realiz dos encuestas y desarrolla estudios de caso para seguimiento a los impactos. La primera encuesta fue la del RIMS, dirigida a una muestra de la poblacin, la segunda encuesta, aplicada en usuarios del proyecto segn ingresan al mismo (familias y organizaciones).
Fuente: Elaboracin propia e Informe de Consultora. Patrick Dumazert, 2002.
QU HACER CUANDO NO SE REALIZ UN EB? En el caso de que un proyecto carezca de los EB o los tenga pero no del modo apropiado14, la pregunta por contestar viene a ser: resulta posible reconstruir los referentes iniciales y contar con elementos de comparacin para evaluar? La respuesta es armativa (aunque a veces ello no se pueda lograr ms que de manera aproximada) mediante
la realizacin de estudios retrospectivos que sirvan de parmetro para las evaluaciones. Por supuesto, sta no es una situacin ideal, pero s real. Los referentes para posteriores evaluaciones pueden obtenerse reconstruyendo los hechos a travs de la memoria de los grupos de actores, por medio de diferentes tcnicas y herramientas (entrevistas individuales y grupales, historias de vida,
14 Se dice que los EB no son apropiados cuando yerran en la metodologa o en el enfoque, cuando se hicieron a destiempo (la poblacin objetivo ya tuvo contacto con el proyecto y por tanto ya no reejan la situacin inicial) o cuando ya realizados los EB se hacen cambios sustantivos en los indicadores de efecto e impacto.
22
vdeos, cronologas y lneas de tiempo, as como revisin de informacin secundaria proveniente de instituciones y organizaciones locales). Para ello es importante conocer qu otras entidades trabajan en la zona y saber si realizan estudios que puedan ser aprovechados, adems de recurrir a las bases de datos nacionales y regionales sobre la reduccin de la pobreza rural y los ODM. PARTICIPANTES Y ROLES Es deseable que los EB tengan un proceso participativo, esto es que los actores del proyecto se involucren en sus diversas fases, sobre todo en el diseo del sistema PSES, especialmente en la revisin del marco lgico, como luego se ve en detalle en el punto 3. Elaborar un Mapeo de Actores contribuye a denir mejor la participacin e intereses de stos, lo cual puede apreciarse en el Enlace N 3, "Mapeo de Actores Sociales". La participacin ofrece mltiples ventajas a los sistemas de PSES, entre ellas el aprendizaje colectivo, que se traduce en empoderamiento de los actores y en la mejora de su capacidad para generar los cambios. Entre estas ventajas, cabe recordar que el trabajo en grupo promueve actitudes favorables a la resolucin de conictos y a la construccin de acuerdos, fortaleciendo la disposicin de los participantes para comprometerse en las acciones del proyecto. En la prctica, la accin colaborativa trae benecios que van ms all de las necesidades de una evaluacin en particular, insertndose en los procesos locales de toma de decisiones.
Esta participacin se produce naturalmente cuando los equipos encargados del Seguimiento y Evaluacin son mixtos, es decir, integrados por actores de los siguientes niveles: el equipo tcnico y miembros de las USES (Unidades de Seguimiento y Evaluacin); representantes de los actores locales (organizaciones de la poblacin objetivo, gobiernos locales y entidades gubernamentales y privadas); y consultores externos.
Es conveniente que los grupos as formados se institucionalicen y participen integrando comits e instancias ad-hoc, incluso desde antes de la revisin del Marco Lgico, o de los Objetivos, resultados e indicadores. En estos equipos mixtos, los roles deben estar claramente denidos y ser reconocidos por todos, de modo que unos y otros se sepan complementarios en la gestin de los cambios. Puntualmente, tales grupos han de desempear los roles en la elaboracin de los Estudios de Base, segn se describen en el Recuadro N 3. Si bien la participacin es importante a lo largo de los procesos de evaluacin, hay algunos momentos en los que resulta indispensable, como es en el caso de la revisin del ML del proyecto. Este momento es clave para que todos los actores involucrados tengan claridad sobre los cambios buscados y sobre cmo se vericarn, sentando las bases de un sistema de PSES participativo. Saber qu y cmo se va a evaluar comienza por disear y organizar los Estudios de Base, de lo cual se trata a continuacin.
23
RECUADRO N 3 ROL DE LOS ACTORES EN LOS EB Unidades de SyE USES Planicar y liderar los procesos de PSES. Garantizar que el EB sea parte integral del Subsistema de Evaluacin, respondiendo a los indicadores del ML. Facilitar la generacin de informacin y la produccin de reportes. Propiciar la participacin de diversos actores en los procesos de evaluacin, incluyendo a miembros del Equipo Tcnico del Proyecto. Acompaar mediante supervisin directa la aplicacin de las diversas tcnicas de recoleccin, procesamiento y anlisis, especialmente en lo referido a la encuesta de medicin de impactos del RIMS. Disear el plan de comunicacin y uso de los resultados, en consulta con los actores del proyecto. Actores locales (coejecutores, organizaciones) Participar en el proceso de planicacin de la evaluacin, principalmente en la revisin de los indicadores del ML y los otros componentes de la matriz. Participar en la recoleccin de datos, ya sea como informantes y/o como operadores de las diversas tcnicas, as como en la fase de anlisis. Participar en el establecimiento de acuerdos sobre el uso que se le dar a la informacin. Consultores externos Por lo general, los consultores participan en diversos momentos del proceso, para facilitarlo y prestar asistencia tcnica especializada. Es comn su participacin en los siguientes temas: Facilitacin de procesos participativos, construccin de acuerdos y consensos, por ejemplo en la identicacin de indicadores del marco lgico. Asistencia tcnica en la aplicacin de procedimientos estadsticos, especialmente en el diseo de marcos muestrales y el anlisis cuantitativo o en temas especializados como la medicin de la desnutricin crnica. Asistencia tcnica en la aplicacin de procedimientos tecnolgicos (uso de software) para el procesamiento y anlisis de datos.
Fuente: Elaboracin propia y PREVAL II (2004).
24
II. LINEAMIENTOS METODOLOGICOS

FASE DE DISEO Y ORGANIZACIN DE LOS EB
Es necesario planicar el desarrollo de los EB a partir de la revisin de los resultados esperados del proyecto, efectuando las enmiendas necesarias a la matriz del marco lgico y ajustando los indicadores para cimentar la medicin de los resultados. Ello permite pasar a la determinacin de los objetivos y contenido de los EB, luego de lo cual puede formularse el Plan de Trabajo, el Marco Metodolgico y la Matriz de Diseo y Anlisis, entre otros productos de esta etapa preparatoria. De cmo realizar lo anterior trata el presente captulo. Se busca lograr que los/las lectores estn en condiciones de participar en el diseo y organizacin de los EB, quedando en capacidad para elaborar los productos mencionados y as forjar unos Estudios de Base tiles para evaluar los cambios y facilitar la gestin de los proyectos. de la intervencin, presentando en forma visual su funcionamiento terico, as como sus medios de vericacin. En ese sentido, la matriz del ML hace explcita la hiptesis central de todo proyecto al presentar grcamente la integracin de dos lgicas complementarias, una vertical y otra horizontal. La lgica vertical muestra qu se va a hacer y qu cambios se esperan, evidenciando la relacin causal de los resultados (de primer, segundo y tercer nivel) con los supuestos. Responde a la lgica convencional de una hiptesis causa-efecto en la investigacin social: si se realiza A (actividades) y se cumple B (condiciones y supuestos) se alcanza C (resultados de efecto) y si se produce D (nuevos supuestos), entonces es posible alcanzar E (impacto). Por su parte, la lgica horizontal expresa cmo se van a medir y vericar los cambios, lo que signica vincular resultados, indicadores (deniciones y
REVISIN DE LOS RESULTADOS

QU ES EL MARCO LGICO? El ML es un instrumento de planicacin que resume y organiza los cambios requeridos por una intervencin de desarrollo (programa o proyecto) para mejorar los medios y calidad de vida de la poblacin objetivo. Como herramienta metodolgica sistematiza en una matriz los resultados esperados
25
variables), medios de vericacin y supuestos15. Al identicar los indicadores y los medios de vericacin (columnas centrales en la matriz), esta lgica da forma al esquema bsico del sistema de PSES del proyecto, proporcionando elementos indispensables para la constatacin de los cambios. Vale decir que la lgica horizontal del ML ayuda a determinar grcamente la coherencia de los indicadores y sus medios de vericacin respecto a los resultados. Para constatar tal concordancia hay que preguntarse: el indicador me permite medir o valorar el cambio deseado?, el medio de vericacin me permite acceder a datos e informacin suciente para observar la evolucin de lo medido por el indicador? REVISIN DEL ML Y DE SUS INDICADORES Recordemos que la matriz del ML no es un formato esttico, sino un proceso dinmico sujeto a permanente actualizacin e interpretacin, por lo cual debe revisarse el contenido de sus objetivos, indicadores, medios de vericacin y supuestos. Sin embargo, ello no supone desechar la matriz en uso y sustituirla por una radicalmente distinta, sino ms bien partir de la que ya se tiene para introducir ajustes y aadir elementos necesarios, como ocurre con los indicadores (obligatorios y opcionales) del RIMS16. El resultado de la revisin es una reforzada matriz del ML que incorpora los citados indicadores e incluye actualizaciones y modicaciones en el listado de los dems que son propios de cada proyecto. Necesariamente reexivo, este proceso implica facilitacin, dilogo grupal y construccin de consenso, as como contar con el concurso de todos los grupos de actores del proyecto. Son objetivos de la revisin del ML:
Ajustar los indicadores de efecto e impacto, precisar sus deniciones y mtodo de clculo. Incluir los indicadores obligatorios del RIMS y tomar en cuenta los opcionales, si ello an no se ha hecho. Actualizar los medios de vericacin y la columna de supuestos.
Esta revisin es necesaria para formular los objetivos, temas y contenidos de los EB, as como la estrategia metodolgica (complementaria a la encuesta de impacto del RIMS), tomando en cuenta que el ML del proyecto es el foco de estos estudios. Para ahondar en el tema puede consultarse el Enlace N 4 sobre "Elaboracin y Revisin del Marco Lgico", donde gura un kit de bibliografa bsica con deniciones y procedimientos al respecto. Aspecto central en la revisin del ML es la denicin y concrecin de sus indicadores de efecto e impacto, resultando necesario precisar los trminos clave utilizados en la medicin. Por ejemplo, si formulamos el indicador como "porcentaje (%) de empresas comunales de turismo ecolgico que operan servicios y productos de forma rentable y sostenible", es necesario detallar qu se entiende por rentable y sostenible. Al proceso mediante el cual se descompone al indicador en dimensiones y variables17 (lo que facilita la vericacin de las caractersticas observables), se le llama operacionalizacin, pues as el indicador se vuelve operacional (se puede medir) a efectos de evaluar los resultados. Como parte del proceso de armonizacin de la cooperacin para el desarrollo, se ha logrado establecer algunas deniciones y estndares para la medicin de indicadores, especialmente los que forman parte de los ODM y sobre todo para los indicadores de impacto. Por ejemplo, desnutricin crnica en menores de 5 aos tiene una denicin establecida internacionalmente, al igual que seguri-
15 Algunas matrices del ML incluyen el valor de la lnea de base por indicador, metas y rea geogrca, lo cual es opcional. 16 Sobre los indicadores del RIMS se tratar ms adelante, en este captulo. 17 Para aclarar la diferencia entre dimensin y variable puede consultarse el texto de Ruiz-Bravo Patricia y Barrig, Maruja que se encuentra en el Enlace N 5 "Lineamientos Metodolgicos para la incorporacin del enfoque de Gnero en el Seguimiento y Evaluacin de proyectos".
26
dad alimentaria, acceso a agua segura, etctera. Para el ajuste de los indicadores ha de tomarse en cuenta que segn su variable de medicin stos pueden ser cuantitativos, cualitativos o mixtos. i. Indicadores cuantitativos son enunciados que permiten evaluar cambios referidos a cantidades y que manejan informacin bsicamente referida a nmeros, tasas y porcentajes, expresando medidas, cantidad y frecuencias. Los principales mtodos y tcnicas utilizadas para vericarlos son los censos y encuestas; los cuestionarios y entrevistas estructuradas, modelos matemticos y economtricos. Un ejemplo de indicador de impacto cuantitativo es el porcentaje de hogares que han mejorado sus activos fsicos.
tecnologas para optimizar uso del agua; tecnologas que preservan la biodiversidad de la zona (recursos genticos).
Respecto a la relacin que existe entre indicadores cualitativos y cuantitativos puede decirse que constituyen "dos caras de una misma moneda", expresando dimensiones complementarias (ninguna es mejor que la otra). Por ello es fundamental que los Estudios de Base comprendan informacin que combine ambas. Para ver cmo se construyen los indicadores (incluyendo los mixtos) se sugiere revisar el Enlace N 5. Aspecto favorable de los procedimientos de revisin y denicin es que propician el entendimiento entre los actores del proyecto, quienes as comparten una misma visin y se familiarizan en el manejo de un lenguaje comn, todo ello necesario para que los EB produzcan los frutos buscados. Junto a la denicin del indicador19 hay que establecer cmo se calcular el mismo, procedimiento registrado en la Matriz de Diseo y Anlisis (ver subttulo respectivo). Algunos pasos para revisar el ML y cada una de sus columnas se presentan a continuacin20. 1. Comenzar con describir el concepto y las dimensiones del hecho a medir a travs de una lluvia de ideas u otra dinmica de construccin grupal de conocimiento. 2. Ubicar el indicador segn el nivel de resultado (primer, segundo y tercer nivel), comenzando con la formulacin del indicador de tercer nivel. 3. Traducir la denicin en dimensiones y variables vericables.
ii. Indicadores cualitativos son aquellos que evalan cambios expresados en cualidades y por tanto manejan informacin cualitativa (grado, nivel, tipo). Importantes tcnicas para vericar estos indicadores son las entrevistas grupales e individuales, las historias de vida y las tcnicas grupales (talleres, grupos focales, reuniones con la comunidad). iii. Indicadores mixtos18 son aquellos que verican cambios cualitativos y determinan en cuntos individuos /poblaciones se presentan esos cambios. Un ejemplo de indicador de efecto mixto sera el siguiente: Nmero de organizaciones segn grado de desarrollo de su capacidad tecnolgica en trminos de si aplican: tecnologas agrcolas convencionales; tecnologas para proteccin de suelos;
18 La formulacin de indicadores mixtos es una propuesta metodolgica desarrollada por la Fundacin Synergia, ONG colombiana, en el Sistema de PSES de proyectos de Cordaid. 19 Como parte del proceso de armonizacin de la cooperacin para el desarrollo, se ha logrado establecer algunas deniciones y estndares para la medicin de indicadores, especialmente los que forman parte de los ODM y sobre todo para los indicadores de impacto. Por su parte, el FIDA ha establecido claramente el grupo objetivo y ha dado una denicin conceptual compartida de la focalizacin sobre la poblacin rural pobre. 20 Adaptado de Rotondo, Emma y Vela, Gloria "Lineamientos para construir Indicadores de Gnero" PREVAL 2003.
27
4. Listar tales variables y determinar la unidad de anlisis, o sea quines sern el objeto de la medicin (si son familias, instituciones, organizaciones o grupos). 5. Identicar la unidad de medida: el nmero y la proporcin, sin son cuantitativos, nivel, existencia y grado, si son cualitativos. 6. Denir un indicador para cada dimensin con sus variables y redacten en forma simple y directa, para la comprensin de todos. Es preciso determinar si los aspectos sealados son "observables" directamente desde la realidad. 7. Preguntarse una y otra vez qu evidencias debern encontrar sobre la existencia del resultado, hasta llegar a una denicin de consenso. 8. Seleccionar pocos indicadores para hacer manejable la recoleccin de datos. 9. Pregntarse cmo y quines recogern los datos para cada indicador. Si no encuentran respuestas viables deben descartar ese indicador. 10. Revisar y complementar los medios de vericacin. 11. Ajustar los supuestos, empezando por los resultados de primer nivel (producto) para subir hacia los niveles ms altos. LOS INDICADORES DEL RIMS En el ao 2003 se dispuso que los proyectos de lucha contra la pobreza rural conanciados por el FIDA cuenten con un Sistema de Gestin por Resultados e Impacto (RIMS) donde el ML sea la principal herramienta de gestin. La implementacin de tal Sistema, que se vale de indicadores comunes a los distintos tipos de proyectos, fue acordada para evaluar dimensiones estrechamente ligadas a los Objetivos de Desarrollo del Milenio (ODM). En efecto, el RIMS incluye un men de indicadores dirigidos a medir temas claves de la pobreza rural,
clasicados de la siguiente manera, segn el nivel de resultado. Indicadores de primer nivel (producto): Miden los avances nancieros y materiales, mayormente cuantitativos (cifras y porcentajes, por ejemplo: N de sistemas de irrigacin rehabilitados) y generalmente se planican e implementan sobre una base anual. Estos indicadores constituyen la medicin de los resultados, ya sea a nivel de actividad o de producto del marco lgico. Indicadores de segundo nivel (efecto): Miden la mejora de la funcionalidad y/o los cambios de comportamiento. Son de naturaleza ms cualitativa (por ejemplo, sostenibilidad de las juntas de regantes) y por lo general tardan ms tiempo en alcanzarse. Este nivel se corresponde ya sea con el nivel de productos o de objetivos especcos del marco lgico del proyecto. Indicadores de tercer nivel (impacto): Miden los efectos combinados de los resultados de primer y segundo nivel. Son de naturaleza cuantitativa (por ejemplo, hogares que reportan un aumento de sus activos) y se miden en intervalos especcos a lo largo del ciclo de vida del proyecto. Pueden referirse al nivel de metas del marco lgico y, en algunos casos, al nivel de objetivos especcos.
Entre obligatorios y opcionales, dichos indicadores contemplan aspectos centrales de la pobreza rural, de modo que su aplicacin resulta clave para los alcances del proyecto y para las polticas que existan en torno al tema a nivel local, nacional y regional. Por supuesto, no se trata de indicadores nicos, sino slo de aquellos que el FIDA exige en cumplimiento de su mandato institucional21. As, en los proyectos del FIDA es obligatorio evaluar estos cuatro indicadores:
21 Los indicadores del RIMS reejan las necesidades de informacin de al menos una parte interesada: el FIDA. Informar sobre los indicadores del RIMS no socava o reemplaza los procesos participativos que apuntan a promover la participacin de las partes interesadas, ya sea en trminos de la seleccin de los indicadores de resultados o del seguimiento de los mismos. Ms bien, complementa la participacin de las partes interesadas, al denir de forma explcita las necesidades de informacin del FIDA, que en muchos casos sern las mismas que las de las contrapartes y otras partes interesadas. Los indicadores identicados por otras partes interesadas que no guren en el sistema de informes del RIMS deben ser incluidos en el sistema de SyE del proyecto. (Extracto de "Lineamientos prcticos para la ejecucin del Sistema del FIDA de Gestin de los Resultados y el Impacto") el documento completo se encuentra en el Enlace N 1.
28
(i) nmero de hogares que acusan mejora del ndice de propiedad de activos familiares22, en base a los activos adicionales (bienes productivos, bicicletas, radios, viviendas mejoradas, techos de hojalata, etc.); (ii) reduccin porcentual de la prevalencia en desnutricin infantil; (iii) nmero de hogares que acusan mejora en seguridad alimentaria; (iv) nmero de personas que reciben servicios del proyecto (beneciarios directos y beneciarios totales).
Los tres primeros se deben medir en momentos claves del ciclo del proyecto: al inicio (Estudios de Base), a la mitad y al final, mediante la aplicacin de una encuesta estandarizada 23, mientras que la evolucin del cuarto indicador (N de personas que reciben servicios del proyecto) se reportar anualmente junto a los indicadores opcionales. El siguiente cuadro muestra a los mencionados indicadores del RIMS segn su tipo (obligatorio u opcional), dimensiones y niveles:
RECUADRO N 4 SELECCIN DE INDICADORES DEL RIMS Dimensiones Indicadores Obligatorios Tercer nivel (impacto)
Pobreza Hogares que acusan una mejora del ndice de propiedad de activos familiares, con base en los activos adicionales * Reduccin de la prevalencia de desnutricin infantil * Tasa neta de matrcula en primaria Tasa de analfabetismo (por gnero) Razn de mujeres alfabetizadas / varones alfabetizados Morbilidad Medio ambiente Reduccin de incidencia de enfermedades infecto contagiosas Personas con acceso a saneamiento mejorado Personas con acceso sostenible a una fuente de agua mejorada (agua potable)
Opcionales
Caresta / hambre Universalizacin de la enseanza Gnero
Segundo nivel (efecto)

Seguridad alimentaria Nmero de hogares que mejoran su seguridad alimentaria
Primer nivel (producto)

Cobertura del proyecto Nmero de personas que reciben servicios del proyecto
Indicadores "ancla". Indicadores esenciales basados en datos objetivos y comparables- vinculados a las Metas de Desarrollo del Milenio.
22 La metodologa utilizada para este ndice toma en cuenta la experiencia de otras organizaciones internacionales, como UNICEF (Encuesta por Conglomerados a nivel de Hogares) y el Banco Mundial (Estudios sobre Medicin de Niveles de Vida). Para mayores informes sobre su denicin y mtodo de clculo dirigirse a la web www.ifad.org 23 En la seccin "Marco Metodolgico" se profundiza sobre las caractersticas de esta encuesta. Al respecto es oportuna la lectura del documento "Directrices Prcticas" Enlace N 1.
29
INCORPORACIN DEL ENFOQUE DE GNERO La estrategia del FIDA reconoce la necesidad de incorporar la perspectiva de gnero en los proyectos que conancia, dando especial nfasis a la bsqueda de la "equidad de gnero", por la cual se entiende un trato y oportunidad para mujeres y hombres segn sus necesidades respectivas. Tal perspectiva los equipara en relacin a sus derechos, benecios, obligaciones y posibilidades. En este marco, "la incorporacin de los aspectos de gnero supone evaluar las consecuencias para mujeres y hombres de las medidas previstas en todos los sectores, incluida la legislacin y asegurarse de que tanto las preocupaciones y experiencias de las mujeres como las de los hombres se tengan plenamente en cuenta al disear, ejecutar, supervisar y evaluar todas las actividades de desarrollo. El objetivo es elaborar actividades dirigidas a superar las barreras que impiden que hombres y mujeres tengan un acceso equitativo a los recursos y servicios que necesitan para mejorar sus medios de vida" (tomado del texto "Incorporacin de una perspectiva de gnero en las actividades del FIDA. Puesta en marcha del marco estratgico 2002 2006". Roma, 2003). En este sentido, la eliminacin de las desigualdades de gnero es uno de los objetivos o ejes transversales que caracterizan la accin de los proyectos FIDA. Por ello, un Estudio de Base que incorpora el enfoque de gnero debe contener un anlisis sobre las inequidades y desigualdades de gnero que afectan en forma diferenciada a mujeres y hombres, es decir, debe traer informacin sobre: Situacin diferenciada de mujeres y de hombres tanto en el mbito domstico (unidad familiar) como en el comunitario y organizacional, y en el mercado. Diferencias en situacin y posicin de las mujeres y los hombres en el marco de las leyes y
polticas relativas al propsito y estrategias del proyecto. Diferencias entre mujeres y hombres en el acceso a servicios bsicos. Diferencias entre mujeres y hombres en el acceso y control sobre los recursos productivos Situacin y posicin de las mujeres en las instituciones y organizaciones involucradas en la ejecucin del proyecto, incluyendo el anlisis de la capacidad institucional de los oferentes de servicios y dems organizaciones involucradas en el mismo, para aplicar adecuadamente el enfoque de gnero.
Es importante tener en cuenta que la incorporacin del enfoque de gnero en los Estudios de Base no se da slo por recoger y analizar la informacin diferenciada por sexo (cuntas mujeres y cuntos hombres), ni slo por aplicar procedimientos que faciliten la participacin de ellas en la recoleccin de la informacin, sino que es fundamental, garantizar la participacin de las mujeres en todo el proceso, de forma que se garantice recoger explcitamente las perspectivas y opiniones diferenciadas de las mujeres y los hombres frente a las situaciones encontradas. Lo anterior es un aspecto que deber tenerse en cuenta especialmente cuando se toma como unidad de anlisis la familia/hogar. En este caso, por ejemplo, deber hacerse entrevistas conjuntas a ambos miembros de la pareja y recoger, a travs del instrumento que se est utilizando, las diferencias de roles y, sobre todo, las diferencias de opiniones y percepciones de los dos miembros de la pareja sobre los mismos temas o preguntas. Asimismo, en los anlisis se deber diferenciar la situacin de los hogares con mujeres como jefas de familia, respecto a aquellas cuyos jefes son hombres. A continuacin se presenta el ejemplo del Estudio de Base del FAT (Fondo de Asistencia Tcnica) en Nicaragua, donde se colocaron en forma explcita los criterios mencionados.
30
RECUADRO N 5 EJEMPLO SOBRE GNERO EN EL FONDO DE ASISTENCIA TCNICA FAT Segn la gerencia del FAT, es posible estimar que alrededor de un 33 por ciento de los clientes beneciarios van a ser mujeres, tanto por la existencia de una discriminacin positiva a su favor, como por la presencia de mujeres, su grado de organizacin y por la propensin creciente a la inclusin de mujeres en las propuestas grupales de los productores (la cual a su vez resulta del conocimiento que stos tienen del sesgo positivo antes mencionado). Se produce por lo tanto un mecanismo de tipo 'aprendizaje institucional' que podra establecer la participacin de mujeres en la poblacin beneciaria en este nivel, el cual sin duda es superior a su representatividad numrica. Por tales razones, se considerara necesario establecer una cuota equitativa (50 / 50), para garantizar la misma conabilidad en la estimacin de impactos en ambos gneros.
Fuente: PREVAL II (2004).
ORGANIZACIN Y CONTENIDO DE LOS EB

Para desarrollar los EB es necesario seguir algunos procedimientos apropiados y elaborar herramientas que ayuden a organizarlos, como parte de las acciones previas a la salida al campo. La propuesta de planicacin presentada en estos lineamientos comprende cinco pasos articulados y consecutivos: 1 Formular los objetivos 2 Denir el contenido y los temas de los EB 3 Elaborar la Matriz de Diseo y Anlisis 4 Denir el Plan de Trabajo y estimar el Presupuesto 5 Redactar los Trminos de Referencia, convocar y adjudicar
31
FORMULAR LOS OBJETIVOS El primer paso en el diseo de los EB consiste en denir sus objetivos. Unos objetivos bien elegidos y redactados permitirn tener claro para qu hacer
los EB, qu informacin se va a levantar y qu usos se dar a esa informacin. En el siguiente recuadro presentamos un ejemplo de formulacin de objetivos de un EB:
RECUADRO N 6 EJEMPLO DE OBJETIVOS PARA LOS EB Establecer las caractersticas principales / situacin de la poblacin objetivo del proyecto, segn la estrategia y marco lgico. Establecer las caractersticas de la dinmica del contexto de la poblacin objetivo, en lo econmico productivo, social, cultural e institucional, identicando las relaciones de estos elementos con la poblacin objetivo. Se analizar tomando en cuenta el captulo de focalizacin de la Evaluacin ex ante. Determinar un valor inicial para los indicadores de efecto e impacto. Establecer la situacin de los supuestos o factores de riesgo del entorno en relacin a los indicadores de efecto e impacto. Aportar en la revisin y ajuste de los resultados previstos, los indicadores y, en general, de las estrategias de intervencin del proyecto. Usar la informacin para ajustar las estrategias de intervencin del proyecto. Sentar las bases del subsistema de evaluacin del proyecto.
Es importante recordar que los objetivos de los EB deben construirse participativamente, involucrando en el proceso a las USES, a coejecutores y a la poblacin usuaria, sobre todo al momento de revisar el ML. Aqu la participacin es importante no slo para apreciar distintas perspectivas, sino fundamentalmente para generar compromisos y forjar visiones comunes sobre la gestin del cambio. Los objetivos de los EB no tienen por qu ser muy diferentes de un proyecto a otro, pues enuncian propsitos metodolgicos comunes a varios de ellos, como los siguientes: Generar informacin sobre la poblacin objetivo del proyecto, la zona de inuencia del mismo, la dinmica del contexto en que se inserta y los supuestos con los que se trabaja, en articulacin con el marco lgico. Obtener informacin mixta (cualitativa y cuantitativa) conable y suciente sobre los indicadores de efecto e impacto del proyecto, con la nalidad de establecer el primer referente de comparacin (primer valor de los indicadores en el momento inicial de la intervencin).
DEFINIR EL CONTENIDO Y TEMAS DE LOS EB La pregunta qu resultados del proyecto vamos a evaluar? conduce a los temas que forman parte de los EB, en tanto que la pregunta con qu evidencias vamos a evaluar? lleva a establecer sus indicadores y medios de vericacin. Un espacio de dilogo y reexin participativa con los actores del proyecto, suele ser el origen de las mejores respuestas a tales preguntas, de modo que teniendo como referente el Marco Lgico del proyecto, junto a la previa denicin de los objetivos de los EB, es posible establecer el contenido de estos estudios y delimitar su campo de accin. Tomar en cuenta las dimensiones y variables de la pobreza rural, es clave para determinar el contenido de los EB a efectos de poder demostrar los cambios, producto de las intervenciones. El siguiente cuadro presenta estas dimensiones y variables.
32
RECUADRO N 7 DIMENSIONES Y VARIABLES DEL IMPACTO EN PROYECTOS DE DESARROLLO RURAL DIMENSIONES ACTIVOS FISICOS Y FINANCIEROS* ACTIVOS HUMANOS* VARIABLES A nivel del hogar (tierra, agua, ganado, ahorro en dinero, vivienda) En el acceso a infraestructura fsica (transporte, comunicaciones, acceso a internet) Servicios nancieros (crdito, ahorro, seguros) Redes de acceso a mercados Acceso de las personas a agua potable Servicios de salud Educacin primaria Informacin Cambios en las tasas de enrolamiento escolar, etc. Cambios en la produccin Tecnologa agropecuaria Ingresos Duracin de las temporadas de hambre Estatus nutricional, etc. Capacidades para logro de objetivos en las organizaciones e instituciones Relaciones y capacidades de negociacin con el sector pblico, local y nacional; mercado y otras instancias Empoderamiento de las mujeres y de otros grupos culturalmente postergados y excludos.
SEGURIDAD ALIMENTARIA
CAPITAL SOCIAL Y EMPODERAMIENTO
* Ntese que el ndice de ingresos activos del RIMS incorpora el tipo de vivienda, nmero de habitaciones, tipo de abastecimiento de agua potable y saneamiento, as como activos del hogar (telfono, medio de transporte, combustible usado, parcelas, herramientas de labranza, etc. Adaptado de "Directrices para el examen interno a la terminacin de proyectos". Departamento de Administracin de Programas. FIDA, Junio 2006.
Como ya se ha indicado, el desarrollo de los EB gira alrededor de cuatro grandes temas, los mismos que deben gurar y detallarse (al lado de otros tems) en el Informe Maestro24. En lo fundamental, estos temas centrales son: (a) Caracterizacin de la poblacin objetivo en relacin al impacto (b) Dinmica del contexto (articulada a la poblacin objetivo)
(c) Supuestos del entorno institucional y poltico que afectan al impacto. (d) Situacin inicial de los indicadores (de efecto e impacto) (a) Caracterizacin de la poblacin objetivo Para la utilidad de los EB es esencial contar con una buena caracterizacin de la poblacin objetivo, que resee clara y concretamente su situacin inicial
24 Ver su contenido completo en la Fase de Comunicacin y Uso de Resultados, pg. 59.
33
respecto a los resultados esperados del proyecto25. Tambin es muy importante asegurarse de que esta caracterizacin tenga en cuenta a los ms pobres y se gue por una estrategia de focalizacin segn los principios rectores del FIDA26. En los EB la poblacin objetivo es caracterizada atendiendo a los criterios ya denidos en el Documento de Evaluacin Ex Ante, para lo cual han de tomarse en cuenta las dimensiones y variables de la pobreza rural (con las que se construyen indicadores y se establecen sus valores iniciales, segn sea el proyecto) tal como se resume en el Recuadro N 7, considerando que tales dimensiones y variables tambin atraviesan el anlisis de los dems temas centrales de los EB. El FIDA ha establecido que en cualquier contexto y en colaboracin con sus asociados, la poblacin objetivo ser identicada "mediante un anlisis de la pobreza y los medios de vida (con una perspectiva de gnero), utilizando los datos disponibles, colmando lagunas cuando sea necesario y teniendo siempre en cuenta las opiniones de las mujeres y de los hombres pobres, enunciadas por ellos directamente o a travs de sus organizaciones"27. Para orientar la estrategia de focalizacin debe establecerse un marco de diagnstico que gue la estrategia respectiva y que sea parte de los EB, ya que el mismo se "calibrar en todos los ejercicios de evaluacin, incluidos las revisiones y evaluaciones a mitad de periodo, tambin en el marco del RIMS". De otro lado, queda la pregunta sobre cmo seleccionar los casos y observaciones en un proyecto con enfoque de demanda, es decir, con usuarios que se van vinculando progresivamente al proyecto, ya sea porque se contempla su "auto-seleccin" y/o porque son parte de ampliaciones de la zona
de intervencin. La respuesta es que en proyectos de este tipo es conveniente una incorporacin escalonada de tipos de usuarios, abierta a recoger situaciones iniciales distintas segn se produce el ingreso de cada nuevo grupo. Ello es necesario al inicio de la intervencin para valorar posteriormente los efectos e impactos alcanzados. (b) Dinmica del contexto Las dimensiones y variables reseadas en el Recuadro N 7 permiten analizar tambin la inuencia del contexto en la poblacin objetivo. Atendiendo a ellas ser posible evitar el recojo de informacin innecesaria y centrarse en lo esencial. Para esto es importante hacerse la pregunta: el contexto puede influir en las dimensiones del impacto buscado por el proyecto? O en otras palabras: de qu manera pueden verse afectados los activos fsicos y nancieros, los activos humanos, la seguridad alimentaria, el capital social y el empoderamiento de la poblacin objetivo, por parte del entorno institucional y organizacional? En el marco de los EB, analizar la dinmica del contexto signica examinar el rol de las instituciones (municipios, dependencias del Estado y entidades que brindan promocin econmica, asistencia tcnica y/o servicios de crdito) as como de las organizaciones locales y regionales (agrupaciones de productores, gremios, redes de comercializacin, circuitos econmicos, potencialidades locales, etc.) que puedan tener injerencia sobre los resultados del proyecto. Finalmente, es vital tener en cuenta que la informacin sobre el contexto debe estar muy ligada a la situacin inicial de los indicadores de efecto e impacto del proyecto, para que el mismo anlisis pueda replicarse puntualmente y sus resultados ser comparados en las evaluaciones de mitad de periodo y al nal.
25 Esta es una diferencia muy clara de los EB en relacin a los diagnsticos situacionales, donde la poblacin objetivo es descrita de manera ms amplia y general (ver distinciones en el Recuadro N 1). 26 Ver Enlace N 2 a (Resumen Operativo). 27 Ver Enlace N 2 a (Resumen Operativo).
34
(c) Supuestos de los factores de riesgo no controlables Estos supuestos, que se encuentran establecidos en la matriz del Marco Lgico, suponen recabar informacin relativa a medidas de poltica pblica, legislacin, factores medio ambientales y culturales que puedan gravitar sobre las dimensiones del impacto. Es necesario hacer seguimiento a tales factores para capitalizar las oportunidades del entorno o en su defecto para denir estrategias que reduzcan o frenen sus inuencias negativas. Igualmente, estos supuestos deben articularse a las dimensiones y variables relacionadas con el impacto (Recuadro N 7). Los supuestos considerados como oportunidades pueden consistir en la dacin de una ley beneciosa, en la apertura de mercados en determinados rubros, en la construccin de carreteras, en la llegada de mejores servicios de salud, educacin, comunicaciones, etc. Los riesgos, por su parte, se vinculan al grado de vulnerabilidad de las localidades donde habitan los pobres rurales, pudiendo provenir de desastres naturales, de cambios en las polticas pblicas, de transformaciones ambientales o de hechos ligados a la existencia de brechas sociales y econmicas. (d) Situacin Inicial de los Indicadores Es fundamental establecer los valores iniciales de los indicadores de efecto e impacto del proyecto, a travs de informacin mixta (cualitativa y cuantitativa) que permita contar con los primeros referentes de comparacin. Este valor inicial de los indicadores puede presentarse en grcos y tablas, en torno a lo cual habr de hacerse un anlisis somero de los hallazgos y las tendencias.
La lista de indicadores o lnea de base del proyecto puede organizarse en bases de datos cuantitativas y cualitativas. Las bases de datos cuantitativas forman parte del sistema PSES y son aprovechables para los reportes al FIDA y al gobierno, como es el caso de los indicadores de impacto del RIMS que se articulan a los ODM y reejan aspectos sustantivos de la pobreza rural. Por su parte, las bases de datos cualitativas estarn compuestas por fotografas, audios y documentos que sean evidencia de la situacin inicial de los indicadores de efectos e impactos, agrupados por niveles de resultado. El valor inicial de tales indicadores se recoge mediante encuestas, cuestionarios y otras tcnicas. Por ejemplo, podemos obtener el valor inicial del nmero de hogares (variable) que mejora su seguridad alimentaria (dimensin) mediante la encuesta de impacto del RIMS aplicada a una muestra de la poblacin en tres momentos del ciclo del proyecto, lo que permitir comparar los avances en el logro de los efectos e impactos. ELABORAR LA MATRIZ DE DISEO Y ANLISIS Las matrices de diseo y anlisis son herramientas de planicacin dirigidas a presentar de manera visual la coherencia entre las distintas tcnicas y elementos de los EB. Toman como insumo la matriz de ML del proyecto, respondiendo concretamente a la pregunta: cmo se vericarn y medirn los indicadores? A continuacin presentamos un cuadro con la correlacin existente entre la Matriz del ML y la de Diseo y Anlisis:
35
GRAFICO DE LA MATRIZ DEL MARCO LOGICO Jerarqua de resultados Indicadores Medios de vericacin Supuestos
Se desagrega en:
No se utiliza
MATRIZ DE DISEO Y ANLISIS DE LOS EB

Jerarqua de resultados Indicadores Denicin y Variables Informantes Fuentes Tcnicas y mtodo de clculo Anlisis ParticiProcedipantes mientos
Nuevas columnas
Fuente: Elaboracin propia.
Como se puede observar, las dos matrices operan con la misma lgica, aunque la matriz de diseo y anlisis de los EB es ms detallada. Cabe formular las siguientes puntualizaciones. En ambas matrices se mantienen las dos primeras columnas (Jerarqua de Resultados e Indicadores) mas el indicador es claramente tipicado mediante la columna Denicin y Variables. La columna de medios de vericacin se desagrega en tres renglones (sobre informantes, fuentes y tcnicas, estas ltimas con el mtodo de clculo del indicador). La columna de supuestos no se utiliza como tal, pues, como se ha visto, estos supuestos ya forman parte del contenido de los EB y se detallan aparte, en el Informe Maestro. Un elemento nuevo de la matriz de los EB tiene que ver con el anlisis, para el cual se incluyen dos columnas: procedimientos y participantes.
(a) Denir el Indicador y Unidad de Medida En este tem se aclaran conceptos y trminos sobre la informacin deseada, como el signicado de expresiones con carcter difuso (desarrollo de capacidades, empoderamiento, participacin, poblacin pobre, etc.), indicndose la unidad de medida, como por ejemplo, porcentajes en relacin al total de los datos. Al respecto ver el Enlace N 5 sobre "Lineamientos para construir indicadores y variables". (b) Identicar a informantes y fuentes Una vez denidos los contenidos y temas de los EB (indicadores del ML, contexto, supuestos y otros temas puntuales) se podr establecer con mayor claridad qu informacin se necesita para qu aspecto, en qu cantidad y con qu nivel de profundidad. Como es lgico, las necesidades de informacin resultan de las necesidades del anlisis, es decir, de la provisin de informacin suciente para la valoracin de cada indicador con sus variables, pregunta y tema. La identicacin de los informantes y fuentes en relacin a cada necesidad concreta de informacin responde a interrogantes como las siguientes: dnde podemos
A continuacin se describen los procedimientos necesarios para el llenado de las nuevas columnas.
36
encontrar los datos necesarios? cmo los podemos obtener? La respuesta a estas interrogantes nos lleva a considerar informantes y/o fuentes, y los procedimientos necesarios para trabajar con uno u otro. Los informantes son personas entre los actores locales que por sus experiencias tienen conocimiento sobre los contenidos y temas de los EB y que por esa razn pueden aportar precisiones valiosas. Por su parte, las fuentes son recipientes de datos (archivos, libros, bibliotecas) que compendian informacin relativa a todos o algunos de los temas. Aspecto importante vinculado a lo anterior es el carcter de los datos existentes. Los datos con que
se trabaja en evaluacin son de dos tipos: primarios y secundarios. Los primarios son aquellos que no existen antes de los procesos de observacin, por lo cual se recogen preguntando a las personas vinculadas con las experiencias a ser evaluadas (los informantes). Los secundarios pre-existen a los procesos de observacin, estando almacenados en fuentes como bibliotecas especializadas, bancos de datos, data institucional y pginas web de programas y proyectos. Por tanto, slo deben ser ubicados. A continuacin, un cuadro comparativo de ambos tipos de datos:
RECUADRO N 8 DIFERENCIAS ENTRE DATOS PRIMARIOS Y SECUNDARIOS Criterios de comparacin Desde cundo existen? Dnde se encuentran? Tipos de datos Primarios Secundarios
Se producen con la ejecucin del EB Existen desde antes de la ejecucin del EB En personas (informantes) vinculadas a la experiencia que se evala Se aplican instrumentos a informantes identicados En fuentes diversas, por lo general data producida en distintas instituciones Se los recolecta de fuentes reconocidas
Cmo se los obtiene?

Los datos ya sean primarios o secundarios- se convierten en informacin cuando son organizados de alguna manera lgica para los nes de anlisis y valoracin. Desde ese punto de vista, toda informacin supone un sistema de datos particular y cada evaluador puede desarrollar rutas de anlisis particulares, incluso frente a una misma "masa" de datos. Cuestin clave es la elaboracin de un registro de los datos secundarios existentes entre los que necesitamos- y las fuentes que los contienen, para establecer qu necesidades de informacin se pueden cubrir con ellos, al menos parcialmente.
(c) Seleccionar las tcnicas de recoleccin de datos En una columna de la matriz se indicar la manera de obtener la informacin, considerando en primer lugar las obligaciones como la encuesta de impacto estandarizada y otras tcnicas complementarias como entrevistas, encuestas, grupos focales, etc. El instrumento de recoleccin precisar cmo ha de calcularse el indicador (mtodo y frmula). En el paso anterior se propone la elaboracin de un registro de los datos secundarios y de sus fuentes
37
ya existentes, para establecer las necesidades de informacin o parte de ellas que puedan ser cubiertas de inicio. El resto de la informacin necesaria debe obtenerse por la aplicacin "en campo" de tcnicas sobre diversos informantes, previamente identicados. Las tcnicas a utilizar en los EB tienen relacin muy estrecha con los indicadores, preguntas y temas con los que se trabaja, as como con el anlisis de los indicadores especcos de efecto e impacto. En ese sentido, el evaluador o evaluadora puede tomar la decisin de utilizar una u otra tcnica o emplearlas combinadamente, siempre dependiendo de la naturaleza de los hechos a observar y la perspectiva desde la que se desea observar. La seleccin de tcnicas responde a interrogantes como las siguientes: qu necesidades de informacin tenemos? qu rutas de anlisis son necesarias para cubrirlas? qu tcnicas son las ms adecuadas para producir los datos pertinentes? Todas estas interrogantes deben ser respondidas asumiendo que existe una relacin directa entre el hecho (naturaleza y mbito de manifestacin), la perspectiva de observacin (marco de referencia del evaluador) y el tipo de tcnica a utilizar. (d) Identicar a los participantes en el anlisis La participacin es entendida como el proceso de involucrar a distintos actores vinculados a los proyectos en los distintos momentos del desarrollo de los EB y por supuesto en el anlisis, con la nalidad de promover diversas perspectivas y miradas. En ese marco, los participantes tpicos son los siguientes: Miembros de las USES y de los equipos tcnicos de los proyectos. Representantes de los actores locales, sean coejecutores, beneciarios y responsables de entidades gubernamentales vinculadas con la ejecucin de las acciones. Consultores externos, convocados para apoyar la ejecucin y evaluacin de los proyectos.
En el Enlace N 6 se puede observar un ejemplo de Matriz de Diseo y Anlisis. DEFINIR EL PLAN DE TRABAJO Y EL PRESUPUESTO Como se ha indicado, llevar a cabo los EB requiere de un conjunto de actividades articuladas, consecutivas y programadas con oportunidad. A tal propsito ayuda mucho la elaboracin de un Plan de Trabajo o Programa de Actividades, donde se aclare la relacin entre actividades, insumos y tiempos. (a) El Plan de Trabajo o Programa de Actividades Toda actividad implica la provisin de recursos de distinta ndole, entre los que podemos identicar recursos humanos (responsables en trminos de la ejecucin de los proyectos), logsticos (traslados, ambientes para reuniones o entrenamientos, provisin de equipos, materiales, etc.) y tiempos (plazos). Precisamente, los Programas de Actividades son matrices bsicas de planicacin (diagramas de Gantt) que vinculan los plazos de ejecucin con las actividades, productos y recursos logsticos y humanos. Pueden ser elaborados con el uso de software especializado (MS Project, Planner), si el proyecto contiene diversos componentes cada uno de los cuales demanda muchas actividades e insumos, o con utilitarios ms bsicos (MS Excel o MS Word) si el proyecto es ms simple. Incluso, en ocasiones puede bastar un papelote, una regla y algunos plumones de colores. Al margen de los recursos que se utilice para su elaboracin, lo importante es que este programa facilite el seguimiento a los avances en la ejecucin de los EB. A continuacin se presenta como ejemplo un programa de actividades adaptado de la encuesta del RIMS:
38
RECUADRO N 9 EJEMPLO DE PROGRAMA DE ACTIVIDADES DE LOS EB

Fase / Actividades Productos Logstica Responsables S1 Mes 1 S2 S3 S4
Fase 1: Preparatoria
Taller de revisin del ML Marco Lgico revisado 4 das en un local, 15 personas USE + equipo tcnico, representantes actores USE y jefes de componente USE + consultores X
Organizacin de los EB Marco metodolgico
Objetivos, contenido, plan de trabajo, TdR Estrategia metodolgica
2 das, 5 personas
2 das, 5 personas
Fase 2: Recoleccin y anlisis

Aplicacin de encuesta de impacto Grupos focales (3) Informe Informe Ver plan de trabajo especco 3 medios das Ver Plan de trabajo especco 15 das USE + consultores USE + Consultores USE + consultor especializado USE + consultor especializado X X X X
Cuestionario de Base de datos ingreso de las familias sobre efectos y organizaciones directos Ordenamiento y anlisis de datos Informe nal EB
Fase 3: Comunicacin y uso de resultados

Identicacin de audiencias y contenidos Denicin de medios de comunicacin Uso de resultados de los EB Plan de Uso y Comunicacin, Mapa de Actores Plan de Uso y Comunicacin Ubicar eventos o hitos de difusin 2 das USE en consulta con actores USE + comunicador/a Director/a + equipo tcnico, actores seleccionados
2 das 1 da
Fuente: Adaptado de pautas del RIMS "Directrices prcticas para la realizacin de encuestas sobre el impacto". FIDA, 2005.
(b) Organizacin del equipo En la primera parte de este documento (Qu son los Estudios de Base?) se puede ver que los escenarios del desarrollo local han cambiado hacia proyectos de implementacin compartida por parte de equipos tcnicos, coejecutores y otros actores locales. Ello hace necesario adecuar los procesos de evaluacin a tales condiciones, dndose mayor inters al dilogo y a la creacin de contextos participativos, orientados al aprendizaje.
Por tanto, no slo cambia el rol de la evaluacin, sino que los roles de los equipos de evaluacin tambin lo hacen en sentido similar. Hoy da no es posible operar con individuos que centralicen funciones y que tengan como principal tarea sino la nica informar a los directivos sobre los avances del proyecto. Se requiere ms bien de equipos facilitadores de procesos de construccin colectiva de informacin y de lecciones aprendidas, con conocimiento acerca de metodologas cuanti-cualitativas sencillas y conables.
39
Estos equipos no slo deben reunir las capacidades tcnicas necesarias para la evaluacin, sino que adems deben mostrar una actitud exible, inclusiva y favorable a reejar distintas miradas, saberes y experiencias. Especialmente, han de abrirse espacios para la "escucha activa". Una vez decidida la conformacin de los equipos, el paso siguiente es plasmar su actuacin en un organigrama,
segmentado segn zona territorial (regiones, provincias, municipios, etc.) o segn las tcnicas a utilizarse, lo que facilitar el control durante el trabajo de campo. El organigrama tambin debe exponerse de modo visible para todo el personal vinculado a los EB. A continuacin presentamos un organigrama de equipo de evaluacin apropiado para la aplicacin de una encuesta:
DIAGRAMA EQUIPO DE APLICACIN DE UNA ENCUESTA
Equipo clave: Coordinador de EB Esp. Antropometra Esp. Muestra Esp. Componente 1
Asistencia Logstica
Zona 1 Supervisor 1
Zona 2 Supervisor 2
Zona 3 Supervisor 3
Zona 4 Supervisor 4
Encuestador comunidad 1
Fuente: "Sistema de Gestin de los Resultados y el Impacto. Directrices prcticas para la realizacin de encuestas sobre el impacto". FIDA, 2005.
40
(c) Estimar el presupuesto Tarea adicional denida hacia el nal del proceso pero no por ello menos importante es la estimacin del presupuesto. Consiste en realizar un costeo de las actividades implicadas en los EB, ya sea como totalidad o a partir de grupos de actividades asociadas a la aplicacin de las tcnicas. Por ejemplo, los grupos focales pueden realizarse en un
local pblico (gobierno local) o en espacio particular (casa de personas) y depender de las distancias y otros factores logsticos, el nmero de participantes, etc. El costeo supone tomar en cuenta gastos en diferentes rubros: personal, equipos, transporte, viticos, entre otros. A continuacin gura un esquema de presupuesto apropiado para la realizacin de una encuesta de hogares.
RECUADRO N 10 PRESUPUESTO PARA UNA ENCUESTA Partida

1. Personal a) Consultor Honorarios Dietas Viajes nacionales b) Encuestadores Sueldo Dietas c) Supervisores, dietas* d) Choferes Sueldo** Dietas 2. Equipo a) Balanzas: electrnicas o romanas*** b) Tablas de medicin de lactantes/nios*** c) Impresin o duplicacin del cuestionario d) Tablillas con sujetapapeles e) Bolgrafos/lpices 3. Transporte local a) Alquiler de vehculos (si no se utilizan vehculos del proyecto) b) Combustible y mantenimiento (todos los vehculos utilizados) 4. Imprevistos**** Total
Fuente: "Sistema de Gestin de los Resultados y el Impacto. Directrices prcticas para la realizacin de encuestas sobre el impacto". FIDA, 2005. * ** *** **** Los supervisores deben ser parte del proyecto, slo se les da dietas. Los sueldos slo se otorgarn si los choferes no son parte del personal del proyecto. Uno por cada equipo de encuestadores. Se sugiere prever un rubro de imprevistos de aproximadamente 5% del presupuesto.
Costo unitario
Cantidad
Costo total
41
(d) Plan de Contingencia Los planes de contingencia suelen ser lineamientos de tipo predictivo, preventivo y reactivo, que contienen datos estratgicos para la toma de decisiones ante una emergencia o situacin no comn surgida durante la ejecucin de los Estudios de Base. Estos
planes deben ser sencillos y asequibles a todo el equipo de trabajo. En el siguiente cuadro se presentan los aspectos ms comunes a ser incluidos en los planes de contingencia.
RECUADRO N 11 EJEMPLO DE PLAN DE CONTINGENCIA DEL ESTUDIO DE BASE (PARA EL TRABAJO DE CAMPO) Qu hacer cuando: 1. No es posible acceder a la comunidad (conglomerado) seleccionado en la muestra /factores climticos 2. La comunidad seleccionada se encuentra de campaa agrcola o festividad patronal 3. No se ubica a la familia seleccionada en la muestra 4. La familia se niega a responder la encuesta 5. Los equipos antropomtricos no funcionan adecuadamente
Respuesta sugerida
Respuesta asumida
LOS TRMINOS DE REFERENCIA, LA CONVOCATORIA Y LA ADJUDICACIN Los Trminos de Referencia (TdR) detallan los alcances del trabajo a efectuarse por el o los consultores contratados para llevar a cabo todo o parte de los Estudios de Base. Incluye las actividades que tendr que desarrollar, las tcnicas sugeridas y los productos que se esperan de su labor, adems de contemplar el perl del equipo que ejecutar los Estudios y los aspectos organizativos, econmicos y los plazos del mismo. A continuacin presentamos dos tipos de TdR, uno para la realizacin y eventual licitacin total o parcial de los Estudios de Base (que incluye la encuesta de impacto estandarizada del RIMS y otras tcnicas) y el otro para la contratacin
de una entidad o consultor/a especcos para la encuesta de impacto, ste ltimo en un enlace. Finalmente presentamos propuestas de mecanismos de convocatoria a licitacin para personas e instituciones consultoras. (a) Esquema de TdR para licitacin total o parcial Antecedentes Descripcin del proyecto Descripcin del trabajo de consultora Productos esperados Insumos que proporcionar el proyecto
42
Caractersticas del consultor o entidad a contratar Aprobacin de tcnicas, instrumentos e informes Programa de entrega de propuestas y productos Condiciones de Pago Contenido y formato de las propuestas Criterios para la evaluacin y seleccin de propuestas
Para una informacin detallada sobre el contenido de los TdR, consultar el Enlace N 7 ("Trminos de Referencia, Convocatoria y Adjudicacin") que orienta respecto a los puntos a considerar para tercerizar en todo o en parte la elaboracin de los EB. Asimismo, la encuesta de impacto del RIMS cuenta con TdR especcos apreciados en el mismo enlace.
Las tcnicas a utilizar en los EB tienen relacin muy estrecha con los indicadores aplicados en una evaluacin y con el tipo de anlisis adecuado para el tratamiento de esos indicadores. En ese sentido, se puede tomar la decisin de utilizar una u otra tcnica o emplearlas combinadamente, dependiendo de los indicadores elegidos para observar los cambios, tanto en los Estudios de Base como en las evaluaciones posteriores. La decisin tambin depender de la conformacin del equipo y los actores que participen. Algo que denitivamente ayuda a la toma de este tipo de decisiones es conocer el sentido de las tcnicas asociadas a una u otra metodologa. Las asociadas a mtodos cuantitativos (encuestas, escalas, pruebas objetivas, entre otras) obedecen a preguntas del tipo cunto? y con qu frecuencia?, midiendo directamente la condicin o el cambio en variables especcas (ya se trate de rendimientos en las cosechas o de variaciones en los ingresos) y proporcionando resultados numricos para un anlisis estadstico. Las asociadas a mtodos cualitativos (entrevistas, grupos focales, talleres, etc.) responden a preguntas como por qu cree que esto ocurri? y cmo cree que le afectar?, y operan con las descripciones que la gente hace de lo que ha observado, hecho o siente, recibiendo un anlisis ms interpretativo.
MARCO METODOLGICO
En un EB la informacin a recoger es selectiva y priorizada en funcin de sus temas centrales, por lo que debe planearse cuidadosamente su estrategia para la seleccin de las tcnicas28. En los proyectos del FIDA la tcnica principal es la encuesta del RIMS, de modo que son las herramientas complementarias las que deben elegirse de acuerdo a las necesidades de cada proyecto, procurando siempre que puedan replicarse para permitir comparaciones subsiguientes. CRITERIOS PARA LA SELECCIN DE TECNICAS Seleccionar tcnicas especcas entre un universo mayor es una decisin que depende de los indicadores o preguntas que se formulen, del tipo de informacin que se quiera obtener y de los anlisis que se tenga previsto hacer. Es decir, se trata de una decisin metodolgica sobre la que es necesario tener claridad, as como establecer los recursos humanos y nancieros disponibles.
28 Para profundizar aspectos relativos al diseo de evaluacin ver el enlace N 14 "Compendio metodolgico".
43
Ahora bien, es seguro que los hechos a evaluar hagan necesario trabajar en simultneo con mtodos cuantitativos y cualitativos. En los ltimos aos, se combinan metodologas (mixtas) y se asume la diversidad metodolgica (enfoques eclctico y mixto) como parte de su quehacer. Es fundamental, entonces, conocer los enfoques cuali-cuantitativos y trabajar con ambos. Ver Enlace N 8. El uso combinado de mtodos o "triangulacin" es una estrategia metodolgica que el evaluador utiliza para contrastar de manera calicada diversas tcnicas o fuentes de datos, con el n de compensar el sesgo inherente al uso individual de cada una de ellas. La estrategia permite igualmente vericar la justeza y estabilidad de los datos producidos. Hay cuatro razones fundamentales para recurrir a estrategias de triangulacin en los procesos evaluativos29:
El uso de tcnicas cualitativas como paso posterior a la aplicacin de una encuesta. El uso de entrevistas o grupos de discusin con actores clave sobre los resultados de una encuesta, permite un anlisis ms detallado y explicativo de los fenmenos encontrados en los datos cuantitativos (datos duros).
LA ENCUESTA DE IMPACTO Y TCNICAS COMPLEMENTARIAS Los proyectos de desarrollo rural conanciados por los gobiernos y el FIDA, cuando recin comienzan deben llevar a cabo una encuesta para la medicin de impacto, integrada a los Estudios de Base. La misma encuesta se repetir a medio trmino y al nal del ciclo, como ya se ha indicado. La encuesta incluye dos indicadores de impacto: (i) hogares que mejoran el ndice de propiedad de activos familiares, basado en los activos adicionales; y (ii) reduccin porcentual de la prevalencia de desnutricin infantil. Para la medicin de los dos indicadores se utilizar un Cuestionario establecido por el FIDA y mediciones antropomtricas de nios que ingresarn en un software especco que se encuentra en la pgina web del FIDA (www. ifad.org). Slo pueden adaptarse determinadas preguntas del cuestionario y no se debe usar otro software para el procesamiento que el establecido por el FIDA, de acuerdo a las pautas establecidas en el documento Directrices prcticas para la realizacin de encuestas sobre el impacto (enero 2006), que se encuentran en el Enlace N 1. En el proceso de aplicacin de la encuesta es importante involucrar a las autoridades nacionales, al Ministerio de Salud y al Instituto Nacional de Estadstica y Censos. Para medir los indicadores de efecto e impacto propios del proyecto se sugiere adems una encuesta complementaria, dirigida a recabar informacin que los indicadores obligatorios del RIMS no con-
La naturaleza de los hechos evaluados. La evaluacin de experiencias de desarrollo observa hechos multidimensionales y cambiantes (como la pobreza, por ejemplo) y no existe tcnica o fuente de datos que por s sola sea capaz de capturar la diversidad de sus manifestaciones. Por medio de la triangulacin es posible crear las condiciones para una comprensin ms integral y rica de este tipo de hechos. La necesidad de contrastar los datos recogidos a partir de diferentes tcnicas. Se parte del principio que los datos ms slidos son aquellos que aparecen recurrentemente al observar hechos desde diferentes evidencias recogidas con varios procedimientos metodolgicos. El uso de tcnicas cualitativas como paso previo a la denicin de tcnicas cuantitativas. Consiste en aplicar tcnicas cualitativas (entrevistas o grupos focales, por ejemplo) como instancia previa al diseo de una encuesta, para identicar temas relevantes que habrn de incluirse en esta ltima o para adecuar su lenguaje a los usos locales.
29 El texto "Evaluacin de los proyectos y triangulacin: acercamiento metodolgico hacia el enfoque centrado en el actor" de Pablo Rodrguez Bilella (1998) puede ser revisado en el Enlace N 9.
44
templan30. Asimismo, segn sean los indicadores de efecto, es conveniente recoger informacin mediante grupos focales, estudios de caso, entrevistas o registrando imgenes (por ejemplo, de la situacin de los pastos y recursos naturales antes de la intervencin), as como por informacin secundaria existente en la zona. En tal sentido, es conveniente seleccionar las tcnicas ms apropiadas a partir del tipo de indicador
que ha de medirse y vericarse. Es menester insistir en el concepto plural de los Estudios de Base, lo que alude a varias apreciaciones sobre la situacin inicial desde distintas dimensiones, apelando por tanto a la aplicacin de metodologas mixtas que combinen encuestas sobre el impacto (que incluye la del RIMS) con alguna o varias de las reseadas en el siguiente kit bsico.
KIT BSICO DE TCNICAS PARA ELABORAR LOS EB Encuesta de impacto RIMS. Cuestionarios de aplicacin progresiva segn se incorpora la poblacin objetivo a las actividades del proyecto y/o encuestas complementarias sobre efectos. Entrevistas, grupos focales, vdeos y fotografas (incluyendo satelitales). Informacin de fuentes secundarias. Mapas Parlantes.
Cada tcnica de las que potencialmente se pueden utilizar en evaluacin, posee sus propias ventajas y limitaciones respecto a la conabilidad de los datos que recolectan, la dicultad para su operacin y los costos que supone su uso. En ese sentido, es claro que algunas de ellas aparezcan como alternativas para la observacin de los mismos tipos de
hechos. Es muy probable tambin que a lo largo de la evaluacin de un proyecto, y por supuesto en el momento de ejecucin de los EB, se tenga que elegir entre unas y otras. A continuacin presentamos un cuadro de criterios para la seleccin de tcnicas:
RECUADRO N 12 CRITERIOS PARA LA SELECCIN DE TCNICAS COMPLEMENTARIAS* Escala Criterios de seleccin Opinin 1 2 3
Pertinencia (el instrumento es adecuado para el tipo de informacin que se desea obtener?) Factibilidad (el instrumento puede ser aplicado dados los recursos humanos y materiales con que se cuenta?) Costo (el instrumento es ms barato que otros por unidad aplicada o por muestra?) Oportunidad (el instrumento puede ser aplicado en el tiempo disponible?) Participacin (favorece espacios de participacin e involucramiento de los actores locales?) Puntaje
* N 1 mnimo y N 3 mximo. Adaptado del cuadro utilizado en el texto "Planicacin, organizacin y ejecucin de la evaluacin". Mdulo 1. Programa de Formacin en Evaluacin. Desco Kellogg. Lima, 2006.
30 Para un mayor conocimiento sobre las encuestas ver el Enlace N 14 que contiene tres artculos sobre el proceso de diseo de una encuesta, las muestras estadsticas y el proceso de anlisis cuantitativo.
45
Las tcnicas que se pueden utilizar en evaluacin y en los EB son muchas y muy diversas provienen de diferentes tradiciones metodolgicas y persiguen distintos propsitos. Algunos de los criterios y tcnicas ms comunes se presentan en el siguiente cuadro. Una exposicin bastante completa de las tcnicas a utilizarse en seguimiento y evaluacin aparece en la "Gua para el SyE de proyectos" del FIDA (2002) a la que puede acceder en el Enlace N 8. Por su parte, la evaluacin por imgenes ha venido incorporndose a los sistemas de Seguimiento y Evaluacin, como proceso complementario que usa el lenguaje audiovisual para dar cuenta de los cambios y generar aprendizajes. A travs de la informacin audiovisual es posible apreciar y determinar la forma en que evolucion la produccin, las mejoras en las viviendas de una zona, cmo y con qu resultados se tecnicaron las parcelas o ncas, qu se aprendi y cmo mejoraron las condiciones de existencia. Dentro de los EB ha de considerarse la toma de imgenes para ir estructurando una base de datos cualitativa adaptada a las necesidades de aprendizaje de mltiples actores. Al funcionar desde el SyE, la evaluacin por imgenes
se integra al conjunto de actividades interconectadas que extraen valoraciones sobre los cambios y resultados o sea al subsistema de Evaluacin. Para conocer ms sobre Evaluacin por Imgenes revisar el Enlace N 10. Herramientas visuales, de carcter comunitario son los mapas parlantes, considerados instrumentos tcnicos metodolgicos que permiten la organizacin y comunicacin de las decisiones del medio comunal, a travs de la diagramacin de escenarios (pasado, presente y futuro) en mapas territoriales. En la prctica, estos mapas se convierten en un Estudio de Base Comunal que sirve como referente de comparacin para evaluar resultados en el tiempo y para elaborar los planes anuales por comunidad. La comunidad a travs de los Mapas Parlantes proyecta el ordenamiento del rea comunal enfatizando en el uso y administracin colectiva de los recursos: agua, tierra, bosques y poblaciones. Esta herramienta grca, prctica, simple y barata est basada en el lenguaje de los pueblos andinos, pues los Mapas Parlantes hablan a travs de smbolos que nos aproximan a lo que quieren expresar. Para conocer ms sobre los Mapas Parlantes sugerimos revisar el Enlace N 11.
RECUADRO N 13 CRITERIOS PARA LA CLASIFICACION DE TECNICAS Criterios de clasicacin de tcnicas Asociadas a mtodos cuantitativos Tcnicas Encuesta de impacto RIMS para poblacin en general Prueba (objetiva o con formato libre) Encuestas estructuradas a grupos objetivo Asociadas a mtodos cualitativos Entrevista en profundidad Grupos focales Talleres multiactorales Utilizadas en una u otra metodologa Entrevista semi estructurada (con gua pre denida) Observacin sistemtica (con gua y escala o abierta) Para datos secundarios Visuales Audiovisuales
Revisin documental Mapas Parlantes, diagramas, lneas de tiempo, lneas de tendencia, rbol de problemas, fotografas, registros satelitales Videos, multimedias
46
LA VALIDACIN DE TECNICAS COMPLEMENTARIAS La encuesta de impacto estandarizada del RIMS no requiere validacin, como ya se explic anteriormente puesto que cuenta con un cuestionario y software estandarizado. No obstante, para la aplicacin de otras tcnicas complementarias, una vez denidas y diseados sus formatos e instructivos, se requiere ponerlos a prueba antes de su aplicacin. La "puesta a prueba" persigue tres propsitos: cerciorarnos si los formatos observan lo que queremos observar con ellas; si el lenguaje utilizado (preguntas, instrucciones) es claro y entendible para los informantes; y tener una idea clara del tiempo a emplearse para su aplicacin y de los recursos necesarios para optimizar el proceso. Es preciso mencionar que la validacin de los instrumentos e instructivos durante el Estudio de Base es de suma importancia, toda vez que los instru-
mentos y procedimiento metodolgicos usados en el EB sern los mismos (similares) a ser aplicados en futuras evaluaciones. Para validar la versin preliminar de las tcnicas, sus formatos e instructivos, podemos desarrollar dos rutas de vericacin: el "juicio de expertos" y la prueba piloto, tal como precisa el Enlace N 12 "Procedimientos para validar instrumentos". No todas las tcnicas y sus formatos requieren validacin. Algunas veces se utiliza formatos previamente validados o que incluyen segmentos o tems que ya lo han sido, de modo que slo exigen una comprobacin parcial. De otro lado, no todas las tcnicas necesitan del "juicio de expertos" y de la prueba piloto, mientras que tcnicas cualitativas como las entrevistas o los grupos focales se validan slo con "juicio de expertos". A continuacin presentamos un cuadro con las tcnicas recomendadas para los EB y las decisiones a tomar para su validacin:
RECUADRO N 14 TECNICAS RECOMENDADAS PARA LOS EB Y SU VALIDACION Tcnicas Encuesta de impacto RIMS Validacin No requiere validacin. Utiliza tems y preguntas ya validadas y estandarizadas, que son de uso frecuente en encuestas aplicadas por diferentes organismos internacionales. Debe ser validada con prueba piloto Las guas de entrevista deben ser validadas con "juicio de expertos" Las guas de grupo focal deben ser validadas con "juicio de expertos"
Encuesta estructurada dirigida a grupos objetivo. Entrevistas Grupos focales Revisin de datos secundarios Audiovisuales Mapas Parlantes
47
LA PARTICIPACIN EN LA APLICACIN DE TCNICAS Existe mucha confusin en relacin a la participacin y uso de tcnicas de aplicacin grupal o individual. Es importante tener presente que una tcnica no es intrnsecamente participativa o no, pues el carcter participativo depende de quines y cmo son involucrados los actores en la eleccin de los temas y en la recoleccin de los datos, as como en el anlisis y uso de la informacin. Situmonos en dos casos tpicos: Podemos optar por una tcnica de aplicacin colectiva, por ejemplo, un grupo focal con actores locales. Si el proceso fue encargado a un consultor externo que elabor la gua (instrumento) sin consultar a los actores, luego desarroll la dinmica con el grupo e hizo el anlisis de los datos levantados de manera individual y, es ms, redact un informe l solo apenas intercambiando ideas con el equipo tcnico, no puede hablarse entonces de un proceso participativo, pues estamos frente a un tpico proceso "extractivo" donde la participacin de los actores locales se limita a la condicin de informantes. Podemos optar por una tcnica de aplicacin individual, por ejemplo, una encuesta a actores locales. Si desde un inicio se involucra a los mismos en la denicin de los temas y tpicos que la encuesta va a abordar y, luego de aplicada, se vuelve a convocar a los actores para que se involucren en el anlisis y tomen decisiones sobre el uso que se le dar a la informacin obtenida, entonces estamos frente a una situacin en que la participacin de los actores ha superado con mucho la condicin de simples informantes. Claro est que habrn algunos temas tcnicos, como el diseo del formato o la determinacin de la muestra, que necesariamente tendrn que estar en manos de especialistas.
Los casos presentados permiten sostener que distintas tcnicas pueden ser operados en contextos participativos mas ha de considerarse la comprensin plena del instrumento por parte de quien lo aplique y un conocimiento sobre los objetivos de los estudios, junto con un ejercicio de aplicacin31. CAPACITACIN AL PERSONAL Una vez ajustados tanto los instrumentos y los instructivos del trabajo de campo, se debe capacitar al personal encargado de la aplicacin de los instrumentos de investigacin y a los encargados de la supervisin de dicho proceso. Para ello se disear un esquema bsico de capacitacin, que considere dos elementos, el primero relativo al perl del personal seleccionado para el trabajo de campo (nivel de educacin, idioma, conocimiento del tema en estudio, etc.) y el segundo referido al nivel de complejidad del estudio en s. (Un estudio antropomtrico requerir una capacitacin de mayor tiempo y profundidad que la aplicacin de una encuesta socio demogrca, ms aun si el personal seleccionado carece de experiencia en mediciones antropomtricas). En base a estos elementos se dene el tiempo requerido para llevar a cabo la capacitacin, as como los materiales necesarios para el mismo. Sin considerar rasgos ms especcos, se sugiere que un proceso de capacitacin tenga la siguiente estructura: Presentacin y socializacin con los participantes de los antecedentes del proyecto y los alcances del EB. (Primera parte del instructivo) Ensayo de la aplicacin de los instrumentos recalcando los conceptos implcitos e explcitos de cada tem del instrumento, buscndose en lo posible la estandarizacin o homogenizacin del proceso de recopilacin de informacin. Asimismo, se deben escenicar (mostrar) las posibles contingencias reseadas en el plan o
31 Sobre la participacin de no investigadores en los grupos focales, se arma que las personas voluntarias que conducen estos pueden hacerlo con mucha efectividad, previo entrenamiento y acompaamiento. Al respecto ver Krueger, Richard y King, Jean "Involving community members in focus groups" Focus Group Kit 5 "The Focus Group Kit" David L. Morgan and Krueger, Richard. Sage, 1997.
48
cartilla de contingencia, que puedan presentarse durante el trabajo de campo. (Segunda parte del instructivo) Socializar los aspectos administrativos (Tercera parte del instructivo)
FASE DE RECOLECCIN Y ANLISIS

El propsito de esta fase es transmitir conceptos y procedimientos esenciales para dos momentos claves en el desarrollo de los EB: primero, en la salida al "campo" para recolectar los datos, incluyendo la vericacin de su calidad; y segundo, en el anlisis de dichos datos sean cuantitativos y/o cualitativos.
APLICACIN DE INSTRUMENTOS
Despus de seleccionar y someter a ensayo preliminar las tcnicas a utilizar, es necesario proceder a los ltimos preparativos y anar algunos detalles para estar seguros de que todo se har conforme a lo programado. La aplicacin de tcnicas "en campo" es la puesta en marcha de lo planicado; en ese sentido, es deseable que las actividades desarrolladas en esta fase cumplan todos los procedimientos previstos. A dos cuestiones se debe prestar especial atencin: supervisar que se cuente con la logstica necesaria para una aplicacin adecuada y vericar la calidad de los datos luego del proceso de aplicacin. (A) LOGSTICA PARA LA APLICACIN DE INSTRUMENTOS Es importante tener claro que cada tcnica a utilizarse en los EB conlleva sus propios preparativos. Algunas de ellas como las encuestas pueden requerir de 2 a ms das, dependiendo del tamao de la muestra en que se la aplique y de la dispersin geogrca de los
lugares donde se ubican los informantes que la componen. Sin embargo, los materiales de apoyo para su aplicacin son por lo general pocos y simples, como por ejemplo los formatos impresos, unos lpices, un listado de informantes y una ruta para ubicarlos, y quiz un conjunto de tarjetas para apoyar las respuestas. Por el contrario, una tcnica como la observacin sistemtica con apoyo de video y fotografa, perfectamente puede tomar 2 3 horas no ms de un da, pero requiere bastante ms equipo y material de apoyo que una encuesta convencional. Hablamos de equipos de video y cmaras fotogrcas, los materiales que estos equipos utilizan y los operadores especializados que se requieren. Adicionalmente, se necesitarn chas y formatos para la observacin, la ruta que sta va a seguir y, por lo comn, un tcnico con capacidades para el levantamiento de mapas y croquis de lo observado. Aqu un elemento clave es el armado de un registro detallado de todo lo necesario para la aplicacin de cada tcnica en las condiciones programadas. Esto supone prever el nmero suciente de equipos y materiales, incluyendo sus recambios. Por otro lado, es necesario tener claridad sobre algunos procedimientos bsicos para prevenir la prdida de formatos: una vez aplicada una tcnica en una determinada zona se debe sacar una copia de cada formato y hacerlos llegar al centro de operaciones
49
de los EB (donde se procesar los datos) por rutas distintas, unas copias va correo fsico o electrnico y las otras a cargo del personal de campo. (B) VERIFICACIN DE LA CALIDAD DE LOS DATOS RECOGIDOS La calidad de los datos con los que se cuente en los EB tiene que ver con cmo evitar o cmo superar si ya se cometieron errores en su recoleccin. Si se quiere contar con datos conables es necesario detenerse un momento a considerar las posibles causas de error. Los errores ms frecuentes se producen cuando el registro de respuestas es deciente o cuando el personal de campo no conoce el propsito de la informacin (problemas de capacitacin al equipo), o tambin cuando algunos de los informantes no renen las caractersticas de la muestra (problemas de determinacin de la muestra). En trminos generales, estos errores pueden dividirse en "muestrales" y "no muestrales". Los errores muestrales tienen que ver con los procedimientos tcnicos de determinacin de las muestras y la seleccin de las unidades que las conforman. Estos errores pueden evitarse con la contratacin de un especialista en estadstica, que adems cuente con experiencia en proyectos de desarrollo en reas rurales. Los errores "no muestrales" no slo son bastante ms frecuentes y aparecen en distintos momentos del trabajo de campo, sino que tambin son de tipo ms diverso y, por ello, superarlos resulta ms complicado. Conocer algunas de sus principales causas puede ayudar a reducir su incidencia: Sesgos del operador, por ejemplo en los usos idiomticos e incluso en las actitudes mostradas al momento de hacer las preguntas, que inuyen en el modo en que los informantes responden. Errores de registro, ya sea en la transcripcin literal (preguntas abiertas) o en el marcado de alternativas de respuesta frente a respuestas que se dan oralmente (preguntas cerradas), que distorsionan el sentido original de los datos. Errores de codicacin o ingreso deciente de los datos en la base de registro, sea informtica
o no. Por lo general tienen que ver con errores de tipeo. Informantes que no responden algunas preguntas o temas completos, que si suman una cantidad importante invalidan el proceso de aplicacin. En estos casos se debe partir del supuesto de que quiz estos informantes tengan caractersticas distintas a los dems que respondieron.
Una manera de evitar estos errores (adems de la seleccin adecuada de los equipos de campo y la capacitacin de los mismos) consiste en llevar a cabo "lluvias de ideas" con el personal, acerca de los problemas que se presentaron luego de cada jornada de recoleccin (da de trabajo), y llegar a acuerdos sobre cmo evitarlos o hacerles frente si se vuelven a presentar. Este tipo de acciones permite identicar problemas y encontrar soluciones uniformizando criterios, con la nalidad de mejorar las aplicaciones hacia adelante. Una instancia de vericacin adicional a la anterior es el control de calidad de los datos con el uso de muestras sobre el universo de formatos aplicados. Este control implica centrarse en los puntos siguientes: Vericar la autenticidad de los datos consignados en los formatos. Vericar que las respuestas transcritas y anotadas sean legibles, especialmente para las preguntas abiertas. Vericar que todas las preguntas o aquellas que correspondan al informante hayan sido contestadas.
Uno de los propsitos del control de calidad es decidir sobre si algn formato de los aplicados es anulado e, incluso, si la aplicacin de la tcnica en su totalidad es anulada. Otro momento en que la vericacin es importante es en el traslado de las respuestas desde los formatos aplicados a la base de datos. Una manera de evitar errores "de traslado" que, dicho sea de paso, siempre se producen, es hacer una "limpieza" de la base ya terminada. Esta tarea debe ser hecha por un especialista, que adems est involucrado con los temas que se manejan en el estudio.
50
RECUADRO N 15 RECOMENDACIONES PARA LA RECOLECCIN DE DATOS* Para emprender la tarea de recoger datos es necesario tener en cuenta las siguientes indicaciones: Recoja solamente los datos que va a utilizar, es decir, aquellos asociados con las observacin de los indicadores, preguntas y temas que se maneja en los EB. "Es mejor tener unos EB pequeos que se utilicen, que unos grandes que acumulen polvo en las estanteras del proyecto". Recoja solamente aquellos datos que no estn disponibles. Es importante identicar previamente qu datos ya existen y se pueden utilizar, as como vericar su calidad y conabilidad. Acuerde claramente las responsabilidades en cuanto a la recoleccin de los datos, procesamiento y anlisis de los mismos, as como los momentos en que se llevar a cabo cada una de estas tareas. Seleccione las tcnicas ms adecuadas, teniendo en cuenta las particulares necesidades del anlisis y el hecho que gran parte de estas tcnicas sern utilizadas de seguro con algunos cambios de manera longitudinal en las evaluaciones posteriores. Sea creativo en la seleccin de tcnicas, recordando que hay un abanico amplio que incluye el uso de mapas, videos, fotografas y otras tcnicas no convencionales.
* Adaptado de la "Gua para el SyE de proyectos" del FIDA. Seccin 5. "Decidir el objeto del SyE". Pginas 5-32 y 5-33.
Slo constatando que los datos tienen sentido y son vlidos, se podr estar seguro que los cambios y procesos estn siendo observados con insumos adecuados y que los EB ofrecen resultados conables.
ANLISIS DE LOS DATOS

El anlisis de datos abarca un conjunto de tareas que van desde su codicacin y ordenamiento, pasan por su disposicin e integracin y van hasta la obtencin de conclusiones y recomendaciones (slo en caso los hallazgos tengan implicancias para la reformulacin de la estrategia de intervencin). Su principal referente es la matriz de anlisis (o de investigacin), ya vista en el captulo de Planicacin. Cada tarea comprende una serie de operaciones que dieren dependiendo de la metodologa utilizada, pero que apuntan al mismo propsito: pasar de la dispersin y multiplicidad de registros a un nmero limitado de armaciones que habitualmente
llamamos resultados del estudio. Estas no son sino armaciones que se deducen de los datos originales convenientemente clasicados, organizados y correlacionados unos con otros, con la nalidad de presentar los hallazgos ms signicativos dados los propsitos jados de antemano.
51
El proceso de anlisis abarca tres fases: la codicacin de los datos recopilados y su ordenamiento por temas la disposicin de esos datos la obtencin de resultados.
El proceso es ms complejo y trabajoso cuando se trata de formatos no estructurados, como las guas de entrevista, para los que es necesario denir el cdigo en su totalidad y distribuir las respuestas entre los diferentes temas del mismo, todo ello frente al manejo de una gran "masa" de datos. En estos casos el procedimiento es el siguiente: Seleccionar el conjunto de temas a ser utilizados en el anlisis. Estos por lo general se desprenden de los temas clave del EB (poblacin objetivo, indicadores, contexto y supuestos, entre otros) y de las preguntas explcitas en los formatos, ms aquellas que adicionalmente se pudo haber formulado (temas emergentes). Estos temas representan los elementos ms concretos, denidos y singulares que vamos a observar y a su vez van a conformar la red a utilizarse en el anlisis. Sumergirse en la "masa" de datos que resultan de las respuestas dadas, para ir identicando aquellos consistentes con los diferentes temas seleccionados. Recuperar los datos (respuestas) en su lenguaje y contenido original. Distribuir los datos (respuestas) por temas con una lgica inductiva. Ir de los temas ms especcos (preguntas) a aquellos ms generales (temas clave). Se trata de ir construyendo "cajones" o "recipientes" de datos de distintos tamaos, unos incorporados dentro de otros a partir de las necesidades del anlisis. Ingresar los datos (respuestas) en una base de registro, que puede ser informtica o manual.
(A) CODIFICACIN Y ORDENAMIENTO Esta fase comprende dos momentos: 1) la creacin de un cdigo nico o esquema de temas para todas las respuestas dadas a una misma tcnica y 2) el ingreso de las mismas a un formato general y sistemtico de registro. La construccin de cdigos es un proceso vlido tanto para tcnicas que utilizan alternativas de respuesta denidas de antemano y slo dejan nales abiertos (formatos estructurados) como para aquellas que dejan las respuestas enteramente abiertas para recoger la opinin del informante con su propio lenguaje (formatos no estructurados). Ambos casos suponen la distribucin de los datos recogidos en temas generales (asociados a los resultados, por ejemplo), temas especcos (asociados a los indicadores, por ejemplo) e incluso preguntas concretas como las que aparecen explcitas en cada formato, todo ello a n de ordenar y reducir la "masa" de datos con que se cuenta. Como es lgico deducir, el proceso es ms simple y ms rpido cuando se trata de formatos estructurados como los cuestionarios. Estos ya incorporan gran parte del cdigo y, por esa razn, permiten una distribucin automtica de los datos y su ingreso simultneo a la base respectiva. En estos casos, la tarea consiste en completar el cdigo para aquellas respuestas abiertas (que si las hay, son la minora) o de nal abierto.
A continuacin presentamos un formato convencional de matriz que puede ser til para la distribucin de las respuestas de distintos informantes en el contexto de formatos no estructurados:
52
RECUADRO N 16 MATRIZ DE CODIFICACIN* Temas Tema 1 Tema 2 Tema 3 Tema 4

* La matriz es asociada con el procesamiento de datos que resultan de la aplicacin de entrevistas, pero puede ser utilizada sin problemas para grupos focales e, incluso, como apoyo a la observacin sistemtica.
Informantes Informante 1 Informante 2 Informante 3 Informante 4
Una matriz como sta puede ser operada con distintos grados de detalle. En la columna de temas se puede incluir desde los temas ms generales a los ms especcos y puntuales. Lo importante es que la disposicin por celdas nos permite contar con respuestas al nivel de detalle requerido para hacer comparaciones, establecer recurrencias e identicar "casos especiales". Una vez distribuidos los datos es necesario evaluar si son sucientes, en cantidad y calidad, para el anlisis de cada tema. Es casi seguro que algunos de ellos sobren, ya sea porque su pertinencia es mnima o porque por efecto de las tendencias en los datos mismos se llega a niveles de saturacin. Esto no nos debe preocupar, en todo proceso de evaluacin se pierden datos e, incluso, se pierde informacin ms elaborada.
Tambin es posible que falten datos para cubrir las necesidades de anlisis en algunos temas. Frente a tal situacin lo adecuado es volver sobre los informantes y aplicar las tcnicas que sea necesario en la cantidad necesaria hasta cubrir dichas necesidades. Es preciso recordar que la codicacin y el ordenamiento de los datos son una tarea crtica y de mucha importancia para los EB y las evaluaciones posteriores, ya que de ella se derivan las principales categoras de anlisis. Por esa razn, es recomendable que sea realizada por los propios responsables del estudio, con el apoyo de los encargados de aquellos componentes del proyecto involucrados en el mismo, y con la ayuda de especialistas en este tipo de procesos.
RECUADRO N 17 ANLISIS CUALITATIVO POR EL PROCEDIMIENTO DE "JUECES PRINCIPALES" * En la evaluacin del programa de capacitacin de dirigentes de la ONG Education for Life Foundation (ELF) en Filipinas, se utilizaron varios mtodos para reunir los datos, entre ellos el de grupos de discusin, las narraciones, la observacin directa, las evaluaciones psicolgicas, las encuestas y las entrevistas semi estructuradas. Como los datos eran, en su mayor parte, cualitativos y abiertos, los investigadores sobre el terreno aplicaron el mtodo de los "jueces principales" para agrupar los datos destinados al anlisis. Los investigadores agruparon y etiquetaron los datos segn los temas que haban seleccionado previamente. Haca falta el visto bueno de por lo menos tres personas antes de etiquetarlos. El proceso de anlisis permiti a los investigadores intercambiar sus interpretaciones de las respuestas y triangular, en consecuencia, las conclusiones. Como comprobacin nal, presentaron el borrador de sus conclusiones a las comunidades en que se haban recogido los datos, y les pidieron retroalimentacin y sugerencias.
* Extrado de la "Gua para el SyE de proyectos" del FIDA. Seccin 6 "Recoger, gestionar y comunicar la informacin". Pgina 6-20.
53
(B) LA DISPOSICIN DE LOS DATOS PARA EL ANLISIS Esta etapa consiste en "meterse" en los datos ya debidamente organizados, para depurarlos y claricarlos, establecer las relaciones existentes entre ellos e identicar elementos recurrentes y tambin "casos especiales" signicativos. En este marco, es un momento que privilegia el anlisis comparativo en funcin a los indicadores, preguntas y temas denidos para el estudio. Tal proceso puede tomar rutas distintas segn el tipo de datos disponibles. Para datos cuantitativos (cifras, porcentajes, intervalos) se trabaja con procedimientos estadsticos que incluyen anlisis descriptivos, inferenciales y de correlacin que son convencionales en los estudios evaluativos. Para datos cualitativos (descripciones, relatos, opiniones, es decir, textos) se trabaja con procedimientos interpretativos (hermenuticos). Aqu el anlisis puede consistir en establecer conexiones o nuevas categoras desde el ms simple acopio de "chas" por temas semejantes, hasta incluir operaciones complejas de simplicacin de informacin sobre diagramas, matrices, tablas de doble entrada, lneas de tiempo, redes conceptuales, entre otros procedimientos. (C) LA OBTENCIN DE RESULTADOS Al entrar a la etapa de obtencin de resultados en los EB, es necesario tener claro que la nalidad de estos estudios es establecer un referente inicial para la comparacin con los valores que se obtendrn en las evaluaciones posteriores. Los propsitos son los siguientes: Darle un valor a los indicadores del ML y, a partir de ello, establecer la situacin inicial de los hechos a los que se hace referencia en los resultados de primer, segundo y tercer nivel.
Caracterizar a la poblacin objetivo del proyecto, a partir de los temas y variables que se haya elegido para ello. Analizar el contexto en que el proyecto interviene, esto es, establecer sus caractersticas iniciales en lo econmico y productivo, social, cultural e institucional. Establecer la situacin de los supuestos (condiciones o factores externos) con los que el proyecto opera, cmo inuyen y en qu medida lo hacen.
Luego de completar el anlisis de los puntos mencionados se pasa a la formulacin de conclusiones. Una conclusin es una sntesis de varias armaciones que aparecen como recurrentes sobre uno o algunos hechos de inters para los estudios. Expresan las evidencias signicativas resultado del anlisis y los juicios valorativos ms relevantes. Es necesario sealar que muchas veces las conclusiones se van formando en el proceso: aparecen en el recojo y ordenamiento de los datos, se desarrollan con el advenimiento de regularidades o patrones en esos mismos datos y se consolidan en el anlisis e interpretacin de los hechos. Establecidas las conclusiones, opcionalmente puede hacerse recomendaciones, que se basan en las anteriores y se realizan bajo la forma de prescripciones, con el n de incorporar aprendizajes en la gestin del proyecto, especialmente para la mejora de sus estrategias.
FASE DE COMUNICACIN Y USO DE RESULTADOS32

Por ms que se hallen bien planeados y ejecutados, los Estudios de Base dejarn de cumplir sus propsitos (servir como referentes para evaluaciones posteriores y para la toma de decisiones) si sus resultados no son comunicados con ecacia a las audiencias respectivas. El esfuerzo desplegado
32 Para elaborar esta seccin se ha usado el texto de Torres, Preskill y Piontek "Evaluation Strategies for Communicating and Reporting" 2nd. Edition Sage Publications, 2005.
54
en las etapas de diseo y de elaboracin puede resultar intil sin una estrategia de comunicacin que ponga los resultados de los EB al alcance de los distintos grupos de interesados(as), del modo ms conveniente y oportuno. En este captulo se ofrece un conjunto de criterios y mecanismos para ayudar en tal tarea. Se trata de lineamientos conceptuales y metodolgicos que denen la mejor manera de comunicar los resultados de los EB en el marco de una gestin orientada al impacto y al aprendizaje.
(A) LAS AUDIENCIAS A QUINES COMUNICAR? Los proyectos de desarrollo rural conanciados por el FIDA en Amrica Latina, involucran a diversos actores que potencialmente son usuarios (en todo o en parte) de los resultados de las evaluaciones, conformando audiencias para la comunicacin de los mismos. Algunos de estos actores mantienen vnculos muy estrechos con los proyectos, pudiendo ser denidos como audiencias primarias. Entre ellas se encuentran los siguientes grupos: La poblacin objetivo del programa o proyecto, comprometida directamente con los cambios. Los equipos tcnicos de los proyectos, que tienen un papel decisivo en su gestin, como facilitadores y asesores. Los organismos pblicos de los pases que administran los fondos del proyecto, tambin con un rol importante en la gestin.
AUDIENCIAS, CONTENIDOS Y MEDIOS

La comunicacin de los resultados de los EB comprende el manejo de tres temas: las audiencias, los contenidos y los medios. Del buen uso de ellos depender que la informacin obtenida genere conocimiento en los grupos de actores y llegue puntualmente a quienes toman decisiones, sentando las premisas de un sistema de PSES eciente. A continuacin se ven tales temas en detalle.
55
Otros actores relacionados con la intervencin son los gobiernos locales y las instancias del gobierno con presencia local o regional, as como los proyectos similares que operan en los mismos territorios, constituyendo potenciales audiencias secundarias. Dada la diversidad de audiencias, es probable que al momento de denir una estrategia de comunicacin nos encontremos con las siguientes situaciones: Diferentes audiencias expresan distintas necesidades de informacin (hecho que por lo general concluye en la necesidad de comunicar los resultados a travs de diversos medios). Algunas audiencias o usuarios al interior de ellas no tienen claridad sobre qu informacin necesitan, ni por qu la necesitan. Algunos usuarios esperan que la evaluacin apoye un particular punto de vista, que en ltimo anlisis expresa un inters tambin particular. No todas las audiencias ni todos los usuarios al interior de cada audiencia tienen el mismo inters en la informacin, ni se sienten igualmente cercanos a la experiencia.
1. La informacin tiene que ser comunicada a los usuarios potenciales adecuados. 2. Los informes deben tratar temas importantes para los usuarios, y hacerlo de manera comprensible para ellos. 3. Los informes deben presentarse a tiempo para ser tiles. La informacin (los resultados de los Estudios de Base) no puede cambiarse, pero su contenido puede recibir distinto tratamiento o nfasis segn los requerimientos de los diferentes grupos. Por eso, identicar las necesidades de informacin de las audiencias facilita la seleccin de los contenidos y medios a utilizarse. Sin embargo, identicar las necesidades de informacin de cada grupo y hacerlo con exactitud, implica seguir ciertas pautas. Una recomendacin general es preguntarse: qu aspectos de los resultados sern ms interesantes y/o tiles para los usuarios, cules para los equipos tcnicos, cules para los representantes de los gobiernos, etc. Ello nos dir qu contenidos de la informacin deben transmitirse a estos grupos, para lo cual tambin ser til observar las siguientes prescripciones. 1. Es aconsejable mantener contacto permanente con los usuarios potenciales de los resultados de los EB (en lo posible desde el inicio de su realizacin) y en especial con los lderes de las audiencias especcas, lo cual permite: Mantener informados a los usuarios sobre los propsitos, alcances y caractersticas de los EB y sus resultados. Determinar la evolucin de las necesidades de informacin, ya que pueden cambiar con relativa velocidad.
La mayora de tales situaciones ha de atenderse determinando el tipo de vnculo que cada grupo mantiene con el proyecto. Esclareciendo ste, puede analizarse los intereses que se desprenden de ese vnculo y las necesidades de informacin resultantes. Ello es posible mediante un proceso de segmentacin de la audiencia, lo que equivale a denir en detalle las caractersticas de cada grupo, incluyendo a las minoras que no comparten las tendencias mayoritarias de la audiencia a la que pertenecen. Una rigurosa segmentacin de las audiencias har factible reportar diferentes tipos de informacin a diferentes personas o grupos, y hacerlo de maneras distintas y en momentos distintos, en el marco de una ecaz estrategia de comunicacin. (B) LOS CONTENIDOS QU COMUNICAR? Los sistemas de PSES (y los EB como parte de los mismos) siguen una estrategia de comunicacin basada en los siguientes principios:
2. Debe uno colocarse en el lugar del usuario y plantearse preguntas clave: Hasta qu punto y de qu manera la informacin me resulta relevante frente a mis problemas reales? Qu prcticas de comunicacin me facilitaran una mejor entrega de la informacin? Es una informacin til e inmediatamente aplicable a mi situacin?
56
Es una informacin que me resulta comprensible?
o incomprensibles, difcilmente sern utilizados o lo sern de manera muy parcial. A pesar de existir atractivos medios para comunicar informacin, la mayora de informes de evaluacin lo hacen an desde el estndar de formatos escritos de carcter tcnico, que por lo general son muy extensos y ridos, que se entregan para ser ledos o se presentan en reuniones muy formales, con expositores (el equipo encargado de los EB) y pblico oyente (los usuarios potenciales de la informacin), sin reparo alguno en las distintas necesidades de informacin de las audiencias. Algunos medios que han demostrado ecacia en la comunicacin de resultados de evaluacin, son los llamados espacios interpersonales: charlas, conversatorios, talleres u otros eventos de mayor dimensin como las asambleas, encuentros o foros. Los formatos con que comnmente se operan estos medios son diversos y por lo general se usan de manera combinada. Algunos de los ms utilizados son los siguientes: Informe nal (clsico) con resumen ejecutivo. Resumen ejecutivo con la metodologa y conclusiones generales. Resmenes ejecutivos por audiencias y por temas, componentes o indicadores. Presentaciones en Power Point por audiencias y por temas, componentes o indicadores. Vdeos y CDs multimedia. Impresos como brochures, boletines internos y externos al proyecto. Medios masivos y abiertos como aches, banderolas, cuas radiales, etc.
Cada usuario formular preguntas semejantes en torno a la informacin entregada. Si respondiera a ellas en contra, difcilmente tendr disposicin a aceptar resultados que no entiende, que cuestiona o con los que discrepa abiertamente. Pero, con toda seguridad, sus respuestas sern positivas si los resultados de los EB le impactan mediante mensajes diseados de acuerdo a su conocimiento e intereses. 3. Debe recordarse siempre que el foco del proceso es el uso que se dar a los resultados, por lo cual es conveniente despertar inters en su utilizacin, ayudando a aquilatar los hallazgos y llevando al usuario a un detenido anlisis de los mismos. 4. El desarrollo participativo de los EB, con la intervencin de representantes de todos los grupos de actores, es especialmente til para determinar las necesidades de informacin de las audiencias, pues su conocimiento y trato mutuo durante el proceso de participacin, mostrar mejor sus principales intereses, dudas y opiniones sobre las estrategias del proyecto. 5. La elaboracin de un Mapeo de Actores (ver Enlace N 3) claricar los problemas implcitos en la labor de segmentar las audiencias y establecer sus necesidades de informacin. Cuanto ms detallado y especco sea el Mapa, mejor se podr disear la comunicacin para cada grupo. De otro lado, para difundir mensajes acordes con las necesidades de diferentes audiencias, es necesario pensar en los medios y formatos ms apropiados, de lo cual se trata a continuacin. (C) MEDIOS Y FORMATOS DE COMUNICACIN Una vez se tengan claras las audiencias primarias para los informes de los EB y la informacin relevante para cada una, debe considerarse cmo se comunicar la misma, considerando que la eleccin de los medios y formatos inuir en el acceso, conabilidad y comprensin por parte de ellas. Como se ha indicado, mensajes no crebles
Una de las principales fortalezas de los medios interpersonales es que permiten una interaccin muy dinmica. Los participantes pueden preguntar, sugerir, cuestionar y opinar respecto de los resultados presentados, situacin que constituye un ejercicio de dilogo que favorece el aprendizaje colectivo. A continuacin se presenta un cuadro que relaciona audiencias particulares y formatos para la comunicacin de resultados de los EB.
57
RECUADRO N 18 USO DE FORMATOS DE COMUNICACIN PARA DIVERSAS AUDIENCIAS* Audiencias Formatos de comunicacin Poblacin Objetivo Coejecutores Equipos tcnicos Entidades de Estado
Informe nal (clsico) con resumen ejecutivo Resmenes ejecutivos por audiencias y por temas, componentes o preguntas especcas Presentaciones en Power Point por audiencias y por temas, componentes o preguntas especcas Vdeos testimoniales Impresos como brochures, boletines internos y externos del proyecto Medios masivos y abiertos como aches, banderolas, cuas radiales, etc. Otros formatos como memos, cartas, correos electrnicos, etc.
* Adaptado de Torres, R.; Preskill, H.;y Piontek, M. (2005)
Como se muestra en el cuadro, diversos usuarios requieren contenidos diferentes. Otra audiencia particular, como la integrada por los representantes de las entidades gubernamentales, podra tener inters en los resultados de los estudios, e incluso en algunos de sus contenidos tcnicos, pero contar con tiempos muy escasos. En ese caso, preferirn informes resumen o formatos audiovisuales de visionado muy veloz. Finalmente, una audiencia muy importante como la poblacin objetivo o los usuarios de los proyectos, de seguro preferir temas muy concretos y vinculados a sus
vidas e intereses inmediatos o formatos resumidos y muy visuales (presentaciones en power point, banderolas, aches) o medios de uso cotidiano como la radio. (D) EL INFORME MAESTRO Con la redaccin del Informe Maestro culmina todo el proceso de elaboracin de los Estudios de Base. Este Informe, que puede contar con aproximadamente 60 pginas (excluyendo anexos), sintetiza toda la informacin de estos estudios, presentndola de acuerdo al siguiente ndice:
58
RECUADRO N 19 TABLA DE CONTENIDO BASICO DE LOS EB33

MAPAS SIGLAS Y ACRONIMOS INTRODUCCION 1. EL PROYECTO 2. 3. Resultados esperados y componentes (segn el ML) Estrategias Organizacin de la implementacin Anlisis de Grupos de Actores segn el mapeo correspondiente
OBJETIVOS Y CONTENIDO Objetivos de los EB y temas especcos relativos a los indicadores de efecto e impacto de cada proyecto. MARCO METODOLOGICO Descripcin del proceso Criterios para la seleccin de tcnicas La encuesta de impacto Tcnicas complementarias
4. 1.
HALLAZGOS (en relacin a los contenidos y temas de los EB) LA POBLACIN OBJETIVO Estrategia de focalizacin. Caracterizacin de la poblacin objetivo incorporando los resultados de la encuesta del RIMS y tcnicas complementarias. Area geogrca del proyecto Principales circuitos econmicos y potencialidades locales (lo urbano/rural) Institucionalidad local y organizacional (pblica, privada y de la comunidad) Presencia de programas y servicios del Estado y otras iniciativas sociales o privadas relacionadas con los efectos e impactos del proyecto. Responder a la pregunta de cmo el contexto afecta a las dimensiones y variables del desarrollo rural (Recuadro N 7) LOS SUPUESTOS DE LA INTERVENCIN Medidas de poltica pblica y legislativa que gravitan sobre las dimensiones del impacto. Factores medioambientales y culturales Factores institucionales que afectaran la marcha del proyecto. SITUACION INICIAL DE LOS INDICADORES DEL PROYECTO Indicadores de tercer nivel o de impacto Indicadores de segundo nivel o de efecto
2.
DINAMICA DEL CONTEXTO DE LA INTERVENCIN
3.
4.
5.
CONCLUSIONES GENERALES En relacin a la caracterizacin de la poblacin objetivo En relacin al contexto En relacin a los supuestos
ANEXOS Matriz de ML del proyecto Matriz de diseo y anlisis Diagrama del proyecto (organizacional y/o zonal) Mapeo de Actores Informe de la Encuesta de Impacto del RIMS y formato del instrumento Informes de las tcnicas complementarias y formatos respectivos.
33 La Tabla organiza elementos bsicos que todo EB debe contener. Debe considerarse sta como una referencia a ser adaptada y mejorada, de acuerdo a las necesidades de cada proyecto y a los usos que los actores darn al Informe Maestro.
59
La redaccin del informe comienza desde muy temprano (en la fase de diseo), al momento de la revisin del marco lgico y al levantarse el Mapeo de Actores. Como se ve, la Tabla de Contenido incluye el anlisis de los temas centrales de los Estudios de Base (poblacin objetivo, dinmica del contexto, supuestos del ML y situacin inicial de los indicadores), a los que se agregan la descripcin del proyecto, objetivos y contenido, marco metodolgico, conclusiones y anexos. Antes de comenzar a redactar, la persona/equipo debe preguntarse lo siguiente: Es mucha o poca la informacin que poseo? Qu parte de esta informacin es realmente importante para los nes del Informe Maestro Cul es mi audiencia?
car los resultados de un Estudio de Base, no demostrar cuan experto es el autor. 4. Usar en lo posible testimonios de los actores, cuadros, grcos, recuadros, fotografas, o algn soporte visual para hacer ms clara y amena la lectura. 5. Hacer encabezados usando diferentes tipos de letra y subtitulado para que sea fcil encontrar la informacin y para que sta sea clara y distinta. 6. Haga varios borradores, para de esa manera poder destilar la informacin importante y consltelos con otros. 7. Resalte los puntos ms importantes. 8. Comience primero por los aspectos ms importantes. 9. Use ttulos atractivos que atraigan al lector/a Para ampliar conocimientos en torno a la presentacin del Informe Maestro ver el Enlace N 13 sobre "Cmo Comunicar Resultados de una Evaluacin".
Finalmente, siga los siguientes consejos: 1. Encuentre un balance entre la descripcin y la interpretacin. 2. Escribir en oraciones cortas, con un lenguaje objetivo y claro, limitando los comentarios personales e intentando ante todo dar informacin concreta (evidencias). Usar voz activa (ej: nosotros promovimos el puente) y no pasiva (ej: el puente fue hecho por nosotros). 3. Evitar la jerga cientca muy especializada u obscura. El objetivo de un reporte es comuni-
USO DE RESULTADOS
Un principio de la "evaluacin basada en la utilizacin" es que los usuarios previstos de toda evaluacin sern ms proclives a apropiarse y a usar sistemticamente sus resultados si entienden
60
el proceso que sigui su ejecucin y los hallazgos que se obtuvieron, hecho que slo es posible con la participacin activa de dichos usuarios a lo largo del proceso de evaluacin (Patton, 2004). Una evaluacin enfocada en el uso es necesariamente una evaluacin participativa, que implica la implementacin de las acciones necesarias para que los actores incorporen las recomendaciones, difundan los aprendizajes e institucionalicen los cambios. Precisamente, uno de los desarrollos ms signicativos de este enfoque en la ltima dcada ha sido el surgimiento del uso del proceso como un importante aporte al campo de la evaluacin (Patton, 1997). Esto signica que toda evaluacin puede tener y usar dos tipos de resultados: los hallazgos mismos y los procesos de evaluacin como aprendizajes individuales y colectivos que se producen al reexionar e involucrarse unos con otros desde una perspectiva evaluativa. En los siguientes puntos vamos a presentar algunos lineamientos para el uso de los hallazgos y del proceso en el desarrollo de los EB. EL USO DE LOS HALLAZGOS El uso de los hallazgos en los EB est estrechamente ligado a la determinacin de los objetivos de cada estudio en particular y a los roles que cumplen en el subsistema de evaluacin. Algunos de sus usos ms importantes son: Para establecer la situacin de la poblacin objetivo del proyecto al momento de inicio de la intervencin, a partir de las dimensiones y variables que se haya priorizado con ese propsito. Para establecer las caractersticas del contexto en que se inserta el proyecto y sus relaciones (inuencias) con la poblacin objetivo. Para determinar el valor inicial de los indicadores con que opera el proyecto. Para establecer la situacin inicial de los supuestos o condiciones ubicadas en el contexto no manejables por el proyecto y que inuyen en su desenvolvimiento.
Para aportar elementos que permitan la revisin y el ajuste de los resultados previstos (logros, efectos e impactos) y las estrategias de intervencin del proyecto. Para tomar decisiones sobre el diseo metodolgico ms adecuado para las evaluaciones posteriores, sobre todo aquellas que incluyen el uso de tcnicas complejas: encuestas y muestras. Para aportar elementos al diseo del subsistema de evaluacin del proyecto.
Todos los lineamientos expuestos se vinculan estrechamente con el rol principal que los EB cumplen en el subsistema de evaluacin de los proyectos: servir como referentes iniciales para la comparacin con los resultados de las evaluaciones posteriores. EL USO DEL PROCESO PARA EL APRENDIZAJE Se relaciona con los aprendizajes que necesariamente tienen lugar al involucrar a diferentes actores en el proceso de evaluacin. Es diferente al uso de los hallazgos y se maniesta tambin en mbitos distintos: cambios en capacidades para la reexin y el anlisis, en actitudes y conductas, en prcticas y procedimientos y, en general, cambios que se expresan a nivel de la cultura organizacional de los proyectos (organizaciones rurales, equipos tcnicos, etc.) Algunos de los usos ms signicativos de los procesos de evaluacin, se dan en los siguientes campos: Mejoras en las prcticas y los resultados de evaluacin, con informacin ms especca, relevante y conable. Retroalimentacin para mejorar las estrategias y orientar la toma de decisiones. Aprendizajes individuales y colectivos sobre formas y procedimientos para reflexionar evaluativamente, lo que supone el desarrollo de capacidades para utilizar la informacin disponible, ponderar la evidencia, considerar las contradicciones e inconsistencias, articular los valores y examinar los supuestos, extraer conclusiones y emitir juicios respetando otras opiniones, entre otras.
61
Mejoras en la calidad del dilogo en los proyectos y posibilidades de extender estos cambios a escenarios locales y regionales, as como a los mbitos de deliberacin de polticas pblicas.
Inters por visualizar cambios para el futuro, en forma compartida. Disposicin para la "escucha activa" del otro y para reconocer percepciones e intereses distintos. Creatividad para preguntar, generar y aplicar conocimientos. Liderazgo para concertar y negociar propuestas. Responsabilidad para establecer compromisos y compartir la toma de decisiones.
En breve, la comunicacin de los resultados de los EB facilita la comprensin de la situacin inicial de los sujetos de cambio de una intervencin para el desarrollo y promueve compromisos con el impacto. As, si los estudios de base (como parte del diseo de los sistemas de SyE) se realizan de manera colaborativa, con espacios de dilogo y reexin se puede generar en todos los actores involucrados las siguientes capacidades y actitudes, necesarias para la sostenibilidad de cualquier proceso de cambio:
62
BIBLIOGRAFA
Bobadilla, P. L. del Aguila, M. Morgan. Diseo y evaluacin de proyectos de desarrollo. Serie: Manuales de capacitacin N3. PACT / PERU. Lima, 1998. Bucheli, Brenda. "Mapeo de Actores" (indito), 2007. Camacho, H. L. Cmara, R. Cascante y H. Sainz. El enfoque del marco lgico: 10 casos prcticos. Fundacin CIDEAL. Madrid, 2001. Cohen, E. y R. Franco. Evaluacin de proyectos sociales. ILPES / ONU CIDES / OEA. Buenos Aires, 1988. Dumazert, Patrick Lineamientos conceptuales y metodolgicos para los estudios de base de los proyectos de desarrollo rural del FIDA PREVAL, 2002. FOCAMI Fortalecimiento de Capacidades en Monitoreo de Impactos, Honduras 2005 y 2006. PREVAL, Rio Plus/GTZ y TROCAIRE. Mdulo sobre Uso y Comunicacin de Resultados Santa Rosa de Copn, septiembre 2006. Fondo Internacional de Desarrollo Agrcola FIDA. Directrices para el examen interno a la terminacin de proyecto. Departamento de Administracin de Programa. Junio 2002. Fondo Internacional de Desarrollo Agrcola - FIDA. Focalizacin. Los pobres de las zonas rurales, documento de poltica. FIDA, noviembre 2006. Fondo Internacional de Desarrollo Agrcola FIDA. Gua para el SyE de proyectos. Gestin orientada al impacto en el desarrollo rural. FIDA. Roma, 2002. Fondo Internacional de Desarrollo Agrcola - FIDA. Lineamientos prcticos para la ejecucin del sistema FIDA de gestin de los resultados y el impacto. Informacin bsica y herramientas para informar sobre los resultados de los proyectos. FIDA septiembre 2004. Fondo Internacional de Desarrollo Agrcola - FIDA. Sistema de gestin de los resultados y el impacto. Directrices prcticas para la realizacin de encuestas sobre el impacto. FIDA 2005. Gutirrez Vsquez, Carlos Lineamientos de evaluacin por imgenes (Editado por Emma Rotondo Coordinadora de la Unidad de Coordinacin del PREVAL), 2005. www.preval.org Instituto Latinoamericano y del Caribe de Planicacin Econmica y Social - CEPAL Metodologa del marco lgico, Boletn N 15, 2004. Krueger, Richard y Jean King Involving community members in focus groups Focus Group Kit 5 The Focus Group Kit David L. Morgan and Krueger, Richard. Sage, 1997. Len, Jorge Notas sobre Estudios de Base en proyectos nanciados por el FIDA en la Subregin de Centroamrica, Panam y Belice trabajo presentado en el Mdulo II del Programa Intensivo en Seguimiento y Evaluacin (PRISE), Guatemala, julio 2002. Lyons Morris, Lynn, Carol Taylor Fitz-Gibbon y Mary E. Freeman Cmo comunicar resultados de una evaluacin. Centro para los Estudios de Evaluacin Universidad de California, Los Angeles. (Traducido por PREVAL octubre del 2002)
63
MARENASS. Proceso metodolgico de construccin del sistema de planicacin, seguimiento y autoevaluacin campesina, a travs de los mapas parlantes: caso MARENASS Per. Tomado de Capacidades y experiencias campesinas, respuestas a las motivaciones Proyecto Manejo de Recursos Naturales en la Sierra Sur. Apurmac, Ayacucho y Cusco. Informe Final 1997 2005. Nirenberg, O. J. Brawerman, V. Ruiz. Evaluar para la transformacin. Innovaciones en la evaluacin de programas y proyectos sociales. Paids. Buenos Aires, 2005. Patton, M.Q. La evaluacin basada en la utilizacin. Extractos de su exposicin realizada por el autor en la I Conferencia de la Red de Seguimiento, Evaluacin y Sistematizacin de Amrica Latina y el Caribe Evaluacin, democracia y gobernabilidad: desafos para Amrica Latina y el Caribe. Lima, octubre 2004. Patton, M.Q. Utilization-focused evaluation: the new century text (tercera edicin). Thousand Oaks, CA: Sage. 1997. Pozo Sols, Antonio Mapeo de actores sociales. PREVAL, Lima, Febrero 2007 PREVAL Lineamientos conceptuales y metodolgicos para los Estudios de Base (Documento de trabajo) PREVAL fase II, mayo 2004. PREVAL Plan Estratgico de PREVAL III. Lima, 2005. PRISE, PREVAL II, 2000 - 2004. PROGENERO. Gnero en los Estudios de Base. PROGENERO. Santiago de Chile, 2004. Programa de Formacin en Evaluacin. Lineamientos conceptuales y metodolgicos de la evaluacin. Mdulo 1. desco WKKF. Lima, 2006. Programa de Formacin en Evaluacin. Planicacin, organizacin y ejecucin de la evaluacin. Mdulo 2. desco WKKF. Lima, 2006. Programa de Formacin en Evaluacin. Procesamiento y anlisis de la informacin. Mdulo 3. desco WKKF. Lima, 2006. PROMER. Informe de evaluacin del Programa de Apoyo a la Micro Empresa Rural en Amrica Latina y el Caribe PROMER. Santiago de Chile, 2001. Rodrguez Bilella, Pablo Evaluacin de proyectos y triangulacin: acercamiento metodolgico hacia el enfoque centrado en el actor. Universidad Nacional de San Juan. Rivadavia - Documento presentado en el segundo taller electrnico sobre evaluacin de proyectos de reduccin de la pobreza rural - PREVAL 1998. Rotondo, Emma. Gua de evaluacin participativa, elaborado para PREVAL. Lima, 2001 (indito). Rotondo, Emma y Gloria Vela. Indicadores de gnero. Lineamientos conceptuales y metodolgicos para su formulacin y utilizacin por los proyectos FIDA en Amrica Latina y el Caribe FIDA / PREVAL y PROGENERO, 2003. Ruiz-Bravo L., Patricia y Maruja Barrig. Lineamientos metodolgicos para la incorporacin del enfoque de gnero en el Seguimiento y Evaluacin de Proyectos FIDA / PREVAL, 2001. Torres, Rosalie, Hallie Preskill y Mary E Piontek. Evaluation Strategies for Communicating and Reporting 2nd. Edition. Enhancing Learning in Organizations, Sage, 2005. World Wildlife Foundation Seales de xito: Gua del usuario sobre indicadores (Traducido por Orlando Garca Valverde, Interidiom S.A., Costa Rica. Revisado y editado por Ada Ocampo, Coordinadora PREVAL - Convenio IICA/FIDA-TAG 302-IICA).
64
65
Si tuviera comentarios y sugerencias al texto favor dirigirse al siguiente correo: preval4@desco.org.pe
66

PREVAL - Los Estudios de Base

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

PREVAL - Los Estudios de Base

Transféré par

Droits d'auteur :

Formats disponibles

LOS ESTUDIOS DE BASE

FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

SISTEMA DE PSES Y EL CICLO DEL PROYECTO

Etapa de Evaluacin nal

EVALUACIN CONTINUA O DE PROCESO

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

Fuente: Elaboracin propia y PREVAL II (2004).

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

II. LINEAMIENTOS METODOLOGICOS

REVISIN DE LOS RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

Caresta / hambre Universalizacin de la enseanza Gnero

Segundo nivel (efecto)

Primer nivel (producto)

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

ORGANIZACIN Y CONTENIDO DE LOS EB

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

CAPITAL SOCIAL Y EMPODERAMIENTO

24 Ver su contenido completo en la Fase de Comunicacin y Uso de Resultados, pg. 59.

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

MATRIZ DE DISEO Y ANLISIS DE LOS EB

Fuente: Elaboracin propia.

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

Cmo se los obtiene?

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

RECUADRO N 9 EJEMPLO DE PROGRAMA DE ACTIVIDADES DE LOS EB

Organizacin de los EB Marco metodolgico

Objetivos, contenido, plan de trabajo, TdR Estrategia metodolgica

Fase 2: Recoleccin y anlisis

Fase 3: Comunicacin y uso de resultados

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

DIAGRAMA EQUIPO DE APLICACIN DE UNA ENCUESTA

Equipo clave: Coordinador de EB Esp. Antropometra Esp. Muestra Esp. Componente 1

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

RECUADRO N 10 PRESUPUESTO PARA UNA ENCUESTA Partida

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

Fuente: Elaboracin propia.

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

FASE DE RECOLECCIN Y ANLISIS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS

LOS ESTUDIOS DE BASE FUNDAMENTOS DE UNA GESTIN POR RESULTADOS