Vous êtes sur la page 1sur 51

Interior n 29 26/9/05 18:25 Pgina 1

Nmero 29

LA EVALUACIN EX-POST O DE IMPACTO


Un reto para la gestin de proyectos de
cooperacin internacional al desarrollo

Lara Gonzlez

Lara GONZLEZ es Licenciada en Ciencias Polticas y Sociologa de la Universidad de Deusto y


candidata a Doctorado en Sociologa en la misma universidad. Fue becaria del programa Mutis de la
AECI en 1999-2001 en Medelln y es Master en Ciencias Sociales, con Enfasis en Gerencia del
Desarrollo Social de la Universidad de Antioquia-Colombia. En la actualidad, realiza su tesis doctoral
sobre La evaluacin en los proyectos de desarrollo en Antioquia-Colombia. En dicho pas es docente
e investigadora en la Universidad de Antioquia dictando cursos en la ctedra de Investigacin social
y evaluativa en la Facultad de Ciencias Sociales y Humanas, y en Gestin-Evaluacin de proyectos
de la Cooperacin Internacional en otras universidades del pas. Es coordinadora acadmica del
primer Diploma en Gestin de Proyectos de la Cooperacin Internacional al Desarrollo de la
Universidad de Antioquia y trabaja en la Oficina de Proyectos del Comitato Internazionale per lo
Sviluppo dei Popoli-CISP en Colombia. Participa en la Red de Cooperacin Internacional de
Antioquia y ha trabajado como consultora en gestin y evaluacin de proyectos de ayuda
humanitaria a la poblacin desplazada por la violencia en Antioquia financiados por organizaciones
internacionales (ECHO-UE, GTZ, ACNUR etc.). Es colaboradora de HEGOA.
Interior n 29 26/9/05 18:26 Pgina 2

Facultad de Ciencias Econmicas


Avenida Lehendakari Aguirre, 83
48015 BILBAO
Tfno.: 94 601 70 91
Fax: 94 601 70 40
E-mail: hegoa@bs.ehu.es
http://www.ehu.es/hegoa

Manuel Iradier, 6 bajo


Tfno. y fax.: 945 13 15 87
E-mail: hegoavitoria@sarenet.es
01005 VITORIA-GASTEIZ

LA EVALUACIN EX-POST O DE IMPACTO


Un reto para la gestin de proyectos
de la Cooperacin Internacional al Desarrollo
Lara Gonzlez

Cuadernos de Trabajo de Hegoa


Nmero 29
Septiembre 2000

D.L.: Bi-1473-91
ISSN: 1130-9962
Impresin: LANKOPI, S.A.

CUADERNOS DE TRABAJO DE HEGOA es una publicacin destinada a difundir los tra-


bajos realizados por sus colaboradores/as, as como aquellos textos que por su inters
ayuden a la comprensin de los problemas del desarrollo y las relaciones internacionales.
Interior n 29 26/9/05 18:26 Pgina 3

NDICE

Introduccin 5

1 La evaluacin en el ciclo de vida de los proyectos de desarrollo 7


1.1. El proyecto como herramienta bsica 7
de la cooperacin al desarrollo
1.2. La accin evaluadora es una constante 9
en el ciclo de vida de un proyecto
1.3. Las funciones de la evaluacin ex-post frente al seguimiento 16

2 La evaluacin ex-post: hacia una propuesta integradora de agentes 19


modelos y herramientas
2.1. Quin realiza las evaluaciones? 19
2.2. La evaluacin ex-post en los principales 22
modelos de gestin de la cooperacin internacional
2.3. La apuesta por un modelo integrador de agentes, 31
modelos y herramientas

3 La valoracin del impacto: un reto para la evaluacin ex-post 37


3.1.El impacto es un componente clave en la evaluacin ex-post 37
3.2. Algunas dificultades a superar en la evaluacin ex-post 39
y en la valoracin del impacto
3.3. El nuevo desafo: propuestas para la valoracin del impacto 43

Bibliografa 47

3
Interior n 29 26/9/05 18:26 Pgina 4
Interior n 29 26/9/05 18:26 Pgina 5

INTRODUCCIN

Parece que en los ltimos tiempos hablar de eva- tras potencialidades?, o, es ms bien que no estn
luacin est de moda. Y lo cierto es que son gran- interiorizados o claros conceptos como evaluacin,
des los esfuerzos que las agencias internacionales, seguimiento, evaluacin ex-post o el impacto? o
las ONG y otras entidades estn realizando por resulta que ninguno de los modelos propuestos
mejorar la gestin y, sobre todo, el impacto que nos parece vlido ni prctico?
generan los proyectos de desarrollo en las pobla-
ciones, las comunidades y los pueblos beneficia- Con este documento, pretendemos principalmente
rios. En ese sentido, y en muchas ocasiones moti- presentar y clarificar el concepto de evaluacin ex-
vados por el aprendizaje de los fracasos, los orga- post dentro del mbito de la gestin de proyectos
nismos han invertido tiempo, esfuerzo y recursos de desarrollo, haciendo hincapi en la necesidad
en mejorar sus intervenciones y la gestin de las de su uso normalizado dentro del ciclo de vida de
mismas. Es por ello que, hoy en da, la mayora de los proyectos. Se trata de promover su uso al inte-
las agencias, ONG, etc., disponen de sistemas pro- rior de las instituciones, agencias y ONG, como
pios para la identificacin y la planificacin de las una tarea necesaria y sencilla que aporta ms ven-
acciones. tajas que desventajas para la toma de decisiones y
la gestin en general.
Pero no ocurre lo mismo en cuanto al seguimiento
y a la evaluacin ex-post. Si bien se ha avanzado Es por ello que en primer lugar, presentamos la
en las propuestas para realizar evaluaciones ex- evaluacin de una manera sencilla y pedaggica,
post o de impacto, todava son pocas las entidades como una accin constante en el ciclo de vida de
que lo asumen como una prctica generalizada, y, los proyectos de desarrollo, as como sus funciones
mucho menos, las experiencias sistematizadas y como una etapa propia y distinta del seguimiento.
pblicas que puedan servir de aprendizaje al resto. En la segunda parte, realizamos un repaso rpido a
las diversas propuestas que el medio ofrece en
Son varias las cuestiones que surgen en torno a relacin a los agentes, modelos y herramientas
este punto: por qu cuesta tanto asumir una cul- necesarias para evaluar, y presentamos una peque-
tura evaluativa, de revisin de lo realizado y de a propuesta de cmo articularlas de manera inte-
compartir los aprendizajes?, somos las ONG reti- grada y flexible. Por ltimo, me refiero al impacto,
centes al cambio, a poner sobre la mesa nuestros tema que suscita en la actualidad algunos debates
errores del pasado y permitir que otras entidades, en torno a su valoracin y que supone, desde lue-
seguramente con proyectos similares a los nuestros, go, un nuevo reto conceptual y metodolgico para
puedan aprender de los errores y aprovechar nues- evaluadores y gestores.

5
Interior n 29 26/9/05 18:26 Pgina 6
Interior n 29 26/9/05 18:26 Pgina 7

1. LA EVALUACIN EN EL CICLO DE VIDA


DE LOS PROYECTOS DE DESARROLLO

1.1. El proyecto como La Overseas Development Administration concibe


herramienta bsica en la el proyecto de desarrollo como un conjunto de
cooperacin al desarrollo fuentes (financiacin, personal y equipos) disea-
do para lograr unos objetivos sociales y econ-
micos, en un perodo especfico de tiempo. A tra-
vs de los proyectos, las personas convierten sus
Existen numerosas formas de entender y definir la ideas iniciales en actividades que se suponen
idea de proyecto, pero en el mbito de la coope- lograrn cambios beneficiosos en sus vidas (ODA,
racin al desarrollo, hay un consenso bastante 1995).
generalizado en interpretarlo como una herramien-
ta de carcter socioeconmico que busca la supe- Otros autores se refieren al mismo como un acto
racin de determinadas carencias en un colectivo de creacin: proyectar es crear. Un proyecto es
concreto. El proyecto integra variables de tipo un verdadero acto de creacin que permite deter-
social, cultural, econmico, poltico, educativo, etc., minar cmo, cundo, en cunto tiempo, para
y se apoya en el uso de los recursos disponibles y quin y con qu recursos, potencialidades y
en las potencialidades de una poblacin determi- esfuerzos pueden conseguirse determinados obje-
nada. Adems, el tiempo y el lugar donde se reali- tivos o metas, mediante la combinacin de los
zan los proyectos son dos elementos relevantes conocimientos e informaciones de una realidad
para completar su caracterizacin. concreta.

Cuadro 1
El concepto de proyecto
Un proyecto es un conjunto autnomo de inversiones, actividades polticas y medidas institucionales o de otra
ndole, diseado para lograr un objetivo especfico de desarrollo en un perodo determinado, en una regin
geogrfica delimitada y para un grupo predefinido de beneficiarios, que contina produciendo bienes y/o pres-
tando servicios tras la retirada del apoyo externo, y cuyos efectos perduran una vez finaliza su ejecucin.

Fuente: MAE-SECIPI: Metodologa de la evaluacin de la Cooperacin Espaola. OPE-SECIPI. Madrid.1998.

7
Interior n 29 26/9/05 18:26 Pgina 8

Otra definicin, algo ms sencilla, es la de la Las ventajas del concepto de proyecto de desarro-
UNESCO, que define el proyecto como una activi- llo frente a otros (capacidad de generar impacto en
dad destinada a conseguir ciertos objetivos espec- el largo plazo, entrar en relacin directa con el
ficos con un presupuesto dado y en un perodo de colectivo beneficiario, etc.) no le exime de ciertos
tiempo determinado. inconvenientes o desviaciones que pueden produ-
cirse en la ejecucin de los mismos.
En resumen, se encuentran en la literatura varias
definiciones del trmino proyecto, aunque siempre Por ello, como seala el Instituto Latinoamericano y
hay algunos elementos que se repiten y que son del Caribe de Planificacin Econmica y Social-ILPES
los que mejor lo caracterizan. En primer lugar, (1998), se hace necesario incrementar la racionalidad
entendemos el proyecto como un instrumento, una de las polticas en general y, por consiguiente, de
herramienta o un medio que permitir alcanzar los programas (o proyectos)2, que permitan ir dismi-
unos objetivos propuestos o unas metas orientadas nuyendo las deficiencias que se han encontrado en
a cubrir unas necesidades y conseguir ciertos cam- numerosas intervenciones de desarrollo.
bios en la realidad de determinadas personas. As,
Aun siendo el objetivo ltimo de un proyecto apro-
los grupos beneficiarios son los protagonistas del vechar el pasado para actuar mejor en el futuro, es
proyecto, bien como objetos de la accin de cam- conveniente que el proyecto sea una intervencin
bio o bien como sujetos del proyecto que partici- sobre la realidad debidamente planificada y gestio-
pan en el mismo, aprovechando sus potencialida- nada que intente eliminar las principales deficien-
des y recursos para hacer sostenibles las iniciativas cias inherentes al propio modelo de cooperacin.
puestas en marcha. A estos elementos hay que As, un sistema de gestin de proyectos de desa-
sumar el tiempo y el lugar de realizacin del pro- rrollo es un conjunto de procedimientos explcitos,
yecto. cuya finalidad es mejorar la toma de decisiones en
Los proyectos son, adems, por definicin, unida- relacin con la asignacin de recursos para el logro
des operativas estructuradas con base en un con- de objetivos a travs de la movilizacin de medios
junto de procesos tcnicos que responden a una adecuados para su obtencin.
concepcin econmica y tecnolgica. Se trata de La Comisin de las Comunidades Europeas seala
una unidad operativa en relacin con otras catego- dos elementos claves en la mejora de la gestin de
ras mayores en las que se inserta. proyectos de desarrollo:
Es por ello que es necesario distinguir los proyec- Generar procesos que incorporen calidad en la
tos de los programas y de las polticas, puesto que gestin del propio proyecto; mejor y ms rea-
son de escala menor que stos. Se habla de polti- lista definicin de objetivos, identificacin rea-
cas, cuando se hace referencia a grandes objetivos lista de los medios y recursos disponibles,
de desarrollo insertados en una estrategia; de pro- incorporacin de modelos participativos, res-
gramas, cuando son intervenciones especficas de peto a los valores socioculturales, incorpora-
esas polticas, y de proyectos, cuando su actuacin cin de la perspectiva de gnero, refuerzo de
es referida a un nivel local, y se caracterizan por la capacidad gestora de los organismos que
interactuar directamente con el colectivo beneficia- ejecutan el proyecto, cuidado de la salud finan-
rio. Los proyectos son componentes, partes o ele- ciera de los proyectos, impactos no previstos,
mentos de programa. Son centros de asignacin de etc.
recursos para desarrollar un programa dentro de un Concebir el proyecto como un todo integrado
plan o poltica. Son unidades operativas que cana- que permita establecer cierta disciplina para la
lizan recursos e intervienen actores que alteran la toma de decisiones en los momentos oportunos:
situacin inicial. desechar ideas iniciales no vlidas, realizacin de

2
El ILPES prefiere referirse a programas, dada la mayor amplitud del trmino y su referencia a recursos de operacin, ms que a recursos de inversin, como es el caso
de los proyectos (Ver ILPES: Gua para la identificacin, preparacin y evaluacin de programas sociales. Direccin de proyectos y programacin de inversiones. Santia-
go de Chile. 1998. Pgs 11-14).

8
Interior n 29 26/9/05 18:26 Pgina 9

estudios de factibilidad, financiacin realista, mentos esenciales a lo largo del ciclo, desde la pri-
seguimiento sistematizado de la ejecucin del mera idea hasta la ltima evaluacin a posteriori,
proyecto, posibilidades de reorientacin del mis- efectuada tiempo despus de la realizacin del pro-
mo, evaluacin como acopio de informacin yecto. Esto es lo que se ha denominado el Enfoque
para la toma de decisiones futuras, etc. Integrado (Comisin de las Comunidades Europeas,
1993).
La concrecin de esto se verifica en el denomina-
do ciclo de gestin del proyecto, que supone una Por ltimo, es necesario ser conscientes de la con-
atencin detallada e integral de todos los pasos por cepcin de desarrollo que est detrs de la gestin
los que un proyecto transita, desde su concepcin de proyectos de desarrollo. En esta lnea, Alan Tho-
como idea hasta la evaluacin final o posterior, mas (Development in Practice; 1999) retoma el
pasando por todas las etapas correspondientes. debate en torno a la buena gestin y establece dife-
Este instrumento debe inducir a todas las personas rencias entre la gestin del desarrollo, la gestin en
responsables de la concepcin, ejecucin y evalua- el desarrollo y la gestin para el desarrollo como
cin de los proyectos a tener en cuenta los ele- acciones distintas que pueden ser combinadas.

Cuadro 2
La gestin del desarrollo
El desarrollo como:
Proceso de cambio histrico Gestin en el desarrollo
(gestin en el marco del desarrollo)

Esfuerzos y acciones para progresar Gestin del desarrollo


(gestin de acciones de desarrollo)

Orientacin hacia el cambio progresivo Gestin para el desarrollo


(gestin bajo la orientacin del desarrollo)
Fuente: Thomas, Alan: What makes good development management? Development in Practice. Volumen 9. Numbers 1 and 2. February 1999. Pag. 11.

Hacer buena gestin, en general, en contextos de 1.2. La accin evaluadora


desarrollo, es diferente a gestionar bien las accio- es una constante en el ciclo
nes de desarrollo, entendido como un sumatorio de de vida de un proyecto
tareas e intervenciones. Entender la gestin para
el desarrollo implica aplicar a la gestin la orienta-
cin adoptada del desarrollo, para que dicha orien- Un proyecto de desarrollo puede entenderse
tacin gue todas las actividades de desarrollo rea- como un ciclo articulado y progresivo desde que
lizadas por organizaciones. Segn este autor, una se concibe como tal, se formula y se interviene,
buena gestin del desarrollo deber responder a la hasta el momento ltimo en que se valora si el
combinacin equilibrada de estas tres perspectivas. conjunto de actividades, medios utilizados y
resultados obtenidos han cumplido los objetivos
La gestin del desarrollo necesita operar bajo los propuestos. El proyecto de desarrollo constituye
valores predominantes de la concepcin escogida un ciclo, porque las distintas etapas, o momentos
de desarrollo (por ejemplo, si el desarrollo se a travs de los que se concreta son interdepen-
entiende como empoderador o participativo, tales dientes, conducen unas a otras y retroactan
conceptos aparecern reflejados en la gestin de entre s, de manera que para considerar conve-
los proyectos y en el seno de la organizacin que nientemente cada fase es necesario conocer el
los ejecuta). Adems, deber realizarse una buena contenido y desarrollo de las dems. Estas etapas,
gestin de las acciones. Para ello, es importante ya clsicas, aunque con diferentes nombres y
concebir la gestin de los proyectos, y del desarro- matices segn los distintos autores y agencias de
llo en general, como un todo interconectado. Vea- desarrollo, se estructuran mediante elementos
mos, entonces, qu es lo que se entiende por ges- conceptuales y tcnicos que incorporan una
tin integrada. metodologa determinada.

9
Interior n 29 26/9/05 18:26 Pgina 10

La Gestin del Ciclo del Proyecto es un mtodo de vida del proyecto. A pesar de la infinidad de apro-
trabajo que se aplica a las intervenciones de coo- ximaciones, el enfoque integrado y el marco lgico
peracin internacional para el desarrollo, extensible son los instrumentos ms utilizados por las agen-
a otras, y cuyo objetivo es definir un lenguaje cias y organizaciones europeas a la hora de abor-
comn para los organismos donantes y para los dar la gestin del ciclo de un proyecto3, sobre todo
que ejecutan, en relacin con las fases o etapas de en la planificacin y seguimiento del mismo.
Cuadro 3
El ciclo de vida del proyecto (The project cicle)

Preparacin

Fases del ciclo


de un proyecto
Evaluacin Implementacin

Todas las fases de la gestin de un proyecto pue- Al esquematizar el ciclo del proyecto, encontramos
den observarse desde dos puntos de vista claves: diversos trminos que se refieren a las etapas del mis-
mo, a veces subdividido en seis, siete o incluso ms,
Como una herramienta de trabajo que permite
dependiendo de los autores o agencias que lo han
conocer, analizar y actuar.
abordado. En este documento, y con la pretensin
Como un herramienta de aprendizaje que per- principal de simplificar el anlisis y ofrecer claridad
mite, a travs de la acumulacin de experien- en torno a la vida del proyecto, su gestin y las accio-
cias y conocimientos a lo largo de todo el pro- nes evaluativas que se realizan en cada una de sus
ceso, mejorar los futuros proyectos. etapas, optamos por una clasificacin en tres etapas.
Cuadro 4
Ciclo de vida de un proyecto de desarrollo en la cooperacin internacional
Etapas Preparacin Implementacin Evaluacin ex-post
Momentos Identificacin Formulacin Ejecucin Seguimiento Evaluacin de resultados o
Planificacin evolucin de impacto
Acciones - Anlisis de - Formulacin de - Ejecucin de - Control de la - Evaluacin del alcance de
participacin objetivos las actividades ejecucin de las las actividades y el logro
- Anlisis de - Definicin de - Ejecucin del actividades de los resultados
vulnerabilidad y resultados presupuesto - Control a la - Valoracin de la eficacia
capacidad - Programa de - Planes de ejecucin del - Valoracin de la eficiencia
actividades
- Anlisis institucional- trabajo presupuesto - Valoracin de la
DOFA - Elaboracin del - Grupos de - Seguimiento al sostenibilidad
presupuesto
- Anlisis de problemas trabajo equipo de trabajo - Valoracin de la
- Matriz de
- Anlisis de gnero - Reajustes en - Seguimiento de pertinencia
Planificacin con
- Estudios de viabilidad cronograma la poblacin - Evaluacin de la calidad
- Anlisis de EML beneficiaria - Valoracin del impacto en
alternativas - Establecimiento de - Reajustes y la poblacin beneficiaria
- Etc. indicadores de retroalmientacin directa e indirecta
progreso y de - Valoracin de los cambios
evaluacin en el largo plazo (gnero,
- Evaluacin de econmicos, sociales, etc.)
riesgos - Valoracin de efectos no
- Cronograma de previstos
ejecucin
- Etc.
Documentos Documento de Formato de Plan Operativo Informes de Informe de Evaluacin
diagnstico o de perfil Formulacin y Plan y planes Seguimiento ex-post
del proyecto Operativo semanales
Fuente: Elaboracin propia a partir de bibliografa.

3
Profundizamos dichos enfoques en la segunda parte de este documento.

10
Interior n 29 26/9/05 18:26 Pgina 11

Veamos a continuacin los tres momentos claves la situacin en la que se quiere intervenir, tomar
en la gestin de un proyecto de cooperacin inter- la foto de la situacin, evaluar antes de (ex-ante
nacional y las acciones evaluativas que se desarro- evaluation). Los elementos comprendidos en la
llan a lo largo del mismo, incluida la evaluacin ex- identificacin deben ser suficientes para valorar y
post o de impacto. poder tomar una decisin acerca de la conve-
niencia de pasar al siguiente momento, la formu-
1.2.1. La preparacin del proyecto lacin-planificacin.
(identificacin y formulacin-planificacin)
A lo largo de esta fase deben explorarse los pro-
La preparacin del proyecto es una etapa crucial blemas existentes, las personas afectadas por ellas,
destinada a sentar las bases del proyecto, estable- descubrir sus necesidades prioritarias y las poten-
ciendo la situacin ideal a la que se quiere llegar y cialidades o capacidades de que disponen para
concretando los elementos que configuran la reali- hacerles frente (CRE, 1997). El estudio del medio
dad que se quiere superar. (anlisis sociolgico donde se integran factores
polticos, sociales, culturales, econmicos, etc.)
Al hacer referencia a una primera etapa ms amplia debe ser un procedimiento para alimentar el pro-
de preparacin4 del proyecto se pone de manifies- ceso y ser til para la estrategia de determinacin
to la existencia de un proceso ms global que la de las acciones prioritarias (Beadoux, 1992).
identificacin, el diagnstico o la formulacin en s
mismas. Es decir, la preparacin aglutina estas Las herramientas utilizadas para la realizacin de
fases5, desde la idea inicial que da vida al proyec- este diagnstico o evaluacin ex-ante son, entre
to hasta la planificacin de todo el proceso, una otras, las siguientes:
vez aprobado el proyecto y establecido los indica-
dores de medicin del progreso del mismo. Cabe Anlisis de participacin: implicados en el pro-
resaltar la confusin que suele generar la literatura ceso, beneficiarios, donantes, ejecutores, otros.
existente en este aspecto, que suele utilizar indis-
Anlisis de vulnerabilidad y capacidad: anlisis
tintamente una terminologa u otra para referirse en
sistmico de los riesgos que amenazan a per-
la mayora de las ocasiones a la misma etapa inicial
sonas y comunidades y que les impiden llevar
del proyecto.6
vidas plenas.
Desde mi criterio, y segn las experiencias recogi- Comprender las causas de dichas amenazas, a
das en el marco de las ONGs de desarrollo, en la quines afectan en mayor grado y la evalua-
etapa de preparacin podemos considerar dos cin de la capacidad fsico-material, social,
fases o momentos: la identificacin y la formula- organizativa, actitudinal, etc. que permite esta-
cin-planificacin del proyecto. Existen numerosas blecer prioridades para la intervencin.
herramientas para la obtencin de informacin en
esta primera etapa, pero en la actualidad la Comu- Anlisis de problemas (rbol de problemas):
nidad Europea y las grandes agencias de coopera- anlisis causa-efecto de problemas y sus con-
cin optan por la aplicacin del ZOPP y el Enfo- secuencias en la poblacin estudiada.
que del Marco Lgico.
Anlisis institucional (DOFA): anlisis de debi-
Identificar un proyecto es perfilar una idea de lo lidades y fortalezas, as como de amenazas y
que se quiere hacer a partir del conocimiento de oportunidades de la institucin

4
Asumimos el trmino de preparacin del proyecto como la etapa que recoge toda la articulacin inicial del proyecto, antes de ser ejecutado. Para ello es necesario rea-
lizar un diagnstico o identificacin inicial que se presenta en el documento de formulacin (como solicitud de aprobacin ) y se detalla en la planificacin, una vez apro-
bado. Esta es la terminologa que utiliza el Banco Interamericano de Desarrollo (BID) en Evaluacin: Una herramienta de gestin para mejorar el desempeo de los pro-
yectos. Oficina de Evaluacin-EVO. Marzo 1997. http://www.iadb.org/cont/evo/spbook/evomain.htm (pg. 4)
5
En este punto nos referimos al trmino etapa como aquellos momentos principales de la vida del proyecto: La preparacin del proyecto, la implementacin y la evalua-
cin. Nos referiremos a fase como subdivisiones menores dentro de cada etapa.
6
Para mayor aclaracin sobre la terminologa, vase el Captulo sobre el ciclo de vida del proyecto en Gonzlez Gmez, Lara: La evaluacin en los proyectos de desarrollo.
Servicio de Publicaciones del Gobierno Vasco. Vitoria. 2001 (prximo a publicarse).

11
Interior n 29 26/9/05 18:26 Pgina 12

Anlisis de gnero: prestar atencin especial a cual simplifica la actividad, pero explicamos
las relaciones y roles de gnero, divisin del tra- ambos a continuacin:
bajo, el acceso a los recursos y el control sobre
El documento de formulacin (proposal en
los mismos, la posicin de las mujeres, etc.
ingls) es el formato que normalmente los
Es necesario que las personas implicadas (stake- organismos deben rellenar para presentar su
holders) estn identificadas y se haya precisado su propuesta de proyecto a una determinada enti-
papel futuro en el proyecto. En los perodos de dad, agencia o gobierno. Son estos ltimos los
identificacin suelen converger, al menos, tres ins- que establecen y facilitan el esquema y los
tancias bsicas: requisitos informativos solicitados a los propo-
nentes, que deben orientar el diseo del pro-
Las personas beneficiarias en general y sus yecto en esta direccin. En ese sentido, la
representantes. Unin Europea publica en internet los forma-
Las instituciones y agencias responsables de la tos para cada lnea financiable (por ejemplo,
organizacin y ejecucin del proyecto. Derechos Humanos y Democracia, Medio
Ambiente, Ayuda Humanitaria de Emergencia,
Las organizaciones o agencias responsables de
etc.) y los organismos demandantes deben ate-
apoyar y financiar la realizacin del proyecto.
nerse a dichos esquemas para presentar su
Las distintas posiciones de estas instancias, su propuesta de proyecto.
estructura organizativa y operacional y sus caracte-
En estos documentos inicialmente se solicitaba una
rsticas socioculturales contienen ya elementos sufi-
informacin general sobre la poblacin objetivo, la
cientes como para que sean entendidas sus caren-
entidad solicitante, el objetivo del proyecto, su jus-
cias, las posibles soluciones y las prioridades de
tificacin y unas actividades generales propuestas,
manera diferente.
seguidas de un presupuesto. En la actualidad, los
En el marco de la identificacin del proyecto tam- formatos han comenzado a integrar, en la mayora
bin se incluye el estudio de viabilidad. Reflexio- de las agencias internacionales, la Matriz de Plani-
nar sobre la viabilidad es interrogarse sobre las ficacin del Marco Lgico, estudios de viabilidad,
posibilidades de realizar la accin sin problemas, indicadores de seguimiento, planes de evaluacin,
y si se justifican los esfuerzos previstos para el etc. que requieren del documento de formulacin
logro de algn resultado. Dependiendo del tipo una planeacin operativa en toda regla.
de proyecto, habr que realizar un tipo u otro de El Plan operativo, plan de operaciones o docu-
anlisis de viabilidad. En las actividades de tipo mento de planeacin, es el documento de plani-
productivo, por ejemplo, hay que hacer un estu- ficacin por excelencia. En ste debe integrarse
dio econmico. Y en aquellas que consistan en el detalle de la accin programada, la matriz de
infraestructuras sern muy importantes las consi- planificacin del proyecto (con objetivos, resul-
deraciones tcnicas, la viabilidad organizativa, tados, actividades, indicadores, fuentes de verifi-
poltica, financiera, etc. cacin y riesgos) desde el enfoque del ZOPP o
del Marco Lgico. Este documento es el que, en
Una vez que han sido identificados los aspectos de
la prctica, gua toda la ejecucin del proyecto,
la situacin de partida que queremos modificar,
establece las actividades y las organiza en un
esbozado los objetivos que deseamos alcanzar y los
cronograma, detalla responsabilidades, tempora-
medios necesarios para obtenerlos, as como la via-
lidades en la ejecucin y, sobre todo, el plan de
bilidad de todo ello, es el momento para disear el
monitoreo y evaluacin durante la ejecucin.
proyecto y detallar la planificacin.
Un documento de formulacin-planeacin de pro-
En este segundo momento hay dos posibles
yecto debe reunir, al menos, tres caractersticas:
documentos que se manejan al interior de las
entidades. Uno es el documento de formulacin Servir de gua para la accin, de tal modo que
del proyecto y el otro es el plan operativo (pla- contenga las etapas de ejecucin, los recursos
nificacin). En ocasiones se maneja uno solo, lo disponibles, las temporalidades, etc.

12
Interior n 29 26/9/05 18:26 Pgina 13

Ser elemento de comunicacin, que exprese el cin del proyecto que tome las decisiones funda-
compromiso entre todos los grupos e institu- mentales frente a contingencias, reparto de las
ciones implicados en la puesta en marcha de la tareas y asignacin de recursos en el momento
accin. previsto; la constitucin de comisiones o grupos
Ser la base para la toma de decisiones, inclu- de trabajo para atender las tareas del proyecto; el
yendo la informacin necesaria que permita la conocimiento por parte de las personas intervi-
toma de decisiones, tanto con respecto al ini- nientes y beneficiarias de las actividades y accio-
cio del proyecto como en las posibles redefini- nes a realizar y la capacidad tcnica y financiera
ciones del mismo (MAE-SECIPI-AECI, 1998). de llevar a cabo lo planificado; y una comunica-
cin fluida, tanto entre las fuentes de financiacin
Hay dos ideas claves a tener en cuenta en la etapa del proyecto y el organismo que ejecuta el mis-
de preparacin (identificacin y formulacin) o de mo, como entre las diversas comisiones o grupos
la evaluacin ex-ante: de trabajo que se han creado y la poblacin
La pertinencia: es decir, si el proyecto es til y beneficiaria.
responde a las necesidades existentes. La per-
tinencia es bsicamente una cuestin de utili- La ONU se refiere al proceso de seguimiento como
dad, que sucesivamente conduce a decisiones ver/observar (watch or observe), donde el monito-
de ms alto nivel acerca de si se debe financiar reo y el control permiten observar el progreso del
el proyecto o permitir que ste contine. proyecto, anticipando posibles desviaciones de lo
planeado y realizar los ajustes necesarios. Se trata
La viabilidad: se dice que un proyecto es via- de un proceso continuo y metdico de recogida de
ble cuando el proyecto es capaz de procurar informacin y tratamiento de datos.
beneficios durante un largo perodo de tiempo,
despus de que lo esencial de la ayuda exte- La metodologa de evaluacin de la cooperacin
rior suministrada por los donantes haya llega- espaola define el seguimiento como aquella fase
do a su fin. del ciclo que se lleva a cabo de manera continua-
Reflexionar sobre la pertinencia y la viabilidad es da durante la ejecucin para controlar que la utili-
interrogarse sobre las posibilidades de realizar zacin de los recursos y la formalizacin de activi-
acciones necesarias que puedan mantenerse dades estn de acuerdo con el cronograma previs-
cuando la ayuda y los apoyos exteriores terminen. to (MAE-SECIPI, 1998: 36). Esto requiere que no se
pierda de vista el esquema dibujado en la formula-
cin, diseo y planificacin del proyecto, que de
1.2.2. La Implementacin del proyecto manera flexible pueda reorientar aquellos aspectos
(ejecucin y seguimiento) que aconseje la interpretacin de la evolucin del
La implementacin es la etapa de la realizacin del proyecto.
proyecto. Se refiere al durante del proyecto, y son
dos las acciones que se realizan: ejecucin y segui- El seguimiento es la etapa del ciclo de gestin que
miento. Son las dos caras de la misma moneda, no acompaa a la ejecucin de los proyectos, cuya
debiera existir la una sin la otra. Mientras ejecutar finalidad principal es mantener informadas a todas
el proyecto responde a la realizacin de las activi- las personas implicadas sobre el estado en que se
dades que estaban previstas en la planificacin, el encuentra la ejecucin y verificar en qu grado se
monitoreo es la realizacin del seguimiento a la estn realizando las actividades y alcanzado los
accin que se est desarrollando. resultados y objetivos previstos. Para ello, los pro-
cedimientos utilizados en el seguimiento debern
La ejecucin del proyecto presupone la existencia atender a un estudio comparado entre lo que esta-
de un plan operativo (planificacin) basado en la ba previsto y lo que se est realizando. Se estudia-
propuesta de financiacin, identificacin inicial y r la realizacin de las actividades segn lo planifi-
diagnstico. Para la ejecucin del mismo es nece- cado, y los resultados y objetivos en relacin con
sario una serie de requisitos, tales como: la exis- los indicadores que se establecieron para posibilitar
tencia de un organismo responsable de la ejecu- dicha medicin.

13
Interior n 29 26/9/05 18:26 Pgina 14

Cuadro 5
El proceso de ejecucin y seguimiento del proyecto
Ejecucin Seguimiento
Plan operativo de proyecto Plan de proyecto Informes de seguimiento
- Plan de trabajo. - Seguimiento externo (agencia).
- Recursos. - Seguimiento interno (local).
- Organismo responsable de la ejecucin. - Informe / Ficha de Seguimiento:
- Grupos de trabajo - Revisin de objetivos
- Actividades - Revisin de actividades
- Revisin de la planificacin: tiempo, costes, etc.
- Identificacin de cambios
- Establecimiento de previsiones
- Formulacin de recomendaciones

Fuente: Elaboracin propia.

El seguimiento (o monitoreo) es un proceso esen- hemos venido sealando, permiten el estableci-


cialmente interno a la ejecucin del programa que miento de ciertos cambios en el diseo del proyec-
permite descubrir las anomalas que surjan durante to, en la planificacin e, incluso, en los objetivos.
la ejecucin y paliarlas. Generalmente, el segui-
miento de los proyectos no debe suponer un siste- Esto es lo que se llama la evaluacin de progreso
ma sofisticado de medicin, pero es bueno que (mid-term evaluation) que trata de recoger informa-
responda a los indicadores de progreso. Una vez cin peridica para comprobar la implementacin
articulado el sistema que permitir llevar a cabo el del plan y, a su vez provee datos para la evaluacin
proceso de seguimiento, ste podr centrar su aten- de resultados y ex-post. Es la denominada evalua-
cin en todos los aspectos de la ejecucin del pro- cin formativa, que tiene como propsito principal
yecto que se estimen como relevantes. mejorar un determinado programa, poltica, grupo
de personas o producto (Patton, M., 1990).
Una manera de sistematizar la informacin recaba-
da durante el seguimiento es la realizacin de los 1.2.3. La Evaluacin (ex-post o de impacto)
Informes de Seguimiento. Estos informes tienen la Genricamente se ha concebido la evaluacin
funcin de configurar un balance crtico de los como el anlisis sobre la cantidad o el valor de
avances del proyecto con respecto a la realizacin algo. En el mbito de la cooperacin al desarrollo,
de sus objetivos y las posibilidades de obtener una una evaluacin puede entenderse como un proce-
eficacia duradera para los grupos destinatarios so encaminado a determinar sistemtica y objetiva-
(CCE, 1993). As, recogen de manera exhaustiva los mente la pertinencia, eficacia e impacto de todas
avances logrados en el proyecto en cada perodo, las actividades a la luz de sus objetivos. Se trata de
bien sea parcial (referido a un trimestre, por ejem- un proceso organizativo para mejorar las activida-
plo) o final, si recoge todas las actividades realiza- des todava en marcha y ayudar a la administracin
das y con resultados del proyecto desde el inicio en la planificacin y toma de decisiones futuras.
hasta el fin. La periodicidad de estos informes esta-
r condicionada a la naturaleza del proyecto, as La definicin ms utilizada para la evaluacin, den-
como a las exigencias de las agencias donantes y de tro del marco de la cooperacin al desarrollo, es la
las organizaciones que ejecutan el proyecto. Estos establecida por el CAD de la OCDE en su manual
informes, y el seguimiento en general, tal y como de la ayuda al desarrollo.

Cuadro 6
Concepto de evaluacin
La evaluacin es una funcin que consiste en hacer una apreciacin, tan sistemtica y objetiva como sea posible, sobre un pro-
yecto en curso o acabado, un programa o un conjunto de lneas de accin, su concepcin, su realizacin y sus resultados. Se tra-
ta de determinar la pertinencia de los objetivos y su grado de realizacin, la eficiencia en cuanto al desarrollo, la eficacia, el impac-
to y la viabilidad. Una evaluacin debe proporcionar unas intervenciones crebles y tiles, que permitan integrar las enseanzas
sacadas en los mecanismos de elaboracin de las decisiones, tanto de los pases de acogida como de los donantes.

Fuente: Comit de Ayuda al Desarrollo-OCDE: Manual de la ayuda al desarrollo. Principios del CAD para una ayuda eficaz. Mundi Prensa. Madrid. 1995. Pg 178.

14
Interior n 29 26/9/05 18:26 Pgina 15

Esta conceptualizacin opta por un tipo de evalua- zada la intervencin y su nivel de anlisis es ms
cin denominada intermedia o a posteriori, al refe- profundo, dado que valora con mayor certeza el
rirse al proyecto en curso o ya finalizado. Esta alcance de los resultados, si la accin result via-
denominacin responde a una de las clasificaciones ble, y analizando sus efectos una vez pasado el
posibles, pero es necesario poner de manifiesto la tiempo desde su finalizacin temporal (MAE,
diversidad de trminos existentes que se utilizan SECIPI, 1998).
para distinguir los diferentes tipos de evaluacin.
Una clasificacin interesante es la que ubica la eva- Seis son los elementos que se pueden tener en
luacin como integrante del ciclo de vida del pro- cuenta en el anlisis ex-post. Estos elementos con
yecto, desde una perspectiva de las etapas o fases frecuencia son confundidos en el lenguaje colo-
de intervencin del proyecto. quial, pero en la gestin de proyectos de desarro-
llo tiene sus diferencias etimolgicas y tcnicas. Se
La Evaluacin ex-post, que abordamos a continua-
trata del anlisis de eficacia, efectividad, eficiencia,
cin, es la que entraa un anlisis de efectos y
pertinencia, viabilidad e impacto8.
resultados del proyecto despus de haber sido eje-
cutado y finalizado. Es la llamada evaluacin suma-
tiva, tambin conocida como evaluacin de resulta- En resumen, la evaluacin puede ser entendida
dos o de impacto7, desarrollada una vez finalizado como una etapa propia (la evaluacin ex-post o a
el programa. posteriori), pero tambin como una accin que es
transversal a todas las etapas del ciclo del proyecto,
Una vez terminada la accin de desarrollo, dos al nutrirse constantemente de anlisis evaluativos,
tipos de evaluacin pueden realizarse: en primer tanto en la preparacin del proyecto, como en el
lugar, una evaluacin que consiste bsicamente seguimiento del mismo. La accin evaluadora es algo
en un anlisis de consecucin de resultados y, propio de todas las etapas del ciclo, dado que la pro-
eventualmente, del objetivo especfico de inter- pia naturaleza dinmica del proyecto y su perma-
vencin, acumulando toda la informacin produ- nente exigencia de toma de decisiones incorpora la
cida por el seguimiento, que se conoce como eva- necesidad de que stas se apoyen en consideracio-
luacin de fin de proyecto o de resultados (en nes bien fundadas. As, es necesario tener en cuenta
ingls, terminal o end of project evaluation). En la evaluacin dentro del ciclo de intervencin del
segundo lugar, y algo ms completa que sta, proyecto, junto con los distintos momentos en que
podemos encontrar la evaluacin ex-post o poste- pueden recogerse datos evaluativos y juicios valora-
rior, que se realiza tiempo despus de ser finali- tivos que de ella se derivan (ver cuadro).

Cuadro 7
Acciones evaluativas en el ciclo de vida del proyecto
Etapa Actividades propias Accin evaluativa Temporalidad
Preparacin Identificacin, Evaluacin de necesidades Evaluacin Ex-ante
(Antes del proyecto) Formulacin-Planificacin y potencialidades
Implementacin Ejecucin y Seguimiento Evaluacin de progreso Evaluacin intermedia
(Durante el proyecto)
Evaluacin Evaluacin posterior Evaluacin de resultados Evaluacin ex-post
(Despus del proyecto) e impacto

Fuente: Elaboracin propia.

7
Francisco Alvira en Metodologa de la evaluacin de programas. Cuadernos Metodolgicos. N 2. CIS. Madrid. 1991. Pag.41 establece diferencias entre ambos tipos de eva-
luacin, con base en el tipo de poblacin objeto de las mismas. Seala que la evaluacin de resultados busca definir los resultados del programa sobre la poblacin bene-
ficiaria, mientras que la evaluacin de impacto trata de analizar los efectos del programa sobre una poblacin ms amplia: la comunidad o pueblo. Incluso, en la actuali-
dad, se tiende a hablar de evaluacin de impacto como otra accin diferenciada. En este documento no se tendr en cuenta dicha diferenciacin, dado que considera-
mos que el impacto es una medicin necesaria en la evaluacin de resultados o ex post , y en la prctica sus metodologas son muy similares, lo que hace difcil su dis-
tincin. Por ejemplo, en Espaa se utiliza ms evaluacin de resultados frente a Colombia, donde el trmino evaluacin de impacto es ms comn, pero ambas se refieren
a una evaluacin realizada despus de terminado el proyecto.
8
En la segunda parte de esta exposicin se desarrollan estos elementos.

15
Interior n 29 26/9/05 18:26 Pgina 16

1.3. Las funciones de la observar que, a pesar de ser dos acciones com-
evaluacin ex-post plementarias del ciclo de vida del proyecto, pose-
frente al seguimiento en funciones diferenciadas. Son mltiples los
organismos y entidades que sealan su necesaria
Hasta aqu hemos presentado la evaluacin como relacin, hasta el punto de haberse generalizado
una etapa crucial integrada en la vida del proyec- el trmino M + E o S + E.
to, pero tambin como una accin constante que
atraviesa la vida del mismo. An as, la pretensin
de este trabajo es resaltar la evaluacin ex-post Pero hay que resaltar la distincin obligatoria que
como prctica necesaria y til para el desarrollo del cabe establecer entre ellos. En ese sentido, la mis-
proyecto y para la toma de decisiones futuras, con ma GTZ, en un documento propio sobre el Segui-
funciones diferenciadas al seguimiento y a otras miento en la Cooperacin Tcnica (Klinger, Stei-
acciones evaluativas (diagnstico) ms comunes en gerwarld; 1998), subraya la superacin del binomio
la gestin de proyectos. M + E como una sola funcin y su sustitucin por
Seguimiento con el fin de evitar malentendidos.
Parece clara la diferencia entre la evaluacin ex-post Mientras el monitoreo o seguimiento es una valo-
y la evaluacin ex-ante (o valoracin previa), realiza- racin continua, tanto del funcionamiento de las
da al iniciar un proyecto cuando se identifica la actividades del proyecto en el contexto de los
poblacin y su contexto. Pero no es tan fcil sepa- calendarios de su ejecucin, como de la utilizacin
rarla de la evaluacin intermedia (o seguimiento), lo de los insumos del proyecto por parte de las pobla-
que conlleva en muchas ocasiones a su no realiza- ciones fijadas como objetivo en el contexto del
cin bajo el pretexto razonado: nosotros ya realiza- diseo (Casley, Kumar; 1990), la evaluacin ex-post
mos un seguimiento constante a las actividades. es una valoracin a posteriori sobre la pertinencia,
eficacia, eficiencia y efectos del proyecto en el con-
Si ponemos la atencin en estas dos acciones texto de sus objetivos declarados. Para ello se
evaluativas, seguimiento (S) o monitoreo (M) y la requiere informacin procedente de fuera del pro-
Evaluacin ex-post o de impacto (E), podemos yecto, en tiempo, zona y poblacin.

Cuadro 8
Principales diferencias entre el Seguimiento y la Evaluacin ex-post
Seguimiento Evaluacin ex-post
Objetivo Recoleccin de informacin para la ejecucin Recoleccin de informacin para el aprendizaje de lo
y toma de decisiones respecto al proyecto realizado, lo impactado (efectos) y la toma de
decisiones futuras
Periodo de Proyecto en ejecucin Finalizado el proyecto
referencia
Necesidades Cumplimiento de planes y calendarios Cumplimiento de objetivos (eficacia)
de anlisis Revisin de funciones, actividades y productos Revisin de resultados
Percepciones de la poblacin beneficiada Percepciones de la poblacin sobre el proyecto
sobre la ejecucin y sus logros (efectos)
Situacin financiera. Relacin Eficiencia (recursos-resultados)
gastos/ presupuesto Pertinencia (necesidades)
Sostenibilidad (autonomia de la Poblacin beneficiaria)
Impactos (efectos no esperados)
Usuarios Entidad ejecutora Entidad ejecutora
primarios Poblacin beneficiaria Entidad financiadora
Otras entidades y agentes
Poblacin beneficiada
Poblacin no beneficiada-entorno
Fuente: Elaboracin propia.

16
Interior n 29 26/9/05 18:26 Pgina 17

Esto no supone que, pese a sus funciones distintas, cios valorativos a posteriori sobre el impacto que el
no haya caractersticas comunes que realzan la rela- proyecto logr en una poblacin beneficiaria
cin existente entre ellas. Incluso, ocurre con fre- durante una temporalidad concreta.
cuencia que se da el seguimiento sin la evaluacin
final (es decir, la evaluacin de progreso sin la de La evaluacin ex-post puede tener tres funciones
resultados), que slo permite juzgar la ejecucin de principales:
la intervencin sin poder concluir nada sobre la - Apoyar los procesos de gestin
bondad de la misma y su efecto en la poblacin
beneficiaria. Por otro lado, la evaluacin expost La evaluacin posterior recoge como informacin
sin el seguimiento resulta casi inviable. La evalua- primaria todos los documentos que se han ido
cin posterior requiere de una buena informacin recopilando en forma de seguimiento a las acti-
generada por el monitoreo dado que para poder vidades como apoyo a la gestin del proyecto
juzgar la eficacia y eficiencia de unas determinadas que se est ejecutando, dado que han debido
acciones en el cumplimiento de sus objetivos, va a orientar y reorientar las acciones programadas.
ser indispensable conocer los aspectos cuantitativos Por otro lado, la evaluacin posterior recoge
y cualitativos de la ejecucin de dichas actividades informacin sobre la ejecucin una vez el pro-
(Mokate, K., 1998). As, deber utilizarse la infor- yecto se ha terminado, lo que permite sacar con-
macin recopilada durante el seguimiento para la clusiones -en fro- sobre lo realizado con anterio-
evaluacin, pues una evaluacin carente de infor- ridad y aportar recomendaciones claves en el
macin proveniente de un seguimiento constante cambio y reorientacin del proyecto en el futuro
durante la ejecucin del proyecto tiene una ausen- (si se ampla) o de otros proyectos.
cia importante ya no registra los avances del pro-
La evaluacin posterior permite medir la eficien-
yecto, los cambios necesarios realizados en la pla-
cia en el desarrollo del proyecto, as como mirar
nificacin inicial y las reacciones continuas de la
los costes y la eficiencia del uso de los recursos
poblacin frente a la intervencin.
y descubrir si es necesario mejorar el modo en
que la organizacin realiza las actividades y
La necesidad de evaluar despus se pone de mani-
tomar correctivos para el futuro.
fiesto a la hora de promocionar y disear nuevos
proyectos en la misma lnea de los anteriores, o tra- - Controlar
tar de realizar otros proyectos similares en el mar-
co de un programa ms amplio. Lo que si parece La evaluacin tiene una importante funcin de
claro, tras analizar algunas experiencias de proyec- control financiero y contable, as como de la rea-
tos ejecutados por ONG en Amrica Latina, es que lizacin de las acciones. Esta funcin normal-
de toda accin realizada siempre se aprende algo. mente responde a las demandas de las agencias
donantes que necesitan la justificacin de lo
Algunas de las preguntas que se hacen muchos invertido en el proyecto, o a los requerimientos
operadores de proyectos de organismos de desa- de los gobiernos. Esta funcin es necesaria, aun-
rrollo son: para qu realizar evaluaciones posterio- que frecuentemente es mal percibida por los
res y detectar cosas negativas, una vez terminado el actores del terreno que temen las sanciones que
proyecto?, qu sentido tiene encontrar fallas que puede acarrear. A travs de la evaluacin de
daan el ambiente y ya no se pueden remediar?, eficiencia econmica y financiera se puede cono-
no es suficiente entonces el seguimiento continuo cer el grado de rentabilidad de los capitales, bie-
a los proyectos y ahorrar tiempo y dinero en eva- nes y servicios, una vez se ha terminado el pro-
luar despus? yecto. Tal y como seala el CAD en sus reco-
mendaciones, esta funcin debe concebirse de
La respuesta a estas preguntas viene dada por la manera distinta a la obligacin de justificar la uti-
finalidad que se le otorgue a la evaluacin ex-post. lizacin de los fondos pblicos, en un sentido
Por ello, veamos cules son las principales funcio- nicamente contable y jurdico, siendo estas
nes a las que a mi parecer debe responder una cuestiones competencia de las auditoras (CAD,
evaluacin, entendida sta como la emisin de jui- 1995).

17
Interior n 29 26/9/05 18:26 Pgina 18

- Aprender mediante acciones y juicios evaluativos, incluso


mediante la investigacin evaluativa en general,
Otra de las finalidades, y a mi parecer la ms inte- que se ha podido llamar la atencin de las perso-
resante, es entender la evaluacin como una herra- nas que toman las decisiones sobre las limitaciones
mienta de aprendizaje, que permite mejorar la ges- que tienen en ocasiones los esfuerzos de la ayuda,
tin de proyectos futuros, a travs de la considera- debido a imperfecciones, rigidez de las polticas
cin de las enseanzas sacadas del pasado. De seguidas por los donantes y por los pases benefi-
hecho, la realidad emprica de la gestin de pro- ciarios, la insuficiente coordinacin, falta de partici-
yectos es la que pone de manifiesto que el haber pacin, etc.
realizado evaluaciones en los ltimos tiempos, bien
de proyectos de desarrollo especficos, bien de
polticas de intervencin ms generales, ha contri- Como seala la Agencia noruega de desarrollo
buido a descubrir cuales fueron los errores cometi- (NORAD; 1997), la finalidad ms importante de la
dos y los caminos equivocados por los que se evaluacin es proporcionar conocimientos y expe-
orientaba la cooperacin, permitiendo aprender de riencias que puedan mejorar la calidad de la ayuda
los mismos y tomar decisiones que orientasen el al desarrollo. Es decir, invertir en comunicacin
futuro en determinadas direcciones. Por tanto, es orientada a la mejora mediante el aprendizaje.

Cuadro 9
Concepto de evaluacin
La evaluacin se refiere tanto al futuro como al pasado: es una va para valorar los resultados de las acciones pasadas, en aras a
incorporar dicho aprendizaje en la planificacin futura. Manteniendo una mirada crtica de lo ocurrido, la evaluacin puede:
- Determinar hasta que punto se han encontrado los objetivos y las metas.
- Valorar la relevancia, la efectividad, la eficiencia, el impacto y la viabilidad de lo que se ha logrado.
- Reconsiderar , a la luz de la experiencia, la validez de los supuestos del plan original.
- Indicar que puntos de vistas internos pueden ser ofrecidos para mejorar una prctica y una poltica de desarrollo ms amplia.

Fuente: Eade, D. And Wiliams, S.: The Oxfam Handbook of Development and Relief. An Oxfam Publication. Volume I. Oxford. 1995. Pg 415.

Es importante resaltar que la evaluacin puede y En conclusin, la evaluacin puede mejorar la gestin
debe contribuir a la mejora de las acciones de de los programas y proyectos de desarrollo, ayudar a
desarrollo, como proveedora de informacin para la gente a aprender de las experiencias pasadas,
el control, ayuda a la gestin y sobre todo en la incrementar la responsabilidad de los donantes en sus
influencia que ejerza en la toma de decisiones futu- demandas de que los recursos sean utilizadas con
ras. La evaluacin por ello debe ser debidamente efectividad, eficiencia y de acuerdo con los objetivos
organizada y expresada en un informe que ojal establecidos y, por ltimo, proveer de informacin
sea de dominio pblico. para una buena comunicacin entre organizaciones
locales, beneficiarios y donantes (Rubin,F., 1995).

18
Interior n 29 26/9/05 18:26 Pgina 19

2. LA EVALUACIN EX-POST:
HACIA UNA PROPUESTA INTEGRADORA
DE AGENTES, MODELOS Y HERRAMIENTAS

2.1. Quin realiza Los agentes externos son regularmente expertos


las evaluaciones? procedentes de universidades, consultoras, organi-
zaciones de investigacin, etc. La caracterstica que
Esta es una pregunta comn al plantearse la posi- define la figura del agente externo es que no tiene
bilidad de realizar una evaluacin ex-post, pues una vinculacin directa con el proyecto y no est
quines sean las personas responsables, en la prc- subordinado a nadie de la organizacin local (Pat-
tica, conlleva varias implicaciones. Incluso, en la ton, M., 1997). Con ello se espera aportar una
literatura existe una tipologa evaluativa segn los visin objetiva y crtica del desarrollo del proyecto,
agentes que la realicen. Se puede hablar de cuatro dado que dicha(s) persona(s) no est(n) implica-
tipos de evaluacin: da(s) en el mismo y puede servir tanto a la organi-
zacin que ejecuta el proyecto, como a las autori-
- La evaluacin externa
dades polticas u organismos donantes para funda-
- La evaluacin interna mentar la toma de decisiones. Esta modalidad de
evaluacin es apropiada cuando se van a observar
- La evaluacin mixta
cuestiones de responsabilidad, o cuando existe la
- La evaluacin participativa necesidad de un experto particular o de cierta
experiencia.
Cada uno de estos tipos se realiza por agentes dis-
tintos, normalmente con fines diferentes. La eva- - La evaluacin interna, autoevaluacin o realizada
luacin puede ser realizada por agentes externos al por agentes internos
proyecto y a la organizacin que lo implementa, la
evaluacin o autoevaluacin que realiza la propia Se lleva a cabo por personas de la organizacin local
ONG local, la que tiene en cuenta las intervencio- o encargada del proyecto, con la finalidad principal
nes de ambas y la que, por ltimo, cuenta con las de conocer los problemas o avances en sus activida-
aportaciones y la participacin de la poblacin des y as introducir los ajustes necesarios. Esta eva-
beneficiaria. La literatura reciente sobre evaluacin luacin es realizada por personas del propio progra-
recoge estas cuatro modalidades. Vemoslas a con- ma que lo conocen bien, saben cules son los obje-
tinuacin: tivos, problemas, fortalezas y debilidades del mismo
porque lo ejecutan directamente (seguramente las
- La evaluacin externa o realizada por agentes que han realizado el seguimiento del mismo).
externos
Algunos autores (Rubin, F., 1997; Estrella, M. y Gaven-
Se realiza con el concurso de personal tcnico o eva- ta, J., 1998) diferencian entre evaluacin interna y
luador experto procedente de otro medio, o que no autoevaluacin. En el primer caso, la evaluacin se
est involucrado en la implementacin y ejecucin realiza por una persona de la organizacin responsa-
del proyecto. Estas personas normalmente son esco- ble pero no vinculada directamente con el proyecto;
gidas por el organismo financiador, bien sea una y en el segundo, la evaluacin se realiza por los res-
ONG, una agencia o un gobierno y entregan infor- ponsables de la ejecucin que evalan de manera
mes directamente al organismo donante. regular como parte del seguimiento de actividades.

19
Interior n 29 26/9/05 18:26 Pgina 20

- La evaluacin mixta o realizada por agentes exter- posibilidad de xito. Si no se tiene en cuenta a
nos e internos los grupos beneficiarios en el proceso, stos
Es aquella que en su diseo y aplicacin participan asumen un rol de meros portadores de infor-
personal responsable del proyecto y agentes exter- macin. Cuando la poblacin se siente partci-
nos al mismo. A veces se conforma un equipo mix- pe de lo realizado, las informaciones son de
mayor cantidad y calidad.
to que integra agentes externos e internos al pro-
yecto con una diferenciacin de funciones, donde - La metodologa utilizada: en la realidad de los
los internos se encargan de los aspectos locales y proyectos donde el evaluador es comunmente
de la organizacin del proyecto y los otros se dedi- externo, hay un predominio de metodologas
can a los aspectos ms tcnicos, estableciendo extranjeras que dejan un papel meramente pro-
mediciones ms estandarizadas y objetivas, incluso vedor a la poblacin beneficiaria. Por el contra-
sirviendo de facilitadores-formadores en la cons- rio, en la evaluacin participativa cuando la
truccin de capacidades internas y viabilidad del poblacin beneficiaria es parte integrante del
proceso de monitoreo y evaluacin. equipo evaluador, se utilizan herramientas senci-
llas y grficas para la recoleccin del informacin,
Es una modalidad ms integrada y participativa, tomando parte activa de los distintos pasos que
donde se forma un equipo evaluador mixto que el proceso evaluativo requiere. As, todas las per-
aprovecha las ventajas del trabajo conjunto, minimi- sonas implicadas pueden tomar parte en decidir
zando las desventajas de ambos tipos de evaluacin. cundo y cmo evaluar, en la seleccin de los
- La evaluacin participativa o integrada por todos mtodos que se usarn, recogiendo y analizando
los agentes implicados los hechos ocurridos y la informacin, preparan-
do informes, decidiendo como usar los resultados
Esta incluye, en el diseo y desarrollo de la eva- y poniendo las recomendaciones en prctica
luacin, a todas las partes implicadas en el proyec- (Feuerstein, M.T., 1986).
to: agencias u organismos donantes, departamentos - Los costes: en el caso de los costes de cada
gubernamentales y municipales, ONGs externas, la modalidad, cabe sealar que a medida que se
ONG local u organismo que implementa el proyec- avanza en la escala de la participacin el coste es
to y la poblacin beneficiaria o sus representantes. mayor, bien en sentido econmico o temporal.
Especial atencin se concede a la participacin de Cuantas ms personas forman el equipo, el coste
los grupos beneficiarios. laboral es mayor al tener que contratar a un
Esta modalidad, que en la actualidad est adquirien- mayor nmero de personas. Este coste puede ser
do una gran relevancia, espera lograr mayores acep- reducido si las personas que representan a la par-
taciones de la evaluacin, as como de sus potencia- te local y a los grupos beneficiarios son las mis-
lidades en el aprendizaje y la toma de decisiones mas que participaron en la identificacin y segui-
futuras. As mismo, trata de elevar la conciencia miento del proyecto. En cuanto al coste temporal,
social y los compromisos de la poblacin implicada hay que sealar que a primera vista trabajar en
con relacin a sus necesidades, as como el desarro- equipo frente a un nico agente, bien sea exter-
llo del dilogo y la bsqueda de consenso entre par- no o interno, requiere de una mayor disponibili-
tes con intereses distintos. dad de tiempo. Ambos costes pueden minimizar-
se si se realiza el proceso de manera eficiente.
Al comparar estas cuatro modalidades observamos - La veracidad, fiabilidad y validez de lo observa-
diferencias que giran en torno a cinco puntos: do: en el caso de la veracidad, es comnmente
- Lo objetivo frente a lo subjetivo: se piensa que lo reconocido por las agencias extranjeras que los
externo siempre es ms objetivo y lo interno est agentes evaluadores externos son ms suscepti-
cargado de subjetividad. Pero, frente a estos bles de ser engaados que el personal interno,
extremos, la opcin de combinar distintas mira- dado que en muchas ocasiones el agente externo
das de la realidad que, a su vez, es compleja sue- es extranjero y es visto como una persona exper-
le proporcionar mayores garantas. ta contratada por la organizacin donante, gene-
- El papel de la poblacin beneficiaria: cuanto rando con frecuencia ansiedad y recelos entre la
mas participativo es el grupo evaluativo, mayor poblacin beneficiaria.

20
Interior n 29 26/9/05 18:26 Pgina 21

En el caso de la fiabilidad, es el agente externo el la validez es considerada como instrumento de


que conoce mejor los mtodos y tcnicas de obten- verificacin de que la informacin recogida es sig-
cin de informacin y por ello maximiza las posi- nificativa y correcta. Entonces, adems de verificar
bilidades de objetividad y utiliza tecnologa dura en si los resultados son vlidos por si mismos, es
cuanto a diseo e instrumentos. No por esto debe necesario revisar si los resultados son vlidos para
olvidarse que la tecnologa es una herramienta lo que se pretenda evaluar y orientar los resulta-
metodolgica muy valiosa, siempre y cuando no se
dos a los cambios futuros y a la mejora de la situa-
convierta en un fin en s misma.
cin, etc. Cuando los objetivos son concertados
Importante tambin es tener en cuenta el parme- entre distintas perspectivas, la validez de lo plane-
tro de la validez. Entre los investigadores sociales, ado aumenta.
Cuadro 10
Ventajas e inconvenientes de las diferentes modalidades de evaluacin segn los agentes que la realizan
Tipos de eva-
luacin segn Ventajas Inconvenientes
los agentes
Evaluacin - Asegura cierta objetividad. - Es personal ajeno al proyecto que no conoce
externa - No existe vinculacin personal con el proyecto. su desarrollo y puede no entenderlo, o no conoce
- Utiliza tecnologa sistematizada y estandarizada. la gente a la que beneficia.
- Maximiza la credibilidad social de la evaluacin. - La poblacin beneficiaria es sujeto pasivo y mero
- Es personal conocedor de los mtodos de proveedor de datos.
evaluacin. - Genera desconfianza, reactividad y ansiedad en la
- Suele tener experiencia acumulada de otras poblacin beneficiaria que desconoce sus propsitos.
evaluaciones (personal experto). - Genera inquietudes en las personas de la ONG local
o del organismo que ejecuta el proyecto.
- Poco tiempo disponible y altos costes.
Evaluacin - Conoce el proyecto muy bien, tanto su origen, - Mayor dificultad en conseguir objetividad en las
interna como su desarrollo e implementacin. valoraciones.
- Es parte de la estructura y organizacin. - Posible desconocimiento de mtodos y tcnicas
- Conoce a la poblacin, est familiarizado con el de evaluacin y posible falta de experiencia de otras
programa, la gente y puede interpretar sus evaluaciones.
comportamientos y actitudes. - Riesgo de realizar evaluaciones como justificacin
- No genera conflicto a priori entre la poblacin de lo realizado.
beneficiaria, ni en la organizacin, con lo que sus
recomendaciones son vividas con menos miedo.
- Costes bajos.
Evaluacin - Integra ambas perspectivas, maximizando sus - Se corre el riesgo de caer en una evaluacin engaosa
mixta ventajas y reduciendo inconvenientes de cada una donde los objetivos se establecen desde el donante,
por separado. estando ya tomadas las decisiones sobre el futuro cercano.
- Genera un equipo (mnimo 2) que debe ponerse - Requiere mayor coste econmico, material y temporal.
de acuerdo en qu evaluar, como hacerlo, cuando - El dilogo y la bsqueda de consenso es un proceso
y con quin. Los criterios de evaluacin no vienen lento que no siempre consigue el acuerdo.
impuestos. - Los grupos locales son sujetos pasivos que son requeridos
- Establece vnculos ms estrechos entre la ONG para la obtencin de informacin.
local y el organismo donante. - Poca participacin de la poblacin beneficiaria con la
- La recoleccin, desarrollo e interpretacin de los consiguiente falta de implicacin en la evaluacin
datos se realiza de manera conjunta. y en la toma de decisiones futuras.
Evaluacin - Mayor participacin de los grupos beneficiarios. - Aumenta el coste temporal de la evaluacin, dado que
participativa - Creacin de un equipo evaluador que integra, debe tenerse en cuenta el ritmo de tres actores distintos.
o integrada como mnimo, donante, contraparte y beneficiarios. - Posible del coste de la evaluacin dado que aumenta
- Mayor aceptacin en la poblacin. el nmero de participantes en el equipo.
- La poblacin es sujeto activo de la evaluacin y de - Los procesos de bsqueda de consenso son complejos
la toma de decisiones sobre la orientacin y y lentos.
sustentacin del proyecto en el futuro. - Las contrapartes y la poblacin beneficiaria desconocen
- Dinmica de dilogo, debate, negociacin y los mtodos y tcnicas de evaluacin. Sern necesario
compromiso. cursos de formacin.
- Se genera conciencia de compromiso, participacin - Potencial falta de inters y motivacin de la poblacin
y potencialidades en la poblacin. beneficiaria en la realizacin de las evaluaciones y posible
- Genera procesos de autoconciencia en la poblacin cultura del silencio.
de ser sujetos de su propio proceso de desarrollo. - Ser necesario afrontar el potencial conflicto generado
por las distintas motivaciones y los distintos intereses
que mueven a cada parte.
Fuente: Elaboracin propia.

21
Interior n 29 26/9/05 18:26 Pgina 22

2.2. La evaluacin ex-post Los modelos de evaluacin de programas datan


en los principales modelos de principios de siglo y la evolucin de los mis-
de gestin de la cooperacin mos avanza hasta nuestros das. As, se ha evolu-
cionado desde modelos ms rigurosos con esque-
internacional
mas cientifistas y objetivistas que pretendan esta-
blecer mediciones del logro de los objetivos
(Tyler, Stake, Campbell, etc.), hasta modelos que
En el caso de la evaluacin de programas, la litera- entienden la evaluacin como un proceso de
tura ha desarrollado a lo largo del siglo toda una negociacin entre los diversos agentes involucra-
tradicin en modelos evaluativos, sobre todo en el dos, utilizando esquemas ms flexibles y parti-
mbito educativo. En el mbito de la cooperacin cipativos (Guba, Lincon, Patton).
al desarrollo se han venido desarrollando algunos
modelos de gestin de proyectos que se aplican A lo largo de este siglo se han desarrollado varios
tanto a la etapa de planificacin como a la de modelos y perspectivas de evaluacin que han ido
seguimiento y evaluacin, pero no ha llegado a completando los modelos iniciales y ms sencillos
desarrollarse un modelo propio. Ms bien, los por otros cada vez ms participativos que permitan
modelos de planificacin se han tratado de aplicar a las comunidades beneficiarias ser dueas de sus
en la evaluacin ex-post. propios procesos de desarrollo.

Cuadro 11
Cuatro generaciones en evaluacin de proyectos
Guba y Lincon agrupan los modelos de evaluacin en cuatro generaciones:

1. Primera generacin: Nace en 1900 y se denomina evaluacin orientada a la medicin. Relacionada con la tradicin educati-
va y la gestin cientfica en la industria y los negocios. El rol del evaluador es tcnico para proporcionar instrumentos de
medida.

2. Segunda generacin: Se orienta a la descripcin del programa. Enfatiza el logro de los objetivos y analiza las fortalezas y
debilidades del programa para realizar revisiones. El evaluador es esencial para la descripcin, aunque todava son impor-
tantes sus funciones tcnicas.

3. Tercera generacin: El juicio es parte integral de la evaluacin. Este requiere que los objetivos se tomen como objeto de eva-
luacin, adems de las metas y el propio programa. El evaluador es considerado como juez y ayudante de los que toman
las decisiones y a establecer estndares para el juicio.

4. Cuarta generacin: Enfatiza la evaluacin como un proceso de negociacin que incorpora varios implicados. Reconoce que
las perspectivas de la gente y sus intereses toman mejor forma si se hace desde su sistema de valores. El evaluador tiene un
rol facilitador en el proceso negociador de los implicados, que participan en el diseo, implementacin e interpretacin de
la evaluacin.

Traducido de Guba, Egon y Lincon, Ivonne: "Fourth Generation Evaluation". Sage Publications. London 1989.

La economa ha desarrollado su propia evalua- Demos un repaso a las tres corrientes: el modelo
cin social de proyectos, que se ha aplicado a de Anlisis Costo Beneficio (ACB) y Coste Efecti-
programas y proyectos sociales. Por otro lado, y vidad (ACE) proveniente de la economa; el
de forma paralela, la cooperacin internacional modelo del Marco Lgico (EML), y los modelos
ha desarrollado especificamente el Enfoque del
participativos o de autogestin (DRP-PRA).
Marco Lgico o ZOPP, modelos evaluativos que,
si bien proceden de modelos de diagnstico y
planificacin, han interiorizado los elementos de 2.2.1. Los modelos de la economa
la tradicin evaluativa. Por ltimo, el creciente
desarrollo de los modelos participativos o de En el marco de la evaluacin cuantitativa, y sobre
autogestin merece dedicarles un apartado. todo en el campo de la economa, existen varios

22
Interior n 29 26/9/05 18:26 Pgina 23

modelos en lo que se conoce como evaluacin eco- mejor alternativa de la intervencin (antes de) o
nmica y social de proyectos (o evaluacin socioe- si la intervencin ha logrado los objetivos y ha
conmica de proyectos), algunos de los cuales se sido eficiente (Ex-post). Adems, si el proyecto
han tratado de aplicar en la evaluacin de grandes fue socialmente aceptado y aceptable, puede
proyectos de desarrollo social, sobre todo los medirse el rendimiento en trminos de resultados
implementados por la CEPAL, ILPES y el Banco e impacto en la poblacin beneficiaria.
Mundial.
Algunos de los modelos de evaluacin de la ren-
Tal como entienden los economistas la ciencia tabilidad econmica de los programas ha tratado
econmica, sta no se limita al anlisis de ganan- de aplicarse al mbito de proyectos sociales y de
cias financieras, sino que incorpora elementos desarrollo. Es el caso del Anlisis Costo-Beneficio
para la satisfaccin de necesidades (Castro, R y (ACB) y el Anlisis Costo-Eficacia (ACE).
Mokate, K., 1998). As, se puede entender la eva-
luacin econmica y social como el conjunto de Cualquier proyecto a realizar implica unos costos
herramientas que tiene el economista para poder a la espera de obtener unos beneficios. Si stos
analizar proyectos y polticas, con el propsito de pueden ser traducidos a unidades monetarias, es
destinar los recursos de tal manera que sea ms posible realizar la tcnica del Anlisis Costo-
benfica para la poblacin nacional. El problema Beneficio. El ACB se basa en el principio de com-
de la utilizacin de los recursos escasos pone en paracin: beneficios del proyecto con sus costos,
evidencia la necesidad de enfrentar dos grandes en el caso de que los primeros sean mayores que
retos: el primero, lograr asignar dichos recursos los segundos indica que el proyecto es rentable.
de una manera eficiente (lograr bienestar al Es importante tener en cuenta, que tanto costos
menor costo) y, por otro lado, asignar los recur- como beneficios se expresan en unidades mone-
sos de manera equitativa. As, segn sealan estos tarias.
autores, la evaluacin econmica pretende medir
en forma exhaustiva el aporte neto de un pro- As, puede entenderse por beneficio los resulta-
yecto al bienestar nacional, teniendo en cuenta dos netos, tangibles e intangibles, de un progra-
los objetivos de eficiencia y equidad. ma o proyecto, y por costo los recursos requeri-
dos para la implementacin de dicho proyecto
En los ltimos aos se ha tomado la conciencia (directos e indirectos). Si los costos y los benefi-
de la necesidad de aplicar los conceptos tericos cios de un proyecto se produjeran al mismo tiem-
convencionales del anlisis econmico a la polti- po no sera necesario tomar en cuenta la dimen-
ca social y, dentro de ella, a la prestacin de ser- sin temporal. Pero, seguramente, los costos del
vicios sociales y a los programas de accin social proyecto pueden extenderse durante varios aos
en general. Dado que el debate se centra en antes de que comiencen a darse beneficios. Esto
cmo asignar recursos escasos de manera que se plantea la necesidad de traducir los costos de hoy
pueda lograr una satisfaccin ptima de las nece- y los beneficios futuros a la misma unidad de
sidades humanas priorizadas, la evaluacin de la medida (Cohen, E., Franco, R., 1992). Esta opera-
eficiacia de los proyectos sociales tiene un com- cin se conoce como actualizacin a una Tasa de
ponente econmico claro (Aguilar, Ander-Egg, descuento.
1994).
Para comparar los costes y los beneficios de un
As, se hace necesario medir la rentabilidad eco- proyecto se consideran todos los ingresos y egre-
nmica y social de realizar inversiones en deter- sos del mismo, el valor relativo del dinero en el
minado campo, y sobre todo, se recupera la tiempo y la tasa de inters equivalente cuando se
importancia de la evaluacin econmica de los comparan magnitudes monetarias en momentos
programas sociales, tanto por razones de respon- distintos. Esto puede calcularse de varias formas,
sabilidad social de las instituciones y organismos pero las ms utilizadas son el valor actual neto
prestadores de servicios, como por criterios de (VAN), la tasa interna de retorno (TIR) y la rela-
rentabilidad que permitan analizar cul es la cin costo-beneficio.

23
Interior n 29 26/9/05 18:26 Pgina 24

Cuadro 12
Modelos de la evaluacin socioeconmica de proyectos
Medida de resultado
Modalidad Concepto Medida de costo Indicadores
o efecto
Anlisis Estudiar la relacin Unidad monetaria Unidad monetaria Valor presente neto
Costo-Beneficio entre los beneficios
del proyecto y su
costo
Anlisis Estudiar a qu costo Unidad monetaria Unidad de resultados Valor anual
Costo-Eficacia se logr el objetivo y equivalente (VAE)
(efectividad) si hubiera sido
posible lograrlo a un
coste menor
Anlisis Estudiar la utilidad del Unidad monetaria Unidades percibidas Ingresos Costos

Costo-Utilidad objetivo a un costo por el individuo de Costos
determinado forma subjetiva
Anlisis Estudiar los efectos Unidad monetaria Consumo de bienes y VPNE: Valor presente
Costo-Impacto del objetivo en el servicios neto econmico
consumo y el (numerario: canasta TIRE: Tasa interna de
bienestar de la de bienes y servicios retorno econmica
poblacin que se adquieren con (valoracin con
una unidad precios econmicos,
monetaria) no de mercado)
Fuente: Elaboracin propia a partir de la bibliografa.

Pero cuando los beneficios de los proyectos no La evaluacin econmica (eficiencia), desde el pun-
pueden ser expresados en trminos de unidades de to de vista terico, incluye todos los efectos, pero
moneda (lo cual ocurre en muchos proyectos de debido a la dificultad en la valoracin (determinar
cooperacin), una tcnica adecuada puede ser el el precio econmico) se recurre a realizar evalua-
Anlisis de Costo-Eficacia (Efectividad). Este mode- ciones especficas (por ejemplo, el componente
lo compara los costos con la potencialidad de ambiental) por fuera del modelo general. La eva-
alcanzar ms eficaz y eficientemente los objetivos luacin social (para considerar la equidad) es sub-
propuestos (en la evaluacin ex-ante) y analizar la jetiva y requiere de un organismo central que defi-
eficacia y la eficiencia del proyecto (en la evalua- na los parmetros a utilizar, de acuerdo con una
cin ex-post). El anlisis ACE puede proveer infor- poltica establecida en relacin con los aspectos
macin sobre los menores costos para alcanzar un distributivos. Adems, este tipo de evaluacin en la
objetivo y los datos sobre costes y precios de lograr prctica no permite la medicin de efectos sobre
diferentes objetivos. El ACE ex-post tiene una otras variables no econmicas (relaciones sociales,
secuencia lgica (Musto, S., 1975), cuyas etapas organizacin, liderazgo, etc.)
fundamentales son :
1. Identificar con precisin los objetivos del pro- 2.2.2. El Enfoque del Marco Lgico (EML)
yecto. y el Mtodo de Planificacin Orientada
2. Traducir los objetivos en dimensiones opera- por Objetivos (ZOPP)
cionales e indicadores.
El Enfoque del Marco Lgico (EML) o Logical Fra-
3. Especificar las alternativas que sern evaluadas. mework Approach (LFA) y el mtodo de Planifica-
4. Medir los recursos afectados en trminos cin Orientada por Objetivos o Ziel Orientierte Pro-
monetarios. jekt Planung (ZOPP) son dos mtodos ampliamen-
te utilizados en Europa que tienen sus orgenes, en
5. Medir el grado de logro de los objetivos. las agencias donantes de ayuda al desarrollo, en la
6. Comparar la alternativa de menor costo (entre necesidad de establecer pautas para la planificacin
las que alcanzan el objetivo) y la realizada. de los proyectos de desarrollo y mejorar su gestin,

24
Interior n 29 26/9/05 18:26 Pgina 25

permitiendo el seguimiento y la evaluacin de los y parte integral del ciclo de proyecto. Ms adelan-
mismos. te pas a ser el sello de fbrica de la GTZ en los
pases contrapartes donde desarrollaba proyectos.
En concreto, fue la Agencia Estadounidense de Coo-
peracin Internacional al Desarrollo (USAID) la que Aunque la mayora de los manuales consideran el
a finales de los sesenta (1969) elabor el primer ZOPP como una variante del EML (Toolkits,
Marco Lgico, tratando de reducir las deficiencias 1998), en Europa tiende a utilizarse como un mar-
de los proyectos de cooperacin, a partir de una co lgico especfico de los alemanes que le han
planificacin especfica y clara que pusiera las bases hecho aportes al inicial, pero que se trabaja de
para la evaluacin durante toda la vida del proyec- manera integrada. Ciertamente son metodologas
to. Se trata de una manera de estructurar los princi- que tienden a converger y puede decirse que se
pales elementos de un proyecto, subrayando los hacen entre s prstamos terminolgicos y de
lazos lgicos entre los insumos previstos, las activi- aplicacin9.
dades planeadas y los resultados esperados. Es una
forma de mejorar la lgica del plan de accin, ana- El EML, a nivel general, es una metodologa que
lizndolo en trminos de medios y fines. integra instrumentos y mtodos de anlisis que
permiten presentar de forma sistemtica y lgica
Fue entonces cuando comenz a extenderse entre los objetivos de un proyecto. Sus relaciones de
las agencias de cooperacin internacional de otros causalidad sirven para indicar si se han alcanzado
pases. La Agencia de Desarrollo Internacional de los objetivos y definir las hiptesis exteriores al
Canad (CIDA), la Administracin para el Desarro- proyecto o programa que pueden influir en su
llo de Ultramar Inglesa (ODA), la Agencia de Coo- consecucin, estableciendo los indicadores para
peracin Internacional Japonesa (JICA), la Agencia el seguimiento y la evaluacin. Es necesario pre-
para el Desarrollo Noruega (NORAD), etc. fueron cisar que ambos modelos fueron concebidos para
incluyendo en sus procesos marcos lgicos adapta- la planificacin de proyectos, pero tambin per-
dos a la manera de gestionar de cada pas. Lo mis- miten y facilitan el monitoreo y la evaluacin
mo ha ocurrido lentamente en las agencias de las posterior, al fijar los objetivos del proyecto de
Naciones Unidas como el PNUD, UNICEF y ms manera especfica, establecer los indicadores que
recientemente el ACNUR. Otros, como el Banco permitirn la comprobacin del alcance y las
Interamericano de Desarrollo (BID), han ido inte- fuentes de verificacin de los mismos. Veamos a
grando tambin en su gestin estas metodologas. continuacin sus caractersticas principales y la
metodologa propuesta para la evaluacin ex-
En esta lnea, la Agencia Alemana de Cooperacin post.
Tcnica (GTZ), tras poner a prueba el EML en los
setenta, desarroll a principios de los ochenta una El EML pone el nfasis en la estructuracin lgi-
ampliacin del mismo y en 1983 introdujo el mto- ca de los principales elementos de un proyecto,
do de planificacin ZOPP. Este modelo, basado en organizados en forma de matriz y subrayando los
el norteamericano, trataba de estructurar la planifi- lazos lgicos entre los insumos previstos, las acti-
cacin del proyecto con base en una serie de talle- vidades planeadas y los resultados esperados.
res (Zopp 1, Zopp 2... Zopp 5) a partir del trabajo Adems, se indican los factores externos o
en equipos interdisciplinarios e interculturales, don- supuestos que influyen en la realizacin satisfac-
de participaban las organizaciones contrapartes y toria de la intervencin. El ZOPP, por su lado,
los grupos destinatarios (Seufert, C.- GTZ, 1991). Si parte de la idea de que la cooperacin entre el
bien se introdujo provisionalmente en 1983, para personal del proyecto y las entidades contrapartes
1987 ya se haba incluido como norma obligatoria es ms fcil si se ponen previamente de acuerdo

9
En 1990, la Agencia Noruega de Cooperacin Internacional (NORAD) public El Enfoque del Marco Lgico: Manual para la planificacin de proyectos mediante objetivos,
advirtiendo que trata de integrar la metodologa desarrollada por las Naciones Unidas y la GTZ (IUDC, 1994). La propia Unin Europea lo asume en 1993, cuando la enton-
ces Comisin Europea publica La Gestin del ciclo de un proyecto: Enfoque integrado y el Marco Lgico, obligando a presentar proyectos bajo ese formato y aunando ambas
perspectivas. El Comit de Ayuda al Desarrollo de la OCDE lo promueve entre los pases europeos hasta el punto de estar totalmente ligado al ZOPP de la GTZ. Esta es la
razn principal por la que se expone de manera conjunta su metodologa.

25
Interior n 29 26/9/05 18:26 Pgina 26

en los objetivos. Abarca diferentes pasos de an- documentacin de todas las fases para apoyar la
lisis y de planificacin que sirven para determinar comunicacin y la toma de decisiones.
la situacin inicial, el sistema de objetivos y la
El EML-ZOPP se estructura a travs de dos grandes
concepcin del proyecto. Tal y como seala una etapas, subdividas en 5 momentos o pasos. La eta-
breve presentacin del mtodo, la propia GTZ pa analtica, que pone las bases para la planifica-
(Seufert, C., 1991), en la medida de lo posible, cin, y la etapa de construccin de la matriz de
dichos trabajos deben realizarse en equipo planificacin de proyecto-MPP, que trata de estruc-
mediante tcnicas de moderacin, visualizacin y turar el proyecto de manera lgica.

Cuadro 13
Metodologa del EML-ZOPP
Etapas Momentos
Etapa analtica - Anlisis de participacin
- Anlisis de problemas
- Anlisis de objetivos
- Anlisis de alternativas-Seleccin de estrategias
Etapa de construccin de la MMP - Construccin de la Matriz de Planificacin
- Lgica vertical: objetivo general, objetivo especfico, resultados y actividades
- Lgica horizontal: indicadores, fuentes y factores externos
Fuente: Elaboracin propia.

Dado que ya son conocidos los cinco pasos de esta La matriz de planificacin del proyecto (MPP) es un
metodologa, prestar atencin solamente a aquello conjunto de conceptos que se describen de modo
que est referido con la evaluacin ex-post: operativo en forma de matriz (cuadro de doble
1. Etapa analtica: se realizan todos los anlisis entrada), de tal forma que es posible verificar si la
referidos a la preparacin del proyecto (anli- intervencin ha sido instruida correctamente. Se
sis de participacin, problemas, objetivos y presentan de manera sistemtica y lgica los obje-
seleccin de estrategias)10. tivos, resultados y actividades de una intervencin
y sus relaciones causales (lgica vertical), detallan-
2. Etapa de construccin de la Matriz de Planifi- do los factores externos que pueden influir en el
cacin (MPP): determina la lgica de interven- desarrollo de esa lgica, los indicadores verificables
cin del proyecto, sus supuestos, indicadores, y sus fuentes para poder comprobar el cumpli-
fuentes de verificacin, insumos y costes. miento de los objetivos y sus resultados.
Cuadro 14
La matriz de planificacin
Indicadores objetivamente Fuentes de verificacin
Lgica de intervencin Hiptesis/Supuestos
verificables
Objetivo general
Objetivo
especfico
Resultados
Actividades Medios Costes

Fuente: Comisin de las Comunidades Europeas: Gestin del ciclo de un proyecto. Enfoque Integrado y Marco Lgico. Unidad de Evaluacin. Serie mtodos e instrumen-
tos par ala gestin del ciclo de un proyecto. N1. Febrero de 1993. Bruselas. Pg 23.

10
Toda la metodologa sobre esta primera parte se encuentra en los manuales sobre marco lgico y ZOPP. Revisar bibliografa y ver Gonzlez, Lara Enfoque del Marco Lgi-
co (EML) y el Mtodo de Planificacin Orientada por Objetivos (ZOPP): Metodologa para la gestin de proyectos desde la Cooperacin Internacional al Desarrollo en Revista
Tecnologa Administrativa. Departamento de Ciencias Administrativas y Centro de Investigaciones y Consultoras Administrativas. Universidad de Antioquia. Vol. XV. N35.
Enero- Marzo 2001. Medelln- Colombia.

26

Fuente: Elaboracin propia a partir de la bibliografa.


Interior n 29 26/9/05 18:26 Pgina 27

Esta matriz concisa, fcilmente aplicable y utilizable La Agencia Noruega de Cooperacin Internacional
en los informes, disminuye la carga de trabajo de las propone un modelo evaluativo basado en el for-
partes que intervienen en las diversas fases de un pro- mato del EML. Se trata de realizar un anlisis a
yecto. (...) Es un instrumento que permite ver clara- nivel agregado, basados en unos criterios denomi-
mente cmo va a evolucionar la intervencin, qu nados componentes de evaluacin, que son cons-
estrategia se va a seguir y qu medios se van a utili- truidos directamente sobre los elementos de la
zar. Durante el seguimiento y la evaluacin, este mis- jerarqua de objetivos. Es un modelo que se orga-
mo marco lgico sirve de punto de referencia para niza en tres dimensiones: la jerarqua de objetivos,
analizar los resultados y el impacto de la intervencin el conjunto de componentes de la evaluacin y los
(Comisin de las Comunidades Europeas, 1993: 23). factores de desarrollo.

Cuadro 15
La evaluacin en el EML
Se propone un modelo tridemensional
Componentes de evaluacin

Viabilidad La sostenibilidad del proyecto en el largo plazo

Pertinencia Direccin y utilidad del proyecto

Impacto Efectos del proyecto en el largo plazo

Eficacia Efectos del proyecto en el largo plazo

Eficiencia Logro de resultados


Objetivo Objetivo
Insumos Productos especfico general

Factores de desarrollo
Jerarqua de objetvos

Fuente: IUDEC-UCM, Cedeal, Norad: Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. Madrid. 1997. Pg 31.

- La jerarqua de objetivos los indicadores los elementos clave del proceso


de evaluacin ya que estos permiten saber en
Consiste en la comprobacin de los indicadores de qu medida se alcanz cada nivel de interven-
alcance para cada uno de los niveles de la matriz cin vertical.
en sentido vertical (objetivo general, especfico,
resultados y actividades). En esta parte pone nfa- b) Las fuentes de verificacin: indican de dnde se
sis el sistema de seguimiento del ZOPP. Para cada extrae la informacin necesaria para comprobar
uno de los niveles de la intervencin vertical debe- el cumplimiento de los indicadores. Las fuentes
r existir en la matriz unos indicadores, sus fuentes deben proporcionar informacin sobre la ejecu-
y los factores de riesgo en su logro. cin de cada uno de los niveles de la lgica ver-
a) Indicadores objetivamente verificables (IOV): tical. Las fuentes pueden ser de dos tipos:
para cada nivel de la estructura del proyecto - primarias: informacin generada por el mismo
debe haber alguna variable para medir el cam- proyecto.
bio. Los indicadores permiten a las personas
gestoras del proyecto y al equipo evaluativo - secundarias: informaciones generadas por otras
observar los logros del proyecto. Hay que eva- instancias, fciles de consultar y que aportan
luar el alcance de los objetivos y los resultados informacin relevante para la evaluacin del
en trminos de calidad y cantidad. Quizs son proyecto.

27
Interior n 29 26/9/05 18:26 Pgina 28

- Los componentes de evaluacin11 cuyo anlisis deber ser incluido en el trabajo de


evaluacin son los siguientes:
Los componentes bsicos de este modelo se articu-
lan tambin a travs de la matriz, estableciendo - medidas de poltica y prioridades en el pas
anlisis comparados: receptor;

- Eficiencia: anlisis de resultados segn el - organizacin, liderazgo y participacin local;


esfuerzo realizado (la inversin en insumos- - condiciones financieras y econmicas;
actividades). - factores tecnolgicos;
- Eficacia: pone en relacin el alcance del objeti-
- factores culturales;
vo especifico con los resultados logrados.
- Pertinencia: mide hasta que punto los resulta- - factores medioambientales y ecolgicos.
dos del proyecto y el logro de los objetivos
El propio marco lgico propone la realizacin de
estn aportando a las prioridades locales.
informes de progreso que revisen el proyecto, bajo
- Viabilidad: analiza si los efectos del proyecto, a un formulario basado en los elementos contenidos
partir de los cuatro niveles, podrn mantenerse en el EML; de tal forma que en el momento de la
en el futuro. evaluacin no sea necesario realizar investigaciones
- Impacto: estudia el alcance del objetivo general histricas detalladas, sino que sea suficiente estimar
sobre la poblacin beneficiaria, a partir de los el impacto y la pertinencia del proyecto, su rela-
efectos del proyecto. cin con los objetivos, grupos beneficiarios y otras
partes afectadas y, tambin, en relacin con los
- Los factores de desarrollo
insumos (NORAD-IUDC, 1993).
Hay que prestar una especial atencin a la evolucin
de los factores externos del proyecto, pues son las 2.2.3. Los modelos de la tradicin participativa
condiciones que deben existir si se quiere que el o de autogestin
proyecto tenga xito, pero que escapan al control
directo de la intervencin. Son factores ajenos al con- El concepto de evaluacin participativa no es nue-
trol del proyecto, que deben cumplirse para que se vo, y todava menos el de participacin o gestin
verifique la lgica de intervencin. Hay factores que participativa. Una definicin sencilla de la partici-
afectan a las metas, los resultados e, incluso, las acti- pacin, la considera como un proceso de comuni-
vidades. El seguimiento de estos factores permite cacin y accin que permite a un grupo de perso-
garantizar la ejecucin del proyecto. En el caso de la nas interesadas en su desarrollo articular sus nece-
evaluacin ex-post tienen gran relevancia pues apor- sidades e intereses y tener parte en su realizacin.
tan informacin sobre la sostenibilidad del proyecto. Pero el trmino participacin se usa en diversos
sentidos y no significa lo mismo para cualquier per-
Los aspectos o factores de especial importancia sona u organismo. Como seala la GTZ alemana su
para la viabilidad de un proyecto (OCDE, 1989) y significado puede abarcar diferentes grados.

Cuadro 16
Participacin: desde la colaboracin hasta la emancipacin
El significado de la participacin en un proyecto puede abarcar:
Desde la colaboracin en la ejecucin del proyecto Hasta la potencializacin de su capacidad poltica
- Colaborar en un proyecto definido y planificado por otras - Facilitar la autogestin del proyecto: diagnstico,
personas. planificacin, implementacin y evaluacin propias.
- Intervencin activa en el proyecto para garantizar - Participacin como capacitacin poltica y econmica.
la sostenibilidad.
- Iniciativa para la creacin de organizacin local,
- Consulta para conseguir informacin para el proyecto.
y fortalecimiento comunitario.

Fuente: Elaboracin propia.

11
En la tercera parte se amplan estos conceptos.

28
Interior n 29 26/9/05 18:26 Pgina 29

La participacin representa una contribucin volun- a partir de la cooperacin en las actividades, com-
taria del individuo a un determinado proyecto, bien partiendo informaciones y beneficios del proyecto.
en forma de trabajo, dinero, etc., entendido como Esto supone usar las capacidades de la gente para
deberes de la poblacin beneficiaria. Pero la parti- evaluar su propio avance, de modo que puedan
cipacin debe contemplar tambin sus derechos y aprender sobre su propio proceso, conocer nuevas
participacin en las decisiones que corresponde tcnicas de organizacin y gestin y, en definitiva,
tomar en todas las fases del proyecto: identificacin aumentar el sentido de responsabilidad sobre su
de sus problemas, de sus potencialidades, en la desarrollo.
planificacin, en la ejecucin y seguimiento, la eva-
luacin y reparticin de beneficios. La evaluacin participativa se ha utilizado para
diferentes propsitos y en diferentes sectores; pero,
En los aos setenta ya se dan experiencias en el como recogen Gaventa, J. y Estrella, M. (1998) en
campo del desarrollo, y en los ochenta el concep- su revisin de la literatura existente sobre evalua-
to de evaluacin participativa haba entrado en cin participativa, la mayora de las experiencias
gran cantidad de agencias donantes. La partici- documentadas sobre monitoreo y evaluacin parti-
pacin popular estaba siendo gradualmente acepta- cipativa provienen de sectores agrcolas, medioam-
da como requisito para la planificacin e imple- bientales y de desarrollo rural.
mentacin exitosa de proyectos de desarrollo, y en
Son cinco las funciones claves de la gestin parti-
los noventa se convirti en un requisito indispen-
cipativa:
sable (Rudquist, A., 1991).
1. Valoracin del impacto.
Los mtodos y aproximaciones participativas que
2. Planificacin y gestin de proyectos.
se fueron desarrollando en los aos ochenta eran
ms apropiados para los trabajadores del desarrollo 3. Fortalecimiento organizacional y aprendizaje
y fciles de comprender a niveles comunitarios institucional.
(Feuerstein, M.T., 1986). La evaluacin participativa
4. Entendimiento y negociacin de las perspecti-
significa incluir a la gente en la toma de decisiones
vas de las partes implicadas.
en el proceso sobre lo que debe hacerse y en qu
manera, implicarles en el seguimiento del programa 5. Responsabilidad pblica.

Cuadro 17
Los cuatro principios de la evaluacin participativa
1. El principio de la participacin: enfatiza la participacin de las partes implicadas en los diferentes momentos de
la evaluacin (decisin, ejecucin y uso de resultados).

2. El principio de aprendizaje: es una evaluacin orientada a la prctica y al aprendizaje de la accin. Se trata de


una experiencia educativa donde la gente se hace ms consciente de sus posibilidades, su realidad social, sus
visiones y perspectivas del desarrollo, etc.

3. El principio de negociacin: se trata de un proceso social para la negociacin entre las diferentes necesidades
de la gente, sus expectativas y sus visiones del mundo.

4. El principio de la flexibilidad: los diseos evaluativos gozan de flexibilidad para ser adaptados a cada realidad
cambiante y las condiciones del contexto.

Fuente: Estrella, M., Gaventa, J.: Who Counts Reality? Participatory Monitoring and Evaluation: A Literature Review. Working Paper N 70. Institute of Development Studies.
(IDS). 1998.

Estos enfoques destacan la importancia de incluir a to al identificar las potencialidades y debilidades de


la poblacin beneficiaria en el proceso de evalua- su gestin, se incrementa la capacidad local en eva-
cin, argumentando que con ello se mejoran los luacin y permite compartir experiencias a travs
procesos de desarrollo, se consiguen resultados de la documentacin producida a partir de la par-
ms reales, se mejora la sostenibilidad del proyec- ticipacin.

29
Interior n 29 26/9/05 18:26 Pgina 30

Desde los aos setenta hasta hoy, los enfoques par- Se trata de una gran familia de enfoques y meto-
ticipativos han tenido una expansin creciente. Dos dologas que posibilitan el anlisis del conocimien-
de las razones principales, las recoge Ignacio Galle- to de las condiciones de vida de la comunidad, pla-
go (1999): una la inclusin de la participacin en la nificarla, ejecutarla, monitorearla y evaluarla.
evaluacin como prolongacin del modelo de
desarrollo centrado en la gente, por el cual es
necesario adaptar los diseos y la gestin de los Los modelos participativos, y sobre todo el DRP,
proyectos a la poblacin a la que van dirigidos; y, se construye sobre la base de la confluencia de
la otra, la reaccin de las agencias donantes y otras muchas fuentes y tradiciones participativas del
instituciones ante la necesidad de garantizar la sos- siglo XX. Cuatro son sus principales influencias
tenibilidad de los proyectos, una vez retirado el desarrolladas en su mayora en los setenta y
apoyo externo. ochenta, en torno a la investigacin-accin parti-
cipativa (Participatory action Research-PAR) de
Como recoge Robert Chambers, uno de los padres Paolo Freire en 1972 y la Participatory Research
del enfoque participativo, se fueron desarrollando de Fals Borda; los anlisis agroecolgicos (agro-
experiencias, enfoques y mtodos, sobre todo en ecosystems-analysis y field research on farming
pases del Sur, aunque de una manera dispersa, systems); la Antropologa aplicada (applied
que han confluido en el Participatory Rural Aprais- antrophology) y el Diagnstico Rural Rpido-DRR
sal (PRA) o Diagnstico Rural Participativo (DRP). (Rapid Rural Apraissal-RRA).
Cuadro 18
Principales contribuciones al Diagnstico Rural Participativo
Enfoque Principales aportes al DRP
Investigacin - accin - participacin - Se aprende haciendo.
- Los agentes externos tienen un papel facilitador y catalizador.
- Las personas pobres deben ser empoderadas.
- Las personas pobres pueden y deben hacer su propia investigacin,
anlisis, planificacin y evaluacin.
Anlisis agroecolgico - Conocimiento, profesionalismo y racionalidad de los pequeos granjeros.
- Tcnicas de visualizacin y representacin.
- Transectos (paseos sistemticos y observacin).
- Mapeo.
- Diagramas de estaciones, de flujo, causales, de barras, de Venn.
- Valoracin innovadora (puntuaciones y rankings).
Antropologa y Etnologa Social - -Idea de que el aprendizaje debe ser flexible.
- Valor de las observaciones y apreciaciones de la poblacin.
- Importancia de las actitudes y comportamientos.
- Diferenciacin entre lo emico y lo etico.
- Riqueza y validez del conocimiento tcnico indgena.
Diagnstico Rural Rpido - Conexin con la poblacin.
- Metodologa flexible y rpida.
Fuente: Basado en Chambers, Robert: Whose reality counts? Putting the first last. Intermediate Technology Publications. London. 1997. Pgs: 104- 112.

En la mitad de los ochenta el trmino participacin ron finalmente en el PRA o Diagnstico Participati-
entra en el vocabulario del RRA. La publicacin de vo Rpido. Su desarrollo ha alcanzado altos niveles
Michael Cernea (Putting the last first, 1985) pone durante los aos noventa, tanto en su aplicacin en
de manifiesto su experiencia de aos anteriores, y el Sur como su asuncin por gran parte de agen-
comienza a conectar participacin y metodologa cias financiadoras.
del RRA. A su vez, se realizaron avances en Kenya
y la India en ONG y en organizaciones guberna- La clave principal, en el caso de la evaluacin
mentales a finales de los ochenta, que desemboca- bajo DRP, es considerar a la informacin, el an-

30
Interior n 29 26/9/05 18:26 Pgina 31

lisis y las conclusiones de la misma como propie- cin de los mismos. El DRP pretende animar y per-
dad de los miembros de la comunidad. Esto per- mitir que ellos y ellas se renan, determinen su
mite que ellos analicen su propia situacin, agenda de trabajo, recojan la informacin, la expre-
tomen decisiones por ellos mismos y, en definiti- sen, compartan y analicen, para despus tomar
va, el proceso aporte mayor poder a la comuni- decisiones.
dad (empoderamiento).
As, esta metodologa aplicada a la evaluacin del
Tres son las principales caractersticas del modelo proyecto pretende poner el acento en:
DRP:
- La capacidad de la poblacin para evaluar su
1. La triangulacin: la informacin recogida se proyecto.
hace por diferentes medios para asegurar su
objetividad y mediante un grupo multidisci- - El valor de la compenetracin y el comporta-
plinario. miento facilitador de los agentes externos.

2. Informalidad y flexibilidad: los mtodos de - Compartir la informacin mediante diagramas


investigacin son semiestructrados y permi- y tcnicas visuales.
ten ser readaptados a cada realidad. - Expresar y analizar la complejidad por ellos
3. Con la comunidad: la mayora de las activi- mismos.
dades evaluativas se realizan conjuntamente
con los miembros de la comunidad. Para todo esto, se realizan talleres, seguidos de tra-
bajos de campo para conseguir y analizar la infor-
Una de las principales diferencias que sealbamos macin. Las principales herramientas son: el anli-
entre el DRP y el DRR era el nfasis en la partici- sis de fuentes secundarias, la observacin directa y
pacin y en el compartir datos, frente a la obten- las entrevistas semiestructuradas.

Cuadro 19
Tcnicas utilizadas por el PRA-DRP
Anlisis visual Mtodos de entrevista y muestreo Dinmicas de grupo
- Mapas - Entrevista semi-estructurada - Grupos contractuales
- Anlisis fotogrfico de reas - Observacin Directa - Sesiones de revisin
- Paseos grupales - Grupos focalizados - Guas de entrevista
- Calendarios de estaciones - Informantes clave - Redaccin de informes rpidos
- Perfiles de actividades - Historias de vida - Trabajo compartido
- Perfiles histricos y anlisis de tendencias - Mapas sociales - Presentaciones compartidas
- Cronologas y lneas temporales - Diarios y notas
- Matriz de puntuaciones y ranking de
preferencias
- Diagrama de Venn y trabajo en red

Fuente: Traducido de Cornwall, A., Guijt, I., and Welbourn, A.: "Aknowledging Process. Challenges for Agricultural Research and Extension Methodology". IDS Discussion
Paper n 333. Institute of development Studies. Brighton, 1993. Pg. 22.

2.3. La apuesta por un modelo rrollada a lo largo de la vida del proyecto, tanto en
integrador de agentes, la planificacin como en el seguimiento, sern fac-
modelos y herramientas tores que determinen, el modelo a elegir.

La gran variedad de modelos existentes en la litera-


tura obliga a las personas responsables de la eva- Tras estudiar algunas experiencias realizadas en
luacin a elegir el ptimo, con base en el tipo de cada uno de los modelos desarrollados anterior-
proyecto implementado y en sus propios objetivos. mente, y analizadas algunas de las ventajas e
Por esto es importante sealar que no existe el inconvenientes de su aplicacin por separado, pre-
modelo generalizable para todos los proyectos, si sento una propuesta (flexible en todo caso), cuya
no que la disponibilidad de recursos humanos, tc- caracterstica es la combinacin e integracin de
nicos y econmicos, as como la metodologa desa- agentes, modelos y herramientas.

31
Interior n 29 26/9/05 18:26 Pgina 32

2.3.1.Algunas dificultades de la aplicacin por sepa- lita los procesos de sistematizacin de la informa-
rado de los modelos presentados cin, dada la dificultad de codificacin de los mis-
mos y su anlisis requiere finalmente una estructu-
Comparando con los modelos de la economa, en los racin con base en categoras que pueden estar
que a nivel conceptual parece claro y sencillo, no lo establecidas desde fuera. As, lo que puede parecer
es tanto a la hora de su aplicacin en proyectos un proceso participativo, se convierte en recogida
sociales o de desarrollo social. Porque lo que es una de informacin que no deriva en un empodera-
buena tcnica de anlisis para proyectos puramente miento real de la comunidad.
econmicos, no lo es tanto en el caso de que los
beneficios no pueden ser valorados en moneda, lo En relacin con la aplicacin del marco lgico, hay
cual en el mbito social es frecuente. que sealar que lo que son algunas virtudes del
modelo a nivel terico, en ocasiones se han ido
Para su aplicacin se requiere que alguien tenga desvirtuando en la prctica de gestin y evaluacin
experiencia en este tipo de anlisis, lo cual no siem- de los proyectos de desarrollo. As, tras haber
pre es fcil de encontrar en el mbito de las ONG. observado directamente algunas experiencias de
Adems, el ACB no siempre es relevante para pro- campo en Colombia y estudiado la sistematizacin
yectos de desarrollo social donde el logro de deter- de experiencias de otros pases, me permito sea-
minados objetivos es deseable y necesario, indepen- lar algunas de las debilidades de la aplicacin uni-
dientemente del costo, ya que existen razones polti- lateral de esta metodologa en la evaluacin de
cas, sociales o culturales por las que se considera proyectos de desarrollo.
que la realizacin del proyecto contribuye al logro de
unos objetivos generales en la sociedad. La rentabili- Si bien el marco permite realizar variantes y acomo-
dad no se puede circunscribir slo a criterios econ- daciones segn el contexto en el que se aplique, en
micos, si no que debe considerar tambin los socia- la realidad, esta metodologa puede generar rigideces
les o polticos. (Aguilar, Ander-Egg., 1994). cuando se toma de manera inflexible o se absoluti-
zan los objetivos. Y esto es lo que ocurre en innu-
Los modelos participativos o de autogestin no merables ocasiones. Como seala la GTZ, el modelo
estn exentos de algunos peligros en su aplicacin. se ha vuelto a veces un fin en s mismo, donde el
En ocasiones se da demasiada importancia a los objetivo es rellenar la matriz como sea y cumplir
mtodos y se olvida la relevancia del comporta- rigurosamente los pasos del marco, sin tener en
miento, tratando de dominar y meter prisa, olvi- cuenta las verdaderas necesidades de la poblacin y
dando que el rol de los facilitadores es orientar y sus ritmos de trabajo (Seufert, C.-GTZ, 1991).
acompaar. Adems, en muchos casos se contrata
Por otro lado, y tras la proliferacin de agencias
a expertos del Norte para ese anlisis, cuando las
que asumen el marco lgico como metodologa
personas mejor capacitadas estn, en ocasiones, en
nica de anlisis, su utilizacin se ha convertido
los pases llamados en desarrollo.
ms en una obligacin que en una propuesta
Los mayores detractores de este modelo sealan abierta y flexible. As, toda aquella organizacin
que no es vlido para la cooperacin internacional, que pretende acceder a recursos de la coopera-
dado que no permite generalizaciones, pues se cin internacional debe seguir los pasos de esta
centra en las especificidades de la comunidad del metodologa, aunque no la conozca en profundi-
proyecto analizado, y no responde a los estndares dad. Es por ello que en la mayora de oficinas de
de la cooperacin internacional. Adems, la subje- proyectos de ONG u otras entidades de pases en
tividad de las personas puede cruzar los resultados vas de desarrollo, o pases europeos que preten-
y dar una visin falsa de la realidad , sin que haya den presentar proyectos a instancias internaciona-
posibilidad de comprobar la fiabilidad y validez de les, asumen la utilizacin del marco casi por obli-
los datos al no ser estandarizados. gacin, disendose unilateralmente desde una
oficina, poniendo poco nfasis en la participacin
En otras ocasiones, la realizacin de estos modelos de la poblacin beneficiaria y realizando la matriz
de preponderancia cualitativa, con nfasis en la de planificacin directamente desde el escritorio
visin subjetiva y construida de la realidad, no faci- de los ejecutores o donantes. Por otro lado, el

32
Interior n 29 26/9/05 18:26 Pgina 33

diseo de los indicadores de seguimiento y eva- puestas en marcha en cada organizacin que sean
luacin, en la mayora de las ocasiones, es bas- capaces de incorporar los avances de unos y otros.
tante dbil. Bien haciendo posible integrar unas corrientes con
otras, bien combinando metodologas cuantitativas
A nivel operativo, la utilizacin del marco lgico y cualitativas, as como haciendo que dialoguen los
requiere de una previa capacitacin y entrenamien- diversos agentes del desarrollo. Todo ello en el
to en el manejo, pues la definicin de resultados y contexto del pas donde se desarrolle, su cultura de
de indicadores para su medicin no es tarea senci- la gestin y la evaluacin, as como el tipo de pro-
lla en la prctica. yecto de que se trate.
El uso del marco, sin complementarlo o combinar- Tres ideas caracterizan este modelo integrador:
lo con otras tcnicas ms sencillas resulta comple-
jo para organizaciones comunitarias o grupos de - La conformacin de un equipo de evaluacin
bajo perfil acadmico. Adems, se trata de una lgi- - La articulacin de diversas metodologas
ca occidentalista donde la relacin causa-efecto
- La triangulacin de mtodos
puede resultar rgida en ciertas culturas. La realidad
social es ms bien sistmica que de relaciones ver- 1. La conformacin de un equipo de evaluacin
ticales, donde los problemas se hallan interrelacio-
nados entre s de manera compleja. Adems, todo Siempre que sea posible, el equipo deben confor-
el proceso evaluativo tiende a centrarse en el an- marlo, al menos, tres personas. Una persona interna
lisis del progreso cuantitativo ms que sobre lo de la organizacin ejecutora que conozca bien el
cualitativo (y los efectos sobre los hbitos de la proyecto, sea responsable del seguimiento y los
poblacin beneficiaria), y no se incluye en la matriz indicadores de progreso, posea toda la documenta-
una columna que establezca las personas respon- cin del proyecto y tenga contactos con la poblacin
sables de la verificacin y la comprobacin de los beneficiaria. De otro lado, si se dispone de recursos
indicadores de progreso (lo cual deriva en que puede integrar a un consultor externo (nacional o
finalmente no se lleve a cabo). internacional) conocedor de herramientas cualifica-
das y que aporte una visin objetiva y externa al
En relacin con proyectos de corta duracin o de proceso. Por ltimo, pero no menos importante,
ayuda humanitaria (conflictos armados, terremotos, puede participar en el diseo y ejecucin de la
desastres, etc.) la matriz de planificacin resulta investigacin evaluativa algn representante de los
compleja y poco prctica si se establece con rigi- beneficiarios, bien de la comunidad o de organiza-
dez, dada la flexibilidad requerida por la emergen- ciones comunitarias ligadas a las mismas.
cia y la importancia que cobran los supuestos
externos que necesariamente obligan a realizar Las cualificaciones que tengan los miembros del
ajustes permanentes sobre lo planificado en cuanto equipo evaluador, en trminos profesionales,
a resultados y sus indicadores. humanos y de experiencia, es importante para el
xito del estudio evaluativo. La calidad humano-
Por ltimo, la valoracin de los cinco criterios personal es una caracterstica que no siempre se
esenciales (eficacia, eficiencia, pertinencia, viabili- considera y en ocasiones es la ms importante.
dad e impacto) ha tenido escasa difusin pblica y Cualidades como la capacidad de trabajar en
pocos son los organismos que priorizan los anlisis equipo, comunicacin, dilogo, entendimiento,
a posteriori, frente a la medicin de la realizacin compresin y empata con los otros miembros
de actividades. son vitales si se ha decidido trabajar en conjunto
y construir una evaluacin que pretenda ser hols-
2.3.2. Una propuesta flexible tica e integral.

En la propuesta de una nueva perspectiva integra- No es necesario que todas las personas implicadas
da que busca responder al conocimiento del (stakeholders) renan las mismas caractersticas,
impacto real de los proyectos en la poblacin sino que deben ser producto de las sinergias pro-
beneficiaria, es necesario fortalecer metodologas ducidas por los conocimientos y experiencias de

33
Interior n 29 26/9/05 18:26 Pgina 34

Cuadro 20
Equipo de evaluacin
El trabajo de evaluacin requiere que el equipo rena gran parte de las caractersticas que a continuacin se detallan:
- Conocimientos globales sobre desarrollo y, en concreto, desarrollo social y humano.
- Conocimientos bsicos de formulacin, gestin y seguimiento de proyectos de desarrollo.
- Conocimientos sobre mtodos y tcnicas bsicas de investigacin y evaluacin.
- Conocimientos sobre el rea profesional en la que se circunscribe el proyecto.
- Conocimiento del medio fsico, social y humano donde se contextualiza el proyecto.
- Carcter multidisciplinar entre las personas que conforman el equipo, as como equilibrio de gnero.
- Personal con capacidades de comunicacin, dilogo, negociacin y trabajo en equipo.
- Contacto cercano con el medio social y humano donde se desarrolla el proyecto.
- Experiencia acumulada de otros seguimientos y evaluaciones.
- ...

Fuente: Basado en NORAD: "Evaluacin de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores". Instituto de desarrollo y cooperacin IUDC. Universidad
Complutense de Madrid. CEDEAL . Madrid.1997.

cada miembro. As, el agente externo tal vez ver la competencia y el conflicto de las percepcio-
conozca mejor las tcnicas evaluativas del marco nes de los implicados, especialmente cuando gru-
lgico y tenga mayor experiencia en la realizacin pos particulares de implicados son impotentes fren-
de evaluaciones; las personas encargadas de la eje- te a otros (Estrella, M. y Gaventa, J., 1998). Es
cucin del proyecto lo conocen bien y se encuen- necesario, entonces, reconocer que lograr un buen
tran cercanas a su medio (mismo idioma, regin, trabajo de equipo es difcil de conseguir. El con-
etc.) y las representantes de los grupos beneficia- flicto de intereses y las desiguales relaciones de
rios son las mejores conocedoras de la problemti- poder de los grupos implicados puede hacer difcil
ca especfica de la comunidad, as como de sus el dilogo y el acuerdo. Pero tambin es importan-
propias potencialidades. te tener en cuenta que la participacin de todas las
partes, si se afrontan las dificultades y superan los
Las diferentes personas implicadas inicialmente no conflictos, garantiza una evaluacin productiva y
presentan los mismos intereses ni las mismas orientada a la toma de decisiones futuras.
expectativas sobre el proceso de evaluacin. Es
ms, las demandas de los grupos beneficiarios 2. La articulacin de diversas metodologas para la
pueden entrar en conflicto con las de los donantes. evaluacin
Todo ello expresa la complejidad del tejido forma- La propuesta global que se propone es que se rea-
do por el entramado de intereses que interactan licen las evaluaciones ex-post segn la metodologa
en toda intervencin social y que debern ser con- predominante a lo largo del proyecto, desde su
templados por el equipo evaluador desde los ini- planificacin, y utilizando herramientas propias de
cios. As, ser necesario identificar las partes impli- la institucin, si las tiene. En todo caso, si el pro-
cadas en el proceso, sus motivaciones, necesidades yecto fue formulado con el marco lgico (como es
e intereses y las relaciones existentes entre ellas. Si la tnica actual), la propuesta se orienta a la com-
esto no se realiza, puede generar posteriores con- binacin de la propuesta evaluativa del marco
flictos, inseguridades y ruptura de la comunicacin. (indicadores, factores de desarrollo y componentes)
Se trata de todo un proceso de negociacin y con- con las herramientas de la propuesta econmica y
certacin interinstitucional. la participativa.

Rajakutty (1991) elabor el concepto de evalua- Esto, que a primera vista, puede parecer una com-
cin basada en las personas implicadas, que des- binacin impracticable, ya ha tenido algunas expe-
cribe como un continuo dilogo y negociacin riencias en Colombia y con seguridad en otros pa-
entre las persona afectadas por el proyecto. Sin ses. En la prctica, la CEPAL ha desarrollado eva-
embargo, tambin seala las dificultades de resol- luaciones de corte econmico combinado con mar-

34
Interior n 29 26/9/05 18:26 Pgina 35

co lgico, y la GTZ, a travs de un programa de En ese sentido, tambin es interesante incorporar


concertacin interinstitucional llamado Paisa Joven los modelos participativos en la evaluacin para
en Medelln, ha desarrollado la combinacin del incluir a la gente en la toma de decisiones sobre lo
ZOPP con el DRP. que debe hacerse y de qu manera, implicarles en
el seguimiento del programa a partir de la coope-
Lo que se pretende es aprovechar las potencialida- racin en las actividades, compartiendo informacio-
des de cada perspectiva, las cuales articuladas de nes y beneficios del proyecto.
forma flexible, permitan minimizar las debilidades
propias de la aplicacin de cada modelo por sepa- La realizacin de evaluaciones participativas posibi-
rado. lita tener una mejor comprensin de la comunidad,
sus capacidades y debilidades. Adems, al tomarse
Cabe sealar que la utilizacin del marco lgico en cuenta sus opiniones, percepciones y senti-
asegura que se plantean las preguntas fundamenta- mientos, la comunidad entiende el proyecto desde
les para la evaluacin, y brinda gran cantidad de sus inicios y puede influenciar en l. En la evalua-
informacin para la toma de decisiones en torno a cin no se requiere de altos conocimientos sobre
la planificacin y la implementacin de proyectos investigacin, dado que los procedimientos son
futuros. En ese sentido, el trabajo de evaluacin sencillos y flexibles y es ms barato que modelos
desde talleres participativos, donde las entidades estandarizados.
interesadas forman parte de la discusin y el deba-
te, permite intercambiar informacin e ideas que La combinacin de estas metodologas con el mar-
conllevan a tomar decisiones ms consensuadas. co lgico permite gestionar con una visin ms
amplia y compleja de la realidad, que requiere
El marco lgico, y sobre todo el ZOPP, pretende tener en cuenta desde las subjetividades propias de
ser un instrumento participativo y orientado a la la poblacin hasta el anlisis de eficiencia de las
implicacin de los grupos beneficiarios, y pone el inversiones realizadas en el proyecto.
nfasis en buscar acuerdos y consenso para la toma
de decisiones y alcance de los logros. Si los talle- En este sentido, he aqu algunas propuestas:
res se llevan a cabo en la evaluacin, se facilita el 1. No considerar el enfoque del marco lgico
entendimiento y la comunicacin entre las partes como un fin en s mismo y como algo impues-
implicadas (ejecutores, beneficiarios y donantes), to desde el exterior, sino ms bien como una
favoreciendo la concertacin entre pases. propuesta que puede ayudar a estructurar la
A nivel operativo, el marco lgico sirve de gua propuesta evaluativa.
bsica para el seguimiento y la evaluacin poste- 2. Poner nfasis en lo participativo, favoreciendo
rior. Se parte del anlisis del avance de los indica- el encuentro y el dilogo con todas las partes
dores para cada nivel para ver el cambio y la evo- implicadas de manera participativa.
lucin que van tomando las actividades, resultados
y objetivos a lo largo del proyecto hasta alcanzar su 3. Capacitar al equipo evaluador sobre la meto-
logro. Las fuentes dejan establecida la metodologa dologa a utilizar para que se maneje con sol-
y el origen de la informacin que se utilizar para tura y flexibilidad.
la emisin de juicios sobre el proyecto. 4. Incluir en la matriz de planificacin indicado-
res cualitativos y de impacto que permitan
Este anlisis, a nivel de actividades, requiere evaluar
observar los efectos reales en los hbitos y
la ejecucin econmica y su eficiencia. Para ello es
condiciones de vida de las personas beneficia-
importante incorporar anlisis econmicos que per-
das por el proyecto.
miten examinar la rentabilidad de la inversin reali-
zada, traduciendo el programa a unidades moneta- 5. Conceder importancia al anlisis de los
rias con el fin de juzgar su rentabilidad socio-eco- supuestos o factores externos que permitan
nmica. Es especialmente recomendable para pro- estar alerta y poner medidas para la reformu-
yectos de tipo econmico (micro-empresas, coope- lacin, teniendo as mayores garantas en el
rativas o empresas familiares, por ejemplo). xito del proyecto.

35
Interior n 29 26/9/05 18:26 Pgina 36

6. Incluir metodologas de la economa para la Bonilla (1997), donde en la prctica investigativa


medicin de la eficiencia y evaluacin finan- pueden combinarse efectivamente tcnicas de cor-
ciera del proyecto. te cuantitativo y cualitativo. Es lo que se viene
7. Combinar herramientas participativas en la eva- conociendo como la triangulacin metodolgica
luacin que permitan verificar el alcance de los (Cea Dancona, M.A., 1999).
indicadores cualitativos y medir componentes Este debate, que ha llegado hasta la investigacin
como la eficacia, la sostenibilidad y el impacto, evaluativa, orienta claramente el uso de unas herra-
con carcter eminentemente cualitativo. mientas u otras, dependiendo de la orientacin
3) La triangulacin de mtodos mediante combina- epistemolgica que los evaluadores tengan de la
cin de tcnicas cuantitativas y cualitativas de realidad social. Desde mi punto de vista, y con
obtencin de informacin base en alguna experiencias investigativas en esa
lnea, pienso que la oportunidad de combinar
Todo el proceso evaluativo guarda grandes simili- herramientas bajo perspectivas distintas, lo menos
tudes con el de la investigacin social, an siendo que ofrece es una mirada ms global a una reali-
diferentes. En cualquier caso, la utilizacin de dad que siempre es compleja y que requiere de
herramientas e instrumentos de recogida y anlisis una mirada ms amplia y una pluralidad metodol-
de la informacin provenientes de la investigacin gica y disciplinar.
social es clara.
Por ello es factible utilizar en una misma evalua-
La propuesta, en este sentido, es dejar a un lado cin una pequea encuesta cerrada a toda la
los debates epistemolgicos sobre la imposibilidad poblacin beneficiaria (para recoger ciertas infor-
de encuentro entre el paradigma positivista o el maciones bsicas en torno al proyecto) y tambin
hermeneutico sobre la observacin de la realidad, realizar una entrevista en profundidad a informan-
que son los que dan vida a la utilizacin de la tes claves (como son las mujeres del proyecto, lde-
metodologa cuantitativa y cualitativa; y recurrir, res comunales, etc.) para obtener informacin en
ms bien, a la lgica en uso que propone Elsy profundidad sobre determinados grupos sociales.

Cuadro 21
Tcnicas primarias cuantitativas y cualitativas utilizadas en evaluacin de proyectos
Tcnicas cuantitativas Tcnicas cualitativas
Medicin cuantificable (indicadores, estadsticas, escalas) Entrevista abierta a informantes claves o Historias de vida
Entrevista estructurada (encuesta) Grupos de discusin
Cuestionarios (autorrellenado) Observacin participante

36
Interior n 29 26/9/05 18:26 Pgina 37

3. LA VALORACIN DEL IMPACTO:


UN RETO PARA LA EVALUACIN EX-POST

3.1. El impacto es un componente en el grado de cumplimiento de ambos. En este


clave de la evaluacin nivel de anlisis, se trata de conocer en qu medi-
ex-post da los resultados logrados por el proyecto han con-
tribuido al logro del objetivo especfico planteado
Son cinco los criterios claves o componentes en los para una poblacin beneficiaria, en un tiempo y
que centra la propuesta evaluativa desde el marco contexto determinados.
lgico de la NORAD: la eficacia, la eficiencia, la
pertinencia, el impacto y la sostenibilidad. A su Para determinar la eficacia de un proyecto es nece-
vez, stos son los cinco criterios que establece la sario una buena definicin de lo que se considera
definicin del Comit de Ayuda al Desarrollo y que el objetivo ltimo, as como de los resultados que
utilizan numerosos organismos oficiales en la se espera conseguir y la poblacin beneficiaria a la
mayora de las evaluaciones que ponen en marcha. que afecta. Si el equipo evaluador se encuentra con
El CAD seala que la evaluacin tendr que deter- un objetivo ambiguo o formulado de forma muy
minar la pertinencia de los objetivos y su grado de genrica, seguramente encontrar problemas para
realizacin, la eficiencia en cuanto al desarrollo, la determinar si dicho objetivo se alcanz. Por otro
eficacia, el impacto y la viabilidad (OCDE-CAD, lado, la eficacia es un elemento que puede haber
1995). sido ya analizado en el seguimiento del proyecto,
por lo que a lo largo de su gestin podra haberse
A pesar de formar parte del lenguaje comn entre detectado, si han habido problemas, y reformulado.
gestores y evaluadores de programas o proyectos Si ste no es el caso, el equipo evaluativo deber
de otros mbitos, se utilizan muchas veces de for- poner de manifiesto las debilidades existentes y
ma indiscriminada, lo que hace que se den diver- hacer operativos los objetivos sobre la base de la
sas interpretaciones sobre su contenido. La falta de documentacin existente del proyecto.
una definicin clara de cada criterio puede contri-
buir a confusiones y malos entendidos. Veamos La eficiencia
entonces algunas notas sobre cada uno de ellos,
La eficiencia es una medida de la productividad del
para centrarnos despus en el impacto.
proceso de ejecucin. Pretende establecer hasta
La eficacia qu punto los resultados cualitativos y cuantitativos
que ha alcanzado el proyecto provienen de una
La eficacia es una medida que relaciona el objetivo buena utilizacin de los recursos (o insumos), ya
especfico con los resultados centrando la atencin sean materiales, naturales, tcnicos, econmicos o

37
Interior n 29 26/9/05 18:26 Pgina 38

humanos. Se trata de examinar si los resultados razn de ser una vez finalizado, en la evaluacin
podran haberse logrado haciendo una utilizacin ex-post, donde se disponen de mayores informa-
mejor de los insumos que se han puesto en juego ciones.
o usando otros menos costosos y que hubiesen
permitido alcanzar los mismos resultados. Si los otros elementos se preocupan del proyecto y
su desarrollo, el anlisis de viabilidad tiene una
Una valoracin de los medios utilizados requiere perspectiva del proceso de desarrollo orientado en
entenderlos en sentido amplio. Debern conside- el largo plazo. Cabe preguntarse, qu validez ha
rarse todo tipo de medios y su intervencin en el tenido un proyecto si una vez terminada la ayuda
proyecto; si se dio un buen uso a los bienes mate- exterior no es capaz de mantenerse de manera
riales disponibles para la realizacin del proyecto; autnoma?. As, la viabilidad depender en gran
si se tuvieron en cuenta los recursos humanos loca- medida de si el impacto positivo justifica que se
les y en qu medida contribuyeron a la obtencin hayan realizado numerosas inversiones y si la
de los resultados; y por ltimo, cules son los cos- poblacin beneficiaria valora el proyecto de mane-
tos econmicos, tcnicos y naturales que se reali- ra positiva como para desear dedicar sus escasos
zaron y si pudieron haber sido menores. recursos a continuarlo.
La pertinencia El impacto
La pertinencia es de vital importancia desde las pri- Realizar un anlisis de impacto, en ocasiones tam-
meras fases de la identificacin y la planificacin, bin llamado de efectividad, implica un estudio de
para saber si el proyecto es til y responde a las los efectos conseguidos ms all de los objetivos
necesidades que existan con anterioridad a su propuestos. Cuando dichos efectos son positivos es
puesta en marcha. La pertinencia se preocupa de cuando un proyecto es efectivo y, adems, es efi-
conocer si la razn de ser de un proyecto est de caz en caso de coincidir con el objetivo que nos
acuerdo con las prioridades de la comunidad local proponamos al planificar el proyecto.
y si se han respondido a sus necesidades (las per-
cibidas por la comunidad). La principal diferencia entre ambos conceptos es
que el anlisis de impacto es ms amplio, dado que
Bsicamente, en la evaluacin ex-post la pertinen-
incluye todos los efectos posibles, tanto positivos
cia es una cuestin de utilidad que debe conducir
como negativos, previstos o no previstos, locales,
a la pregunta de si el proyecto debe continuar,
regionales o nacionales. El impacto es el criterio
ampliarse o realizarse en otro lugar o contexto. En
ms amplio y difcil de medir dada su amplitud.
caso de continuar deber analizarse si existen otras
Supone recoger todos los efectos que la accin ha
intervenciones en el mismo sector, rea o comuni-
tenido sobre el medio: econmicos, tcnicos, socia-
dad que puedan afectar al proyecto.
les, culturales, polticos, ecolgicos, de gnero, de
La sostenibilidad salud, etc.

La sostenibilidad, llamada tambin viabilidad, dura- Es un criterio fundamental y clave en la evaluacin


bilidad o sustentabilidad12, consiste en interrogarse ex-post, que no se limita simplemente a la revisin
sobre las posibilidades de mantener ciertas accio- de los objetivos previstos o de los efectos deseados
nes una vez eliminados los apoyos exteriores. As, o esperados. Siendo esencial su anlisis, es, sin
desde el principio del proyecto puede estimarse la duda, la parte ms difcil y absorbente del trabajo
capacidad de continuacin de las acciones de de evaluacin ex-post. Es tal su importancia que se
manera autnoma. Incluso puede revisarse a lo lar- habla, sobre todo en Amrica Latina, de evaluacin
go de la vida del proyecto, pero tiene su principal de impacto, en vez de evaluacin ex-post.13

12
En ingls, normalmente el trmino utilizado es sustainability, pero tambin puede encontrarse como viability.
13
Desde mi perspectiva es ms correcto hablar de la medicin del impacto en la evaluacin ex-post como un criterio a valorar, ms que como una nueva modalidad de eva-
luacin. El impacto es un componente de la evaluacin ex-post que complementa la valoracin global del proyecto a partir de otros, como es la eficiacia, eficiencia, via-
bilidad, pertinencia, efectividad, calidad etc. Tal vez es el ms importante ya que permite valorar si los cambios en las condiciones de vida de la poblacin y sus com-
portamientos han sido sustanciosos y sostenibles en el tiempo.

38
Interior n 29 26/9/05 18:26 Pgina 39

El impacto se refiere a los cambios profundos y de 3.2. Algunas dificultades a


largo plazo introducidos por la intervencin en la superar en la evaluacin
vida de la poblacin beneficiaria. El impacto pue- ex-post y en la valoracin
de ser negativo o positivo, as que hay que tener
del impacto
en cuenta ambos. Se trata de un concepto amplio
dado que: La realizacin de evaluaciones no es siempre una
tarea sencilla. Ocurre en numerosas ocasiones que
- no se limita a revisar el alcance de los efectos
la percepcin de las dificultades que entraa su
previstos (los objetivos),
puesta en prctica y la acumulacin, en ciertos
- no se circunscribe al anlisis de los efectos casos, de experiencias pasadas en la que los infor-
deseados, mes de evaluacin destacaban los aspectos menos
- no se reduce al estudio de dichos efectos sobre positivos de la cooperacin, la ha enmascarado
la poblacin identificada como beneficiaria. como la cara negativa de la misma, relegndola a
una situacin marginal dentro de los procesos de
La evaluacin del impacto se refiere a los cambios intervencin en el desarrollo. Si bien es cierto que
relevantes en las condiciones de vida y en los com- comienza a reconocerse su importancia y a ser
portamientos de la poblacin beneficiaria, y los tema obligado en la gestin de proyectos, todava
efectos diferenciados de esos cambios entre hom- no podemos afirmar que sea una prctica comn y
bres y mujeres, as como las influencias de las normalizada en los proyectos de cooperacin.
intervenciones en la situacin socio- econmica y
poltica de dicha sociedad. As mismo, la evalua- El propsito de abordar, a continuacin, algunas
cin de los impactos pasa por la identificacin de dificultades con las que las evaluaciones se encuen-
las modificaciones y alteraciones que se producen tran tiene por objetivo ponerlas en conocimiento
entre ciertos elementos y la valoracin positiva o de aquellas personas que toman parte en las eva-
negativa de estas modificaciones para la regin y luaciones, para que sean conscientes de las mismas
sus habitantes (Correa, 1999). y capaces de establecer los mecanismos necesarios
para superarlas.
La Agencia Noruega de Cooperacin (NORAD)
recomienda tomar como punto de partida el obje- Dificultades econmicas
tivo especfico del proyecto en la forma que se Gran parte de las agencias, e incluso las propias
defini y en el grado de eficacia alcanzado, para ONG, encuentran siempre mayores dificultades
posteriormente preguntarse qu otros efectos, bien para conseguir financiacin para esa parte del pro-
positivos o negativos, esperados o imprevistos, han yecto que para la ejecucin. Frecuentemente, los
tenido lugar como resultado del proceso de inter- diseos de evaluaciones se conciben de manera
vencin. Adems, recomienda el uso de tcnicas separada del resto del proyecto, y a veces, son de
que permitan recoger informacin durante el desa- tal complejidad y coste que se opta por no reali-
rrollo del proyecto, dado que los impactos pueden zarla. Todava no est integrada la idea de que la
aparecer en distintos momentos de la implementa- evaluacin es una parte tan necesaria como las
cin del mismo. otras del proyecto, tal como lo hemos presentado
En la evaluacin ex-post, la valoracin del impacto en el ciclo de su vida y debe planificarse como una
se convierte en la accin evaluativa ms importan- accin necesaria desde los inicios del proyecto.
te. Es la ltima fase del proceso y requiere integrar En segundo lugar, muchas veces las evaluaciones
todas las acciones evaluativas anteriores (ex-ante, son entendidas en su funcin de control estricta-
seguimiento, final) as como el anlisis de los otros mente financiero y contable. Esto lleva a confundir
componentes de la evaluacin ex-post (eficacia, las evaluaciones con las auditoras que controlan el
eficiencia, pertinencia y sostenibilidad del progra- uso de los recursos, sobre todo econmicos, en
ma, proyecto o intervencin realizada). relacin con las actividades que se planearon. En
este sentido, debe entenderse la evaluacin en sen-
tido global, integrando una revisin ms profunda

39
Interior n 29 26/9/05 18:26 Pgina 40

con anlisis ms amplios que la eficacia y la motivaciones, relaciones sociales, relaciones de


eficiencia, como es la utilidad del proyecto para la gnero, etc. Por ello, las personas que realicen las
poblacin objetivo (pertinencia). Tambin, si es evaluaciones debern tener especial cuidado en
posible continuar los cambios positivos sin ayuda concentrar esfuerzos para tenerlos en cuenta, dado
externa (viabilidad), as como el impacto generado que los factores ms cualitativos son extremada-
en otros mbitos, tales como las pautas culturales, mente importantes para determinar si el proyecto
relaciones sociales, relaciones de gnero, comuni- ha tenido xito o no. En ese sentido, la metodolo-
tarias, etc. Estos anlisis ayudan a comprender la ga a utilizar deber combinar (siempre en relacin
evaluacin como una herramienta que proporciona con el objetivo ltimo de la evaluacin), la utiliza-
informacin sobre lo realizado, posibilita el apren- cin de indicadores cuantitativos y cualitativos, as
dizaje sobre las experiencias vividas y ayuda a la como tcnicas de recopilacin de informacin for-
toma de decisiones sobre las acciones futuras. males e informales.14
Dificultades metodolgicas Dificultades segn los agentes evaluadores
Aunque es cierto que la evaluacin ofrece una Como sealamos anteriormente al referirnos a los
oportunidad de aprendizaje de las experiencias agentes evaluadores, en la planificacin y diseo
pasadas de una manera sistematizada, sin embargo, de la evaluacin ha tenido que especificarse quin
la calidad de la informacin y su credibilidad o quines la llevarn a cabo. Analicemos entonces
depender de los mtodos que se hayan utilizado. algunas dificultades que se derivan del tipo de
As, los mtodos para la recogida de informacin agente que realice la evaluacin.
debern ser adecuados con el tipo de preguntas
que van a realizarse y con el objetivo ltimo de En el caso de que sea una persona externa al pro-
dicha evaluacin. Un informe de evaluacin ser yecto y al medio en el que se desarrolla, como
poco creble si utiliza una metodologa que no ocurre con los expertos extranjeros, la que realiza
haya sido previamente planificada y aceptada, dado la evaluacin, sta puede encontrar ciertas dificul-
que los resultados podran ser meras percepciones tades. Por un lado, las derivadas de las diferencias
subjetivas del equipo evaluador. El CAD (1995) culturales entre la persona evaluadora y los grupos
tambin seala en sus recomendaciones la impor- locales, que entraa en ocasiones percibir a la per-
tancia de definir una metodologa previa a la eje- sona que evala como alguien extrao, frente al
cucin del proyecto, desde la planificacin, as que no se sabe muy bien como actuar. Adems, en
como los objetivos que se le encomiendan. ocasiones, la informacin no se comparte con la
ONG local, la cual no se atreve a ofrecer sus pro-
Por otra parte, la evaluacin implica medicin. Pero pias conclusiones porque teme que puedan ofen-
no todo lo que es evaluable es medible cuantitati- der a la agencia donante o comprometer la finan-
vamente. As, saber en detalle cules han sido los ciacin futura.
gastos en relacin con las actividades y las canti-
dades de recursos utilizados (salarios, materiales, Cuando se realizan evaluaciones internas suele ser
etc.) es necesario comprobar indicadores de carc- ms difcil cuestionar ciertas acciones y actividades
ter cuantitativo. La evaluacin de las actividades, la internas y, en consecuencia, ser imparcial. Es posi-
participacin de la gente en las mismas o los pro- ble que se encuentre difcil la adecuacin cultural
ductos o servicios generados, son realidades con- e intelectual del mtodo de control donante.
vertibles a datos cuantificables: grado de implica-
cin, nmero de asistentes a tal reunin, nmero Las evaluaciones mixtas, que incluyen un represen-
de acres cultivados, nios y nias escolarizados en tante de la agencia donante y del organismo que
un determinado perodo, etc. ha identificado e implementado el proyecto,
requieren un acuerdo previo sobre los trminos de
Pero no todos los resultados o cambios son medi- referencia que guiarn la evaluacin, el objetivo, el
bles de este modo: actitudes, comportamientos, mtodo, etc. y esto no es siempre sencillo.

14
Sobre este punto vase mi propuesta metodolgica anteriormente.

40
Interior n 29 26/9/05 18:26 Pgina 41

Las evaluaciones participativas incluyen a los hom- xito o fracaso para cada una de las partes, o lle-
bres y las mujeres que han desarrollado el proyec- gar a acuerdos sobre la modalidad de evaluacin
to, as como a las personas beneficiarias. Una ver- que se va a realizar, o las tcnicas a utilizar, etc. La
dadera evaluacin participativa, tiene en cuenta a bsqueda del consenso requiere en la mayora de
todas las personas integrantes del proyecto en la los casos una gran disponibilidad al dilogo por
toma de decisiones y en el control del mismo. todas las partes, as como de tiempo. Adems, no
Algunos riesgos pueden venir de lo que supone debe confundirse participacin con consulta.

Cuadro 22
Algunos problemas a enfrentar
Una clasificacin de los posibles problemas considera cuatro categoras:
1. Problemas institucionales: son problemas que se originan en los organismos ejecutores del proyecto. Existe en ocasiones
una gran resistencia al cambio, lo que genera en ocasiones que se desactiven los procesos evaluativos no introduciendo las
medidas correctoras para cambiar ciertas circunstancias.
2. Problemas de relaciones personales: tales como las diferencias de personalidad, o de desempeo de papeles que generan
conflictos de intereses y pueden alterar el curso del proyecto y de las evaluaciones.
3. Problemas tcnicos: para poder evaluar es preciso que se hayan establecido el marco de referencia para poder establecer
comparaciones. La debilidad tcnica con que se ejecute el proceso de diagnstico para la definicin de un proyecto, tiene
una decisiva incidencia en la calidad del proyecto. Si el diagnstico no es adecuado la evaluacin partir de premisas err-
neas, ya que se medir una situacin real con un marco de referencia equivocado. Otros problemas tcnicos que habr que
hacer frente sern posibles desajustes entre las necesidades de la evaluacin y el modelo que se emplee, o la insuficiencia
del equipo evaluador, etc.
4. Problemas operativos: En esta categora se sitan los problemas que aparecen durante la fase de ejecucin de la evaluacin
y, ms concretamente, en la recoleccin de informacin y su difusin. Por ejemplo, un mal uso de los datos y filtraciones
que provocan rumores en la comunidad y en ocasiones generan inestabilidad y perturbacin, o inoportunidad en las rendi-
ciones de informes donde en ocasiones las evaluaciones son entregadas una vez se han tomado las decisiones a las que
afecta.

Fuente: Espinoza, Mario: Evaluacin de proyectos sociales. Editorial Humanitas. Buenos Aries. 1983. Pg. 173- 190.

Si bien las dificultades operativas o metodolgicas Dificultades propias a la valoracin del impacto
a las que se enfrenta la evaluacin son relativa-
mente fciles de superar, en el caso de problemas El estudio del impacto debe tener en cuenta, no
conceptuales o de falta de entendimiento requie- slo los resultados del proyecto y los efectos a cor-
re de un fortalecimiento del conocimiento de la to plazo, sino que debe poner el nfasis en los
gestin de proyectos de desarrollo y del papel efectos sobre la poblacin (positivos y negativos,
esperados y no esperados) que se han dado en el
necesario que la evaluacin expost juega en los
medio-largo plazo.
mismos. As mismo, tal y como seala el profesor
Antonio Puerta (1997), la evaluacin de un pro- La evidencia sugiere que las agencias de desarrollo
yecto subsume el concepto mismo de desarrollo y las ONG se han vuelto, en general, ms fuertes
que lo soporta, al tiempo que se convierte en en la evaluacin de actividades, resultados fsico-
aporte fundamental al mismo. Por ello es preciso materiales y esfuerzos, pero menos fuertes cuando
entender la evaluacin expost como un proceso se trata de determinar los cambios resultantes en
integral del ciclo de vida de los proyectos de la poblacin. As, no es lo mismo hablar de resul-
desarrollo, erradicar la imagen de monstruo que tados que de efectos o de impacto. Mientras los pri-
ha imposibilitado visualizar la evaluacin como meros tienen que ver con la realizacin de las acti-
un verdadero aliado de la gestin que permite vidades (y tal vez con el logro del objetivo), los
aprender de las experiencias pasadas, positivas y efectos tienen que ver con la influencia inmediata
negativas, integrndolas en el futuro y, sobre de los resultados en el corto plazo de la realizacin
todo, integrarla en el proceso de construccin de dichas actividades y el impacto se refiere al an-
desde y para el desarrollo. lisis de todos los efectos (positivos y negativos,

41
Interior n 29 26/9/05 18:26 Pgina 42

esperados y no previstos) en el corto y, sobre todo, - No existe un claro y generalizado concepto de


en el medio y largo plazo. Es decir, los cambios lo que implica la valoracin del impacto.
reales en la poblacin, sus condiciones de vida y - Derivado de lo anterior, es difcil trabajar con
sus comportamientos. indicadores de impacto, si no se define ste
correctamente.
Parece que la evaluacin de impacto comienza a
ser considerada como necesaria entre los agentes - Es ms difcil recoger informacin sobre el
del desarrollo. Agencias de desarrollo ms experi- impacto que sobre la realizacin de activida-
mentadas en la medicin del seguimiento y el des o de resultados.
alcance de los resultados han comenzado a descu- - No hay cultura de la revisin de los procesos y
brir la necesidad de conocer y evaluar el impacto sus efectos reales en la poblacin beneficiaria.
que sus intervenciones tienen en la poblacin y en
- Todava est en proceso una cultura de la eva-
sus modos de vida. Adems, otros condicionantes y
luacin arraigada, y casi en mantillas el des-
experiencias pasadas sealan la importancia de:
cubrir, por parte de los agentes del desarrollo,
- conocer el impacto general de las acciones de la importancia de la revisin de experiencias,
desarrollo por parte de los donantes que, en sistematizacin, aprendizaje y toma de deci-
un contexto de cada de la financiacin, nece- siones necesarias a partir del impacto en la
sitan comprobar cambios tangibles; poblacin. As, dado que el efecto de un pro-
yecto se puede valorar slo cuando se halla
- el aprendizaje institucional, dado que a partir
en pleno desarrollo, es decir, algunos aos
de las experiencias y evaluaciones es posible
despus de haberse terminado, y que el direc-
saber qu funciona y qu no;
tor tiene que llevar a cabo tareas claramente
- la necesaria inclusin del concepto de la sos- especificadas dentro del presupuesto limitado
tenibilidad en los proyectos slo puede ser y del marco cronolgico, a ste y a su perso-
realizada si se tiene en cuenta el impacto de nal, en ocasiones les interesa ms la eficiencia
la intervencin, dado que la sostenibilidad del suministro de insumos que los beneficios
implica una estrategia de retirada por parte de y los efectos que han de obtenerse en el futu-
la agencia donante que no podr ser llevada a ro (Casley and Kumar, 1990: 15).
cabo si no hay un entendimiento de los efec- - Por ltimo, las metodologas desarrolladas en
tos del programa y su durabilidad; al mbito de la cooperacin internacional
- el creciente reconocimiento por parte de las estn todava en proceso de responder con
ONG de ser responsables del programa y de precisin a los requerimientos de la evalua-
la poblacin beneficiaria y de que la informa- cin de impacto. En primer lugar, porque las
cin sobre el impacto en ella puede tener tres grandes corrientes se desarrollaron con el
efectos positivos en su motivacin y su auto- objeto de mejorar los procesos de identifica-
estima. cin, diagnstico y planificacin, ms que
para la evaluacin posterior. Bien es cierto,
Claro que entonces cabe preguntarse: si existe un que todas ellas ponen las bases para una futu-
real acuerdo en la necesidad de medir el impacto ra evaluacin, pero en la mayora de los casos
de las intervenciones de desarrollo por parte de est centrada en la definicin de indicadores
agencias donantes, ONG del Norte, ONG locales y de realizacin de actividades y logro de resul-
de la propia poblacin beneficiaria, por qu no se tados, ms que de medicin del impacto gene-
realizan? Veamos algunas dificultades especficas en rado por dichas actividades en la vida y el
la valoracin del impacto. comportamiento de la poblacin15.

15
En el caso de la corriente econmica de ACB y ACE, con la pretensin de medir el impacto de una intervencin desde una perspectiva monetaria, se pone de relieve la
falta de participacin y percepcin de la poblacin beneficiaria sobre lo que conciben como cambios sustanciales en su vida. En el caso del Marco Lgico y el ZOPP se
han desarrollado buenos sistemas de evaluacin ex post que permiten analizar, mediante indicadores para cada fase de la Matriz de Planificacin (MP) y a partir de con-
sultas a la poblacin (Fuentes de Verificacin) y otros anlisis, el cumplimiento de ciertas actividades y el logro de resultados previstos en la planificacin, pero que no
ponen nfasis en el impacto generado en la poblacin y los cambios que ha sufrido, y subestima la consecucin de objetivos de alto nivel por caminos no planificados y
los efectos no previstos tanto buenos como malos ( Des Gasper, en IUDC, 1999: 58).

42
Interior n 29 26/9/05 18:26 Pgina 43

Parecen ser las corrientes ms participativas tantes sobre los efectos generados a lo largo
(Feuerstein, 1986; Chambers, 1991) y de empodera- del proyecto, y de las que conformarn el
miento (Fetterman, 1996) las que han avanzado en equipo evaluativo ex-post.
tratar de evaluar los cambios cualitativos de las
intervenciones, as como la revisin de las expe- 5. Establecer los canales de informacin necesa-
riencias vividas por la poblacin beneficiaria. Basa- rios para la retroalimentacin y toma de deci-
das en la metodologa de la investigacin- accin y siones a lo largo del proyecto al interior de la
en los modelos de RRA y PRA, todava sus meto- organizacin ejecutora, la organizacin ejecu-
dologas para la evaluacin son criticadas por las tora y la poblacin beneficiaria; y la organi-
agencias donantes como poco rigurosas, al no res- zacin ejecutora y las otras entidades impli-
ponder a las lgicas planificadoras, y no ser gene- cadas (donantes, colaboradoras, etc.).
ralizables a todos los contextos. 6. Sistematizar los informes de seguimiento e
informe final y socializarlos para la toma de
decisiones.
3.3. El nuevo desafo:
propuestas para la 7. Fijar fechas pertinentes para la realizacin de
valoracin del impacto la evaluacin ex-post y la configuracin del
equipo evaluativo (ojal con fuerte partici-
As, como se seala en la propuesta de una nueva pacin de la poblacin beneficiaria y repre-
perspectiva integrada, es importante responder al sentantes de la organizacin ejecutora y
conocimiento del impacto real de los proyectos en donante como meros facilitadores).
la poblacin beneficiaria, y para ello ser necesario
fortalecer las metodologas puestas en marcha en 8. Analizar la eficacia, pertinencia, eficiencia y
cada organizacin, que sean capaces de incorporar sostenibilidad, con el fin de evaluar los resul-
los avances de unos y otros. Para la realizacin de tados esperados del proyecto y su funciona-
evaluaciones ex-post y la valoracin del impacto se miento en s, en aras a incorporar lo apren-
recomiendan los siguientes pasos: dido en la toma de decisiones futuras.

1. Establecer el seguimiento y la evaluacin ex- 9. Analizar el impacto del proyecto en la vida


post desde la identificacin-diagnstico y la de la poblacin beneficiaria y en su compor-
planificacin, la metodologa a adoptar, tanto tamiento, as como los principales cambios
para esa primera fase del proyecto como para observados en el entorno, mediante indica-
la ejecucin. dores cualitativos y herramientas semiestruc-
turadas.
2. Realizar un anlisis en profundidad de los
agentes intervinientes en el proyecto (instan- 10. Sistematizar e incorporar dichos anlisis en la
cias internacionales, nacionales, locales y evaluacin ex-post y emisin de un informe
representantes de la poblacin beneficiaria): evaluativo.
la disponibilidad para su participacin y los
roles y funciones de cada uno durante la pre- En este sentido, hay algunas agencias de desarrollo
paracin, la implementacin y la evaluacin que han comenzado a incorporar la nocin de Estu-
del proyecto. dio de Impacto (wider impact study) con nfasis en
algunas reas de anlisis: econmica, socio- cultu-
3. Capacitar a los agentes intervenientes sobre ral, capacidad y poder, medioambiente y tecnologa
la metodologa escogida para la gestin del (Wardle, 1996)16. Ya en 1990, Casley y Kumar, en
proyecto y para la evaluacin, con especial torno a la evaluacin de proyectos de agricultura
atencin en el impacto y en los cambios posi- ejecutados por el Banco Mundial y la Agencia Esta-
bles generados. dounidense de cooperacin internacional (USAID),
4. Definir las personas encargadas de realizar el sealaban algunas reas a tener en cuenta para la
seguimiento a la ejecucin, con miras cons- evaluacin de efectos:
16
Traducido de de Oakley, Pratt y Clayton Outcomes and Impact: evaluating change in social development. INTRAC. Oxford. 1998. Pg 59.

43
Interior n 29 26/9/05 18:26 Pgina 44

- Cambios observados en los ingresos y en los se estudi una muestra de municipios y se articu-
niveles de vida como repercusin directa del laron tcnicas de obtencin de datos cualitativas
proyecto, (consumos, nutricin, vivienda, edu- y cuantitativas. Se realizaron talleres de planea-
cacin, salud, servicios comunitarios, etc.). cin participativa de la evaluacin, donde se defi-
- Cambios en la participacin y empoderamien- nieron el qu, el cmo y el para qu de la eva-
to del grupo objetivo (aportes, apoyos y toma luacin , entrevistas abiertas, talleres de discusin
de decisiones en los distintos momentos de la y revisin de indicadores cuantitativos. He aqu
planificacin, ejecucin y evaluacin del pro- su testimonio:
yecto; organizaciones comunitarias antes y el hecho de derivar la evaluacin del efecto que
despus, estructura interna, capacidad de lide- las acciones del programa tuvieran en la comuni-
razgo, de interlocucin, independencia de la dad, y su cruce con la percepcin por parte del
ayuda y sostenibilidad, etc.). programa y con los datos y registros de tipo esta-
- Cambios respecto a la situacin y funciones dstico, conferan validez al proceso investigativo.
de las mujeres (repercusiones en la equidad Parte de los resultados saldran del anlisis de la
de gnero, participacin, empoderamiento, convergencia o divergencia entre las tres fuentes de
roles, acceso al proyecto y a la toma de deci- informacin: a una mayor convergencia correspon-
siones, etc.). dera una mayor grado de apropiacin y conoci-
- Cambios en torno al medio ambiente (impac- miento de las acciones del programa por parte de
tos en el ecosistema, productividad de la tie- la comunidad o viceversa. Otros de los resultados
rra, acceso a recursos naturales, proteccin a afloraran del anlisis de los resultados de cada una
minoras tnicas, enfermedades relacionadas de las fuentes por separado o de su interrelacin
con el hbitat, etc.). independientemente de su convergencia o diver-
gencia (UEC- CICI, 1998).
- ...
Esta es una experiencia de realizacin de la eva-
Estas son algunas de las reas donde debe poner- luacin de impacto que permite ir incorporando
se especial atencin a la hora de observar cambios elementos al aprendizaje de la evaluacin como
susceptibles del proyecto, tanto negativos como proceso integrador y facilitador para la mejora de la
positivos. Pero es necesario recordar que, depen- calidad de las intervenciones futuras. Son ya varios
diendo del rea en que se haya ejecutado el pro- los intentos, experiencias y avances que a nivel
yecto (productivo, educativo, juvenil, etc.) deber terico y prctico se estn desarrollando en Amri-
ponerse especial cuidado en desarrollar indicadores ca Latina, Europa y Estados Unidos. Todas ellas tra-
y alertas especficas para ese campo. tan de agilizar un debate abierto sobre la evalua-
En el caso de la experiencia de evaluacin de cin y, en concreto, sobre la evaluacin de impac-
impacto del Programa Agua Potable y Saneamien- to. Todava queda mucho por aprender.
to de la Costa Pacfica-Convenio ALA 92/39, el
anlisis prest especial atencin al impacto del
proyecto en la creacin, administracin y manejo
de empresas de servicios pblicos del agua y la
promocin de la participacin de la comunidad
respecto a la conciencia del recurso del agua, su
conservacin y racionalizacin del consumo
(UEC-CICCI, 1998). Para ello, la evaluacin se
centr en el impacto de las estrategias diseadas
y de la percepcin de la comunidad sobre la
intervencin, su papel en la gestin y su garanta
de sostenibilidad basada en la cogestin y auto-
gestin. Para el estudio del impacto se puso en
marcha toda una investigacin evaluativa, donde

44
Interior n 29 26/9/05 18:26 Pgina 45

Cuadro 23
Ejemplo de Matriz de Evaluacin de impacto
Categoras de anlisis Categoras descriptivas Indicadores Interpretacin de datos
(entrevistas individuales
y grupales)
Percepcin del recurso - identificacin del recurso - identifica disponibilidad de fuen-
del agua - conciencia del recurso tes de agua en el territorio
- conoce fuente abastecedora del
acueducto
- conoce diferencia de uso entre
agua cruda y potable
- est en disposicin de racionali-
zar el consumo
Percepcin de la realizacin - informacin sobre la - conoce que tipo de obra se
de la obra fsica ejecucin realiz
- percibe como se realiz la obra
fsica
Participacin comunitaria - conocimiento de los - conoce los criterios de
en relacin al proyecto de aspectos legales y determinacin de la tarifa
acueducto normativos - sabe que el pago del servicio
- funcionamiento de los est en funcin del consumo
mecanismos de control - conoce los mecanismos de
social control social
- identifica quien es el vocal de
control
Organizacin social para la - funcionamiento de la - conoce la tipologa de la ESP
gestin del servicio organizacin - valora estar asociado a la
- funcionamiento operativo organizacin
de la ESP - est disponible al pago del
servicio
- sabe que personal trabaja en la
ESP

Fuente: Universidad Externado De Colombia (UEC)- CICCI: "Evaluacin de impacto en el rea social. Programa de Agua Potable y Saneamiento Costa Pacfica". Convenio ALA
93/39. Colombia. Santiago de Cali. 1998. Pg. 29.

45
Interior n 29 26/9/05 18:26 Pgina 46
Interior n 29 26/9/05 18:26 Pgina 47

BIBLIOGRAFA

AGENCIA NORUEGA DE DESARROLLO (NORAD) BONILLA-CASTRO, E. y P. RODRIGUEZ SEHK


(1994): EML: El Enfoque del Marco Lgico. (1995): La investigacin en Ciencias Sociales. Ms
Manual para la planificacin de proyectos orien- all del Dilema de los Mtodos. Santa Fe de Bogo-
tada mediante objetivos. Madrid: Instituto de desa- t: CEDE. Facultad de Economa - Universidad de
rrollo y cooperacin IUDC. Universidad Complu- los Andes.
tense de Madrid. CEDEAL .
COMIT DE AYUDA AL DESARROLLO (CAD)
AGENCIA NORUEGA DE DESARROLLO (NORAD) (1995): Manual de la ayuda al desarrollo. Princi-
(1997): Evaluacin de proyectos de ayuda al desa- pios del CAD para una ayuda eficaz. Madrid:
rrollo. Manual para evaluadores y gestores. Madrid: Mundi Prensa - OCDE.
Instituto de desarrollo y cooperacin IUDC. Univer-
CASTRO, R. y K.MOKATE (1998): Evaluacin eco-
sidad Complutense de Madrid. CEDEAL .
nmica y Social de Proyectos de Inversin. Santa
ALVIRA MARTIN, F. (1997): Metodologa de la Eva- Fe de Bogot: CEDE BID. Facultad de Economa
luacin de Programas: Un Enfoque Prctico. Bue- - Universidad de los Andes.
nos Aires: Lumen/ Humanitas. Coleccin Poltica,
CEA DANCONA, M. A. (1999): Metodologa cuan-
Servicios y Trabajo Social.
titativa. Estrategias y tcnicas de investigacin
ANDER-EGG, E.(1994): Evaluacin de servicios y social. Madrid: Sntesis.
programas sociales. Buenos Aires: Lumen.
CASLEY, D. J. y K. KUMAR (1990): Seguimiento y
BANCO INTERAMERICANO DE DESARROLLO Evaluacin de proyectos en Agricultura. Madrid:
(BID) (1997): Evaluacin: Una herramienta de Mundi Prensa y Banco Mundial.
gestin para mejorar el desempeo de los proyec-
CEPAL (1996): Documentacin del curso sobre
tos. Disponible:
Formulacin y evaluacin de proyectos socia-
http://www.iadb.org/cont/evo/spbok/evomain.html. les. Programa Conjunto sobre Polticas Sociales
para Amrica Latina (PROPOSAL). CEPAL, OEA,
BEAUDOUX, E. y otros (1992): Gua Metodolgica
NNUU.
de Apoyo a proyectos y Acciones para el Desarro-
llo. De la identificacin a la Evaluacin. CHAMBERS, R. (1997): Whose reality counts? Put-
Madrid:IEPALA. ting the first last. London: Intermediate Techno-
logy Publications.
BERLAGE, L. and O. STOKKE (1992): Evaluating
Develpment Assistance: Aproaches and Methods. COHEN, E. y R. FRANCO (1992): Evaluacin de
London: EADI. Book Series 14. Frack cass. proyectos sociales. Madrid: Siglo Veintiuno.

47
Interior n 29 26/9/05 18:26 Pgina 48

COMISIN DE LAS COMUNIDADES EUROPEAS Literature Review. En IDS Working Paper, n 70.
(CCE) (1993): Gestin del Ciclo de un Proyecto. FETTERMAN, D. M., KAFTARIAN, S. J. y A. WAN-
Enfoque Integrado y Marco Lgico. Bruselas: Serie DERSMAN(editors) (1996): Empowerment Evalua-
mtodos e instrumentos para la gestin del ciclo tion. Knowledge and Tools for Self- Assessment
de un proyecto, n 1. and Accountability. California: Sage Publications.
COOK, T.D. y CH.S. REICHARDT (1986): Mtodos FEUERSTEIN, M. T. (1986): Partners in Evaluation.
cualitativos y cuantitativos en investigacin eva- Evaluating Development and Community Pro-
luativa .Ediciones Morata. grammes with Participants. Hong Kong: Mac
CORREA, E. (1999): Impactos Socio- econmicos de Millan.
grandes proyectos. Evaluacin y manejo. Santa Fe GOMEZ GALN, M. (1995)Elementos Bsicos de los
de Bogot: Fondo FEN Colombia, Editora Guada- Proyectos en la Cooperacin para el Desarrollo.
lupe. Madrid: Cideal.
CORNWALL, A., GUIJT, I., and A. WELBOURN GONZLEZ, L. (2001): El Enfoque del Marco Lgi-
(1993): Aknowledging Process. Challenges for co (EML) y el Mtodo de Planificacin Orientada
Agricultural Research and Extension Methodo- por Objetivos (ZOPP): Metodologa para la ges-
logy. En IDS Discussion Paper, n 333, Brighton:: tin de proyectos desde la Cooperacin Interna-
Institute of development Studies. cional al Desarrollo. En Tecnologa Administra-
CRUZ ROJA ESPAOLA (CRE) (1997): Cooperacin tiva, vol. XV, n 35, Universidad de Antioquia,
Internacional. Delegados/as de proyectos de coo- Medelln.
peracin Internacional. Manual del Alumno/a. GONZLEZ, L. (2001): La evaluacin en los pro-
Madrid: CRE. yectos de desarrollo. Vitoria: Gobierno Vasco (en
DEUTSCHE GESESLLSCHAFT FR TECHNISCHE prensa).
ZUSAMMENARBEIT (GTZ) (1987): ZOOP Una GOSLING, L. y M. EDWARDS (1998): Toolkits. A
Introduccin al Mtodo. Frankfurt: GTZ (versin practical guide to assesment, monitoring, review
en castellano). and evaluation. En Development Manual , n 5,
DEUTSCHE GESELLSCHAFT FR TECHNISCHE London: Save the Children.
ZUSAMMENARBEIT (GTZ) (1992): Cuando la GUBA , E.G. y I.S.LINCON (1989): Fourth Genera-
participacin falta.... Conceptos bsicos, estrate- tion Evaluation. London: Sage Publications.
gias, estudios de caso, lo que debe hacerse y lo que
HAUSE, E.R. (1993): Professional Evaluation. Social
debe evitarse en el desarrollo rural. Asia. Escborn:
Impact and Political Consequences. California:
GTZ.
Sage Publications.
DEUTSCHE GESELLSCHAFT FR TECHNISCHE
INSTITUTO UNIVERSITARIO DE DESARROLLO Y
ZUSAMMENARBEIT (GTZ) (1996): Gestin del Ciclo
COOPERACIN (IUDC) (1999): La evaluacin
del Proyecto PMC y Planificacin de proyectos
de la ayuda al desarrollo. En Desarrollo y Coope-
orientada a Objetivos (ZOPP).Eschborn: GTZ.
racin, n extraordinario, n 4, Madrid: IUDC.
HELVINE, S. y M. GOBEL (1998): Planificacin de INSTITUTO LATINOAMERICANO Y DEL CARIBE
proyectos orientada a objetivos (ZOPP). Orienta-
DE PLANIFICACIN ECONMICA Y SOCIAL
ciones para la planificacin de proyectos y pro-
(ILPES) (1998): Gua para la Identificacin, Pre-
gramas nuevos y en curso. Eschborn: GTZ. paracin y Evaluacin de Programas Sociales.
EADE, D. and S. WILIAMS (1995): The Oxfam Santiago de Chile: ILPES.
Handbook of Development and Relief. Oxford: KLINGER, E. y V. STEIGERWARLD (1998): El segui-
Oxfam Publication, Volume I. miento en los proyectos de cooperacin tcnica.
ESPINOZA VERGARA, M. (1983): Evaluacin de Eschborn: GTZ.
proyectos sociales. Buenos Aires: Humanitas. LEVEVRE, P. And GARCIA, C. (1997): Experiences,
ESTRELLA, M. y J. GAVENTA (1998): Who Counts Perceptions and Expectations of Local Project
Reality? Participatory Monitoring and Evaluation: A Actors on Monitoring and Evaluation: A case

48
Interior n 29 26/9/05 18:26 Pgina 49

Study in the Philippines. En Journal of Interna- PATTON, M.Q. (1997): Utilization-focused Evalua-
tional development, volumen 9, n 1. tion. The New Century Text. USA: Sage Publica-
MADAUS, G. F. y SCRIVEN, M. y D.L. STUFFLE- tions.
BEAM ((1991): Evaluation Models. Viewpoints on PICHARDO, A. (1997): Evaluacin del impacto
Educational and Human Services Evaluation. USA social. El valor de lo humano ante la crisis y el
MARSDEN, D. y P. OAKLEY (editors) (1990): Eva- ajuste. Buenos Aires: Lumen- Humanitas.
luating Social Development Projects. En Develop- PUERTA; A.(1996): Evaluacin y sistematizacin de
ment guidelines, n 5, Oxford: Oxfam. Proyectos Sociales. Una metodologa de investiga-
MINISTERIO DE ASUNTOS EXTERIORES (MAE) cin. Medelln: Universidad de Antioquia. Facultad
(1998): Metodologa de la Gestin de Proyectos de de Ciencias Sociales y Humanas.
la Cooperacin Espaola. Madrid: AECI. RUBIN, F. (1995): A Basic Guide to Evaluation for
MINISTERIO DE ASUNTOS EXTERIORES (MAE) Development Workers. Oxford: Oxfam.
(1998): Metodologa de evaluacin de la Coopera- RUDQVIST, A.(1991): Pautas para consultas y Par-
cin Espaola. Madrid: Cyan, Proyectos y Produc- ticipacin Popular en Procesos y Proyectos de
ciones Editoriales. Desarrollo. Estocolomo: Universidad de Estocol-
MINISTERIO DE ASUNTOS EXTERIORES (MAE) mo. Departamento de Antropologa Social.
(1998): Informes de Evaluacin 3: Las Escuelas RUIZ OLABUENAGA, J. I. (1999) : Metodologa de
Taller en Iberoamrica. Madrid: Cyan. la Investigacin Cualitativa. Bilbao: Universidad
MOHR, L. B.(1995): Impact Analysis for Program de Deusto.
Evaluation. California: Sage Publications. SCHONHUTH, M. y U. KIEVELITZ (1994): Diag-
MOKATE, K. M. (1998): Documentacin del curso nstico Rural Rpido, Diagnstico Rural Parti-
para formadores en Gerencia Social: Convirtien- cipativo. Mtodos participativos de diagnstico y
do el monstruo en aliado: la evaluacin como planificacin en la cooperacin al desarrollo. Una
herramienta de la gerencia social. Washington: introduccin comentada. Eschborn: GTZ.
Banco Interamericano de Desarrollo (BID) e Ins-
SEGONE, M.(1998): Democratic evaluation. A pro-
tituto Interamericano para el Desarrollo Social
posal for Strengthing the evaluation function in
(INDES).
International Develpment organizations. En Wor-
MUSTO, S.A. (1975): Anlisis de eficiencia. Meto- king Paper, n 3, Bogot: UNICEF.
dologa de la evaluacin de proyectos sociales de
SIERRA, M. E. (1999): Lo estamos haciendo bien?
desarrollo. Madrid: Tecnos.
El seguimiento y la evaluacin en los proyectos
OAKLEY, P., PRATT, B. y A. CLAYTON (1998): sociales. En Juntos es Mejor, mdulo 4. Mdulos
Outcomes and Impact: Evaluating Change in de metodologas participativas para la gestin en
Social Development. En INTRAC NGO Manage- organizaciones sociales. Medelln: GTZ, Paisa
ment and Policy, series n 6. Oxford: INTRAC. Joven, Fundacin Corona, Secretaria de Bienestar
ONU (1993): Manging the Development Project. A de la Alcalda de Medelln.
Training Curriculum. New York: ONU. THOMAS, A. (1999): What makes good develop-
OVERSEAS DEVELOPMENT ADMINISTRATION ment management?. En Development in Practice,
(ODA) (1995): A Guide to Social Analysis for volumen 9, numbers 1 and 2.
Proyects in Developing Countries. London: HMSO. UNIVERSIDAD EXTERNADO DE COLOMBIA (UEC)
QUINTERO URIBE, V. M. (1995): Evaluacin de (1998): Evaluacin de impacto en el rea social.
Proyectos Sociales. Construccin de Indicadores. Programa de Agua Potable y Saneamiento Costa
Colombia: Fundacin para la Educacin Superior Pacfica. Santiago de Cali: UEC.
(FES). WEISS, C.H.(1990): Investigacin Evaluativa. Mto-
PATTON, M.Q. (1992): Practical Evaluation. USA: dos para determinar la eficiencia de los Programas
Sage Publications. de Accin. Mxico: Trillas.

49
Interior n 29 26/9/05 18:26 Pgina 50

cuadernos 0. Otra configuracin de las relaciones Oeste-Este-Sur.


SAMIR AMIN. Junio 1989. (AGOTADO)
de trabajo 1. Movimiento de Mujeres.
Nuevo sujeto social emergente en Amrica Latina y El Caribe.
lan CLARA MURGUIALDAY. Octubre 1989. (AGOTADO)
2. El patrimonio internacional y los retos del Sandinismo 1979-89.
koadernoak XABIER GOROSTIAGA. Diciembre 1989.
3. Desarrollo, Subdesarrollo y Medio Ambiente.
BOB. SUTCLIFFE. Enero 1990. (AGOTADO)
4. La Deuda Externa y los trabajadores.
CENTRAL NICA DE TRABAJADORES DE BRASIL. Mayo 1990.
5. La estructura familiar afrocolombiana. BERTA INS PEREA. Junio 1990.
6. Amrica Latina y la CEE: De la separacin al divorcio?
JOAQUN ARRIOLA y KOLDO UNCETA. Septiembre 1990. (AGOTADO)
7. Los nuevos internacionalismos. PETER WATERMAN. Mayo 1991.
8. Las transformaciones del sistema transnacional en el periodo de crisis.
XOAQUIN FERNNDEZ. Septiembre 1991.
9. La carga de la Deuda Externa. BOB SUTCLIFFE. Mayo 1992.
10. Los EE.UU. en Centroamrica, 1980-1990
Ayuda econmica o seguridad nacional?
JOS ANTONIO SANAHUJA. Diciembre 1992.
11. Desarrollo Humano: una valoracin crtica del concepto y del ndice.
BOB.SUTCLIFFE. Junio 1993. (AGOTADO)
12. El imposible pasado y posible futuro del internacionalismo.
PETER WATERMAN. Noviembre 1993.
13. 50 aos de Bretton Woods: problemas e interrogantes de la economa mundial.
KOLDO UNCETA y FRANCISCO ZABALO. Septiembre 1994. (AGOTADO)
14. El empleo femenino en las manufacturas para exportacin de los pases
de reciente industrializacin. IDOYE ZABALA. Noviembre 1995.
15. Guerra y hambruna en frica. Consideraciones sobre la Ayuda Humanitaria.
KARLOS PEREZ DE ARMIO. Abril 1996.
16. Cultura, Comunicacin y Desarrollo. Algunos elementos para su anlisis.
JUAN CARLOS MIGUEL DE BUSTOS. Mayo 1996.
17. Igualdad, Desarrollo y Paz. Luces y sombras de la accin internacional
por los derechos de las mujeres.
ITZIAR HERNNDEZ, ARANTXA RODRGUEZ. Julio 1996. (AGOTADO)
18. Crisis econmica y droga en la regin andina
LUIS GURIDI. Abril 1997.
19. Educacin para el Desarrollo. El Espacio olvidado de la Cooperacin
MIGUEL ARGIBAY, GEMA CELORIO, JUANJO CELORIO. Agosto 1997.
20. Un anlisis de la desigualdad entre los hombres y las mujeres en Salud,
Educacin, Renta y Desarrollo
MARIA CASILDA LASO DE LA VEGA, ANA MARTA URRUTIA. Octubre 1997.
Interior n 29 26/9/05 18:26 Pgina 51

21. Liberalizacin, Globalizacin y Sostenibilidad


ROBERTO BERMEJO GMEZ DE SEGURA.
Bibliografa Especializada en Medio Ambiente y Desarrollo
CENTRO DE DOCUMENTACIN HEGOA. Abril 1998.
22. El futuro del hambre.
Poblacin, alimentacin y pobreza en las primeras dcadas del siglo XXI
KARLOS PREZ DE ARMIO. Agosto 1998.

23. Integracin econmica regional en frica Subsahariana.


EDUARDO BIDAURRAZAGA AURRE. Octubre 1998.

24. Vulnerabilidad y Desastres. Causas estructurales y procesos


de la crisis de frica
KARLOS PREZ DE ARMIO. Julio 1999.

25. Polticas sociales aplicadas en Amrica Latina


Anlisis de la evolucin de los paradigmas en las polticas sociales
de Amrica Latina en la dcada de los 90
IAKI VALENCIA. Octubre 1999.

26. Equidad, bienestar y participacin: bases para construir un desarrollo alternativo.


El debate sobre la cooperacin al desarrollo del futuro.
ALFONSO DUBOIS. Diciembre 1999.

27. Justicia y reconciliacin. El papel de la verdad y la justicia en la reconstruccin


de sociedades fracturadas por la violencia
CARLOS MARTN BERISTAIN. Febrero 2000. (AGOTADO)

28. La Organizacin Mundial de Comercio,


paradigma de la globalizacin neoliberal
PATXI ZABALO. Junio 2000.

Vous aimerez peut-être aussi