LA EVALUACIÓN Y EL

SEGUIMIENTO DE LOS
PROYECTOS DE
DESARROLLO

Palma de Mallorca, junio 2010

Héctor Sainz Ollero
 DEFINICIÓN DE EVALUACIÓN
La evaluación es una función que consiste en hacer una apreciación, tan
sistemática y objetiva como sea posible, sobre un proyecto en curso o acabado,
un programa o un conjunto de líneas de acción, su concepción, su realización y
sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado
de realización, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la
viabilidad. Una evaluación debe proporcionar unas informaciones creíbles y
útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de
elaboración de las decisiones, tanto de los países de acogida como de los
donantes. (CAD/OCDE)
CARACTERÍSTICAS

- Apreciación - opinión - investigación.

- Sistemática y objetiva.
- Proyecto en curso o acabado, programa o conjunto de líneas de acción.
- Su concepción (diseño), su realización (desempeño) y sus resultados (efectos).
- Determinar: pertinencia, eficacia, eficiencia, impacto y viabilidad.
- El fin es proporcionar información creíbley útil.
- Para la toma de decisiones.
- Tanto en receptores como en donantes.

Organización de Cooperación y Desarrollo Económicos, 1995, Manual de ayuda al desarrollo: Principios del CAD para una ayuda
eficaz
 LA EVALUACIÓN NO ES...

v OPINIÓN

v INVESTIGACIÓN

v EVALUACIÓN ESCOLAR O CLÍNICA

v AUDITORÍA

v SEGUIMIENTO
 EL SEGUIMIENTO
Función que mediante la recogida metódica de datos
tiene por fin conocer:
• Si las aportaciones materiales y financieras
comprometidas han sido suministradas y son
suficientes
• Si los cooperantes y homólogos sobre el terreno
poseen las competencias técnicas y personales para
ejecutar sus tareas.
• Si las actividades desarrolladas por los expertos y los
aportes, están de acuerdo con el plan de trabajo.
• Si el plan de trabajo está siendo realizado y produce
los objetivos a alcanzar de acuerdo a lo planificado;
Tomando las medidas necesarias para remediar las
insuficiencias encontradas
 DEFINICIÓN DE SEGUIMIENTO

El seguimiento de proyectos es una función que consiste en utilizar un sistema de

información, basado en la formulación del proyecto de desarrollo (matriz de
planificación y plan de ejecución de las actividades), para que apoyándose en la
utilización de tres tipos de datos (sobre el progreso físico y financiero de las actividades,
sobre el contacto entre el proyecto y los usuarios y sobre la evolución de los factores
externos), la dirección del proyecto pueda comparar planificado y ejecutado en el nivel
de recursos y actividades, con la triple finalidad de:

1.- detectar desviaciones,

2.- anticipar desviaciones,

3.- y corregir desviaciones (reconducir el proyecto)

LOS PLANES OPERATIVOS
LOS PLANES OPERATIVOS
 Las diferencias entre el seguimiento y la
evaluación

El seguimiento La evaluación

La periodicidad Proceso continuo Acción puntual

El agente Habitualmente interno Generalmente externo

Actividades y recursos Resultados y objetivos

Los elementos Contacto con destinatarios Contacto con destinatarios

Factores externos Factores externos

Las decisiones Reconducir Reorientar

 Propósitos de la evaluación

UTILIDAD
Accountability

Aprendizaje Transparencia

Contribuyentes
Lecciones
Comunicación
Enseñanzas extraídas

Buenas prácticas

Evaluación sumativa Rendición de

Evaluación formativa cuentas

CREDIBILIDAD
 PROPÓSITOS DE LA EVALUACIÓN/ SEGUIMIENTO:
¿PARA QUÉ EVALUAR?

1) Para tomar mejores decisiones:

• Mejorar la gestión
• Aprender
2) Rendición de cuentas (control)
3) Compartir experiencias e informar
 EVALUABILIDAD

Medida en que puede evaluarse una actividad o un

programa de manera fiable y creíble.
Para determinar la evaluabilidad es necesario un examen
anticipado de una evaluación propuesta para determinar
si sus objetivos están definidos adecuadamente y si sus
resultados pueden ser objeto de verificación.

OCDE (2004): Glosario de los principales términos sobre evaluación y gestión

basada en resultados
 EVALUABILIDAD: EXIGENCIAS DEL PROYECTO
COMO HIPÓTESIS DE TRABAJO

• Descripción de la situación actual del problema a resolver:

- Magnitud y severidad del problema (LÍNEA DE BASE)
- Cómo afecta a los distintos grupos de población
- Posibles causas y consecuencias
• Estrategia de desarrollo:
- Vínculos entre medios y fines del desarrollo
- Selección / priorización de la alternativa más adecuada
• Imagen de la situación futura a alcanzar
- Definición de resultados y objetivos
- Sistemas de medición (indicadores y fuentes de verificación)
EL CICLO DEL PROYECTO: Fases centrales y circundantes,
pasos y principales contenidos.
 EL ENFOQUE DEL MARCO LÓGICO.
PASOS DEL MÉTODO

1º) Análisis de participación

2º) Análisis de problemas

3º) Análisis de objetivos

4º) Análisis de alternativas

5º) Matriz de planificación del Proyecto

 LA IDENTIFICACIÓN Y EL ENFOQUE DEL MARCO

LÓGICO

Preguntas de la Pasos del enfoque del

identificación marco lógico

¿Qué sucede? Análisis de la participación

¿A quien le sucede? Análisis de los problemas
¿Por qué sucede?
¿Qué se puede hacer para Análisis de los objetivos
solucionarlo? Análisis de las alternativas
¿Qué vamos a hacer para
solucionarlo?
LA FORMULACIÓN Y EL ENFOQUE DEL MARCO LÓGICO

Preguntas de la formulación Pasos del enfoque del

marco lógico
¿Para qué se lleva a cabo el proyecto?
¿Qué se desea lograr con el proyecto?
¿Cómo se alcanzará el objetivo del proyecto?
¿Qué factores externos son importantes para el
éxito del proyecto?
¿Cuáles son los niveles esperados de “éxito” del MPP
proyecto?
¿Donde o cómo se mide ese “éxito”?
¿Cuándo se realizarán las actividades? •Cronograma de actividades
¿Quién hará las actividades? •Plan de ejecución
¿Con qué y cuánto costará realizar las •Presupuesto
actividades?

Análisis de los factores de viabilidad/

¿Qué posibilidades de permanencia en el tiempo sostenibilidad
tienen los efectos generados por el proyecto?
 La Matriz de Planificación
Indicadores
Lógica de la Objetivamente Fuentes de Hipótesis
intervención Verificables Verificación

Objetivo
General

Objetivo
Específico

Resultados

Actividades
Medios Costes

Condiciones
Previas
 COMPONENTES DE LA EVALUACIÓN

Eficacia:
En qué medida el objetivo específico ha sido alcanzado; si puede esperarse que esto
ocurra sobre la base de los resultados del proyecto.

Eficiencia:
Análisis de los resultados en relación con el esfuerzo realizado. Cómo los insumos se
convierten en resultados desde el punto de vista económico. Examinar si los mismos
resultados podrían haberse logrado de otra forma mejor.

Pertinencia:
En qué medida se justifica el proyecto en relación a las prioridades de desarrollo
locales y nacionales.

Impacto:
Los cambios y efectos positivos y negativos, previstos o no previstos en el proyecto,
analizados en relación con los beneficiarios y otros afectados.

Viabilidad/sostenibilidad:
Un análisis acerca de en qué medida los efectos positivos del proyecto continuarán
después de que la ayuda externa haya finalizado.
Pertinencia: La pertinencia analiza si el
propósito del proyecto es coherente con las
prioridades de la comunidad y sociedad local,
así como de las entidades donantes y
receptoras. Es decir, se trata de apreciar si la
intervención analizada va a suponer una
aportación significativa a los procesos de
desarrollo de los que son actores los
beneficiarios tanto en el interior del propio
proyecto, como en su contexto.
Eficacia:
La eficacia refleja en qué medida se espera
alcanzar o se ha alcanzado el objetivo
específico del proyecto; teniéndose para ello
en cuenta tanto el nivel de logro, así como los
períodos temporales para hacerlo.
Eficiencia:
La eficiencia se refiere a la capacidad del
proyecto para transformar los insumos
financieros, humanos y materiales en
resultados; es decir, establece el rendimiento
o productividad con que se realiza esta
transformación.
Impacto:
El impacto se refiere -en contraposición a la eficacia
restringida a los efectos positivos sobre los
beneficiarios- a las consecuencias positivas y
negativas, que un proyecto genera. Es por lo tanto un
concepto más amplio que el de eficacia, cuyo análisis
se inicia a partir del de la eficacia; interrogándose
sobre las consecuencias económicas, sociales,
culturales, técnicas ambientales... que se registran en
el plano local o general, tanto en el corto como -
especialmente- en el medio y en el largo plazo.
Viabilidad/ Sostenibilidad: Se entiende por
viabilidad la capacidad de un proyecto para
“proporcionar un nivel aceptable de beneficios al
grupo destinatario [beneficiarios] durante un periodo
suficientemente largo una vez interrumpida la
asistencia financiera y técnica del proveedor de
fondos” (CCE 1993:65). El análisis de viabilidad
significa interrogarse sobre algo más allá de si el
proyecto ha alcanzado los objetivos que tenía
previstos; se debe responder a la cuestión de en qué
medida los resultados positivos alcanzados
permanecen en el tiempo.
 Sostenibilidad

“Probabilidad de que el flujo de beneficios continúe después de que se

agote la financiación del donante”
Fin de Proyecto

EJECUCIÓN SOSTENIBILIDAD

Flujo Objetivo
Específico Sostenible
de
Beneficios
Resultado Insostenible

Resultado

Resultado

Tiempo

Fuente: Europe Aid (2001)

 FACTORES DE DESARROLLO

En cualquier examen previo debe tenerse en cuenta la viabilidad de los

proyectos. Puede decirse que un proyecto es viable cuando puede
beneficiar al grupo destinatario durante un largo período aún cuando
haya finalizado en lo esencial, la ayuda exterior proporcionada por los
donantes.
Fuente: Comisión de las Comunidades Europeas (1993)
Manual: Gestión del ciclo de un proyecto: Enfoque integrado y marco lógico. Bruselas, página 33.

LA VIABILIDAD DEL PROYECTO

La viabilidad de una intervención dependerá fundamentalmente de siete
factores, cuyo análisis nos permitirá tener una idea clara sobre sus
posibilidades de continuidad en el tiempo. Estos factores, también
llamados de desarrollo, son:

Políticas de apoyo Aspectos institucionales Aspectos socioculturales

Enfoque de género Factores tecnológicos Factores medioambientales

Factores económico financieros

Fuente: Agencia Española de Cooperación Internacional (2000),

Metodología de Gestión de Proyectos de la Cooperación Española, Madrid, páginas 26-27.
 S
GENERAL

RECURSO
OBJETIVO

OBJETIVO
ESPECÍFICO

RESULTADOS
LÓGICA DE

ACTIVIDADES
INTERVENCIÓN

VIABILIDAD

PERTINENCIA

IMPACTO

EFICACIA

EFICIENCIA

POLÍTICAS DE APOYO

FACTORES TECNOLÓGICOS

FACTORES INSTITUCIONALES
CRITERIOS

FACTORES MEDIOAMBIENTALES
DESARROLLO
FACTORES DE

FACTORES SOCIO - CULTURALES

FACTORES ECONOMICO - FINANCIEROS

CRITERIOS DE EVALUACIÓN Y ELEMENTOS DE LA MATRIZ
 Otros criterios para la evaluación

• COBERTURA (1):
“La cobertura consiste en evaluar hasta qué punto un programa llega a
la población objeto del mismo. Se trata de calcular no sólo la tasa de
cobertura sino también de analizar si existe sesgo en la cobertura y
efectuar un análisis de las posibles barreras de acceso al programa”
Fuente: Alvira, F (1991) Metodología de Evaluación de Programas, Madrid

“La magnitud con la que una intervención alcanza a sus grupos metas
deseados”
Fuente: EUROPEAN MONITORING CENTRE FOR DRUGS AND DRUG ADDICTION
-E.M.C.D.D.A.- (1998) Guidelines for the evaluation of drug prevention,
Luxemburgo
 Cobertura ( y 2) - ASPECTOS BÁSICOS
1. Tasa de cobertura: “La proporción que forma parte del grupo meta,
tiene la necesidad y recibe los servicios, dividida por la población total
del grupo meta que tiene la necesidad que el proyecto pretende
atender” Cohen & Franco (1993) Evaluación de proyectos sociales.

2. Sesgo de la cobertura: “Existe sesgo en la cobertura cuando el

proyecto llega a una población para la cual no estaba definido o
cuando interviene sólo en un determinado subgrupo de la población
definida, con unas características específicas” Ligero, J. A. (2001): Propuesta de
un nuevo criterio de evaluación de proyectos de ayuda al desarrollo, la cobertura, REDC

3. Accesibilidad: “La accesibilidad se disgrega en tres aspectos:

• Grado de conocimiento e información del mismo por parte de la
población objeto (implantación del proyecto, población
demandante...)
• Accesibilidad física, es decir facilidad de acceso al proyecto
• Aceptación social, actitudes de los usuarios ante el proyecto”
Alvira, F (1991) Metodología de Evaluación de Programas, Madrid
 REPLICABILIDAD

• Se entiende por replicabilidad la capacidad

de un proyecto para generar conocimientos
capaces de ser utilizados provechosamente
en otros proyectos, actuaciones o procesos
autónomos de desarrollo.

• Fuente: Cruz Roja Española (2001) Evaluación de proyectos. Madrid

 Herramientas de la evaluación
TÉCNICAS TÉCNICAS CUALITATIVAS
CUANTITATIVAS

•Medición directa •Análisis documental

•Encuestas formales •Observación directa
•Encuestas informales •Observación participante
•Análisis coste/ •Entrevistas con informantes clave
beneficio •Entrevistas con informantes
generales
•Entrevistas de grupo/ comunitarias
•Entrevistas de grupo focal
•Técnicas participativas
 INDICADORES VERIFICABLES
OBJETIVAMENTE

• Series de datos establecidos con el fin de dar respuesta a las

cuestiones sobre los sistemas y los fenómenos existentes.
• Un indicador es una medida numérica (porcentaje, tasa, valor
medio, etc.) que puede ser obtenida periódicamente y que se
supone relacionada con los conceptos e hipótesis que se van a
estudiar.
• Es una medida estadística de un concepto, basado en un
análisis teórico previo, que sirve para describir el estado de la
sociedad y la eficacia de las políticas.
• Medida estadística seleccionada por su propiedad de resumir o
representar a un conjunto amplio de datos; sirve como medida
indirecta o sustitutiva de informaciones que no se encuentran
disponibles directamente.
 Elementos de las definiciones

• Información de síntesis
• Variable teórica subyacente
• Dimensión empírica
• Observación
• Áreas de preocupación social y objetivos
de política
• Conocimiento y acción
 La definición adecuada de
objetivos
• Representar los efectos o impactos de la acción, más que el resultado
de determinadas actividades.
• Realistas y alcanzables
• Limitados en el tiempo
• Unidimensionales, de forma que se refieran a un único problema
específico de desarrollo
• Claros, comprensibles e inequívocos, de forma que no se presten a
interpretaciones diferentes
La formulación del objetivo define qué es lo que
se logrará y por tanto, qué ha de medirse.
 Criterios para desarrollar y adaptar
indicadores de realización/avance

Aspectos clave:

1) Selección de indicadores/ variables

2) Establecimiento de bases y metas
3) Interpretación de datos y tendencias
 1) Selección de variables
CRITERIOS DE CALIDAD
• Clarificar enunciados de objetivos y resultados
• Cuantitativos, cuando sea posible
• Medición lo más directa posible del resultado
• Prácticos
• Fuentes y metodología para recoger la información
• Seleccionar indicadores operacionales
• Seleccionar indicadores objetivos
• Mostrar la dimensión del problema
• Asegurar que los indicadores son sensibles al cambio
• Desagregar los indicadores
• Independencia en los distintos niveles
 2) Establecimiento de bases y
• BASES: Elegir el año basemetas
o punto inicial a partir del cual se
medirá el avance. Examinar las tendencias del pasado (si
existen series temporales).
• METAS:
– Dificultad de establecerlas para algunos indicadores;
– Tendencias pasadas como referencia para prever el futuro;
– Experiencias similares de otros países;
– Incidencia de las actividades del programa/proyecto sobre
el valor del indicador;
– Incidencia de factores externos sobre el valor del
indicador;
– Rangos/ valor numérico único;
– Si el indicador está desagregado, también deberán estarlo
las metas.
 3) Interpretación de datos y
tendencias
• La interpretación de los datos debe ser específica
para cada país. Patrones similares en un
dato/indicador pueden tener distintos significados en
diferentes países.

• Ejemplos:

1. Nº de denuncias de violaciones de derechos humanos

por cada 100.000 habitantes.
2. Porcentajes de participación electoral
 Formulación del indicador
OBJETIVO: Aumentada la integración laboral de las
alumnas egresadas de la Escuela-Taller

Identificar el indicador/ variable: CONTRATOS LABORALES

Grupo beneficiario: EGRESADAS ESCUELA-TALLER
Cuantificar: AUMENTO CONTRATACIÓN EN AL
MENOS UN 25%
Calidad: CONTRATOS ANUALES, VINCULADOS
AL ÁREA DE PRESERVACIÓN
Tiempo: ENTRE MAYO 2005 Y MAYO 2006
Ubicación: ANTIGUA GUATEMALA

• “Los contratos laborales de carácter anual relacionados con la

preservación del patrimonio cultural de las alumnas egresadas
de la Escuela-Taller de Antigua Guatemala aumentan en un
25% entre mayo de 2005 y mayo de 2006”
 Las fuentes de verificación
“Aparecen en la tercera columna del
marco lógico e indican donde y en qué
forma se pueden encontrar las
informaciones en cuanto a la realización
de los objetivos globales, del objetivo
específico y de los resultados
(operacionalizados en indicadores
verificables objetivamente)”
Fuente: EuropAid: Manual de Gestión del Ciclo de Proyecto
 Las fuentes de verificación

Estudios
especializados
Costes

Entrevistas con los

beneficiarios
Estadísticas adaptadas
disponibles
Estadísticas
disponibles
Informes de
Informes gestión
administrativos

Complejidad
 TIPOS DE EVALUACIÓN
MOMENTO DEL CICLO ACTORES

• PREVIA (EX ANTE) • EXTERNA

• SIMULTÁNEA • INTERNA
• INTERMEDIA • MIXTA
• FINAL • PARTICIPATIVA
• POSTERIOR (EX POST)

PROPÓSITO OBJETO

• MEJORA DEL PROYECTO • DE OBJETIVOS/RESULTADOS

• APRENDIZAJE • DE PROCESOS
• RENDICIÓN DE CUENTAS

NIVELES PLANIFICACIÓN ENFASIS EN HERRAMIENTAS

• NORMATIVA • CUANTITATIVAS
• ESTRATÉGICA • CUALITATIVAS
• TÁCTICA • PARTICIPATIVAS
• OPERATIVA
 ITINERARIO DE UNA EVALUACIÓN/ FASE
PREVIA (1)
PASOS/ ACTORES DOCUMENTOS
MOMENTOS
Tomar la decisión de Institución responsable Política de evaluación
evaluar (Unidad de evaluación ?)
Definir el ámbito y Institución responsable
alcance de la evaluación
Proponer las principales
preguntas de la
evaluación
Establecer los rasgos Institución responsable
principales del ejercicio
de evaluación Términos de Referencia
Seleccionar al equipo Institución responsable Convocatoria/ Bases del
evaluador concurso
 GUIÓN TÉRMINOS DE REFERENCIA

• Introducción
• Fundamento de la evaluación
• Antecedentes
• Cobertura temática
• Metodología y Plan de Trabajo
• Esquema de informe final, recomendaciones y
anexos
• Equipo de evaluación
• Disposiciones temporales y presupuestarias
• Otras disposiciones
Fuente: Metodología de evaluación de la Cooperación Española
 ITINERARIO DE UNA EVALUACIÓN/ FASE
PREVIA (2)

PASOS/ ACTORES DOCUMENTOS

MOMENTOS
Adaptar los Términos de Institución responsable/ Términos de Referencia
Referencia equipo de evaluación definitivos
Análisis documental y Equipo de evaluación
establecimiento de
primeras hipótesis de
trabajo
Preparar la visita al Equipo de evaluación / Plan de Trabajo de la
terreno y los contactos a Institución responsable evaluación
realizar
 ITINERARIO DE UNA EVALUACIÓN/ FASE DE
EJECUCIÓN (1)
PASOS/ ACTORES DOCUMENTOS
MOMENTOS
Recopilar datos e Equipo de evaluación
informaciones según los
métodos establecidos
Ordenar y analizar los Equipo de evaluación
datos
Preparar conclusiones y Equipo de evaluación Borrador del informe de
recomendaciones evaluación
preliminares
Presentar conclusiones y Equipo de evaluación
recomendaciones
preliminares (taller,
reunión, etc.)
 ITINERARIO DE UNA EVALUACIÓN/ FASE
DE EJECUCIÓN (2)

PASOS/ ACTORES DOCUMENTOS

MOMENTOS
Redactar el informe Equipo de evaluación Informe preliminar de
preliminar evaluación
Consultas y discusión Equipo de evaluación/
del informe Otras entidades
implicadas
Redacción del informe Equipo de evaluación Informe definitivo de
definitivo de evaluación evaluación

Presentación del informe Equipo de evaluación/ Presentaciones, resúmenes,

de evaluación Institución responsable etc.
 GUIÓN INFORME DE EVALUACIÓN
• Portada
• Resumen ejecutivo
• Introducción
– Antecedentes de la evaluación
– Objetivo de la evaluación
– Estructura de la documentación presentada
– Metodología empleada en la evaluación
– Condicionantes y límites del estudio realizado
– Presentación de equipo de trabajo
– Descripción de los trabajos ejecutados
• Capítulo I: Descripción de la intervención o intervenciones analizadas
– Concepción inicial
– Descripción detallada de su evolución
• Capítulo II: Metodología
• Capítulo III: Criterios de evaluación y factores de desarrollo
• Capítulo IV: Conclusiones y enseñanzas obtenidas
• Recomendaciones
• Anexos
Fuente: Metodología de evaluación de la Cooperación Española
 ITINERARIO DE UNA EVALUACIÓN/ FASE
DE UTILIZACIÓN DE LOS RESULTADOS

• Difusión de la evaluación

• Retroalimentación

• Asunción de conclusiones y recomendaciones