Lineamientos de la JICA para la

Evaluacin de Proyectos
~ Mtodos Prcticos para la Evaluacin de Proyectos ~

Septiembre de 2004

Oficina de Evaluacin, Departamento de Planeacin y

Coordinacin
Agencia de Cooperacin Internacional del Japn (JICA)

NDICE
Parte I: Evaluacin de Proyectos de la JICA
Captulo 1 Descripcin General de la Evaluacin de Proyectos
de la JICA
1. Objetivos de la Evaluacin de Proyectos de la
JICA
2. Tipos de Evaluacin de Proyectos de la JICA
3. Sistema de Evaluacin de la JICA
4. Retroalimentacin de la Evaluacin
5. Criterios para una Buena Evaluacin
Captulo 2 Marcos de Trabajo y Pasos Bsicos de la Evaluacin
de Proyectos de la JICA
1. La Evaluacin como una Herramienta de Gestin
2. Marco de Trabajo de la Evaluacin
3. Pasos Principales de la Evaluacin de Proyectos
de la JICA

Parte II: Mtodos de Evaluacin de la JICA

Captulo 1 Confirmacin de los Objetivos de la Evaluacin y
Organizacin de la Informacin sobre el Proyecto
Seleccionado
1. Confirmacin del Objetivo de la Evaluacin
2. Comprensin del Panorama General del
Proyecto Seleccionado
3. Uso del Marco de Trabajo Lgico
4. Comprensin de la Situacin de Implementacin:
Informacin sobre los Resultados y el Proceso de
Implementacin

33

Captulo 2 Planeacin de la Evaluacin del Proyecto

1. Desarrollo de la Preguntas de la Evaluacin
2. Bases del Juicio
3. Consideracin los Datos y Fuentes de
Informacin Necesarios
4. Mtodos de Recopilacin de Datos
5. Formulacin de una Tabla de Evaluacin
Captulo 3 Interpretacin de Datos e Informacin de los
Resultados de la Evaluacin
1. Interpretacin de Datos
2. Recomendaciones y Propuestas de las
Lecciones Aprendidas
3. Envo de Informacin sobre los Resultados de la
Evaluacin

55
59
69

2
4
6
12
15
18
20
21
22
28

34
35
37
39

53

74
80
90
92
93
96
98

Parte III: Gestin de las Evaluaciones del Proyecto

Captulo 1 Problemas en la Gestin de Evaluaciones
1. El Papel de los Departamentos Operativos del
Proyecto de la JICA
2. Preparacin de la Publicidad de un Contrato
3. Preparacin Preliminar de la Evaluacin
4. Gestin de las Evaluaciones en el Sitio
5. Preparacin del Informe de Evaluacin
6. Retroalimentacin de los Resultados de la
Evaluacin
Captulo 2 Puntos en la Evaluacin Ex-ante y Ex-post
1. Puntos Clave de los Estudios de Evaluacin Exante
2. Puntos del Seguimiento y los Estudios de
Evaluacin Intermedia
3. Puntos Principales de los Estudios de
Evaluacin Final
4. Puntos Principales de las Evaluaciones Ex-post

104
105
106
109
116
118
122
123
124
127
146
159
195

Preguntas Frecuentes Relativas a la Evaluacin de

Proyectos de la JICA

200

Materiales Anexos
1. Qu es el Marco de Trabajo Lgico?
2. Qu es la Evaluacin Participativa?
3. Qu es la Medicin de Resultados?
4. Bibliografa

220
221
230
232
234

NOTA: Estos lineamientos son traduccin de las partes ms importantes de la versin

original en japons: JICA Jigyo Hyoka Guideline Project Hyoka no Jissenteki Shuho
Oficina de Evaluacin y Seguimiento Post Proyecto, Departamento de Planeacin y
Evaluacin, JICA, Marzo de 2004.

ii

Parte I
Evaluacin de Proyectos
de la JICA

Captulo 1 Descripcin General de la Evaluacin de Proyectos

de la JICA
Para poder proporcionar una descripcin general de la Evaluacin de Proyectos de la
JICA, este captulo explica sus objetivos, tipos, sistema de implementacin y sistema de
retroalimentacin. Tambin explica los criterios para una buena evaluacin para mejorar
la calidad de la evaluacin. Sugiere la meta y la direccin de la Evaluacin de Proyectos
de la JICA.

Consejos!
- Hay tres objetivos para el uso de la Evaluacin de Proyectos de la JICA: 1)
herramienta para la gestin del ciclo del proyecto; 2) herramienta para acentuar los
efectos de aprendizaje para una gestin de proyecto ms efectiva; 3) asegurar la
rendicin de cuentas.

Los tipos de evaluacin se clasifican en dos niveles principales: a nivel de programa y

a nivel de proyecto.

La evaluacin a nivel de proyecto se clasifica en cuatro tipos que se llevan a cabo en

diferentes etapas durante el ciclo del proyecto: evaluacin ex-ante, evaluacin
intermedia, evaluacin final y evaluacin ex-post. La evaluacin a nivel de programa
es una evaluacin completa que se aplica principalmente a la evaluacin ex-post y
tiene varios tipos de acuerdo con su objetivo y evaluador.

El sistema de evaluacin de la JICA consta de 1) Comit de Estudio de la Evaluacin,

2) Comit Consejero sobre la Evaluacin, 3) Oficina de Evaluacin y Seguimiento
Post-Proyecto y 4) Departamentos y Oficinas en el Extranjero que Participan en la
Implementacin de Proyectos.

La JICA considera que la funcin de retroalimentacin de la evaluacin es doble: 1)

retroalimentacin para la gestin y operacin de proyectos y 2) retroalimentacin para
el

pblico.

la

JICA

se

esfuerza

para

implementar

estrategias

para

una

retroalimentacin efectiva.

Los criterios para una buena evaluacin son 1) utilidad, 2) justicia y neutralidad, 3)
credibilidad, 4) participacin de los pases socios, etctera. Cuando se adopta

la

responsabilidad completa de dichos criterios se obtiene una evaluacin ms calificada.

1. Objetivos de la Evaluacin de Proyectos de la JICA

Es importante evaluar los resultados que obtiene un proyecto y brindar retroalimentacin
de los resultados de la evaluacin, lecciones y recomendaciones obtenidas para lograr que
la implementacin de la cooperacin para el desarrollo sea ms efectiva y eficiente. Las
difciles situaciones econmicas y fiscales en casa han generado fuertes llamadas en
Japn para una implementacin ms efectiva y eficiente y para asegurar la rendicin de
cuentas de la AOD. El perfeccionamiento de la evaluacin ha llamado la atencin como
una de las medidas de mejoramiento ms importantes. Adems, existen cambios en el
panorama poltico tales como la adopcin de la evaluacin del sector pblico por parte de
los ministerios y la reorganizacin de las agencias en Instituciones Administrativas
Independientes (IAI) que solicitan mejoras en el sistema de evaluacin.
La evaluacin de la JICA es una herramienta para juzgar lo ms objetivamente posible
los puntos importantes y la efectividad de las actividades de cooperacin de la JICA en
cuatro diferentes etapas durante el ciclo del proyecto: ex-ante, intermedia, final y ex-post.
El objetivo principal de la evaluacin es mejorar la efectividad y eficiencia de los proyectos
utilizando los resultados de la evaluacin para mejorar la planeacin e implementacin. La
JICA tambin intenta obtener el apoyo y comprensin del pblico al utilizarlo para asegurar
la rendicin de cuentas. La JICA ha concentrado sus esfuerzos en fortalecer su evaluacin
con los siguientes tres objetivos.

(1) Utilizar la Retroalimentacin de la Evaluacin como un Medio para la Operacin y

Gestin de Proyectos
Utilizndolos en el proceso de toma de decisiones, la JICA se refiere a los resultados de la
evaluacin cuando formula sus estrategias de asistencia y los Programas por Pas de la
JICA. Tambin los utiliza cuando toma decisiones acerca de la ejecucin de un proyecto,
selecciona los proyectos objetivo, revisa los planes y determina la continuacin o
terminacin de un proyecto.

(2) Acentuar los Efectos de Aprendizaje del Personal y las Organizaciones

Interesadas para lograr una Implementacin Ms Efectiva de los Proyectos
La retroalimentacin de la evaluacin acenta qu tan efectivamente pueden aprender y
desarrollar sus habilidades las diversas personas involucradas. El trmino Efectos de
Aprendizaje se refiere a la forma tan exitosa en que el proceso de aprendizaje a partir de
la evaluacin permite al personal de la JICA y a las personas interesadas implementar
mejor sus proyectos y programas. Por ejemplo, el personal de la JICA y los funcionarios

de los pases socios emplean las lecciones de los proyectos pasados a modo de
referencias tiles cuando planean e implementan proyectos similares. Adems, el proceso
de evaluacin en s contribuye a ampliar el conocimiento y desarrollar las capacidades de
las personas participantes y, por tanto, sirve como un proceso de aprendizaje.

(3) Dar a conocer ampliamente la informacin para asegurar la rendicin de cuentas

de la JICA
Para ganar el apoyo y comprensin del pblico es indispensable darle a conocer los
resultados de la evaluacin y explicarle que la JICA est cumpliendo con su
responsabilidad en las acciones que emprende. Para poder asegurar la rendicin de
cuentas a los contribuyentes, la JICA necesita asegurar una forma adecuada de dar a
conocer la informacin.

Figura 1-1-1 Uso de los Resultados de la Evaluacin de la JICA

Uso de la Retroalimentacin de la Evaluacin

como Medio para la
Gestin de Proyectos
Asegurar la
Rendicin de

Acentuar el Efecto

Cuentas a los

Realizacin

de Aprendizaje del

Contribuyentes /

de la
Evaluacin

Personal y las

Implementar

Organizaciones

Proyectos de

interesadas

Manera ms
Efectiva y Eficiente

Asegurar la Responsabilidad
de la JICA

2) Tipos de Evaluacin de Proyectos de la JICA

El Informe sobre el Mejoramiento del Sistema de Evaluacin de la AOD del Ministerio del
Exterior, publicado en marzo de 2000, clasific la evaluacin de la AOD en tres niveles: a
nivel de poltica, a nivel de programa y a nivel de proyecto, como se muestra en la Figura
1-1-2. El informe solicita que se mejore la evaluacin a nivel de poltica y a nivel de
programa. El Ministerio del Exterior lleva a cabo evaluaciones a nivel de poltica tales como
el Programa de Asistencia a Pases y las Iniciativas a Sectores Especficos, as como
evaluaciones a nivel de programa por sectores y esquemas. La JICA conduce las
evaluaciones a nivel de programa y de proyecto. La Figura 1-1-3 muestra cmo evaluar el
ciclo de gestin de la JICA. Existen dos ciclos: el ciclo pequeo (ciclo del proyecto) y el
gran ciclo (ciclo del programa).

Figura 1-1-2 Sistema de la AOD y la Evaluacin de la JICA

Carta de la AOD

Nivel de Poltica

Sistema de Evaluacin

de toda la AOD

Polticas bsicas de la JICA

Plan a Mediano Plazo
Informes del comit de
estudio
Lineamientos Temticos
de la JICA

Poltica Intermedia de la
AOD
Programa de Asistencia por Pas
Iniciativas por sector especfico

Plan de Desarrollo Nacional de un Pas A

Programa por Pas de la JICA (para Pas A)

Nivel de Programa

Problema de
Desarrollo del Pas A
Problema de Desarrollo

Problema de
Desarrollo

Problema de Desarrollo
del Pas A

Programa de Desarrollo del

Pas A
Programa de
Cooperacin de la JICA

Programa de
Cooperacin de la JICA

Cooperacin de

Otros Donadores

Proyectos de la JICA

Proyectos de la JICA

Proyectos Independien-

tes del Pas A

Cooperacin de

Otros Donadores

Proyectos de la JICA

Proyectos de la JICA

Proyectos Independien-

tes del Pas A

Nivel de Proyecto

Figura 1-1-3 Tipos de Evaluacin por Etapas durante el Ciclo del Proyecto
Retroalimentacin

Plan

Ciclo del Programa

Evaluacin
Ex-post
Programa Temtico
por Pas

Desarrollo o Revisin del

Programa por Pas de la JICA

Encuesta de solicitudes
especficas por asunto

Plan

Retroalimentacin

Ciclo del Proyecto

Evaluacin
Ex-ante

Evaluacin
Ex-post
Retroalimentacin

Retroalimentacin
Implementacin

Post Implementacin
Evaluacin
final

Evaluacin
intermedia

<Rendicin de cuentas> El pblico japons

(1) Tipos de Evaluacin por nivel de Proyecto/Programa

La evaluacin a nivel de proyecto cubre proyectos individuales. Se espera que este tipo de
evaluacin, que llevan a cabo tanto los departamentos de la JICA responsables de la
implementacin del proyecto como las oficinas en el extranjero, se refleje en la planeacin
y revisin de proyectos individuales, en la toma de decisiones para decidir si se contina
con los proyectos y en la revisin de los planes de proyectos, en la planeacin y ejecucin
de otros proyectos similares y en el aseguramiento de la rendicin de cuentas de las
operaciones.
La evaluacin a nivel de programa incluye una evaluacin integral aplicada a aquellos
grupos de proyectos que comparten la misma meta general y temas de desarrollo.
Tambin est dirigida a un grupo de proyectos bajo un esquema de cooperacin
especfico. Estas evaluaciones se realizan principalmente a travs de la Oficina de
Evaluaciones de la JICA en las etapas ex-post en forma de evaluacin de un programa por
pas o evaluacin temtica. Los resultados de la evaluacin se utilizan principalmente para
mejorar el Programa por Pases de la JICA y para encontrar y formular nuevos proyectos.
La evaluacin a nivel de programa se clasifica en dos tipos como se indica a continuacin:

i)

Evaluacin de Programa por Pas

Esta evaluacin integral examina los efectos generales de la cooperacin de la JICA para
el desarrollo de un pas objetivo a lo largo de los proyectos. Despus de aclarar y analizar
los efectos generales de la cooperacin de la JICA y las dificultades que encontr, esta
evaluacin brinda lecciones y recomendaciones para el mejoramiento del Programa por
Pas de la JICA para del pas en cuestin.

ii) Evaluacin Temtica

Esta evaluacin toma en cuenta varios proyectos concentrndose en sectores, problemas
(medio ambiente, pobreza, gnero, construccin de la paz, etc.) especficos o esquemas
de cooperacin (Programa de Voluntarios Japoneses para la Cooperacin con el
Extranjero, etc.). Despus de aclarar y analizar los efectos generales y los factores
inhibidores comunes de los proyectos de la JICA en relacin con el asunto en cuestin,
esta evaluacin brinda lecciones y recomendaciones para la implementacin de proyectos
futuros enfocndose en dichos temas. Tambin considera enfoques y mtodos efectivos
para implementar proyectos enfocndose en un tema especfico.

(2) Tipos de Evaluacin por Etapas durante el Ciclo del Proyecto

La evaluacin a nivel de proyecto se clasifica en cuatro tipos que se llevan a cabo en
diferentes etapas durante el ciclo del proyecto: evaluacin ex-ante, evaluacin intermedia,
evaluacin final y evaluacin ex-post.

i) Evaluacin Ex-ante
La evaluacin ex-ante se realiza sobre un proyecto solicitado por un pas receptor. Primero
incluye un estudio del proyecto para determinar su necesidad as como su conformidad
con el Programa por Pases de la JICA. Se aclaran los detalles del proyecto y sus
resultados esperados. Despus se examina y evala de manera integral la importancia del
proyecto. En la evaluacin ex-ante, los indicadores de evaluacin se establecen y utilizan
para medir el efecto del proyecto en evaluaciones posteriores, desde la evaluacin
intermedia hasta la evaluacin ex-post.

ii) Evaluacin Intermedia

La evaluacin intermedia se realiza en el punto intermedio de los proyectos. Esta
evaluacin tiene por objetivo examinar los logros y proceso del proyecto, concentrndose
en la eficiencia e importancia entre los Cinco Criterios de Evaluacin. Con base en sus

resultados, se puede revisar el plan original del proyecto o fortalecer la estructura de la

operacin en caso de ser necesario.

iii) Evaluacin Final

La evaluacin final se realiza a la terminacin de un proyecto, concentrndose en su
eficiencia, efectividad y sustentabilidad. Con base en los resultados de la evaluacin, la
JICA determina si es apropiado terminar el proyecto o si es necesario extender la
cooperacin de seguimiento.

iv) Evaluacin Ex-post

La evaluacin ex-post se lleva a cabo despus que ha transcurrido cierto perodo desde la
terminacin del proyecto objetivo y se realiza haciendo nfasis en el impacto y
sustentabilidad del proyecto. El objetivo de esta evaluacin son las lecciones y
recomendaciones que derivan de la misma para el mejoramiento de los Programas por
Pas de la JICA y para la planeacin e implementacin de proyectos ms efectivos y
eficientes.

(3) Tipos de Evaluacin segn los Evaluadores

La evaluacin de la JICA se puede clasificar por evaluadores como se indica a
continuacin:

i)

Evaluacin de terceros (Evaluacin externa)

Para poder mejorar la calidad y objetividad de su evaluacin, la JICA encarga cierta parte
de sus estudios de evaluacin a terceros que no participaron en la planeacin e
implementacin de los proyectos que se van a evaluar. Por ello mismo, la JICA tambin
incluye en la evaluacin a quienes tienen mucha experiencia en las reas objetivo, tales
como universidades, instituciones de investigacin, acadmicos, consultores, etc.

ii) Evaluacin de la JICA (Evaluacin Interna)

Para poder brindar lecciones y recomendaciones que satisfagan las condiciones o
necesidades reales de los pases receptores, la JICA es el conductor principal de esta
evaluacin ya que conoce esos sistemas y dems cuestiones que rodean un proyecto o
problema. La JICA tambin promueve la revisin de los resultados de dichas evaluaciones
internas por parte de terceros (acadmicos, periodistas, ONGs, etc.) que tienen
experiencia en la asistencia para el desarrollo y que estn familiarizados con los
compromisos de la JICA para poder asegurar transparencia y objetividad.

10

iii) Evaluacin Conjunta

Esta evaluacin se realiza en colaboracin con organizaciones en los pases objetivo o con
las agencias de asistencia de otros pases donantes. La evaluacin conjunta con los
pases socios es efectiva para compartir con la JICA el reconocimiento sobre los efectos
de dichos proyectos y sus problemas. Tambin contribuye con los mtodos de evaluacin
del aprendizaje y a mejorar la capacidad de aquellos pases para realizar sus
evaluaciones. Esta evaluacin es efectiva para promover el aprendizaje mutuo de los
mtodos de evaluacin y la coordinacin de la asistencia.

11

3. Sistema de Evaluacin de la JICA

(1) Desarrollo del Sistema de Evaluacin de la JICA
Desde hace mucho, la JICA est comprometida con el mejoramiento de sus sistemas de
evaluacin. En julio de 1981, la JICA estableci el Comit de Estudios de Evaluacin para
manejar los problemas y retos de su evaluacin. El Comit ha estado dirigiendo los
esfuerzos de la JICA para desarrollar nuevos enfoques y tcnicas para una mejor
evaluacin. En abril de 1988, se estableci la Oficina de Evaluacin dentro del
Departamento de Planeacin, como una unidad especializada en evaluaciones. En abril de
1990, la Oficina se reorganiz como la Divisin de Evaluacin y Seguimiento Post
Proyecto y, en octubre de 1996, se puso bajo la supervisin directa del Presidente para
que tuviera mayor independencia de evaluacin.
En enero de 2000, la Oficina de Evaluacin y Seguimiento Post Proyecto se uni de
nuevo con el Departamento de Planeacin y Evaluacin como un paso para mejorar la
retroalimentacin de los resultados de la evaluacin y as mejorar la planeacin de
proyectos. En un intento por asegurar la objetividad y transparencia de la evaluacin, se
estableci en junio de 2002 como cuerpo asesor para el Comit de Estudios de Evaluacin
un Comit Asesor de Evaluacin compuesto por expertos externos. En mayo de 2003 se
dio un paso ms para mejorar el sistema de evaluacin cuando se asign un jefe de
evaluacin a cada uno de los departamentos y oficinas en el extranjero involucradas
directamente en la gestin de proyectos. El objetivo de este paso es controlar y mejorar la
calidad de la evaluacin para que sta pueda satisfacer las necesidades y condiciones al
frente de las operaciones de asistencia. Las responsabilidades principales de los jefes de
evaluacin incluyen el control de calidad de las evaluaciones de los proyectos que realizan
sus departamentos y oficinas y la promocin de la retroalimentacin de las evaluaciones a
todos los interesados.
En abril de 2004, se reorganiz el Departamento de Planeacin y Evaluacin formando
el Departamento de Planeacin y Coordinacin como parte de una reforma realizada por la
Oficina Central despus que la JICA se reorganiz como una Iniciativa Administrativa
Independiente (IAI).

(2) Sistemas de Evaluacin y Papeles Actuales

El sistema de evaluacin actual de la JICA incluye cuatro partes principales: el Comit de
Estudios de Evaluacin, el Comit Consejero sobre la Evaluacin, la Oficina de Evaluacin
y Seguimiento Post Proyecto y los departamentos de implementacin de proyectos

12

(departamentos y oficinas en el extranjero responsables de la operacin de los proyectos).

Los papeles principales de cada una de estas partes son los siguientes:
i) Comit de Estudios de Evaluacin
El comit est encabezado por el vicepresidente de la JICA a cargo de la planeacin y
evaluacin y est compuesto por los directores administrativos de los departamentos
relacionados. El comit examina y discute las polticas de evaluacin bsicas de la JICA,
as como los mtodos para proporcionar la retroalimentacin de la evaluacin. Bajo este
comit, se establece un Grupo de Trabajo de Estudio de la Evaluacin para estudiar,
deliberar e informar sobre las cuestiones y problemas relacionados.

ii) Comit Consejero sobre la Evaluacin

Este comit est compuesto por expertos externos (acadmicos, miembros de ONGs,
periodistas, etc.) bien informados sobre los problemas relativos a la asistencia para el
desarrollo y la evaluacin. El comit asesora al Comit de Estudios de Evaluacin en
materia de sistemas y mtodos de evaluacin. Tambin revisa los resultados de las
evaluaciones internas para mejorar su objetividad.

iii) Oficina de Evaluacin, Departamento de Planeacin y Coordinacin

La Oficina es responsable de la planeacin y coordinacin de las actividades generales de
evaluacin dentro de la JICA, incluyendo los esfuerzos para mejorar los mtodos de
evaluacin y promover la retroalimentacin a partir de la evaluacin. Tambin realiza
evaluaciones ex-post tales como la evaluacin del programa por pas y la evaluacin
temtica. La Oficina apoya y supervisa las actividades de evaluacin de los departamentos
y oficinas en el extranjero.

iv) Departamentos y Oficinas en el Extranjero Involucrados en la Implementacin de

Proyectos
Los departamentos y oficinas en el extranjero involucrados en la implementacin de
proyectos llevan a cabo evaluaciones ex-ante, intermedias, finales y ex-post de los
proyectos individuales que estn bajo su responsabilidad. Estos resultados de las
evaluaciones se utilizan para gestionar los proyectos e identificar sus efectos. Como se
mencion anteriormente, los jefes de evaluacin asignados a estos departamentos y
oficinas dirigen sus esfuerzos hacia el mejoramiento del control de calidad de las
evaluaciones y de la retroalimentacin a partir de la evaluacin.

(3) Esfuerzos para Impulsar Recursos Humanos hacia la Evaluacin

13

Adems del establecimiento de un buen sistema de evaluacin, tambin es esencial la

creacin de recursos humanos con habilidades de evaluacin para mejorar la calidad de
las evaluaciones de la JICA. La JICA brinda programas de capacitacin para su personal
tanto en su Oficina Central como en las oficinas en el extranjero, mediante un programa de
capacitacin a distancia desarrollado en colaboracin con el Instituto del Banco Mundial.

14

4. Retroalimentacin de la Evaluacin
La JICA considera que la funcin de retroalimentacin de la evaluacin es doble: 1)
retroalimentacin para la gestin y operacin de proyectos y 2) retroalimentacin para el
pblico.

(1) Retroalimentacin para la Gestin y Operacin de Proyectos

La retroalimentacin para la gestin y operacin de proyectos incluye un proceso que
emplea los resultados de la evaluacin y las lecciones y recomendaciones obtenidas para
mejorar la planeacin e implementacin de proyectos. Este tipo de retroalimentacin se
puede clasificar todava ms para mejorar el proceso de toma de decisiones y
retroalimentar el proceso de aprendizaje de las partes interesadas.

i) Retroalimentacin para mejorar el proceso de toma de decisiones

La retroalimentacin para mejorar el proceso de toma de decisiones implica el uso directo
de los resultados de la evaluacin en la toma de decisiones relativas al proyecto objetivo.
En la mayora de los casos, este proceso forma parte de los procedimientos de la gestin
del proyecto del departamento responsable del mismo. Por ejemplo, los resultados de la
evaluacin ex-ante sirven como una referencia importante para decidir si se debe realizar
el proyecto en cuestin, mientras que los resultados de la evaluacin intermedia se toman
en cuenta para decidir si es necesario revisar el plan original del proyecto. Igualmente, los
resultados de la evaluacin final se utilizan para determinar si el proyecto se debe finalizar,
extender o si se le debe dar seguimiento con cooperacin adicional.

ii) Retroalimentacin para el proceso de aprendizaje de la organizacin

Por otro lado, la retroalimentacin para el proceso de aprendizaje de la organizacin
incluye la acumulacin de informacin de la evaluacin y las lecciones de la gente que
particip en las operaciones de asistencia para el desarrollo con el objetivo de utilizarlas
para formular y planear proyectos similares y para revisar las estrategias de la
organizacin.
Especficamente, la retroalimentacin para su proceso de aprendizaje se brinda a
travs de una variedad de medidas como se indica a continuacin: sesiones de preguntas
con la participacin de las personas interesadas cuando un equipo de evaluacin regresa
a Japn, distribucin de informacin a travs de la red de evaluacin mencionada
anteriormente, creacin de una base de datos sobre las lecciones relativas a las reas de
educacin y telecomunicacin mediante la participacin de equipos de trabajo temticos, y

15

estudios sintticos sobre las evaluaciones para identificar las tendencias comunes. A partir
del 2004, se aadi una nueva columna al documento de evaluacin ex-ante para anotar
comentarios sobre las lecciones aplicadas tomadas de proyectos similares pasados. Esto
representa un paso ms para una mejor retroalimentacin de la evaluacin.

(2) Retroalimentacin para el Pblico

La retroalimentacin para el pblico es un proceso para que la JICA cumpla con su
rendicin de cuentas, que es uno de los objetivos de la evaluacin de la JICA. La rendicin
de cuentas es mucho ms que el compromiso de publicar los resultados de la evaluacin.
Requiere un sistema en donde el encargado de dichas empresas (la JICA) le da un
reporte completo a quienes se las encargaron (los contribuyentes) sobre cmo ha
implementado esas empresas de manera responsable para que ellos puedan juzgar los
resultados del encargado. Adems, como los proyectos de cooperacin se deben realizar
de manera conjunta con los pases que reciben la ayuda, la retroalimentacin tambin es
muy importante para aquellos interesados y para el pblico en general de esos pases.
Los requisitos de la rendicin de cuentas incluyen objetivos de cooperacin claros,
transparencia en el proceso de toma de decisiones de la organizacin y el uso eficiente de
insumos, y la medicin exacta de los resultados obtenidos del proyecto. Para asegurar la
rendicin de cuentas es necesario dar a conocer la informacin de la evaluacin con una
calidad que satisfaga todos estos requisitos.
En trminos ms concretos, los esfuerzos de la JICA para brindar retroalimentacin al
pblico incluyen la publicacin de informes de evaluacin, la realizacin de seminarios de
evaluacin para mostrar a los ciudadanos japoneses y a las personas interesadas en los
pases socios los resultados de las evaluaciones ex-post principales tales como
evaluaciones de programas por pas y temtica, y el uso de su pgina Web para dar a
conocer de manera rpida los resultados de la evaluacin.

16

Figura 1-1-4 Sistema de Retroalimentacin

Departamentos
Operativos de la
JICA, Organizaciones
Interesadas
en Japn

Proyecto
Objetivo

Agencias de
Asistencia de
otros pases
donadores

Mejorar la Gestin de
los Proyectos / Proceso
de Aprendizaje de la
Organizacin

Agencias de
Implementacin
Organizaciones
Preocupadas por
los pases objetivo

Proceso de
la
Evaluacin
Asegurar la Rendicin
de cuentas

Pblico /
Contribuyentes
Japoneses

Pblico de
los Pases
Objetivo

17

5. Criterios para una Buena Evaluacin

Para brindar informacin adecuada que valga la pena utilizar es necesario satisfacer
criterios tales como 1) utilidad, 2) imparcialidad e independencia, 3) credibilidad y 4)
participacin de los pases socios; todos estos puntos son importantes para llevar a cabo
una Buena Evaluacin.

(1) Utilidad
Los resultados de las evaluaciones deben ser claros y tiles para que se puedan emplear
en la toma de decisiones de la organizacin. Es necesario establecer claramente los
objetivos de la evaluacin, y para que la retroalimentacin sea ms efectiva, es
recomendable que la evaluacin refleje las necesidades de los usuarios previstos. La
informacin relativa a los resultados de la evaluacin se emplea en diversas etapas
durante el ciclo del proyecto y tambin se utiliza en la formulacin de estrategias ms
efectivas, as que es muy importante que esa informacin est fcilmente disponible y que
la implementacin de la evaluacin est lista justo a tiempo.

(2) Imparcialidad e Independencia

Es necesario realizar la evaluacin imparcialmente y en un entorno neutral. Para asegurar
la credibilidad de la informacin de la evaluacin es indispensable asegurar imparcialidad
para brindar un anlisis estandarizado de los resultados de la evaluacin. Tambin es
importante recopilar una amplia variedad de informacin de las diversas partes
interesadas, as como de particulares y organizaciones interesadas. Adems, se espera la
garanta de imparcialidad para evitar conflictos entre las partes interesadas.
La imparcialidad e independencia de los evaluadores no es contraria a la distribucin de
informacin o retroalimentacin entre las partes interesadas.

El grupo de estudio de

evaluacin y los departamentos que participan en la implementacin de los proyectos

tienen un papel independiente cada uno, aunque comparten el mismo objetivo para
mejorar la gestin de los proyectos.

(3) Credibilidad
Para obtener una informacin de evaluacin verosmil, es esencial que los evaluadores
tengan conocimientos especializados de los campos objetivo y los esquemas (tipos de
proyectos) y que estn bien versados en el mtodo de investigacin cientfica.

Un

evaluador con estas caractersticas es capaz de producir informacin verosmil que es el

resultado de un anlisis objetivo de aquellos factores que indican xito o fracaso. Adems,

18

es importante compartir el proceso de evaluacin en s con las partes interesadas del

proyecto ya que as se asegura la transparencia. En el proceso, es importante incluir las
diferentes

opiniones

propuestas

relativas

las

lecciones

aprendidas

las

recomendaciones en el informe, y dejarlas al veredicto del pblico. La transparencia es

indispensable para aumentar la credibilidad con el pblico y tambin tiene un efecto nada
pequeo en qu tanto de la informacin de la evaluacin se utiliza.

(4) Participacin de los Pases Socios

Los proyectos de cooperacin de la JICA se realizan en colaboracin con pases socios y
junto con ellos, la JICA realiza evaluaciones consistentes de la etapa ex-ante a la etapa
final.
Por ello, tanto los donadores como los socios deben utilizar la informacin de la
evaluacin.
Las lecciones aprendidas y las recomendaciones obtenidas a travs de la experiencia de
la gestin de proyectos se utilizan como retroalimentacin para la estrategia de desarrollo
de los pases socios y conduce a una segunda evaluacin del proyecto. Es necesario que
los evaluadores se comuniquen con las partes interesadas de los donadores y los
receptores durante cada etapa de la evaluacin

19

Captulo 2

Marcos de Trabajo y Pasos Bsicos de la

Evaluacin de Proyectos de la JICA

Este captulo consta de dos partes: 1) el marco de trabajo de la evaluacin, y 2) los pasos
principales del estudio de la evaluacin. En la Parte II se incluye una explicacin detallada
de las metodologas de evaluacin.

Consejos!
-

La evaluacin es una herramienta prctica para gestionar de manera efectiva un

proyecto.

La evaluacin tiene tres etapas: 1) valoracin de los resultados del proyecto; 2) juicio
de valor con base en los Cinco Criterios de Evaluacin; y 3) elaboracin de
recomendaciones, atencin a las lecciones aprendidas y la retroalimentacin.

El estudio de evaluacin consta bsicamente de los siguientes seis pasos.

1)
2)
3)
4)
5)
6)

Confirmacin del objetivo de la evaluacin

Organizacin de la informacin sobre un proyecto objetivo
Elaboracin de planes para la implementacin de la evaluacin
Recopilacin y anlisis de datos
Interpretacin de datos y agrupacin de resultados
Envo de Informacin sobre los resultados de la evaluacin

20

1. La Evaluacin como una Herramienta de Gestin

La evaluacin es una herramienta prctica para gestionar de manera efectiva un proyecto.
La evaluacin brinda a todas las partes interesadas en todos los niveles y etapas de la
gestin de un proyecto informacin sobre el proceso. Dicha informacin incluye cules son
las necesidades de una sociedad objetivo, si el proyecto se lleva a cabo segn lo
planeado, cmo afecta un proyecto a la sociedad objetivo o cules son los factores que
afectan la gestin de un proyecto. La JICA realiza evaluaciones ex-ante, de seguimiento,
intermedias, finales y ex-post a lo largo del ciclo operativo de un proyecto con el objeto de
que su implementacin sea efectiva y eficiente.
En la evaluacin ex-ante, se examinan la idoneidad y relevancia de la estrategia del
proyecto, as como su eficiencia y efectividad. Adems, se desarrollan los indicadores
adecuados, los valores objetivo y los medios de medicin (medios de verificacin). Una
vez que empieza un proyecto, se realiza el seguimiento con aquellos indicadores y
medidas y, de ser necesario, se realizan algunas modificaciones a las actividades y la
estrategia. As, la evaluacin ex-ante brinda informacin indispensable para establecer un
sistema de seguimiento durante la implementacin del proyecto. Cuando se consideran
esos indicadores y medidas, es necesario examinar detenidamente el costo de la
recopilacin de datos y su accesibilidad a travs de un estudio de base.
La evaluacin intermedia brinda la informacin necesaria para ajustar los planes
originales al evaluar un proyecto desde un punto de vista integral. Los resultados de la
evaluacin intermedia se deben utilizar cabalmente para redisear un proyecto en marcha
en su etapa intermedia. Algunos proyectos pueden enfrentar situaciones imprevistas o
verse influidos por factores inesperados cuando las actividades ya hayan empezado. Es
esencial modificar los planes o estrategias originales lo antes posible para evitar una
situacin en donde no se obtengan efectos al final del proyecto.
Las evaluaciones final y ex-post se llevan a cabo para brindar informacin til sobre
la gestin del proyecto objetivo, as como la planeacin de otro proyecto o programa
similar.
Dichas evaluaciones examinan los efectos, impactos y sustentabilidad del
proyecto.
Como se mencion anteriormente, la evaluacin de la JICA es una herramienta
utilizada para presentar informacin sobre si un proyecto est produciendo efectos o se
est llevando a cabo adecuadamente desde el punto de vista de la rendicin de cuentas y
tambin brinda informacin til a los departamentos relacionados de la JICA y a su
administracin para implementar proyectos y programas de manera ms efectiva. Los
departamentos de operacin de proyectos deben buscar en la evaluacin informacin
crucial para la toma de decisiones y deben retroalimentar los resultados a la gestin del
proyecto.

21

2. Marco de Trabajo de la Evaluacin

La evaluacin es el acto de emitir un juicio de valor apoyado por evidencia. Tambin,
como se explica en la seccin anterior, la retroalimentacin adecuada de las
recomendaciones y lecciones aprendidas es esencial para la operacin futura. No es
satisfactorio nicamente llegar a la conclusin que se alcanzaron los objetivos o calificar
un proyecto de acuerdo con alguna escala al final de los estudios de evaluacin.
La evaluacin de la JICA tiene tres etapas: 1) valoracin de los resultados de un
proyecto; 2) emisin de un juicio de valor sobre el proyecto utilizando los Cinco Criterios de
Evaluacin; y 3) realizar recomendaciones, atencin a las lecciones aprendidas y
retroalimentarlas en la siguiente etapa. Esta seccin explica los conceptos bsicos de cada
marco de trabajo.

(1) Valoracin de los Resultados de un Proyecto: Resultados, Proceso de

Implementacin y Relaciones Causales
Hay tres tipos de valoracin indispensables para analizar la situacin real y los resultados
del proyecto. La medicin de los resultados sirve para ver qu se ha logrado en un
proyecto y hasta qu punto (o para ver la validez de los planes y valores objetivo en el
caso de la evaluacin ex-ante). El examen del proceso de implementacin es para analizar
qu est sucediendo en el proceso para alcanzar su objetivo y cmo afecta al
funcionamiento (o para ver si el proceso est bien planeado en el caso de la evaluacin
ex-ante). Por ltimo, el examen de las relaciones causales es para determinar si los
resultados del proyecto se deben a la intervencin del mismo analizando las relaciones
causales entre el proyecto y los efectos que haya (o para ver la validez del diseo del
proyecto en el caso de la evaluacin ex-ante).
i) Medicin de los Resultados (o Valoracin de los Indicadores y Valores Objetivo en
la Evaluacin Ex-ante)
La medicin de los resultados tiene por objeto comprender lo que ha logrado el proyecto y
verificar si se ha logrado lo esperado en la evaluacin intermedia, final y ex-post. El nivel
de logro de los objetivos (por ejemplo, el objetivo del proyecto y el objetivo general), los
resultados y los insumos se miden al momento de la evaluacin y estos resultados se
comparan con lo que se ha planeado.
En la evaluacin ex-ante, el evaluador examina la idoneidad del contenido de los
planes. Tambin es necesario ver la validez de los valores objetivo en comparacin con los
datos base.

ii) Examen del Proceso de Implementacin

22

El examen del proceso de implementacin tiene el objetivo de investigar todo el proceso

de actividades y lo que est sucediendo durante la implementacin del proyecto. En la
evaluacin intermedia, el evaluador examina el dinamismo dentro de un proyecto
concentrndose en aquellos aspectos tales como si las actividades se realizaron segn lo
planeado, si un proyecto se gestion correctamente, si aquellos interesados en un
proyecto se llevan bien entre ellos, o cmo perciben la situacin los beneficiarios. Tambin
es necesario examinar cualquier factor en el proceso de implementacin que haya podido
influir en el logro de sus objetivos.
En la evaluacin ex-ante se examina el contenido de los planes del proyecto
poniendo atencin al proceso de implementacin. Este proceso incluye la importancia de
las actividades para producir los resultados y objetivos planeados, la idoneidad del sistema
de gestin y las relaciones con el beneficiario y las organizaciones relevantes.
Con frecuencia, la informacin sobre el proceso de implementacin se convierte en
evidencia de apoyo para la eficiencia y la efectividad y por lo tanto pude ser til para el
anlisis de los factores que contribuyen o dificultan el xito del proyecto. En el caso de la
evaluacin ex-ante, se puede utilizar la informacin para prevenir obstculos y para
redisear los planes originales o la planeacin de un proyecto similar en el caso de la
evaluacin intermedia, final o ex-post.
iii) Examen de las Relaciones Causales
El examen de las relaciones causales tiene el propsito de investigar si el objetivo de un
proyecto o el objetivo general se han alcanzado o se alcanzarn como resultado de la
implementacin de un proyecto. Un proyecto es simplemente una intervencin para toda
una sociedad y, por lo tanto, siempre hay influencias provocadas por otros factores.
Aunque se observan algunos efectos tal como se esperaban, puede haber otros factores
que influyan y que no estn relacionados con la implementacin del proyecto. El
evaluador debe descartar otras posibles explicaciones para poder determinar si el
proyecto, y no otros factores, son la causa de los efectos.
Para poder examinar las relaciones causales entre los efectos y un proyecto se
adoptarn diferentes enfoques a los utilizados para valorar los resultados. Esos enfoques
incluyen el mtodo de comparar un grupo objetivo (con un proyecto) con un grupo de
control (sin un proyecto) y observar los cambios antes y despus del proyecto.
Es indispensable examinar los resultados del proyecto en esas tres formas. Para poder
mejorar la operacin de un proyecto, se deben identificar algunos factores que lo dificultan,
sobre todo mediante un examen de los procesos de implementacin y de las relaciones
causales. Si se identifica algn problema en el proceso de implementacin, es posible que
la raz del problema sea un problema de gestin. O, cuando no se ha construido
correctamente el enlace causal, se podra atribuir la responsabilidad a la planeacin en s.
Adems, el seguimiento juega un papel muy importante con respecto a la
evaluacin. El seguimiento es un trabajo de rutina y brinda informacin para volver a
disear el plan de un proyecto si es necesario. La informacin del seguimiento contiene

23

bastantes datos sobre los resultados y el proceso de implementacin y, por tanto, es

una importante fuente de informacin para el estudio de evaluacin. Si el seguimiento no
se realiza adecuadamente, es posible que falten datos e informacin necesarios para la
evaluacin.

<Cuadro 1: Falla de la Teora y Falla de la Implementacin>

La falla de la teora se refiere al encuentro de un problema en las
relaciones causales en la fase de planeacin, mientras que falla de la
implementacin se refiere a un problema en el proceso de implementacin de
un proyecto.
La falla de la teora implica que es tericamente imposible causar efectos y
alcanzar los objetivos del programa como se espera, incluso despus de la
implementacin del proyecto. En ese caso, no se pueden observar efectos an
cuando se obtengan los resultados segn lo planeado. La falla de la teora
puede indicar que haba un problema en los planes originales del proyecto.
Por otro lado, una falla de la implementacin implica que hay una causa
para la falla en la implementacin del proyecto (insumos, actividades,
resultados, condiciones internas, etc.) o en los sistemas de gestin.
Es importante distinguir los dos tipos de fallas y analizarlas respectivamente.
Esta distincin se basa en una definicin de proyecto en donde los
administradores (intereses administrativos) pueden controlar los insumos, las
actividades y los resultados, y por tanto, se deben controlar totalmente,
mientras que los cambios en un grupo objetivo a nivel de los objetivos del
proyecto no se pueden controlar ya que estn inevitablemente influenciados
por factores externos.

24

Figura 1-2-1 Valoracin de los Resultados - Tres Aspectos

<Valoracin de Resultados >

(Evaluacin Ex-ante)
Examinar la idoneidad de los
indicadores y objetivos
(Evaluacin Intermedia, Final y Expost)
Medir hasta qu punto se
alcanzan los insumos, productos,
objetivos del proyecto y metas
generales
Compararlos con los objetivos

<Examen del Proceso de Implementacin >

(Evaluacin Ex-ante)
Examinar la idoneidad del plan de
actividades y el sistema de gestin
(Evaluacin Intermedia, Final y Ex-post)
Examinar si las actividades se realizan
como se plane originalmente y lo que
est pasando en el proceso de la
implementacin del proyecto
Analizar los factores que contribuyen o
dificultan el proceso

<Examen de Relaciones Causales>

(Evaluacin Ex-ante)
Examinar si un proyecto est
diseado para producir efectos para
el beneficiario
(Evaluacin Intermedia, Final y Ex-post)
Examinar si los efectos para el
beneficiario son resultado del
proyecto
Analizar
los
factores
que
contribuyen o dificultan

25

(2) Juicio de Valor con Base en Cinco Criterios de Evaluacin

La evaluacin se realiza con el propsito de realizar un juicio de valor con base en el logro
de los resultados. La JICA adopt Cinco Criterios de Evaluacin para realizar una
evaluacin (principalmente evaluacin de proyectos), que propuso en 1991 el Comit de
Asistencia para el Desarrollo (DAC) en la Organizacin para la Cooperacin Econmica y
el Desarrollo (OECD). Estos cinco criterios, como se muestra a continuacin, se
establecieron para utilizarse en la evaluacin de las actividades de asistencia a partir de
una amplia gama de criterios. (Consulte la seccin 2-2-1 para una explicacin ms
detallada)
i) Pertinencia
Un criterio para considerar la validez y necesidad de un proyecto en cuanto a si los efectos
esperados del proyecto (o el objetivo del proyecto y el objetivo general) satisfacen las
necesidades de los beneficiarios objetivo; si la intervencin de un proyecto es adecuada
como una solucin a los problemas en cuestin; si el contenido de un proyecto es
consistente con las polticas; si las estrategias y enfoques del proyecto son relevantes, y si
se justifica implementar el proyecto con fondos pblicos de la AOD.
ii) Efectividad
Un criterio para considerar si la implementacin de un proyecto a beneficiado (o
beneficiar) a los beneficiarios a quienes est dirigido o a la sociedad objetivo.
iii) Eficiencia
Un criterio para considerar cmo se convierten los recursos econmicos/insumos en
resultados. Se concentra principalmente en la relacin entre el costo del proyecto y los
efectos.
iv) Impacto
Un criterio para considerar los efectos del proyecto con atencin a los efectos de largo
plazo, incluyendo los directos o indirectos, positivos o negativos, intencionales o
involuntarios.
v) Sustentabilidad
Un criterio para considerar si los efectos producidos continan una vez que se termina la
asistencia.
Se utilizan los Cinco Criterios de Evaluacin para evaluar desde un punto de vista
integral el valor de llevar a cabo un proyecto. El evaluador examina los efectos de un
proyecto, as como la idoneidad del volumen de recursos para producir los efectos (es
decir, la eficiencia). El valor de realizar un proyecto podra disminuir si cuesta ms de lo
necesario aunque haya producido efectos enormes, o si los efectos son limitados a pesar

26

de la gran escala de insumos utilizada. Tambin, para juzgar la validez de una intervencin
de asistencia, se examina la importancia de las estrategias, as como la sustentabilidad de
los efectos despus que la asistencia termina. Por tanto, utilizar los cinco criterios para
evaluar un proyecto permite ver su valor desde puntos de vista diferentes y, como
resultado, se puede especificar diversos factores que influyen en el xito o fracaso del
proyecto. Cuando se evalan proyectos, ya sea para valorar los resultados o predecir el
futuro, las perspectivas variarn dependiendo del momento en que se encuentre el ciclo de
operacin cuando se realiza el estudio de evaluacin El enfoque de cada criterio tambin
variar entre los proyectos. Sin embargo, la JICA decidi bsicamente cubrir todos los
cinco criterios en cualquier tipo de estudio de evaluacin.
(3) Hacer Recomendaciones, Aprender Lecciones y Dar Retroalimentacin
Los resultados de una evaluacin tienen valor nicamente cuando se utilizan. La JICA
considera la evaluacin como una herramienta prctica de gestin y por ello es necesario
hacer recomendaciones especficas y tomar lecciones a partir de los resultados de la
evaluacin. Las recomendaciones y lecciones aprendidas se deben enviar a los
departamentos relevantes de la JICA y a las organizaciones relacionadas para que se
puedan utilizar para el mejoramiento del proyecto objetivo o de las operaciones en el
futuro.
Cuando se hacen dichas recomendaciones es indispensable especificar los factores
que influyen para contribuir o dificultar un proyecto y para comprender lo que se ha
aprendido. Por ejemplo, cuando se descubre que el proyecto no es efectivo, es necesario
identificar los factores que lo dificultan examinando tanto el proceso de implementacin
como las relaciones causales, y con base en dichos factores, se deben proponer
recomendaciones y lecciones aprendidas. Otro ejemplo sera, en caso de encontrar un
problema en la distribucin del personal en la agencia de implementacin, se necesitara
hacer algunas recomendaciones para cambiar la situacin. En caso que los resultados de
la evaluacin nos digan que es necesario otro grupo de resultados para obtener los efectos
esperados, se debern proponer recomendaciones para volver a disear los resultados.
En suma, la evaluacin tiene tres etapas: 1) valoracin de los resultados; 2) emisin
de un juicio de valor sobre el proyecto; y 3) elaboracin de recomendaciones y toma de
lecciones aprendidas mediante el anlisis de los factores que contribuyen o dificultan el
proceso, y la retroalimentacin. No es posible realizar una evaluacin til sin cualquiera de
estas tres fases.

27

3. Pasos Principales de la Evaluacin de Proyectos de la JICA

Tal como se explica en la seccin anterior, la Evaluacin de Proyectos de la JICA incluye
actividades tales como la valoracin de los resultados, el juicio de valor con base en los
Cinco Criterios de Evaluacin y la retroalimentacin de las recomendaciones y las
lecciones aprendidas a los tomadores de decisiones potenciales. Para poder implementar
estas actividades efectivamente, se toman los pasos que se muestran a continuacin. Un
estudio de evaluacin consta de tres pasos principales: planeacin, realizacin e
informacin de los resultados.
La tabla 1-2-1 resume las actividades principales de cada paso, as como algunos
puntos que se debe considerar. En las pginas que la tabla menciona se encuentra una
explicacin ms detallada.

28

Pasos del Estudio de Evaluacin:

(1) Confirmar el objetivo

de la evaluacin

- Cul es el
objetivo de la
evaluacin?
- Quines son los usuarios
potenciales de los resultados?

Planeacin
de la
Evaluacin

(2) Organizar la informacin

del proyecto objetivo

(3) Formular un plan de

trabajo para la evaluacin

(4) Recopilar datos

Realizacin

(5) Analizar e interpretar datos

- Comprender el
contenido de los
planes del
proyecto
- Comprender la
situacin actual
del proyecto
- Qu es la
metodologa de
la evaluacin?
- Tomar en
consideracin las
preguntas de la
evaluacin, las
bases para el
juicio, los datos
necesarios y los
mtodos de
recopilacin de
datos
- Realizar el
estudio de
evaluacin en los
sitios el proyecto
- Recopilar datos
en Japn, de ser
necesario
- Interpretar datos
y emitir un juicio
de valor

29

- Hacer recomendaciones y tomar

lecciones aprendidas
Informacin
de los
resultados

(6) Informar sobre los resultados

de la evaluacin

- Reunir los
resultados de la
evaluacin
- Enviarlos a los usuarios
potenciales

Retroalimentacin

30

Plan de la Evaluacin

Tabla 1-2-1 Actividades principales de cada paso durante la evaluacin

Pasos de la
Qu hacer
Evaluacin
1. Confirmar el
z Confirmar el objetivo de la evaluacin.
z Confirmar quines son los usuarios
objetivo de la
potenciales.
evaluacin
z Confirmar el contenido de los planes y la
situacin actual.
Asegurarse que la situacin real se refleja
en el Marco Lgico/PDM.
Organizar la informacin de seguimiento
2. Organizacin de
incluyendo los resultados y el proceso de
la informacin sobre
implementacin.
un proyecto objetivo
Adems, organizar la informacin del
proyecto revisando los materiales
relacionados y entrevistando a los
interesados.
z Desarrollar preguntas para la evaluacin
tomando en consideracin aquello que se
3. Realizar un Plan
debe investigar mediante el estudio de la
evaluacin.
de Trabajo de la
z
Las preguntas de la evaluacin se deben
Evaluacin
formular de acuerdo con cada uno de los
cinco criterios.

Puntos a considerar
Observe que el enfoque de la evaluacin
difiere dependiendo del tipo de
evaluacin

No se debe crear un nuevo Marco

Lgico/PDM slo para que la evaluacin
sea ms fcil.
En caso que no se cuente con
informacin del seguimiento, realizar las
encuestas relacionadas durante la
evaluacin.

Formular las preguntas para la

evaluacin que se relacionen con los
puntos de preocupacin de las partes
interesadas, y que brinden informacin
til para mejorar un proyecto objetivo.
Las perspectivas y enfoques de la
evaluacin son diferentes dependiendo
de los propsitos de la evaluacin y del
tipo y puntos a considerar del proyecto
objetivo.

31

z Decidir bases para el juicio: Comparar

criterios o valores objetivo/diseo de la
evaluacin.

z Decidir cules son los datos necesarios y las fuentes de datos.

z Seleccionar los mtodos de recopilacin de
datos: encuestas con cuestionarios,
entrevistas, revisin de literatura, etc.

z Crear una Tabla de Evaluacin.

Implementacin

4. Recopilacin de
Datos

z Recopilar los datos necesarios para la

evaluacin llevando a cabo estudios en un
pas socio.

En caso que los valores objetivo o los

medios de verificacin descritos en el
Marco Lgico/PDM no sean adecuados,
tomar en consideracin nuevos criterios
o medios.
Al examinar la efectividad o impacto,
adoptar el diseo de evaluacin de
antes y despus o el mtodo de diseo
semi-experimental.
Se deben tomar en cuenta los datos
cuantitativos y cualitativos al considerar
los datos necesarios.
Al identificar las fuentes de datos, poner
mucha atencin en las diferencias de
gnero, relativas a la etnia y de clases
sociales.
Hacer un esfuerzo por aumentar la
credibilidad de los datos combinando
varios mtodos de recopilacin de datos.
Utilizar con flexibilidad la Tabla de
Evaluacin aadiendo los puntos/temas
necesarios, ya que se trata de una
herramienta prctica para discutir con
las partes interesadas el plan de trabajo
de la evaluacin.
El evaluador debe tener experiencia en
los mtodos de encuesta - es decir, para
entrevistar, crear y recopilar
cuestionarios, etc.

32

5. Anlisis e
Interpretacin de
Datos

Informacin

6. Envo de
Informacin sobre
los Resultados de la
Evaluacin

z Analizar los datos recopilados aplicando

mtodos de anlisis cuantitativos y
cualitativos.
z Evaluar un proyecto (o emitir juicios de
valor) utilizando los Cinco Criterios de
Evaluacin con base en el anlisis de datos
e identificando los factores que contribuyen o
dificultan el proceso.
z Llegar a conclusiones con base en los
resultados de la evaluacin de los Cinco
Criterios de Evaluacin.
z Hacer recomendaciones y tomar lecciones
aprendidas.
z Reunir los resultados de la evaluacin en la
Tabla de Evaluacin Ex-ante o en la Tabla
de Resumen de los Resultados de la
Evaluacin.
z Escribir un Informe de la Evaluacin
durante y despus de la evaluacin
intermedia.

Analizar los factores que han influido en

un proyecto, as como los factores que
han contribuido a l o lo han dificultado.
Describir las razones y especificar las
bases de los resultados de la
evaluacin.
Las recomendaciones y las lecciones
aprendidas deben ser especficas y
prcticas con evidencia que las
respalde.
Hacer el esfuerzo de enviar los
resultados de la evaluacin a los
usuarios potenciales lo ms simple y
claramente que sea posible.
Hacer un esfuerzo por preparar tambin
un resumen en ingls.

33

Parte II
Mtodos de Evaluacin
de la JICA

34

Captulo 1
Confirmacin de los Objetivos de la Evaluacin y
Organizacin de la Informacin sobre el Proyecto Seleccionado
Este captulo explica el primer paso de la planeacin de la evaluacin, es decir la
confirmacin del propsito de la evaluacin y cmo comprender el panorama completo
del proyecto objetivo.

Consejos!
- Los propsitos de la evaluacin varan entre la evaluacin ex-ante, intermedia, final y
ex-post.

Como primer paso de la planeacin de la evaluacin, es importante

confirmar los propsitos de la evaluacin y compartir la informacin entre las partes

interesadas sobre cmo y quin utilizar los resultados de dicha evaluacin.

La informacin que se debe obtener con anticipacin incluye el contenido del plan de
un proyecto y el nivel de realizacin del proyecto.

Trate de comprender el contenido del proyecto y su estructura (correlacin de las

relaciones causales) utilizando el Marco Lgico/PDM. El concepto del modelo lgico
que forma la base terica del Marco Lgico/PDM podra ser til.

En caso que la situacin real del proyecto no se refleje en su Marco Lgico/PDM, ser
necesario realizar algunos ajustes. Sin embargo, esto no significa que se cambie el
Marco Lgico/PDM para hacer el estudio de evaluacin ms fcil.

Examine la idoneidad de los indicadores y medios de verificacin en el Marco

Lgico/PDM y, de ser necesario, considere el uso de indicadores y medios nuevos.

Los Marcos lgicos/PDM de varios proyectos se encuentran bajo el mismo programa

o meta sectorial, por lo que se deben tomar en consideracin los planes de desarrollo
o cuestiones de desarrollo de los pases socios cuando se lleve a cabo el estudio de
evaluacin.

Al examinar los resultados y el proceso de implementacin, es necesario utilizar al

mximo la informacin del seguimiento. En caso que haya falta de informacin en los
documentos de seguimiento existentes, lleve a cabo encuestas adicionales.

35

1. Confirmacin del Objetivo de la Evaluacin

Cuando se planea la evaluacin, antes que nada, el evaluador y las partes interesadas
relacionadas deben confirmar el propsito de la evaluacin. Existen varios mtodos de
evaluacin dependiendo del propsito. Los resultados de la evaluacin podran terminar
siendo intiles y sin objeto, a menos que las personas interesadas compartan su
propsito y uso. Por lo tanto, es muy importante confirmar para qu y quin va a utilizar
los resultados de la evaluacin y planear la evaluacin para satisfacer su propsito.
El propsito de la evaluacin difiere dependiendo de la etapa en que se encuentra
el ciclo del proyecto al momento de realizarla, como se muestra a continuacin.

Cuatro tipos de evaluacin a nivel proyecto:

Examina la validez del contenido de los planes del proyecto. Los
Evaluacin Ex-ante:
resultados de la evaluacin ex-ante se utilizan para obtener la
aprobacin final para la implementacin del proyecto.
Evaluacin Intermedia:

Examina
si
un
proyecto
est
produciendo
efectos
adecuadamente a la mitad del proceso. Los resultados de la
evaluacin intermedia se utilizan para mejorar la estrategia del
proyecto, as como para aprender lecciones para proyectos
similares.

Evaluacin Final:

Examina
si
un
proyecto
est
produciendo
efectos
adecuadamente al final del perodo del proyecto. Los resultados
de la evaluacin final se utilizan para decidir si el proyecto se
debe terminar o si se le debe dar seguimiento. Las lecciones que
se toman de los resultados tambin se aprovechan como
lecciones aprendidas para proyectos similares.

Evaluacin Ex-post:

Examina si los efectos e impacto esperados se producen a partir

de un proyecto en cierto perodo despus de su terminacin. Los
resultados de la evaluacin ex-post se utilizan para hacer
recomendaciones a la agencia de implementacin en el pas
socio, proponer lecciones aprendidas con el afn de implementar
de manera efectiva y eficiente proyectos similares en el futuro y
hacer planes en el macro-nivel (por ejemplo, en los programas
por pas de la JICA).
-

Otro punto importante en el proceso de confirmacin del propsito de la evaluacin

es que aquellos interesados en la evaluacin compartan el mismo propsito. Aquellos
interesados se refiere a las partes interesadas, incluyendo los departamentos de la JICA
a cargo del proyecto, los ministerios relevantes y las agencias de implementacin del pas
socio y el beneficiario. La gente generalmente tiende a alejarse de la evaluacin ya que
sienten que un tercero ajeno los est auditando. Por lo tanto, es indispensable lograr que
la gente comprenda su propsito y ganar su cooperacin en las actividades de evaluacin
para poder realizarla efectivamente.
Tambin es necesario especificar quines sern los usuarios de los resultados de la
evaluacin. Como la evaluacin de proyectos de la JICA se realiza internamente, los

36

departamentos de operacin de proyectos y las agencias de implementacin en el pas

socio son generalmente los primeros usuarios de los resultados de la evaluacin. En
algunos proyectos, la gente de la localidad - ya sea como beneficiarios o como
contrapartes de las agencias de implementacin - son el objetivo directo de la
retroalimentacin.

Podra ser una buena idea convocar una ocasin con todos los

interesados para discutir el tipo de estudio de evaluacin necesario para mejorar la

gestin del proyecto.

37

2. Comprensin del Panorama General del Proyecto Seleccionado

El siguiente paso despus de confirmar los propsitos de la evaluacin es comprender el
panorama completo de un proyecto como objetivo de la evaluacin. Cuando el evaluador
sabe lo que ya est sucediendo en el proyecto, puede decidir ms fcilmente cules
preguntas de la evaluacin son importantes para realizar el estudio y el tipo de datos que
se necesita recopilar. Existen diferencias en los tipos y la cantidad de informacin que el
evaluador puede obtener cuando efecta la evaluacin, dependiendo del momento en
que se realiza el estudio y de la disponibilidad de los documentos relacionados,
incluyendo los resultados del seguimiento. Por lo general, se debe obtener la siguiente
informacin para esclarecer el panorama general del proyecto.

Tipos de Informacin Acerca de un Proyecto Objetivo

Acerca del contenido de los planes:
- Cules son los antecedentes de implementacin del proyecto?
- Con qu puntos de desarrollo contribuye el proyecto?
- Qu tan efectivas son las estrategias del proyecto para solucionar los
problemas de desarrollo?
- Cul es el componente principal del proyecto?
- Cul es el principal grupo objetivo?
- Cules son los efectos que el proyecto intenta producir?
- Cmo estn estructuradas las relaciones causales entre la implementacin
del proyecto y los efectos?
- Cules son los criterios de logro o las bases para un juicio?
- Cuales son los riesgos y factores externos?
- Cules son los insumos y cunto son los costos, etc.?
Acerca del funcionamiento del proyecto:
- Qu est sucediendo en el proceso de implementacin del proyecto?
- Qu resultados se producen en el proyecto, etc.?

i) Contenido de los Planes

La evaluacin compara la situacin actual de un proyecto con sus planes originales. Por
lo tanto, primero es necesario recopilar informacin sobre el contenido de los planes.
Bsicamente hay dos partes: 1) los elementos del proyecto: el propsito del proyecto, las
actividades y los insumos y 2) cmo est estructurado el proyecto (la lgica de las
relaciones causales). Los planes de un proyecto se hacen con base en la hiptesis de
que al implementar dicho proyecto se van a producir los efectos esperados. Podemos
confirmar cmo se hicieron los planes si tomamos en consideracin sus antecedentes, la
relacin con los problemas de desarrollo y la relevancia de las estrategias del proyecto.
Se puede utilizar el marco lgico/PDM para entender el contenido de los planes. En
la siguiente seccin, el modelo lgico, se explicarn las bases tericas del marco
lgico/PDM concentrndose en cmo organizar la informacin acerca del proyecto
objetivo a partir de las perspectivas de la evaluacin.

38

ii) Acerca de los Resultados del Proyecto

Otra clase de informacin que se debe obtener es el resultado de un proyecto al
momento de la evaluacin.

En trminos de la evaluacin intermedia, es importante

conocer los insumos y resultados reales, as como la situacin actual del proceso de
implementacin. En cuanto a la evaluacin final, adems de ese tipo de informacin
tambin se debe obtener el nivel de xito del propsito del proyecto. Por lo general,
podemos obtener informacin acerca de esos puntos en los resultados del seguimiento.
Sin embargo, si es necesario, se pueden llevar a cabo encuestas adicionales durante la
evaluacin.
iii) Fuentes principales de informacin
A continuacin se muestran las fuentes principales de informacin para conocer el
panorama general de un proyecto.

Fuentes Principales de Informacin para Comprender el Panorama

General de un Proyecto:
Para la evaluacin ex-ante:
- Planes de desarrollo de un pas socio en un sector/sub-sector
- Programas por pas de la JICA
- Literatura relacionada sobre el sector/sub-sector
- Informacin sobre proyectos vigentes en el sector/sub-sector
(tambin en relacin con otros donadores)
- Datos base
- Informes de evaluacin de proyectos similares (marco lgico/PDM, lecciones
aprendidas, etc.)
- Borrador del marco lgico/PDM, etc.

Para las evaluaciones intermedia, final y ex-post:

- Tablas de resumen de las evaluaciones ex-ante, documentos del proyecto
- Versiones diferentes del marco lgico/PDM
- Informes de seguimiento
- Diversos informes y memorndum del proyecto
- Funcionarios encargados de la JICA, expertos y miembros del comit de apoyo
en Japn
- Ministerios relevantes de un pas socio, agencias de implementacin (si la oficina
de campo realiza la evaluacin), etc.

39

Figura 2-1-1 Descripcin General Conceptual de la Informacin sobre el

Proyecto Objetivo

Contenido de los Planes del Proyecto

Marco de trabajo del
proyecto
(antecedentes, objetivos,
resultados, actividades e
insumos del proyecto)

Relaciones causales en el
proyecto
(cmo se producirn los
efectos esperados al
implementar el proyecto)

Nivel de Resultados del Proyecto

Situacin al momento de
la evaluacin
(resultados, proceso de la
implementacin, etc.

40

3. Uso del Marco de Trabajo Lgico

(1) Situacin real del proyecto y del marco lgico
El marco lgico es una herramienta til para comprender cules son los objetivos,
actividades e insumos de un proyecto, cmo se seleccionan los valores objetivo y las
mediciones, y cules son los riesgos de un proyecto.1 El marco lgico se ha utilizado para
la planeacin y gestin de proyectos. El marco lgico puede brindarle al evaluador
informacin sobre la situacin real y la lgica o teora de los proyectos. Se puede obtener
la siguiente informacin a partir del marco lgico.

Informacin que se obtiene mediante el marco lgico:

-

Efectos y resultados esperados en el proyecto

Valores objetivo de las metas como base para un juicio

Medios de verificacin (tiles para considerar los mtodos de encuesta)

Algunos factores externos y riesgos que influyen en el funcionamiento del proyecto

Insumos/recursos

Disponibilidad de la informacin de seguimiento, etc.

Sin embargo, en la realidad el contenido del marco lgico puede no ser muy claro y
lgico o, en algunos casos, no se han esclarecido los valores objetivo. En ese caso, el
evaluador debe conocer cul es la situacin real de un proyecto a partir de los
documentos relevantes o de entrevistar a las personas interesadas.

Adems, la

oportunidad de tener una discusin con las partes interesadas le puede ayudar a
considerar qu es lo que se debe investigar para medir los efectos del proyecto y cules
son los criterios que se deben utilizar para juzgar el nivel de xito de los objetivos.

(2) La Teora del Modelo Lgico

i) Qu es el Modelo Lgico?
El modelo lgico es una de las teoras de evaluacin de proyectos y constituye la base
terica del marco lgico.

1
El marco de trabajo lgico (logframe) es una herramienta de gestin para mejorar el desarrollo del plan
de intervencin (DAC), y la PDM (Matriz de Diseo del Proyecto) de la JICA es un tipo de marco lgico.
Este manual utiliza la terminologa del marco lgico ms ampliamente aceptada en el mbito
internacional.

41

El modelo lgico...
El modelo lgico representa la teora de evaluacin de la teora de un programa. Algunas
veces se describen en trminos tales como la lgica de los resultados de un programa y la
teora de la accin, dependiendo de los investigadores. La evaluacin de la teora de un
programa se lleva a cabo cuando se confirma o asume un patrn de causa y efecto en los
programas y proyectos.
Al utilizar un modelo lgico, se esclarecen las relaciones causales del proyecto objetivo y
eso ayuda a los evaluadores a investigar si los insumos del proyecto realmente estn
produciendo los efectos como se supuso o si se estn observando impactos como se
esperaba, y/o si existe alguna falla de teora en el proyecto.

El modelo lgico es una teora para especificar las relaciones causales en un

proyecto. Todos los proyectos asumen la siguiente hiptesis: si se implementan las
actividades de A, entonces se producirn los efectos de B. Por ejemplo, un proyecto de
riego asume la hiptesis de que si se construyen unas instalaciones de riego, entonces
se elevar la productividad del arroz. Otra lgica que se asume en el proyecto como
relacin de causa y efecto es si aumenta la productividad del arroz, entonces mejorar el
nivel de ingreso de los agricultores". Si dichas relaciones de causa-efecto no funcionan
correctamente, el proyecto podra fallar. En la evaluacin necesitamos identificar cul es
la hiptesis que sustenta al proyecto y cules son las relaciones causales que lo
estructuran, y examinar si funcionan, si la hiptesis es correcta y si se estn produciendo
los efectos esperados. El modelo que aplica la teora de especificar la correlacin causal
en un proyecto se conoce como el modelo lgico. La figura 2-1-2 muestra su forma
conceptual.

ii) Resultados y Gestin del Proyecto

Tal como muestra la figura 2-1-2, otro aspecto importante de la evaluacin basada en el
modelo lgico es que el proyecto se describe en dos niveles, es decir, a nivel de
resultados y a nivel de gestin del proyecto. Este concepto es til cuando se examinan
dnde se encuentran los puntos del proyecto y quin es responsable de dichos puntos.
Por ejemplo, si no se estn produciendo los efectos esperados, podemos examinar si hay
algn problema en el mbito de la gestin o de la especificacin de las relaciones
causales si..., entonces. Este tipo de anlisis es muy importante para hacer
recomendaciones y obtener lecciones aprendidas, ya que podemos especificar a las
personas responsables que se deben tomar en cuenta. El enfoque de evaluacin que
utiliza el marco lgico es consistente con el marco de trabajo de la evaluacin de la JICA
para valorar los resultados ya que se concentra en tres aspectos: los resultados, el
proceso de implementacin y las relaciones causales.

42

Definicin de Resultado y Productos

Resultado:
Los efectos a corto, mediano y largo plazo, posibles o alcanzados, de los beneficios de
una intervencin para el desarrollo. Con frecuencia, los resultados a largo plazo se
conocen como impacto.
Productos:
Los productos, bienes de capital y servicios derivados de una intervencin para el
desarrollo. Los beneficios tambin pueden incluir cambios derivados de la intervencin
que son relevantes para alcanzar los resultados.
Fuente Principal: Glosario de los Principales Trminos sobre Evaluacin y Gestin
basada en Resutados de la OCDE, 2002 (OECD Glossary of Key Terms in Evaluation
and Results Based Management 2002)

iii) Modelo Lgico y Marco Lgico

En la fase de planeacin la JICA introduce un marco lgico que abarca la teora del
modelo lgico. Por lo tanto, no es necesario crear un modelo lgico nuevo al momento de
la evaluacin. Sin embargo, lo importante es utilizar el marco lgico de manera adecuada
en la evaluacin y al mismo tiempo comprender cabalmente la teora del modelo lgico.
Por lo general hay varios niveles de efectos finales esperados por intervencin del
proyecto (consulte la figura 2-1-3). Pero el marco lgico tiene slo dos niveles: 1) la meta
general y 2) el propsito del proyecto (consulte la figura 2-1-4). El propsito del proyecto
se describe como beneficios directos o a corto plazo para el grupo o sociedad objetivo,
mientras que la meta general son los efectos o cambios a lo largo de un plazo mayor.
Basndonos en el marco lgico existente podemos entender la teora de un proyecto
identificando las relaciones causales as como los resultados y el impacto esperados del
proyecto. Si en ese proceso surgen algunas preguntas sobre el contenido del proyecto o
las relaciones causales, es necesario reflejarlas en los planes de trabajo de evaluacin
para examinarlas con ms detenimiento.

43

Figura 2-1-2 El Modelo Lgico

Resultados
finales

Cambios en el beneficiario
y/o la sociedad como
consecuencia de un
proyecto de largo plazo

beneficiario y/o la
sociedad como

Resultados

Cambios intermedios en el

Resultados
intermedios

consecuencia de un
proyecto

Resultados
directos

Cambios ms directos en el
beneficiario y/o la sociedad
como consecuencia de un
proyecto

Beneficios

Productos, bienes de
capital y servicios
de un proyecto

Actividades

Insumos

Gestin
del Proyecto

como consecuencia

Recursos humanos,
financieros y fsicos

44

Figura 2-1-3 Un Ejemplo del Modelo Lgico:

El Proyecto de Mejoramiento de la Salud Materno Infantil
Se reduce la tasa de
mortalidad infantil

Resultado
Final

Se reduce la tasa de
mortalidad materna

Se mejora el nivel

Se reduce la tasa de

de nutricin infantil

infeccin infantil

Aumenta la
proporcin de
partos normales

Se mejora el nivel de
nutricin materna

Resultado
Intermedio

Se brindan servicios
adecuados en el
MCHC

Las madres
pueden utilizar
el MCHC

Las madres obtienen

Se reconsideran el ambiente

Se mejora el

mejores habilidades para

diettico y de higiene para su

espaciamiento

Los trabajadores de la

Los trabajadores de la

La gente adquiere

salud adquieren
conocimientos

salud adquieren
mejores habilidades

ms
conocimientos

Los varones adquieren un

mejor conocimiento de la salud

Se construye el Centro

Se mejora la

Se brinda a la gente

de Salud Materno-

capacitacin de los

educacin sobre salud,

Infantil (MCHC)

trabajadores de la salud

nutricin e higiene

Resultado
Directo

Gestin del
Proyecto
actividades

Insumos

actividades

actividades

Insumos

Insumos

45

Figura 2-1-4 Un Ejemplo del Marco lgico de trabajo de la JICA

(Resumen Narrativo)
El Proyecto de Mejoramiento de la Salud Materno-Infantil
Objetivo General
Se ha reducido la tasa de mortalidad
infantil
Se ha reducido la tasa de mortalidad materna

Objetivo del Proyecto

Resultados

Las madres y los nios pueden recibir

servicios mdicos apropiados (El MCHC
(Centro de Salud Materno-Infantil)
funciona mejor y la gente puede tener
acceso al centro)

Resultados
Se construye el

Se mejora la capacita-

Centro de Salud

cin de los trabajadores

Materno-Infantil

de atencin a la salud

Se brinda a la gente
educacin sobre
salud, nutricin e
higiene

actividades

actividades

Insumos

Insumos

actividades

Insumos

Gestin del
proyecto

46

(3) Revisin del Marco Lgico: Para Ver si Refleja la Situacin Real de un Proyecto
En la JICA, se formula un marco lgico al momento de la planeacin de un proyecto,
aplicando las relaciones causales del modelo lgico. Durante y despus de la evaluacin
intermedia es posible relacionar los contenidos del marco lgico con los planes de trabajo
de evaluacin hasta el punto donde el marco lgico describa la situacin real de un
proyecto (en caso que existan varias versiones del marco lgico, se aplica la ms
reciente). Sin embargo, en realidad existen casos donde el marco lgico no est
formulado clara o tericamente y, por lo tanto, no refleja la situacin real de un proyecto.
Algunas veces no solo las relaciones causales no estn bien identificadas, sino tambin
los indicadores, objetivos, medios de verificacin y suposiciones importantes.

En ese

caso, el evaluador debe ajustar el marco lgico para que refleje lo que est sucediendo
en el sitio del proyecto lo ms acertadamente posible utilizando otra informacin del
proyecto. Por ejemplo, en el caso que lo que est escrito como propsito del proyecto se
pueda considerar como un beneficio nicamente, el evaluador - trabajando en consenso
con las partes interesadas - puede ajustar el propsito del proyecto examinando los
materiales relacionados o entrevistando a aquellos interesados para descubrir cules son
los efectos que se esperan originalmente. Con base en los resultados del monitoreo, el
evaluador tambin puede ajustar los indicadores de manera ms adecuada.
La tarea de ajustar el marco lgico no significa que el evaluador puede formular un
marco lgico supuesto ni establecer los valores objetivo para poder evaluarlos
fcilmente. El objetivo de la evaluacin es el contenido planeado y los resultados del
proyecto. Por lo tanto, la intencin de revisar el marco lgico al momento de planear la
evaluacin es ajustar su contenido de acuerdo con lo que est sucediendo realmente en
el sitio.
Generalmente es difcil construir relaciones causales en el marco lgico cuando el
contenido planeado o los objetivos no son claros incluso despus de haber revisado otra
informacin. Como resultado, tal vez no podamos evaluar el proyecto en un sentido real.2
En ese caso, podemos formular la pregunta de evaluacin sobre el propsito supuesto
del proyecto y, una vez que se identifica el propsito, medir el grado de realizacin.
En caso de la evaluacin ex-ante, sus resultados se reflejan en la formacin y/o
revisin del marco lgico y en el establecimiento de una base para un seguimiento fluido
y las evaluaciones posteriores.
La figura 2-1-5 muestra los pasos para la revisin del marco lgico al momento de la
planeacin de la evaluacin.

Sin embargo, en la JICA no ocurrira ese caso ya que actualmente se realiza la evaluacin ex-ante. En
caso que llegara a suceder en la evaluacin intermedia o en la final, sera una cuestin de la calidad de
la evaluacin ex-ante en s o del seguimiento.

47

Figura 2-1-5 Uso del Marco Lgico en la Evaluacin

El marco lgico refleja la situacin
real de un proyecto?
Est estructurado de manera lgica?

No

Modificar el marco lgico

de acuerdo con la situacin
real mediante el uso de
informacin de otras fuentes

Se puede utilizar el marco

lgico para realizar planes de
trabajo de evaluacin

* <Ejemplo>
Cuando el propsito del proyecto no es claro,
existen varias posibles medidas que se
pueden adoptar, como se muestra a
continuacin:

El marco lgico modificado

- Formular una pregunta de evaluacin sobre cul

debiera ser el propsito del proyecto.

est estructurado

- Reflejar el propsito compartido implcitamente

lgicamente?
El contenido est especificado

- Establecer como objetivo del proyecto aquellos

No

entre las partes interesadas.

efectos supuestos que se podran producir a
travs de las actividades.
- Desistir de evaluar la efectividad haciendo la
comparacin con los planes originales.
- (En cualquier caso) investigar por qu el propsito
no es claro.

Se necesitan
algunas ideas
cuando se
realizan los
planes de
trabajo de
evaluacin*

El marco lgico se
puede utilizar para
realizar los planes
de trabajo de
evaluacin

Cuando los indicadores o los valores

objetivo no son adecuados para los
objetivos/productos:
- Seleccionar nuevos indicadores
discutindolos con los interesados y
recopilar los datos adecuados en el estudio
de evaluacin.
- Seleccionar hitos relacionados en lugar de
utilizar las metas especficas y utilizarlos
como base para el juicio (por ejemplo, el
promedio a nivel nacional, los criterios de la
OMS, un caso exitoso de un proyecto
similar). (Refirase a la siguiente pgina
para obtener ms detalles.)

48

(4) Idoneidad de los Indicadores y Medios de Verificacin en el Marco lgico

En el marco lgico hay una columna de indicadores para medir los objetivos. En la
columna, la medicin de productos, el propsito del proyecto y la meta general se
establecen de manera especfica con los objetivos. Adems, la siguiente columna a la
derecha, medios de verificacin muestra los mtodos de recopilacin de datos para los
indicadores. Esa informacin es indispensable para dar seguimiento a un proyecto.
Tambin se puede utilizar para confirmar los resultados del proyecto y para determinar
los datos que se necesitan y los mtodos de recopilacin de datos en un estudio de
evaluacin.
El evaluador necesita examinar si el propsito del proyecto est descrito con los
indicadores y mtodos de medicin adecuados. Si los indicadores no se establecen
adecuadamente, la informacin sobre los resultados del proyecto que enva la agencia de
implementacin podra no ser confiable. En ese caso, los evaluadores pueden realizar
encuestas adicionales para obtener datos sobre los resultados.

i) Indicadores y Mtodos de Medicin

Un indicador es un concepto para entender un fenmeno. Por ejemplo, el fenmeno de la
gente se enriquece se puede entender a travs del indicador de ingresos. O se puede
medir an mejor si se cuenta el nmero de ganado en las reas rurales. Otro ejemplo
sera, el fenmeno de las habilidades acadmicas de los nios se mejoran se puede
probar mediante el indicador de aumento del conocimiento.
Por lo general hay varias maneras de medir un fenmeno especfico. Por ejemplo,
los ingresos se pueden medir si se observa el cambio en el ingreso promedio anual de la
gente o en su ingreso total. El aumento de conocimientos de los nios se puede medir ya
sea por los resultados promedio de la prueba a nivel nacional, la tasa promedio de la
prueba de composicin o el resultado promedio del examen en cada clase.
Est de sobra decir que en la fase de planeacin debemos considerar
completamente cules son los mtodos de medicin ms adecuados. En una evaluacin
es necesario examinar si lo indicadores y mtodos de medicin descritos en el marco
lgico coinciden con el contenido del proyecto o la situacin de la sociedad objetivo, as
como la aplicabilidad del seguimiento y la evaluacin. Por ejemplo, hay muchas maneras
de medir los efectos de la capacitacin, como el nmero de personas que recibieron la
capacitacin, su grado de satisfaccin, el incremento de sus conocimientos, el nivel de
habilidades adquirido y el grado de su utilizacin (contribucin al trabajo, la tasa de
empleo, etc.), por mencionar algunas. Tambin, para medir dichos efectos, podra ser
necesario presentar una prueba antes y despus de la capacitacin para poder observar
el cambio en sus conocimientos.
A continuacin se describen los criterios principales para revisar la idoneidad de los
indicadores y mtodos de medicin.

49

Criterios para unos Indicadores y Mtodos de Medicin Buenos

Indicadores

z Directos/Vlidos: Si los indicadores explican directamente un fenmeno. Los

indicadores ms directos explican el objetivo con mayor claridad y por lo tanto facilitan
la medicin del nivel de rendimiento.

z Operativos: Si los indicadores estn definidos para ser lo suficientemente operativos.

Por ejemplo, el indicador del nmero de tcnicos de nivel medio que han alcanzado el
xito no se puede medir a menos que el significado de haber alcanzado el xito sea
lo suficientemente claro (por ejemplo, se puede definir como aquellos que obtuvieron
un empleo dentro de un ao a partir de haber recibido la capacitacin profesional o
aquellos que obtuvieron un aumento de salario).

z Adecuados: Si los indicadores representan los objetivos adecuadamente. Debemos

evitar demasiados indicadores para un propsito nico. Podra significar que los
objetivos son demasiado complicados o que aquellos interesados no comprenden su
contenido por completo. En ese caso, sera necesario revisar los objetivos y volver a
establecer unos ms concretos y especficos.
Mtodos de Medicin
z Prcticos: Si los mtodos de medicin son prcticos. El costo de la medicin depende
de las estrategias de medicin y de la credibilidad de los datos secundarios. Si se
cuenta con datos secundarios muy confiables, se puede establecer un simple indicador
prctico al costo mnimo. Los indicadores que slo se pueden medir a partir de
encuestas de gran escala podran no ser prcticos desde el punto de vista del costo y
el tiempo. Los mtodos de medicin son parte de las herramientas de gestin
utilizadas para el seguimiento y la evaluacin. Otro criterio importante para seleccionar
los mtodos de medicin es la accesibilidad y oportunidad para obtener datos.

z Confiabilidad: Si los datos recopilados son confiables. Los datos pueden ser ms
confiables si se pueden obtener los mismos resultados en cada medicin. La fuente
de informacin tambin debe ser confiable y es necesario eliminar hasta donde sea
posible las parcialidades de un encuestador.
ii) Valores Objetivo
Los valores objetivo brindan la base para juzgar los resultados y, por tanto, son una parte
muy importante del marco lgico. Es indispensable que las partes interesadas lleguen a
un acuerdo sobre los valores objetivo durante la fase de planeacin del proyecto. Si
resulta que no se establece una meta clara en la planeacin del proyecto, el evaluador y
dems partes interesadas tendrn juntas para decidir cul ser la base de juicio utilizando
los criterios o datos estadsticos relacionados. (Consulte el cuadro 2)

50

(5) Ubicacin del Marco Lgico en un Programa

Para entender el proyecto a travs de un marco lgico, tambin es necesario hacer
preguntas sobre la ubicacin del resultado final (o la meta general) de un proyecto
especfico para soportar el programa o el punto de desarrollo. Un proyecto especfico es
una manera de solucionar un punto de desarrollo dentro del marco de trabajo de un
programa amplio. A continuacin se mencionan las definiciones de proyecto y programa
segn la JICA. La figura 2-1-6 muestra un diagrama de su ubicacin.
Como se muestra en la figura 2-1-6, un programa es un conjunto de proyectos
individuales que comparten la misma meta general bajo el mismo asunto de desarrollo.
En la evaluacin, se hace necesario examinar cmo est ubicado un proyecto
determinado en un programa o bajo un asunto de desarrollo y tambin cules son los
vnculos entre los proyectos de otros donantes y pases socios. Precisamente esto es la
cuestin de relevancia en la evaluacin ex-ante y de impacto en la evaluacin ex-post.

Definicin de Programa y Proyecto segn la JICA

z Un programa es un conjunto de proyectos individuales vinculados libremente bajo
asuntos de desarrollo.

z Un proyecto (individual) tiene el propsito de producir determinado efecto directo

dentro de cierto perodo. El efecto directo se puede medir cuantitativamente y las
relaciones causales con los insumos se pueden asumir directamente.

51

Figura 2-1-6 Ubicacin de un Programa y los Proyectos

Caso: Programa de Mejoramiento de la Higiene Urbana

Se mejora la higiene urbana.

(La tasa de infecciones transmitidas
por el agua ha disminuido.)

El sistema de

La organizacin administrativa

Se construye una

suministro de agua

del medio ambiente urbano se

planta de purifica-

Marco lgico del

proyecto de
mejoramiento del
suministro de agua

Marco lgico

Marco lgico del

relativo al

proyecto de

mejoramiento de la

construccin de la

administracin del

planta de

medio ambiente

purificacin de agua

La gente adquiere
conocimientos y

La basura se

conceptos de

elimina

higiene.

adecuada mente.

Proyecto
de

Proyecto de

educacin

eliminacin

de higiene

de basura

52

(6) Conexin entre el Marco Lgico y los Planes de Trabajo de la Evaluacin

El marco lgico contiene informacin til para realizar los planes de trabajo de la
evaluacin. Por ejemplo, las preguntas de evaluacin sobre la efectividad e impacto
pueden reflejar el modelo de relaciones causales del marco lgico. Adems, los valores
objetivo de los indicadores y medios de verificacin pueden ser la base para identificar los
datos necesarios y los mtodos de recopilacin de datos. La figura 2-1-7 muestra el uso
de la informacin en el marco lgico para hacer los planes de trabajo de la evaluacin.
En la Parte II, Captulo 2 se explican en detalle los planes de trabajo de la
evaluacin.

Figura 2-1-7 Uso del Marco Lgico para Hacer los planes de Trabajo de
la Evaluacin
Contenido del marco lgico

Resumen del Proyecto

(Meta General, Objetivo del
Proyecto, Productos,
Actividades e Insumos)

Se puede
utilizar para
desarrollar

Planes de trabajo de evaluacin

Preguntas de evaluacin

Suposiciones
I

Relaciones Causales

Bases de juicio

Indicadores
(Valores Objetivo)

Datos Necesarios

Medios de
Verificacin

Fuentes de informacin
y mtodos de
recopilacin de datos

53

4. Comprensin de la Situacin de Implementacin: Informacin sobre

los Resultados y el Proceso de Implementacin
El evaluador necesita comprender cmo se implement el proyecto cuando haga la
evaluacin (sobre todo durante y despus de la evaluacin intermedia). Eso incluye
cuestiones de los resultados as como lo que est sucediendo en el proceso de
implementacin. Es posible obtener esa informacin a partir de los registros de
seguimiento. La evaluacin de proyectos de la JICA es una tarea interna, y por lo tanto,
generalmente obtiene la informacin sobre los resultados del proyecto y el proceso de
implementacin a travs de los esfuerzos de seguimiento. Si el evaluador piensa que el
seguimiento no se llev a cabo lo suficientemente bien o que se necesita informacin ms
detallada, se realizarn otras encuestas dentro de las actividades de evaluacin.

i) Informacin sobre los Resultados

La informacin sobre los resultados incluye los resultados de los insumos, los productos y
el grado de logro del propsito y la meta general de un proyecto, aunque el enfoque ser
diferente dependiendo del momento en que se hace la evaluacin. El evaluador est
conciente principalmente de si se alcanzaron los objetivos como se plane y de cmo se
modificaron los valores objetivo o los indicadores durante la implementacin.

Los

registros de seguimiento pueden ayudar al evaluador a esclarecer objetivos e indicadores

en caso que no estn especificados en el marco lgico.

ii) Informacin sobre el Proceso de Implementacin

La informacin sobre el proceso de implementacin incluye qu tanto avanzaron las
actividades y qu est sucediendo en el sitio del proyecto. Adems, se deben investigar
las relaciones entre un equipo del proyecto y los departamentos de operacin de
proyectos, as como las oficinas de la JICA en el extranjero. Con el examen del proceso
de implementacin se espera obtener el mximo de un proyecto y evitar incidentes de
antemano. El proceso de implementacin nos puede brindar los siguientes factores o
situaciones.
La informacin sobre el proceso de implementacin puede brindar factores que
influyeron el logro de los objetivos. En caso que dichos factores no se examinen bien en
el seguimiento del proyecto, se debern incluir encuestas posteriores en la evaluacin.

54

Informacin que se obtiene mediante el examen del proceso de

implementacin
Examen de actividades
z Se realizan las actividades como se haba planeado? De ser as, cules son
los factores que contribuyen?
z Hay alguna actividad que no se haya realizado por completo? De ser as,
cules son las razones?
z Los insumos del proyecto son suficientes para continuar las actividades?
Relaciones con el grupo objetivo
z Las metas del proyecto son consistentes con las necesidades del grupo
objetivo?
z Hay algn cambio positivo de actitud y comportamiento de un grupo objetivo
para apoyar las actividades del proyecto?
z Cul es el nivel de participacin y percepcin hacia las actividades del proyecto
del grupo objetivo, la organizacin relacionada y la comunidad interesada?
z Cul es el nivel de satisfaccin del grupo objetivo hacia los servicios que brinda
el proyecto y el nivel de su utilizacin?
Gestin del proyecto
z Las actitudes de trabajo del personal del proyecto son suficientemente positivas
para implementar de manera efectiva la operacin del proyecto?
z Cul es el nivel de compromiso del personal del proyecto en las actividades del
proyecto?
z Se ha establecido una buena comunicacin entre los expertos japoneses y el
personal del proyecto?
z Se est llevando a cabo correctamente la supervisin? Se ha modificado la
estrategia del proyecto en la debida forma?
z Los departamentos de operacin del proyecto y las oficinas en el extranjero
brindan adecuadamente apoyo o asesora para el seguimiento del proyecto?
General
Cules son los factores importantes o asuntos clave que contribuyen a los efectos del
proyecto? (por ejemplo, los mtodos de la transferencia tcnica, el equipo e
instalaciones brindados, el plan de operacin, los servicio que brinda el proyecto, la
seleccin de una regin objetivo, el tamao de un grupo objetivo, etc.).

55

Captulo 2 Planeacin de la Evaluacin del Proyecto

Este captulo explica los asuntos clave que se deben considerar para planear la
evaluacin. La preguntas de evaluacin se explicarn como el primer paso para hacer
un plan de trabajo, seguidas de las bases para el juicio, los datos necesarios y fuentes
de informacin y los mtodos de recopilacin de datos.

Consejos!
- Primero, determinar lo que necesitamos conocer en la evaluacin (preguntas de la
evaluacin). Los Cinco Criterios de Evaluacin nos ayudarn a formular las preguntas
de la evaluacin tan especficas como sea posible.

Lo siguiente es considerar con qu debemos comparar el proyecto o programa para

pode emitir un juicio de valor (base para el juicio).

Despus debemos considerar a quin contactar, qu datos recopilar, y cmo hacerlo

para poder contestar las preguntas de evaluacin (fuente de informacin, datos
necesarios y mtodos de recopilacin de informacin).

Hay varios mtodos de anlisis de recopilacin de datos. Es ms efectivo utilizar

diversos enfoques para contrarrestar las deficiencias de un enfoque con los puntos
fuertes de otro.

Por ltimo, reunir todos los elementos de planeacin en una Tabla de Evaluacin, una
herramienta para desarrollar planes de trabajo de evaluacin. Es necesario aplicar la
Tabla de Evaluacin flexiblemente para satisfacer los diferentes propsitos de cada
estudio de evaluacin.

56

Pasos del Estudio de Evaluacin

(1) Confirmar el objetivo de la evaluacin

Planeacin
de la
Evaluacin

(2) Organizar la informacin sobre

el proyecto objetivo

(3) Formular un plan de trabajo de

-Cul es la metodologa de evaluacin?

evaluacin

- Considerar preguntas de la evaluacin, bases de

juicio, datos necesarios y mtodos de recopilacin
de datos

(4) Recopilacin de datos

Implementacin
(5) Anlisis e interpretacin de datos

Dar a
conocer los
resultados

(6) Dar a conocer los resultados de

la evaluacin

Retroalimentacin

La realizacin de un plan de evaluacin es un proceso para determinar qu y cmo

se debe implementar la evaluacin en relacin con su propsito. Por lo general, un
estudio de evaluacin est limitado por su presupuesto y tiempo, y por tanto, es necesario
desarrollar bien una manera efectiva y eficiente de realizar el estudio. A continuacin se
describen los pasos principales para la planeacin de la evaluacin. Estos pasos estn
interrelacionados entre s y por ello muchas veces se desarrollan al mismo tiempo.

57

Pasos para hacer un plan de evaluacin

1. Desarrollar preguntas de evaluacin

Qu se debe conocer a
travs de la evaluacin

2. Identificar las bases de juicio

Sobre qu bases se debe

adoptar el juicio de valor

3. Identificar los datos necesarios y

seleccionar las fuentes de informacin

Qu datos se deben recopilar

y de dnde

4. Seleccionar los mtodos de

recopilacin de datos

Cmo recopilar los datos

58

Formato del Cuadro de Evaluacin

Preguntas de Evaluacin
Criterios de
Evaluacin

Preguntas
principales

Preguntas
secundarias

Bases de
juicio

Datos
necesarios

Fuentes
de
Informacin

Mtodos
de
Recopilacin de
Datos

Pertinencia
Efectividad
Eficiencia
Impacto
Sustentabilidad
Otros

59

1. Desarrollo de las Preguntas de Evaluacin

(1) Niveles de las Preguntas de Evaluacin y los Cinco Criterios de Evaluacin

i) Qu es una Pregunta de Evaluacin?

Las preguntas de evaluacin representan lo que uno quiere saber a travs de la
evaluacin. Por ejemplo, la pregunta de si un proyecto fue (o ser) significativo es un
ejemplo de una pregunta de evaluacin y una pregunta comn para la evaluacin de un
proyecto. Preguntas ms centradas en verificar el valor de un proyecto sern: El
proyecto produjo efectos? o Se usaron los recursos eficientemente? Es posible
formular preguntas ms especficas enfocadas en la efectividad de un proyecto. Por
ejemplo, en un proyecto de riego, los evaluadores pueden hacer preguntas tales como:
Aument el volumen de produccin de las cosechas? o Aument el ingreso de los
agricultores? Para que un estudio de evaluacin sea operativo se deben desarrollar
preguntas ms especficas a partir de una pregunta general. Al hacerlo, se identifican
ms fcilmente mtodos de encuesta ms concretos as como los datos necesarios.
Los departamentos de operacin de proyectos dentro de la JICA desarrollan
preguntas de evaluacin que toman en consideracin la situacin real de un proyecto y lo
que se debe tomar en cuenta durante el perodo limitado de la evaluacin para obtener
respuestas tiles. El personal de la JICA es responsable de establecer preguntas de
evaluacin adecuadas ya que estn en posicin de comprender las cuestiones principales
del proyecto objetivo as como las cuestiones del sector relacionado. Deben tener en
mente esas cuestiones cuando desarrollen las preguntas de evaluacin para que los
resultados de la evaluacin se utilicen cabalmente para el mejoramiento de proyectos
futuros.

ii) Conexin entre las Preguntas de Evaluacin y los Cinco Criterios de Evaluacin
Como se explic en la seccin anterior, la JICA adopta los Cinco Criterios de Evaluacin
de la DAC (es decir, pertinencia, efectividad, eficiencia, impacto y sustentabilidad) para
emitir un juicio de valor sobre los resultados del proyecto. Se pueden desarrollar las
preguntas de evaluacin de acuerdo con estos cinco criterios. Por ejemplo, en caso de
una evaluacin final del Proyecto de Capacitacin de Maestros de Matemticas y
Ciencias, las preguntas de evaluacin para determinar la efectividad del proyecto
podran ser: Hubo alguna mejora en los mtodos de enseanza de los maestros como
consecuencia del proyecto? o Ha habido algn cambio en las actitudes de los
maestros? Preguntas ms especficas podran ser: Cmo evalan los estudiantes los
cambios en las actitudes de los maestros? y El nivel de rendimiento de los maestros
satisfizo los valores objetivos (nicamente si el sistema para evaluar los mtodos de
enseanza se introdujo en el proyecto como un sistema de seguimiento)? Mientras ms

60

especficas sean las preguntas ms fcil ser desarrollar posteriormente un plan de

trabajo para la evaluacin. Al hacerlo, la calidad de la evaluacin en s podra mejorar.
No tenemos que cubrir todos los criterios con un conjunto completo de preguntas de
evaluacin.

Necesitamos tener cuidado de no establecer preguntas de evaluacin

automticamente con base en los cinco criterios, sino desarrollar las preguntas
principales que proporcionarn respuestas tiles para mejorar el proyecto. Por lo tanto,
es posible que el nfasis entre los criterios sea diferente. En el caso de una evaluacin
interna con el propsito de mejorar los proyectos, los resultados sern irrelevantes a
menos que los intereses principales del personal de la JICA y de otras partes interesadas
se reflejen en las preguntas de evaluacin. Sus preocupaciones e intereses son el punto
de partida de la evaluacin. En ese proceso, podemos establecer qu preguntas crticas
se deben atender primero. Por lo general, el presupuesto y perodo de una evaluacin es
limitado y con frecuencia es difcil responder todas las preguntas. El personal de la JICA
debe discutir de manera extensa con las otras partes interesadas qu es lo que se debe
investigar exhaustivamente y luego seleccionar las preguntas de evaluacin importantes.
A continuacin se explican las relaciones entre los Cinco Criterios de Evaluacin y
las preguntas de evaluacin.

Unas preguntas de evaluacin adecuadas facilitarn la

identificacin de los datos necesarios e indicadores en un estudio de evaluacin.

61

Figura 2-2-1 Modelo Conceptual de Cmo Desglosar una Pregunta Principal

(Caso de Evaluacin Final del

Proyecto de Capacitacin de Maestros de Matemticas y Ciencias)
(Pregunta Principal)
La implementacin del proyecto fue vlida?

Pertinencia

Sustentabilidad

Cinco Criterios de
Evaluacin

Eficiencia
Efectividad
Impacto

(Desglosada en preguntas ms especficas)

i

ii

iii

iv

i) Existe la necesidad de mejorar la educacin en materia de

matemticas y ciencias?
ii) Han mejorado los mtodos de enseanza de los maestros?
iii) Es aceptable el costo de desarrollar un plan de estudios?
iv) Los estudiantes han alcanzado ciertos logros acadmicos?
v) Se ha sustentado el sistema de capacitacin de los maestros?

Todava se pueden desglosar en preguntas ms especficas.

62

Figura 2-2-2 Ejemplo de Preguntas de Evaluacin: preguntas principales

y preguntas secundarias
Caso: Curso de Capacitacin para el Manejo del Riego
El proyecto fue efectivo? (efectividad)

Los participantes adquirieron conocimientos suficientes a travs de la

capacitacin?
z Los participantes adquirieron conocimientos sobre

el sistema de mantenimiento de las instalaciones

de riego y el establecimiento y manejo de una
cooperativa para el manejo de agua? (resultados
de las pruebas y calificaciones)
z Los

participantes

estn

satisfechos

con

el

programa de capacitacin? (cuestionario)

z Los participantes reciben de sus supervisores una

buena

evaluacin

sobre

su

trabajo

cuando

regresan a casa? (cuestionario)

La primera pregunta del ejemplo anterior es demasiado general. Por ejemplo, no es

claro lo que significa conocimientos de los participantes y cmo juzgar el incremento de
sus conocimientos. Cuando se desglosa la primera pregunta general en tres preguntas
especficas es ms fcil considerar una base de juicio, los datos necesarios y los
mtodos de recopilacin de datos. Algunas preguntas se pueden desglosar an ms
hasta que uno pueda imaginar claramente los datos que se deben recopilar.
Caso: Proyecto de Erradicacin de la Polio
El proyecto ser sustentable? (sustentabilidad)
z Es factible el plan de distribucin de la vacuna de la
polio?
z Se cuenta con fondos seguros para mantener y
manejar el sistema de almacenamiento de la
vacuna?
z Se va a brindar educacin continua sobre la salud a
la gente de la localidad? ( tambin es necesario
desglosar esta pregunta en preguntas especificas
enfocadas en cuestiones tales como la capacitacin
de voluntarios de la salud y el desarrollo y
distribucin de libros de texto, etc.)

63

(2) Perspectivas de los Cinco Criterios de Evaluacin

Como se explic en una seccin anterior, los Cinco Criterios de Evaluacin se utilizan
para evaluar un proyecto objetivo desde diversos puntos de vista y, durante el proceso,
identificar los factores que contribuyen o dificultan el mismo.

Con base en dichos

factores, se pueden formular buenas lecciones aprendidas y recomendaciones. La tabla

2-2-1 muestra las perspectivas principales de cada criterio. Se puede hacer referencia a
ellos cuando se desarrollan las preguntas de evaluacin. La figura 2-2-3 muestra las
relaciones conceptuales entre los Cinco Criterios de Evaluacin y el marco lgico. Tal
como se explic, de acuerdo con los cinco criterios, es posible que la informacin de un
marco lgico no sea suficiente para realizar una evaluacin integral.
Es necesario desarrollar las preguntas de evaluacin adecuadas para cada criterio,
refirindose a los documentos del proyecto y al marco lgico. El marco lgico brinda
informacin para puntualizar y establecer prioridades para las preguntas de evaluacin de
manera sistemtica al sealar las conexiones causales entre los componentes del
proyecto (incluyendo los productos, actividades e insumos) y los resultados (incluyendo
las metas generales y el propsito del proyecto), as como las suposiciones que
sustentan el proyecto. Si la lgica del marco lgico es correcta, el evaluador podr utilizar
directamente la descripcin del proyecto que aparece en el marco lgico para formular las
preguntas sobre su nivel de rendimiento. Por otro lado, si el marco lgico no est
estructurado de manera lgica, el evaluador deber crear preguntas de evaluacin
relevantes junto con las partes interesadas.

64

Tabla 2-2-1 Perspectivas de los Cinco Criterios de Evaluacin

Necesidad
Pertinencia
z

Examinar la
justificacin o
necesidad de
implementar un
proyecto

Efectividad
Examinar los efectos
de un proyecto

Eficiencia
Examinar la
eficiencia de un
proyecto

El proyecto coincide con las necesidades de un rea o sociedad

objetivo?
z El proyecto coincide con las necesidades de los grupos objetivo?
Prioridad
z El proyecto es consistente con la poltica de asistencia para el
extranjero de Japn y los programas por pas de la JICA?
z El proyecto es consistente con los planes de desarrollo de un pas
socio?
Pertinencia como un Medio
z La estrategia del proyecto est produciendo impacto sobre los
asuntos de desarrollo en el sector relacionado de un pas socio?
(Los enfoques, reas objetivo o grupos son adecuados? Hay algn
efecto sinergtico de los proyectos de otros donadores en el mismo
sector?, etc.)
z Los grupos objetivo seleccionados se consideran adecuados (como
un objetivo o en su tamao)?
z El proyecto es pertinente desde el punto de vista de la igualdad?
(Los efectos y costos del proyecto se comparten de igual manera?
Hay algn efecto de difusin ms all de los grupos objetivo?, etc.)
z Japn obtiene alguna ventaja por extender la cooperacin tcnica en
el sector o sub-sector relacionado? (Hay alguna acumulacin de
conocimiento (know-how) y experiencias en relacin con las
tecnologas objetivo en Japn?, etc.)
z Es el propsito del proyecto lo suficientemente especfico? (Los
indicadores y medios de verificacin son adecuados?)
z Se alcanz (o alcanzar) el propsito del proyecto?
z El logro deriv (o deriva) de los beneficios?
z Existe alguna influencia de suposiciones importantes en el logro del
propsito del proyecto?
Cules son los factores que dificultan/contribuyen a la efectividad?

Se justific (o justifica) el costo de los insumos por el grado de

rendimiento de los beneficios? (Esto se puede comparar con
proyectos similares de otros donadores o del pas socio.) Haba (o
hay) alguna alternativa que hubiera alcanzado (o alcanzar) el mismo
nivel a menor costo? Se pudo (puede) esperar un mayor nivel de
logros por el mismo costo?
z Se justific (o justifica) el costo de los insumos por el grado de logro
de los propsitos del proyecto? (Esto se puede comparar con
proyectos similares de otros donadores o del pas socio.) Haba (o
hay) alguna alternativa que hubiera alcanzado (o alcanzar) el mismo
nivel a menor costo? Se pudo (puede) esperar un mayor nivel de
logros por el mismo costo?
z
Cules son los factores que inhiben o contribuyen a la eficiencia
del proceso de implementacin del proyecto?
(ejemplos)
Los insumos se entregaron en los momentos adecuados?
La cantidad y calidad de los insumos fueron adecuadas?

Existe alguna influencia de suposiciones importantes en el

proceso desde los insumos hasta el producto?
Existe la influencia de condiciones previas?, etc.

Impacto
Para examinar los
efectos del proyecto
incluyendo los
efectos de difusin a
largo plazo

z
z
z
z

Cules son los factores que dificultan/contribuyen a la

efectividad?
Se ha alcanzado la meta general (o se alcanzar)?
Los logros del objetivo general se debieron (o deben) al resultado
del propsito del proyecto?
Existe alguna influencia de suposiciones importantes en el logro del
objetivo general?
Hay alguna influencia positiva o negativa inesperada incluyendo los
efectos de difusin?
Conduzca el estudio desde varios puntos de vista tales como las

65

polticas, economa y finanzas, organizacin e institucin, tecnologa,

sociedad y cultura y medio ambiente.
Algunos ejemplos de
preguntas de la encuesta son:
Hay alguna influencia en las polticas?

Sustentabilidad
Para examinar la
sustentabilidad
despus de
concluida la
cooperacin de la
JICA

Hay alguna influencia econmica en una sociedad objetivo, las

agencias de implementacin de proyectos y el beneficiario?

Hay alguna influencia sobre la organizacin, las estipulaciones

relacionadas y la disposicin del sistema legal?

Hay alguna influencia en la innovacin tecnolgica?

Se mantienen y prevalecen las tecnologas necesarias? El

equipo recibe mantenimiento apropiado?
Una influencia negativa sobre los aspectos sociales y culturales,
si la hubiera, sera un obstculo para llevar a cabo las actividades?
-Hay alguna influencia negativa sobre la sustentabilidad a causa
de la falta de consideracin a las mujeres, los pobres y los
socialmente vulnerables?

Hay alguna influencia en temas como la igualdad de gneros, los

derechos humanos, las diferencias entre ricos y pobres, la paz y
los conflictos?
Hay alguna influencia en relacin con los temas de proteccin
ambiental?, etc.
z Se observa algn impacto especfico, ya sea positivo o negativo,
debido a las diferencias de gnero, raza y clase social?
z Cules son los factores que dificultan y que contribuyen al impacto?
Cules son los factores inesperados que produjeron una influencia
positiva y negativa?
z Se van a sustentar los efectos esperados descritos en el propsito
del proyecto y el objetivo general una vez que se termine la
asistencia?
z Cules son los factores que inhiben o contribuyen a la aparicin de
dichos efectos sustentables?
Conduzca el estudio desde varios puntos de vista tales como las
polticas, economa y finanzas, organizacin e institucin, tecnologa,
sociedad y cultura y medio ambiente.
Algunos ejemplos de
preguntas de la encuesta son:
El apoyo poltico est sustentado?
La organizacin tiene la capacidad de realizar actividades?
-El personal est ubicado de manera adecuada?
-El presupuesto, incluyendo los gastos comunes, est
asegurado?
-El proceso de toma de decisiones funciona correctamente? ,
etc..
Las estipulaciones relacionadas y el sistema legal estn
arreglados?
La organizacin es financieramente independiente o el apoyo
financiero se brinda de manera continua?

Una influencia negativa sobre el medio ambiente inhibira la

realizacin de las actividades?
Se asegur (o est asegurada) la propiedad de las agencias de
implementacin y los ministerios relacionados?

66

Figura 2-2-3 La Relacin entre los Cinco Criterios de Evaluacin y el

Marco Lgico (Figura Conceptual)
Meta general
Impacto
Pertinencia
Propsito del
Proyecto
(Evaluacin de

Efectividad Sustentabilidad

los Productos)
Productos

Actividades
Eficiencia

(Examen del
proceso de
implementacin)

Insumos

(nota)

Nota: Anteriormente, la eficiencia se analiz sobre todo con base en la relacin

entre los insumos y los productos. Sin embargo, tambin es necesario verificar el
costo-efectividad analizando la relacin entre los insumos y el propsito del
proyecto.

Esta figura muestra principalmente la relacin entre los Cinco Puntos de Evaluacin y el
Marco Lgico. El marco lgico es nicamente una de las fuentes de informacin en una
evaluacin y uno necesita analizar tambin otra informacin. Por ejemplo:
para la pertinencia, tambin se necesita informacin tal como los planes de
desarrollo de un pas socio, los antecedentes del proyecto, las necesidades del
beneficiario, las estrategias del proyecto y la formulacin de planes.
es necesario analizar la eficiencia desde tres puntos de vista: 1) productividad; 2)
costo-beneficio y 3) costo-efectividad;
para el impacto, no slo se describe la meta general como un efecto esperado en el
marco lgico, sino tambin es necesario investigar las influencias inesperadas
positivas y negativas; tambin se examina la pertinencia de las estrategias en el marco

67

de trabajo de un programa;
para la sustentabilidad, se deben formular varias preguntas como se describe en la
tabla 2-2-1; y
para la efectividad y el impacto, cuando se examinan las relaciones causales entre
la implementacin del proyecto y los efectos es necesario incluir aquellos aspectos
tales como las condiciones internas, el proceso de implementacin del proyecto y las
condiciones externas inesperadas.

68

(3) Cmo describir las preguntas de evaluacin en una tabla de evaluacin

Finalmente, todos los componentes de la planeacin de la evaluacin se renen en la
tabla de evaluacin. A continuacin se muestran ejemplos de las preguntas de evaluacin
en el caso del proyecto de capacitacin de maestros de matemticas y ciencias:

(Ejemplo del Formato de Tabla de Evaluacin)

Preguntas de
Evaluacin
Cinco
Bases del
Preguntas
Preguntas
Criterios
Juicio
principales
Secundarias
Desglose
Efectividad

Datos
necesarios

Fuente
de
Informacin

Mtodos
de
Recopilacin de
Datos

(Caso: Proyecto de Capacitacin de Maestros de Matemticas y Ciencias)

Cinco
Criterios

Efectividad

Impacto

Preguntas de Evaluacin
Preguntas principales

Preguntas secundarias
Mejoraron los mtodos de enseanza de
los maestros?*
La calidad de la educacin
Mejor la actuacin de los maestros en
en la escuela modelo mejor
clase?**
gracias al proyecto?
Mejor la comprensin de los maestros
acerca del contenido de los temas?***
Los maestros capacitados
participan continuamente en
actividades de
educacin?****
Mejor el promedio general en la prueba
Mejoraron las habilidades
anual a nivel nacional?
de aprendizaje de los
Los estudiantes aumentaron su grado de
alumnos gracias al proyecto?
satisfaccin con las clases?

Nota: No tiene ningn sentido establecer preguntas de evaluacin a menos que se puedan
recopilar los datos necesarios. Se supone que se deben recopilar los siguientes datos para las
preguntas arriba mencionadas.

* Comparacin con los datos obtenidos a partir del cuestionario de la encuesta que
supuestamente se realiz despus del proyecto.
** El uso de los datos obtenidos a partir de las observaciones directas concuerda con las
listas de verificacin de las actividades de supervisin
*** Medida mediante las calificaciones de la prueba.
**** Medicin de la proporcin de maestros que trabaja continuamente en la misma escuela
al momento de la evaluacin.

69

2. Bases del Juicio

(1) Confirmacin de los Valores Objetivo o Establecimiento de Criterios Nuevos
La valoracin de los resultados de un proyecto durante y despus de la evaluacin
intermedia requiere de criterios de logros (o valores objetivo) para poder juzgar si se
alcanzaron o no los objetivos como se esperaba.

Los valores objetivo descritos en la

columna de los indicadores se puede utilizar como dichos criterios. En caso que no se
hayan especificado los valores objeto, un evaluador necesita establecer los criterios para
determinar tanto el nivel de logro y contra qu se deber comparar dicho logro. Por
ejemplo, para evaluar un nivel de seguridad del agua, uno puede aplicar los criterios de
calidad del agua que estableci la OMS.

Otro ejemplo es aplicar la tasa nacional

promedio de enfermedades infecciosas a la regin objetivo par medir los cambios

despus de un proyecto de salud. El evaluador y las partes interesadas deben discutir a
fondo los criterios que se debern utilizar como base para el juicio. (Consulte el cuadro 2:
Varias Maneras para Decidir los Valores Objetivo.)
Tambin es necesario considerar los criterios que se debern utilizar para evaluar
la eficiencia. Por ejemplo, para poder evaluar el costo-eficiencia de construir una escuela
primaria, se pueden utilizar criterios tales como el costo total de proyectos similares, el
costo promedio de construir una escuela primara en un pas objeto o el costo promedio
de alguna construida por otros donantes (Actualmente, la eficiencia no se ha analizado
desde el aspecto del costo ya que no se cuenta con los criterios para la comparacin.
Por tanto, en la mayora de los casos, la eficiencia del proceso de implementacin se ha
analizado cualitativamente. Se requiere la acumulacin de datos para comparacin.)

<Cuadro 2: Mtodos para Establecer Valores Objetivo>

Refirase a las necesidades del grupo objetivo: para establecer valores objetivo con base en la
norma que espera el grupo objetivo.

Refirase a la media de la regin completa a la que pertenece el rea objetivo: para establecer
valores objetivo refirindose a la media de la regin completa a la que pertenece el rea objetivo (por
ejemplo, pas, perfectura).

Refirase a los casos exitosos de proyectos similares: para aprender de las experiencias en los
casos exitosos de proyectos similares realizados bajo condiciones anlogas. Esto se basa en la idea
que el proyecto objetivo debe alcanzar el mismo xito que esos casos.

Refirase a los valores objetivo establecidos por las agencias especializadas: para utilizar los
valores estndar establecidos por las agencias especializadas - por ejemplo, los criterios de calidad
del agua de la OMS.

70

(2) El Punto de Vista al Evaluar las Relaciones Causales

Al evaluar la efectividad o el impacto de un proyecto, los evaluadores deben formular la
pregunta causal de si los efectos son resultado de la intervencin del proyecto. Esta
pregunta es diferente a medir los logros de un proyecto a travs de las preguntas
normativas. Como un proyecto es nicamente una intervencin en una sociedad objetivo,
no podemos excluir las influencias de otros factores adems del proyecto. Por ejemplo,
un aumento en el ingreso de los agricultores se puede derivar de un aumento en la
productividad de las hortalizas como consecuencia de un proyecto de riego, o podra
derivarse de la influencia de factores totalmente diferentes tales como trabajo para los
agricultores en las aldeas vecinas, otras oportunidades de un ingreso adicional, etc.

En

otras palabras, no es posible medir los efectos de un proyecto con slo observar los
cambios de los beneficiarios objetivo.

Por lo general, hay dos mtodos para probar la

causalidad: 1) mtodos cuantitativos por comparacin y 2) mtodos cualitativos de

construccin de informacin, que intentan probar la correlacin entre los productos y los
efectos directos del proyecto.

i) Mtodos Cuantitativos: Mtodo de Diseo Experimental, etc.

La metodologa bsica de los mtodos cuantitativos para examinar las relaciones
causales es la comparacin. Hay dos formas de comparacin: 1) comparar una
sociedad/beneficiario objetivo antes y despus de un realizar un proyecto para ver sus
cambios y 2) comparar una sociedad objetivo/beneficiario con un proyecto en otra
sociedad/pueblo sin proyecto.
Se dice que el mtodo ms cientfico es el conocido como el mtodo de diseo
experimental, que es una combinacin de antes/despus y con/sin. Hay dos pasos para
conducir la encuesta: 1) elegir al azar un grupo como el grupo objetivo y el otro como el
grupo no objetivo (grupo de control) antes de implementar un proyecto y 2) comparar sus
cambios antes y despus del proyecto. Sin embargo, estos mtodos causan problemas
ticos y requieren de un costo comparativamente mayor y, por lo tanto, en la realidad no
se pueden aplicar fcilmente para evaluar proyectos individuales. No obstante, es posible
realizar una simple encuesta comparativa entre aquellos que participaron en un proyecto
y aquellos que no lo hicieron, incluso cuando esos grupos no se hayan elegido al azar.
(Por ejemplo, comparar la percepcin de un pueblo en relacin con los cuidados de salud
en una regin objetivo de un proyecto PHC y la de aquellos en otra regin en un medio
ambiente similar sin el proyecto; este mtodo se llama el mtodo de diseo semiexperimental.)
En muchos casos cuando se evalan proyectos especficos en la JICA, se aplica la
comparacin antes y despus al grupo objetivo. Los datos base obtenidos en la
evaluacin ex-ante se utilizarn para comparar los resultados despus del proyecto. Otra

71

manera de examinar las relaciones causales es medir los datos regularmente y observar
la transicin y su tendencia en series de tiempo.

ii) Mtodos Cualitativos

El anlisis cualitativo de las relaciones causales trata de explicar la relacin entre la
implementacin del proyecto y los cambios en sus beneficiarios. Dicho anlisis rene (o
construye) varias fuentes de informacin sobre el proyecto para determinar qu tipo de
relacin causal existe entre el proyecto y los efectos sobre la sociedad objetivo.
Hay varias formas cualitativas de analizar las relaciones causales como se describe a
continuacin.

Enfoque cualitativo para analizar las relaciones causales

z Construir informacin sobre el proceso de implementacin a partir de insumos desde
las actividades hasta los productos y de los productos a los objetivos.
z Intentar explicar la relacin lgica entre la implementacin del proyecto y los efectos.
z Analizar el proceso para transferir y divulgar tecnologa a travs de las actividades.
z Aclarar la relacin entre la implementacin del proyecto y los efectos mediante una
encuesta detallada y profunda de una regin objetivo o de un grupo objetivo pequeo
(es decir, estudio de caso).
Para construir la informacin sobre el proceso de implementacin y valorar la
relacin causal se pueden recopilar e interpretar datos cualitativos tales como la forma en
que se realizan las actividades, si se obtuvieron los productos como se esperaba, cmo
cambi la percepcin de un grupo objetivo hacia el proyecto, o cundo se produjeron los
efectos, y en cules mtodos de anlisis se pueden utilizar. (Consulte la tabla 2-2-4 para
ver la metodologa)

Los mtodos cuantitativo y cualitativo se pueden combinar y utilizar de manera

complementaria. Por ejemplo, despus de la evaluacin de la medicin antes y despus
de los resultados, podemos utilizar los mtodos cualitativos para que la explicacin sea
ms convincente.

Generalmente as se realizan las evaluaciones de proyectos

particulares en la JICA.

72

(3) Cmo describir la base de juicio en la tabla de evaluacin

En la tabla de evaluacin, la columna base del juicio no necesariamente se llena,
dependiendo de las preguntas de evaluacin. Es posible que los temas de la pertinencia y
la sustentabilidad no requieran de esa base ya que se recopila principalmente informacin
cualitativa. A continuacin se muestra un ejemplo del uso de la tabla de evaluacin con la
base del juicio.

(Ejemplo del Formato de Tabla de Evaluacin)

Preguntas de
Evaluacin
Cinco
Bases del
Preguntas Preguntas
Criterios
Juicio
principasecundales
rias
Desglose
Efectividad

Datos
necesarios

Fuente
de
Informacin

Mtodos
de
Recopilacin de
Datos

(Caso: Programa de Capacitacin de Maestros de Ciencia)

Cinco
Criterios

Efectividad

Impacto

Preguntas de Evaluacin
Temas principales

Mejoraron los
mtodos de
enseanza de los
La calidad de la
maestros?
educacin en la
escuela
modelo
Mejor la
mejor gracias al
comprensin de los
proyecto?
maestros acerca del
contenido de los
temas?

Mejoraron las
habilidades de
aprendizaje de los
alumnos gracias al
proyecto?

Bases del Juicio

Temas menores

Mejor el promedio
general en la prueba
anual a nivel
nacional?
Los estudiantes

-Comparacin con el valor

objetivo (el valor medio no es
menor de 3.0)
-Comparacin antes y
despus de la implementacin
-Comparacin con el valor
objetivo
(la
calificacin
promedio no es menor de 80
puntos)
-Comparacin
antes
y
despus de la implementacin
-Comparacin de resultados
despus de la implementacin
con estudiantes sin proyecto

(Datos Cualitativos)

aumentaron su grado
de satisfaccin con
las clases?

73

<Cuadro 3: El Mtodo de Diseo Experimental y el Mtodo de Diseo

Semi-experimental>
El mtodo de diseo experimental es un mtodo para examinar las relaciones
causales entre los efectos y las implementaciones de un proyecto al comparar un
grupo con un proyecto (un grupo de implementacin) con un grupo sin proyecto (un
grupo de comparacin o de control). Debido a la influencia de factores externos, es
difcil examinar las relaciones causales entre los cambios efectuados y un proyecto
especfico comparando nicamente antes y despus de la implementacin del
proyecto. El mtodo est diseado para calcular los efectos netos de la intervencin
de un proyecto al descartar los cambios de un grupo de control de los cambios de un
grupo de implementacin antes y despus de la implementacin de un proyecto.
Hay dos tipos de casos de evaluacin usando un grupo de comparacin: 1) el caso
donde un grupo de comparacin ya existe; y 2) el caso donde el evaluador formula un
grupo de comparacin al momento de la evaluacin. La forma ms cientfica (o
tericamente efectiva) de usar el grupo de comparacin es elegir ambos grupos al
azar en una regin objetivo antes de lanzar el proyecto.
Cuando efectivamente se est realizando un proyecto de asistencia para el
desarrollo, la eleccin del grupo de implementacin y del grupo de comparacin
puede causar algunas dificultades. Existe un problema de tica al controlar y observar
un grupo que se excluye de los beneficios del desarrollo durante los tres o cinco aos
que dura el proyecto. Adems, est el problema del costo.
El mtodo que se utiliza con ms facilidad es especificar un grupo de comparacin
que puede tener condiciones similares a las de un grupo de implementacin y
comparar los efectos entre ambos. Este mtodo se conoce como el modelo de diseo
semi-experimental y se comparan dos grupos de comparacin de casi el mismo
tamao y con caractersticas similares. (Este mtodo tambin se conoce como el
modelo de asociacin.)
Por ejemplo, es posible comparar la situacin despus de la implementacin de un
proyecto entre la comunidad A donde se realizan actividades de atencin a la salud
regionales y la comunidad B que no cuenta con dichas actividades. La comunidad B
necesita tener tendencias similares a la comunidad A en condiciones tales como la
proporcin de gnero, el nmero de familias, los tipos de enfermedades infeccionas,
la situacin real de los servicios de atencin mdica, la precipitacin anual o las
condiciones geogrficas. Adems, tambin es posible comparar algunas
caractersticas especficas en los grupos seleccionados (grupos de diferentes edades,
grupos de diferentes gneros, grupos de diferentes profesiones, etc.).
Fuentes: Ryu Yoshiaki, Ryo Sasaki (2000), Seisakuhyoka no riron to giho (Teoras y Tcnicas de la
Evaluacin de Polticas), Tagashuppan, p. 50-71; Lipsey RF (1999), Evaluacin: Un Enfoque
Sistemtico, 6a. edicin, SAGE, p. 279-306.

74

3. Consideracin los Datos y Fuentes de Informacin Necesarios

El siguiente paso es identificar cules son los datos que se deben recopilar y de dnde
para poder contestar las preguntas de evaluacin. Parte del proceso para encontrar los
indicadores especficos para medir un fenmeno es la tarea de identificar los datos
necesarios.

Por ejemplo, un evaluador deber decidir un mtodo de medicin: por

ejemplo, si se debe medir la riqueza mediante el ingreso anual o el nmero de ganado

en una situacin especfica del proyecto. Por lo general hay diversas maneras de medir
un fenmeno y, por lo tanto, se debe elegir la medicin ms adecuada.

(1) Tipos de Datos

Existen dos tipos de informacin o datos para responder a las preguntas de evaluacin:
1) los datos cuantitativos; y 2) los datos cualitativos. Se debe conocer la naturaleza
diferente de cada tipo de dato ya que afecta la recopilacin de datos y los mtodos de
anlisis en un estudio de evaluacin. (Consulte los mtodos de anlisis cuantitativo y
cualitativo en 2-2-4)

i) Datos Cuantitativos
Los datos cuantitativos son aquellos expresados en valores numricos (por ejemplo, el
volumen de la cosecha de productos agrcolas, la tasa de alfabetizacin, la tasa de
mortalidad infantil, el rea de tierra de riego, la cantidad de instalaciones construidas y el
promedio de calificacin de una prueba). Los datos cuantitativos se utilizan ms para
evaluar los resultados de un proyecto o el grado de logro en valores numricos: es decir,
calcular el ingreso promedio de cierto grupo mediante el anlisis estadstico, y ver la
correlacin entre los antecedentes acadmicos y el ingreso. Los datos cuantitativos
tambin son adecuados para analizar la situacin de un grupo relativamente grande
realizando encuestas de muestreo.
Es posible cuantificar los aspectos cualitativos - que no son tan fciles de medir
en valores numricos - mediante una encuesta por cuestionario de opciones mltiples o a
travs de la observacin con una lista de verificacin. Por ejemplo, para investigar el
grado de satisfaccin de la gente, un evaluador puede calcular el porcentaje de gente
satisfecha preparando cinco opciones mltiples: 1) completamente satisfecho; 2)
moderadamente satisfecho; 3) ni satisfecho ni descontento; 4) un poco descontento; y 5)
completamente descontento. Uno puede entonces calcular el valor medio del grado de
satisfaccin si codifica esas opciones con nmeros del cinco al uno respectivamente.
Cuando se miden cambios en la actitud o percepcin de la gente, es posible cuantificar
los cambios definiendo la actitud o la percepcin en trminos concretos. Por ejemplo,
para poder analizar cmo cambiaron las actitudes de los maestros y los mtodos de
enseanza despus de recibir la capacitacin, se pueden definir dichos cambios como

75

"adoptando un mtodo participativo en clase", "la actitud hacia los estudiantes que no
pueden ir a la par con el avance de la clase, la manera de ensear con herramientas
experimentales limitadas, o la forma de estimular la creatividad de los alumnos. Esto se
puede medir a travs de la observacin de un tercero a mediante una encuesta por
cuestionario para los maestros.
Debido a que los datos cuantitativos se recopilan de manera sistemtica y
uniforme, tambin pueden ser ms confiables y fciles de analizar. No obstante, no se
puede obtener fcilmente informacin de antecedentes tales como la razn por la cual se
observa un fenmeno y cmo se adquiere el status quo.

Los datos cuantitativos se aplican para

z Medir los resultados del proyecto o el grado de logro
z Estudiar a un gran nmero de personas
z Utilizar mtodos de medicin establecidos
z Llevar a cabo un anlisis estadstico
ii) Datos Cualitativos
Los datos cualitativos son aquellos que expresan un fenmeno de manera descriptiva y,
por tanto, son adecuados para comprender a fondo la situacin o conocer en detalle el
comportamiento de la gente y su percepcin.

Los datos cualitativos pueden brindar

informacin ms detallada, incluyendo los factores que influyen, el proceso de los

cambios, episodios y relaciones entre ellos en un proyecto. La mayora de la informacin
en el proceso de implementacin son datos cualitativos, y este tipo de informacin incluye
los problemas y medidas adoptadas en el proceso de actividades, el proceso de gestin,
las relaciones humanas y la percepcin sobre el proyecto de las partes interesadas.
Dichos datos se pueden analizar para aprender cmo influyen estos factores para
alcanzar los objetivos y cules son los factores existentes que dificultan o contribuyen al
proyecto. El anlisis mediante datos cualitativos es ms inductivo comparado con los
datos cuantitativos, y por ello, la interpretacin tiende a ser ms parcial.

Los datos cualitativos se aplican para

z Realizar encuestas a fondo con informacin detallada
z Analizar los factores relacionados (factores que dificultan/contribuyen) que
influyeron en los logros
z Utilizar cuando los mtodos analticos no se decidieron de antemano
z Utilizar cuando no hay necesidad de una cuantificacin

76

Tabla 2-2-2 Ejemplos de Datos Cuantitativos y Cualitativos

(Caso: Proyecto de Capacitacin de Maestros de Matemticas y
Ciencias)
Ejemplos de Datos Cualitativos**

Ejemplos de Datos Cuantitativos

El nmero de participantes en la
capacitacin
El nmero de maestros capacitados
Las calificaciones de los estudiantes
en la prueba
El ndice para medir la calidad de los
mtodos de enseanza*

*La calidad de los mtodos de enseanza

no se puede medir cuantitativa y
directamente, pero se puede manejar en
forma de datos cuantificados en el caso
que se invente un mtodo de medicin de
la calidad (por ejemplo, el evaluador puede
calificar
los
resultados
de
sus
observaciones sobre los mtodos de
enseanza mediante la escala del uno al
tres.

Lo que la gente consider no satisfactorio

sobre el contenido de la capacitacin o sus
sugerencias para la misma
Cambios en los estudiantes desde el punto
de vista de sus padres
Cambios en la percepcin de los maestros
hacia el proyecto
Razones por las que los mtodos de
enseanza de los maestros no mejoraron
La idoneidad del sistema de implementacin
de los cursos de capacitacin para maestros

**Estos tipos de datos se pueden cuantificar si

se adopta una encuesta por cuestionario con
opciones mltiples (se recopilan como datos
cuantitativos). Por otro lado, los datos
cualitativos se recopilan en casos donde no se
cuenta previamente con opciones mltiples o
cuando el objetivo de la encuesta es comprender
mejor la situacin (ejemplos de los mtodos de
recopilacin de datos son: encuestas por
cuestionario con respuestas obligatorias o
encuestas por entrevista, discusiones del grupo
de control, etc.).

(2) Fuentes de Informacin y Muestreo

Dos fuentes de informacin principales para la evaluacin de proyectos son los materiales
existentes y la informacin que dan las partes interesadas de un proyecto. Estas fuentes
se deben consultar primero para ahorrar costos y tiempo. Cuando se utilicen estos datos,
el valuador deber confirmar cmo se recopilaron y analizaron, y qu tan importantes son
para el estudio de evaluacin especfico.
Los evaluadores debern seleccionar las fuentes de informacin adecuadas tomando
en consideracin la accesibilidad a la informacin, cul es la informacin ms exacta y
cules puntos de vista son indispensables. Tambin se examinan cuidadosamente las
diferencias de gnero, etnia y clases sociales cuando se recopilan y especifican los datos.
Si los mtodos de recopilacin de informacin no son adecuados, es posible que no se
obtengan los datos necesarios como se esperaba, incluso a partir de las fuentes de
informacin supuestamente ideales. Por ejemplo, en una sociedad donde las mujeres no
pueden opinar en presencia de varones, es necesario recopilar los datos en
circunstancias donde hombres y mujeres estn separados.

Cuando la gente de la

localidad no expresa sus verdaderos sentimientos a quienes no pertenecen a su

77

comunidad, ser necesario capacitar a gente de la localidad como encuestadores para

que recopilen la informacin.
Cuando se realizan encuestas sobre una serie de beneficiarios no identificados,
podemos proceder ya sea con: 1) una encuesta por censo en donde toda la gente (o
una poblacin) son el objetivo; o 2) una encuesta por muestreo en donde slo una parte
de ellos es el objetivo. La eleccin depende del propsito de la encuesta, el tamao del
grupo o regin objetivo, las restricciones de presupuesto y tiempo y la exactitud de los
datos esperados. El mrito de la encuesta por muestreo es que se pueden generalizar
sus resultados como caractersticas de una poblacin objetivo. (Consulte el Cuadro 4: La
Encuesta por Censo y la Encuesta por Muestreo.)

78

<Cuadro 4: Encuesta por Censo y Encuesta por Muestreo>

z Encuesta por Censo
La encuesta por censo es el tipo de encuesta donde todos los que participan en un
proyecto son las fuentes de recopilacin de informacin. Esta encuesta es efectiva cuando
se renen datos cuantitativos, tales como el porcentaje de incremento del nmero de
agricultores que obtuvieron mejor productividad del arroz o el porcentaje en el aumento
de gente que adquiri conocimientos sobre la salud. Es posible calcular los factores que
influyeron en los resultados analizando estadsticamente las condiciones de vida de la
comunidad objetivo.
Es relativamente fcil realizar una encuesta por censo en un proyecto de pequea
escala y en un proyecto de capacitacin. En el caso de proyectos ms grandes, es ms
difcil obtener informacin sobre toda la gente, pero tambin se puede utilizar la encuesta
por censo si se dirige a un grupo de gente especfica que particip en cierta actividad.
z Encuesta por Muestreo
La encuesta por muestreo es el tipo de encuesta que calcula las caractersticas de toda
una poblacin mediante encuestas sobre una parte seleccionada de ella. Se debe decir el
tamao de la muestra dentro del rango de error de muestreo aceptable. El margen de error
de muestreo es de +/ 5 puntos porcentuales cuando el nmero de muestras es de
alrededor de 400, mientas que es de +/ 10 puntos porcentaules para 100 muestras. Por
ejemplo, si resulta que el 40 por ciento de 100 muestras estn de acuerdo con una opinin
determinada, se puede calcular que entre 30 y 50 por ciento de toda la poblacin est de
acuerdo con ella.

Se puede considerar dentro de un rango aceptable si el error de

muestreo es menor del 10 por ciento, y por ello, se prefiere que el nmero de muestreo sea
de 100 o ms. Bsicamente hay dos tipos de muestreo: 1) muestreo al azar; y 2) muestreo
de no probabilidad.

79

<Cuadro 5: Muestreo Terico>

La encuesta por muestreo tambin se conoce como muestreo estadstico y se utiliza
principalmente en el anlisis cuantitativo. Por el contrario, en el anlisis cualitativo, est
muy extendido el uso del mtodo que se conoce como muestreo terico. (Consulte los
mtodos cuantitativo y cualitativo en 2-2-4 (3) p. 91.)
El muestreo terico se aplica generalmente para generar teoras y categoras con
base en los resultados de la evaluacin que tienen fundamento en el mundo emprico.
Indica a los evaluadores donde recopilar el tipo de datos que responden a varios conceptos
y que todava estn en proceso de construccin. En otras palabras, el muestreo terico es
el proceso de identificar muestras a travs de la repeticin de la recopilacin y anlisis
relacionados con los conceptos y categoras.
Por ejemplo, cuando se mide el efecto directo de un proyecto de cooperacin tcnica,
es frecuente que se investiguen los aspectos cualitativos de los cambios de actitud y
comportamiento de los beneficiarios y las organizaciones objetivo. En ese caso, se puede
utilizar el mtodo de muestreo terico junto con un modelo lgico para realizar una
evaluacin. Los evaluadores pueden identificar primero un grupo clave de informantes que
tericamente estn considerados como una fuente de informacin importante y efectiva, y
despus realizar entrevistas o discusiones del grupo de control para evaluar sus cambios
de actitud o comportamiento.

Cuando se analizan los datos recopilados se pueden

identificar otros datos que pueden estar relacionados con los factores e incidentes que
seal la encuesta anterior. Dicho proceso de repeticin se puede terminar cuando ya no
se espera ningn hallazgo nuevo.

80

4. Mtodos de Recopilacin de Datos

(1) Tipos de Mtodos de Recopilacin de Datos
A continuacin se muestran los mtodos principales para la recopilacin de datos.
Algunos mtodos se pueden aplicar para recopilar datos cuantitativos y cualitativos
dependiendo de la estructura de las preguntas y respuestas. Por ejemplo, se pueden
cuantificar datos en una encuesta por cuestionario que tenga opciones de respuesta
preparadas (por ejemplo, 80% de los encuestados estn satisfechos), mientras que slo
se obtienen datos cualitativos si la encuesta se estructura con preguntas con respuesta
obligatoria.

Tipos de Mtodos de Recopilacin de Datos

z Revisin de estadsticas, literatura y datos existentes
z Observacin
z Encuesta por cuestionario
z Entrevistas
z Discusin del grupo de control
La recopilacin de datos requiere tiempo y dinero, as que lo primero que se debe
investigar es la disponibilidad de datos confiables existentes. Cada mtodo tiene pros y
contras, y el evaluador debe seleccionar cuidadosamente los mtodos de recopilacin de
datos. Para su referencia, las tablas 2-2-3 y 2-2-4 muestran las caractersticas de cada
mtodo de recopilacin de datos.

Tabla 2-2-3

Relaciones entre los Tipos de Datos y los Mtodos de

Recopilacin de Datos

Encuesta por
Cuestionario
Preguntas
Pregunestructutas
radas
directas

Datos
Cuantitativos
Datos
Cualitativos

Observacin
Encuesta
por
Entrevista

Discusin del
Grupo de
Control

?*

Observacin
Usando la
Lista de
Verificacin

Visitas al
sitio

* Podemos cuantificar los resultados hasta cierto punto cuando la entrevista est
estructurada.

81

Tabla 2-2-4 Mtodos Principales de Recopilacin de Datos y sus

Caractersticas
Mtodos de Recopilacin
Pros
Contras/Consejos
de Datos
1. Revisin de la Literatura
incluyendo Datos Existentes
costo
en
Informes
del
proyecto, z Menos
comparacin
con
registros de seguimiento,
otros mtodos, y por
literatura sobre los sectores
lo tanto, eficiente.
relacionados,
datos
estadsticos, informes de
otros donantes, etc.
2. Observacin Directa
La situacin sobre el uso de
las instalaciones y el equipo,
la
idoneidad
de
la
z Poco costo.
infraestructura y los servicios,
el sitio de capacitacin, la
forma de comportamiento de
la gente, etc.

z La
credibilidad
de
la
informacin y datos estn en
tela de juicio.
z Tal vez no se obtengan los
datos necesarios.

z Las

z
3. Encuesta por Cuestionario z Es posible obtener al
mismo
tiempo
(Encuesta Enquete)
informacin sobre un
tema a partir de
Hacer las mismas preguntas
diversos objetivos.
a todos los objetivos medianz Las respuestas de
te un cuestionario y analizar
los encuestados se
los datos obtenidos.
pueden
comparar
Hay dos tipos de cuestionafcilmente.
rios: 1) el cuestionario autoaplicado que los encuestados z Es relativamente fcil
analizar
las
llenan directamente; y 2) el
respuestas
de
las
cuestionario donde un enpreguntas
con
cuestador le hace preguntas
respuesta
a los encuestados y toma
obligatorias ya que
notas de sus respuestas (no
se
pueden
se autoaplica).
cuantificar.

z
z

habilidades
y
parcialidades
de
los
encuestadores influyen en los
resultados.
Se
debe
de
asegurar
objetivamente combinndolo
con otros
mtodos
de
encuesta.
Para obtener los datos
necesarios se requiere de
habilidades para desarrollar
un cuestionario adecuado.
Tal vez no se cubra toda la
informacin importante si la
poblacin de la encuesta es
de tamao limitado.
Las tasas de respuesta no
son predecibles.
No hay oportunidad para que
los encuestadores aclaren las
intenciones de las preguntas
ya que no hay ocasin para
una conversacin directa.
(Consejos)
Formular
preguntas
con
palabras
y
expresiones
sencillas
para
que
los
encuestados
puedan
comprender las intenciones
de las mismas.

82

z Prestar suficiente atencin

para escribir una carta de
solicitud en la forma correcta.
z Tomar en consideracin los
antecedentes
sociales
y
culturales y las formas de
expresin para que se
transmita correctamente la
intencin de las preguntas.
z Que el volumen no sea muy
grande.
z Seleccionar los tipos de
respuesta al tiempo que se
toma en consideracin los
mtodos de anlisis de datos.

Hay dos tipos de preguntas:

1) preguntas con respuestas
obligatorias donde se dan
opciones de respuesta especficas; y 2) preguntas de
interpretacin abierta donde
los encuestados responden
en sus propias palabras.

4. Encuesta por Entrevista

z Es posible tratar de

z Requiere tiempo.
z Las
habilidades
del
encuestador influyen sobre
los resultados.
z La parcialidad de un individuo
puede influir sobre los
resultados.
z En muchos casos, no es
posible cuantificar los datos y,
por tanto, generalizar los
resultados.

manera flexible con

los
encuestados,
dependiendo de la
situacin.
Es posible obtener
ms informacin a
partir
de
las
Hay tres tipos de entrevistas
reacciones de los
dependiendo de la estructura
encuestados - por
de las preguntas.
(Consejos)
ejemplo, sus expresiones faciales, vo- z Crear preguntas suponiendo
Entrevista Estructurada: Se
ces, etc.
una conversacin agradable.
preparan preguntas especz Es posible hacer z Evitar preguntas largas o
ficas, al igual que en la
preguntas adicionademasiadas preguntas.
encuesta por cuestionario.
les para obtener ms z Tratar de obtener informacin
detalles.
observando las expresiones
faciales, actitudes, etc. de los
encuestados.

Hay varios tipos de entrevista, dependiendo del objetivo entrevista individual, de gruz
po, de informante clave, etc.

Entrevista semi-estructurada:
Se preparan las preguntas
principales.
Se
formulan
preguntas adicionales durante
la entrevista cuando es
necesario.

Entrevista

Sin Estructura:
nicamente se aclara la
intencin de la entrevista. Se
hacen preguntas libres a cada
encuestado.

83

de z Es
relativamente
fcil llevarla a cabo.
z Se
obtiene
Un grupo de alrededor de
informacin
sobre
10 personas con los mismos
temas
especficos
antecedentes discuten sobre
desde varios puntos
temas
(o
preguntas)
de vista a partir de la
especficas. Se puede obtener
interaccin de los
su percepcin hacia los temas
participantes.
o
ideas
observando
la z Es
muy
fcil
discusin.
escuchar
las
objeciones.

5. Discusin
Control

del

Grupo

z No es adecuada para temas

de naturaleza delica-da.
z Algunos encuestados po-dran
controlar la discusin.
z Los encuestados tal vez no
expresen sus verdaderos
sentimientos si los temas
estn relacionados con las
normas sociales.
z Las habilidades del moderador
influyen
en
las
discusiones (es necesario
tener moderadores capa-ces).
z Seleccionar cuidadosamen-te
a los miembros (mximo 12
personas).
z Pida a alguien que lleve un
registro de la discusin.

En la encuesta por cuestionario o en la entrevista, es muy fcil que la forma de hacer

las preguntas influya en los resultados.

A menos que las preguntas sean adecuadas y

operativas, es posible que no se obtengan los datos necesarios como se esperaba

aunque la encuesta por cuestionario se realice para toda la poblacin, o para los
encuestados clave que pueden tener informacin importante.

A continuacin se

describen algunos consejos sobre cmo preparar los cuestionarios y las preguntas de
acuerdo con los diferentes mtodos de recopilacin de datos.

84

Tabla 2-2-5 Consejos para Preparar Cuestionarios y Preguntas

z
z
z
z
z
z
z

Utilice palabras y expresiones claras y sencillas.

Las oraciones deben ser sencillas y no demasiado largas.
No pregunte dos o ms cosas en una misma pregunta.
Evite usar oraciones con doble negacin.
No utilice preguntas con tendencias.
Encuesta por
Incluya preguntas para realizar una doble verificacin.
Cuestionario
Incluya algunas opciones que permitan al encuestado no
(Encuest
responder - por ejemplo, no es aplicable, sin opinin, etc.
z Mantenga el volumen total modesto, no demasiado grande (dos
a
o tres pginas cuando mucho).
Enquete
z
Estipule el propsito de la evaluacin (el propsito de la
)
encuesta) y su confidencialidad.
z No olvide expresar su agradecimiento por la cooperacin.
z Se deben considerar totalmente los aspectos sociales y
culturales y evitar expresarse de manera que pueda afectar
sensibilidades.
z Empiece con preguntas generales/simples antes de hacer las
Entrevistas
preguntas personales/difciles.
(Aqu se asume el
caso de la entre- z Decida el orden de las preguntas suponiendo una conversacin
agradable - por ejemplo, organice los temas relacionados de
vista sin estructura;
manera consecutiva (sin embargo, un encuestador puede saltar
los consejos para la
algunas preguntas dependiendo de las respuestas del
entrevista estructuencuestado).
rada son similares a
los de la encuesta z Prepare las preguntas principales reflejando la intencin de la
entrevista y haga preguntas adicionales lgicas. El encuestador
por
cuestionario,
siempre debe tener en mente la intencin de la entrevista.
descritos arriba.)
z Se deben considerar totalmente los aspectos sociales y
culturales y evitar expresarse de manera que pueda afectar
sensibilidades.
z De antemano organice su tiempo, el contenido de la entrevista y
el orden de las preguntas para que la entrevista termine dentro
del tiempo lmite.
z
Establezca una pregunta o tema principal y evite hacer
Discusin del
preguntas
nuevas hasta que los participantes terminen de
Grupo de
discutir
sobre
la primera.
Control
z No haga preguntas que se deban responder con s o no.
z Haga preguntas que le permitan comprender las razones,
causas y antecedentes del comportamiento u opiniones.
Fuente: Atsuko Isoda (2003), Captulo 3: Joho/Deta no Shushu to Bunsekishuho (Mtodos de
Informacin

Recopilacin

de

Datos

Anlisis),

Ed.

NPO

Corporation

Ayus,

Kokusaikyoryoku Purojekuto Hyoka (Evaluacin de Proyectos de Cooperacin Internacional),

International Development Journal, p. 71-112

(2) Combinacin de Diferentes Mtodos de Recopilacin de Informacin

Para poder aprovechar al mximo los pros y reducir al mnimo los contras de cada
mtodo de recopilacin de informacin es necesario combinar diferentes mtodos. Por
ejemplo, se puede realizar una encuesta por cuestionario para complementar los datos
existentes. O, se puede llevar a cabo una discusin del grupo de control entre la gente de
la localidad para conocer su percepcin una vez que se ha entendido la tendencia

85

general a partir de una encuesta por cuestionario. Tambin es posible realizar una
encuesta utilizando mtodos de recopilacin de datos cuantitativos y cualitativos. Es
importante considerar la combinacin de varios mtodos para reducir las parcialidades de
los encuestadores y los encuestados.

A continuacin se describen algunos ejemplos de combinacin de mtodos.

Combinacin de diferentes mtodos

z Primero facilitar una discusin del grupo de control para formular preguntas para
una encuesta por cuestionario posterior.
<Ejemplos del Uso y los Pros>
Comprender temas importantes al observar a aquellos interesados en un proyecto,
analizar sus percepciones a travs de una discusin del grupo de control, y reflejar
los resultados en una encuesta por cuestionario.
Cuando se establecen opciones de respuesta especficas para una encuesta por
cuestionario, refirase a los resultados de la discusin de un grupo de control.
z Facilite una discusin del grupo de control despus de obtener resultados a travs
de una encuesta por cuestionario o revisin de literatura para poder investigar an
ms la informacin de los antecedentes.
Facilite una discusin de un grupo de control para comprender los factores que
afectaron al proyecto. Una discusin de ese tipo puede ayudar a explicar las
razones y los antecedentes detrs de los resultados de la encuesta por cuestionario
(pregunte a los participantes por qu razn se obtuvieron los resultados).
Pida a los participantes que apoyen la evidencia de los datos en los informes de
seguimiento (es decir, en caso que los resultados sean bajos) y en los factores
influyentes.

z Realice una encuesta por cuestionario al final de la entrevista de grupo.

Es probable que los encuestados comprendan de antemano la intencin de la
encuesta por cuestionario.
Es ms fcil obtener la cooperacin de los encuestados con una encuesta por
cuestionario.

z En una encuesta por cuestionario utilice algunas preguntas con respuestas

obligatorias junto con otras de seleccin mltiple.
Es posible conocer la percepcin del encuestado en una forma que no se hubiera
podido obtener mediante el anlisis de las preguntas con respuestas obligatorias.

z Realice una entrevista de grupo con varios informantes utilizando las mismas
preguntas.
Es posible conocer cmo perciben las partes interesadas un fenmeno especfico.
Los datos podran ser ms confiables.

86

< Cuadro 6: Triangulacin >

La triangulacin se realiza para poder aplicar diversas tcnicas de recopilacin
de datos para aprovechar al mximo los pros y reducir al mnimo los contras de
cada recopilacin. Este enfoque intenta comprender la realidad completa al
examinar un fenmeno desde diferentes ngulos, y que un slo mtodo puede
describir nicamente una parte de la realidad. En las evaluaciones, los siguientes 4
tipos de triangulacin pueden contribuir a la verificacin y validacin de los anlisis
cualitativos.
1. Mtodos de Triangulacin: Verificar la consistencia de los resultados generados
mediante diferentes mtodos de recopilacin de datos
2. Fuentes de Triangulacin: Verificar la consistencia de las diversas fuentes de
informacin dentro de los mismos mtodos
3. Triangulacin de los Analistas: Utilizar varios analistas para revisar los resultados
4. Triangulacin de la Teora/Perspectiva: Utilizar diversas perspectivas o teoras
para interpretar los datos

87

(3) Tipos de Mtodos de Anlisis de Datos

El personal de la JICA no est involucrado directamente en la tarea de analizar los datos
recopilados.

Sin embargo, deben tener un conocimiento bsico de los mtodos de

anlisis de datos para que puedan planear estudios de evaluacin y crear los Trminos
de Referencia (TORs) para quienes los consulten.

Si estn familiarizados con las

diferentes caractersticas de los mtodos de anlisis de datos, les ayudar a decidir los
planes de trabajo de evaluacin adecuados. Hay dos tipos de anlisis de datos: 1)
anlisis cuantitativo; y 2) anlisis cualitativo - exactamente igual que los tipos de datos.
Se deben utilizar de manera complementaria.
El anlisis cuantitativo demuestra el grado de logro o relaciones causales mediante
datos cuantitativos con bases estadsticas. Intenta presentar los resultados de la
evaluacin tan cientficamente como sea posible.
Por otro lado, el anlisis cualitativo utiliza la informacin cualitativa obtenida de la
revisin de literatura, entrevistas o discusiones del grupo de control, etc. El conjunto de
herramientas analticas no se prepara con anticipacin, y en el proceso del anlisis de
datos es posible construir a partir de la deduccin el significado de los datos, hechos
nuevos o las relaciones entre los factores.
Las parcialidades de los encuestados y los analistas pueden influenciar los resultados
del anlisis cualitativo. Para poder asegurar la objetividad de los resultados, es necesario
incorporar medidas tales como que un tercero realice el anlisis o combinar los mtodos
de recopilacin de datos. Uno de los pros del anlisis cualitativo es su habilidad para
obtener informacin detallada sobre poblaciones objetivo locales y cambios en el
comportamiento de la gente. Los resultados del anlisis cualitativo se pueden utilizar
como evidencia de soporte para los resultados del anlisis cuantitativo, y con ello ayudar
a identificar los diversos factores que influyen en los resultados del proyecto.

88

< Cuadro 7: Mtodos Bsicos de Anlisis Cuantitativo >

z Incorporacin Simple y Anlisis Estadstico Simple
El mtodo de anlisis cuantitativo simple trata con una sola variable. Este mtodo es
adecuado para examinar el grado de logros o comparar esos logros con los valores
objetivo. Aunque es un mtodo sencillo, proporciona datos valiosos y, por lo tanto, es til
para realizar la evaluacin. A continuacin se describen los tipos de anlisis.
Frecuencia (es decir, cuntas personas respondieron s y cuntas no)
Distribucin porcentual (es decir, la proporcin de personas que
respondieron por cada 100)
Tendencia central (la media, el modo, la mediana)
Desviacin estndar (para ver qu tan alejados estn los valores de la
media)
z Incorporacin Cruzada
Este tipo de mtodo de anlisis estadstico observa cmo cada una de las personas
que contestaron de cierta forma a una pregunta responde a otra, o la tendencia de
respuestas dependiendo de la atribucin. Por ejemplo, cuando se crea una tabla (una
tabulacin cruzada) con dos variables: 1) la variable horizontal es la costumbre de
lavarse las manos; y 2) la variable vertical es la participacin en la campaa de
higiene, podemos calcular la frecuencia o proporcin de personas que acostumbran
lavarse las manos con base en su participaron en la campaa o no. Este mtodo es til
para comparar un grupo objetivo con un proyecto y un grupo de control sin proyecto
(con/sin), o para examinar la influencia de un proyecto sobre diferentes grupos.
z Coeficiente de correlacin
Este tipo de mtodo de anlisis estadstico examina si existe o no una relacin lineal
entre dos grupos de valores numricos para dos variables (por ejemplo, los datos del
nivel de ingreso y del nivel de educacin). Hay dos tipos de relaciones en esa direccin:
1) una relacin positiva donde el aumento en el valor de una variable est acompaada
por un aumento en el valor de la otra; y 2) una relacin negativa donde la disminucin en
el valor de una variable est acompaada por un aumento en el valor de la otra.
z Anlisis con mltiples variables
Este tipo de mtodo de anlisis estadstico trata con tres o ms variables. El anlisis
con mltiples variables incluye la regresin mltiple para analizar diversas variables y el
anlisis factorial para analizar el grado de influencia de otros factores sobre una
variable. Este mtodo se utiliza para examinar las relaciones causales entre variables
donde se calcula una correlacin y requiere de un software especial de anlisis.
(Fuente: Atsuko Isoda (2003), Captulo 3: Joho/Deta no Shushu to Bunsekishuho (Mtodos de
Informacin y Recopilacin de Datos y Anlisis), Ed. NPO Corporation Ayus, Kokusaikyoryoku
Purojekuto Hyoka (Evaluacin de Proyectos de Cooperacin Internacional), International Development
Journal, p. ??.)

89

< Cuadro 8: Mtodos Bsicos del Anlisis Cualitativo >

z Explicar la Situacin
Transmitir a los lectores (aquellos que podran utilizar los datos cualitativos) el
panorama general de un proyecto, incluyendo lo que est suciediendo en el sitio del
proyecto, cmo lo perciben las partes interesadas y en qu situacin se estn
implementado actividades o eventos especficos, etc.
z Clasificar la Information de Acuerdo con Patrones y Temas
Encontrar la informacin o los resultados de las observaciones que se pueden
clasificar bajo el mismo tema o concepto y reunirlos en un grupo. Esto es similar a la
tarea de crear ndices en un sistema de archivo. Los datos no slo adquieren un
nombre, sino que se clasifican. Esta labor es muy efectiva cuando la realizan dos o
ms personas por separado y luego comparan cada resultado con el de los otros.
Esto es porque cada persona puede analizar los datos desde puntos de vista
diferentes, y cuando se comparan los resultados se puede reducir las parcialidades
de los analistas. Los datos clasificados se pueden utilizar para identificar las
relaciones entre temas especficos y el proyecto objetivo.
z Examinar las Relaciones en la Informacin
Otro mtodo de anlisis cualitativo es examinar las relaciones que hay dentro de la
informacin. Se pueden comprender la situacin y los temas de un proyecto si se
clasifica de manera lgica los datos cualitativos en categoras tales como el proceso
y los efectos del proyecto. Las tablas o los diagramas de flujo pueden ayudar a
identificar esas categoras y explicar la relacin entre ellas.

90

5. Formulacin de una Tabla de Evaluacin

El ltimo paso para elaborar un plan de evaluacin es reunir el contenido de toda la
planeacin en una Tabla de Evaluacin, una tabla del plan de trabajo de evaluacin
(consulte la tabla 2-2-7 que muestra un ejemplo). Todos los componentes en la tabla de
evaluacin estn correlacionados entre s, y nos ayudan a desarrollar el plan de trabajo
ms adecuado para realizar una evaluacin.

En el proceso de crear una tabla de

evaluacin siempre debemos tener en mente cul es la forma ms adecuada de

responder a las preguntas de evaluacin.
La tabla de evaluacin se debe usar con flexibilidad. No hay reglas en la forma de
describir y se puede aadir una nueva columna (por ejemplo, mtodo de muestreo,
proporcin de los gneros, etc.) cuando sea necesario.

Lo importante es que se

especifique claramente la manera de responder las preguntas de evaluacin y que se

identifiquen los mtodos ms efectivos dentro de los recursos limitados. Una vez que se
termina la tabla, para realizar la encuesta tambin es importante reflejar el contenido de la
misma en el cuestionario u hoja de preguntas.
En caso que las partes interesadas estn involucradas directamente en la evaluacin
(por ejemplo, una evaluacin conjunta con el pas socio), debern compartir la tarea
comn de los mtodos de evaluacin. Cuando se utiliza la tabla de evaluacin como una
herramienta de comunicacin, aquellos involucrados pueden compartir las ideas de la
evaluacin.

Se puede mejorar la calidad de la evaluacin si se utilizan cabalmente los

puntos de vista y las experiencias de las partes interesadas.

Tabla 2-2-6 Formato de la Tabla de Evaluacin

Preguntas de Evaluacin
Criterios de
Evaluacin
Preguntas
principales

Preguntas
secundarias

Bases
juicio

Datos
de
necesarios

Fuentes
de
Informacin

Mtodos
de
Recopilacin
de
Datos

Pertinencia
Efectividad
Eficiencia
Impacto
Sustentabilidad
Otros

91

Tabla 2-2-7 Ejemplo de una Tabla de Evaluacin:

(Caso: Proyecto de Capacitacin de Maestros de Matemticas y Ciencias)
Fuentes
Preguntas de Evaluacin
Datos
Mtodos de
Cinco
Bases del
de
necesaRecopilacin
Temas
Temas
Criterios
Juicio
Informarios
de Datos
principales
menores
cin
ComparaValor pro- 250
Encuesta por
cin con el medio del maestros
cuestionario
valor objeti- ndice para capacitavo (el valor medir
la dos
Mejoraron
medio no calidad de
los mtodos es menor los mtodos docende ensean- de 3.0)
za de los
tes
Comparamaestros?
cin antes/
despus
Grupo
de
Percepcin 30
control
de los ins- instructoLa calidad
res
tructores
de la educaComparaci Califica250
Prueba
cin en la
n con el cin pro- maestros
escuela movalor obje- medio de capacitaEfectividad
Mejor
el
delo mejor
tivo (la cali- la prueba
dos
grado
de
gracias
al
ficacin
comprensin
proyecto?
promedio
de
los
no es memaestros en
nor de 80
cuanto
al
puntos)
contenido de
los temas?
Comparacin antes/
despus
Los maes- Comparaci- Proporcin Documen- Revisin de la
tros capacita- n con el de
los tos
del literatura
dos partici- valor objeti- maestros
proyecto
pan continua- vo (80 por que siguen
si- involucramente en ac- ciento
tividades de guen invo- dos
lucrados)
educacin?

92

Captulo 3 Interpretacin de Datos e Informacin de los

Resultados de la Evaluacin
Este captulo explica cmo interpretar los datos y cmo reunir los resultados de la
evaluacin.

Consejos!
- La evaluacin no termina con la recopilacin y anlisis de datos.

Tambin es muy

importante continuar con la interpretacin de los mismos e informar sobre los

resultados llegando a un consenso sobre ellos con las partes interesadas.

La interpretacin de datos se realiza para evaluar el proyecto desde el punto de vista

amplio de los cinco criterios y llegar a una conclusin. Esto es el proceso de juicio de
valor.

En la interpretacin de datos tambin se analizan los factores que dificultan o

contribuyen. Es necesario identificar los factores influyentes utilizando los conceptos
de falla de la implementacin o falla de la teora.

Las recomendaciones y lecciones aprendidas deben ser especficas y prcticas, y

fundamentadas con evidencia. Es importante tener la oportunidad de llegar a un
consenso con los usuarios potenciales cuando se hacen las recomendaciones y se
establecen las lecciones aprendidas a partir de los resultados.

El evaluador necesita escribir un informe que sea lo suficientemente lgico para

comunicarse con terceras partes que no tuvieron una participacin directa en el
proceso de la evaluacin.

93

1. Interpretacin de Datos
La evaluacin no termina con la recopilacin y anlisis de datos para determinar el valor
medio o el grado de satisfaccin Con base en esos resultados de anlisis, es necesario
adoptar algunos juicios de valor de acuerdo con los criterios de evaluacin. Al mismo
tiempo, para poder hacer recomendaciones y lecciones aprendidas tiles, es necesario
analizar a fondo los factores influyentes que afectaron los resultados.

Esta tarea se

conoce como interpretacin. Como hemos visto hasta ahora, el estudio de evaluacin
sigue el proceso que empieza con la recopilacin de datos pasa por el anlisis de
datos y llega hasta la interpretacin de los resultados.
El proceso de interpretacin tiene dos pasos: 1) adoptar juicios de valor sobre un
proyecto de acuerdo con los Cinco Criterios de Evaluacin; y 2) llegar a una conclusin
con base en dichos juicios.

(1) Evaluacin Mediante los Cinco Criterios

La primera tarea es evaluar un proyecto mediante los cinco criterios y especificar los
factores que llevaron a los resultados de la evaluacin. Por ejemplo, supongamos que
evaluamos la efectividad de un proyecto de suministro de agua y que sta se examina
con base en el anlisis de datos donde la respuesta a la pregunta qu porcentaje de
aldeanos pudieron tener acceso al agua potable gracias al proyecto? es 60 por ciento
de todos los aldeanos pudieron tener acceso al agua potable. En caso que el evaluador
juzgue que la efectividad no es lo suficientemente alta porque no se alcanz el valor
objetivo (80 por ciento de los aldeanos), ser necesario analizar los factores que
inhibieron el logro del objetivo. Puede existir un problema con la ubicacin donde se
instalaron los trabajos de agua, o que el comit de manejo del suministro de agua no est
funcionando correctamente.
Cuando se explican los factores que dificultan o contribuyen, es necesario presentar a
las partes interesadas evidencias especficas tomadas de los resultados de la encuesta.

94

De lo contrario, podra disminuir la credibilidad de la evaluacin. Y por ello, menos gente

estara convencida de utilizar los resultados de la evaluacin.
Si la conclusin nicamente indica que la efectividad es alta sin analizar los factores
que dificultan o contribuyen, o si los informa la puntuacin de cada criterio, es posible que
no se puedan utilizar los resultados para mejorar el proyecto. Slo cuando se identifican
los factores influyentes se pueden proponer recomendaciones y lecciones aprendidas
tiles.

(2) Conclusin
El siguiente paso es llegar a una conclusin para cada uno de los cinco criterios con base
en los resultados de la interpretacin. En una evaluacin que utiliza los cinco criterios, el
evaluador percibe un proyecto desde el punto de vista de cada criterio individual. No
obstante, para llegar a una conclusin, el evaluador debe emitir un juicio de valor por
cada propsito de la evaluacin desde un punto de vista integral, tomando en
consideracin todos los criterios. Por ejemplo, en una evaluacin ex-ante, un equipo
encargado de la evaluacin decide si es vlido o no realizar un proyecto y si el contenido
de los planes es adecuado o no. En caso de una evaluacin final, un equipo juzga si un
proyecto tiene xito y si se debe concluir la asistencia. El equipo tambin debe brindar
evidencia para el juicio a partir de los resultados.
Cuando se llega a una conclusin, se puede aplicar el siguiente enfoque para volver a
examinar un proyecto: 1) las relaciones causales supuestas entre la implementacin del
proyecto y los efectos fueron adecuadas o no; y 2) el proceso de implementacin fue el
adecuado o no. Por ejemplo, si la efectividad es baja a pesar de que la eficiencia (la
relacin entre los insumos y los productos) es alta en un proyecto, pueden existir algunos
problemas en el proceso de planeacin que especificaba las relaciones causales que
produciran los efectos esperados (o los planes originales).

O, en caso que no se

produzcan los efectos aunque se considere adecuada la estructura del proyecto (las

95

relaciones causales lgicas), puede haber problemas en el proceso de implementacin (o

en la forma de implementar un proyecto, incluyendo los insumos y el sistema de gestin).
Volver a examinar esos temas en un proyecto aclara quin es responsable de qu, y
permite

formular

especficamente.

recomendaciones

proponer

las

lecciones

aprendidas

ms

Este anlisis es esencial para la evaluacin interna cuyo objetivo

principal es la retroalimentacin de los resultados de la evaluacin a quines son

responsables o estn interesados para mejorar la gestin y operacin del proyecto.

96

2. Recomendaciones y Propuestas de las Lecciones Aprendidas

Se hacen recomendaciones y se proponen lecciones aprendidas con base en la
conclusin.

Las Recomendaciones incluyen medidas especficas, sugerencias y

consejos sobre un proyecto objetivo para la JICA o para aquellos interesados en las
agencias de implementacin.

Las Lecciones se pueden aprender a travs de la

experiencia de un proyecto objetivo y retroalimentar a proyectos similares vigentes o al

proceso de bsqueda y planeacin de un proyecto en el futuro.
Es importante alcanzar algn consenso entre las partes interesadas (incluyendo los
funcionarios del gobierno de un pas socio) sobre las recomendaciones y lecciones
aprendidas. Al involucrar a los usuarios potenciales de los resultados de la evaluacin,
se espera que se practiquen las recomendaciones y lecciones aprendidas, y
consecuentemente, se harn algunas mejoras en la gestin y operaciones del proyecto.
Si las recomendaciones y lecciones aprendidas no fueran suficientemente especficas
o prcticas, no mucha gente las utilizara. Es en extremo importante transmitir mensajes
claros ofreciendo evidencia de apoyo obtenida de los resultados de la evaluacin. Es
necesario examinar los siguientes temas cuando se hagan las recomendaciones y se
propongan las lecciones aprendidas.

Temas a examinar
z Es necesario hacer las recomendaciones/lecciones aprendidas con base en la
informacin obtenida a travs del proceso de anlisis e interpretacin de datos. El
contenido debe satisfacer el propsito de la evaluacin.
z Las recomendaciones/lecciones aprendidas deben estar dirigidas a los usuarios
potenciales de los resultados de la evaluacin.
z Evite recomendaciones/lecciones aprendidas vagas y poco prcticas.
z Las recomendaciones deben ser especficas y estar clasificadas por prioridades con
un marco de tiempo determinado (por ejemplo, a corto o largo plazo) hasta donde
sea posible para que las siguientes medidas se puedan adoptar fcilmente.
zLas lecciones deben ser generalizadas y estar conceptualizadas para que se puedan
aplicar ampliamente.

97

Tabla 2-3-1
Flujo de Interpretacin de Datos y las Recomendaciones/Lecciones
Aprendidas
z Valor numrico de los datos segn el anlisis cuantitativo
z Temas e incidentes obtenidos a travs del anlisis
cualitativo

Anlisis de Datos

Resultados
de
Evaluacin Mediante
Cinco
Criterios
Evaluacin

la
los
de

z Juicios basados en cada uno de los Cinco Criterios de

Evaluacin: - pertinencia, efectividad, eficiencia, impacto
y sustentabilidad
z Brindan evidencia para el juicio y analizan los factores
que dificultan o contribuyen
z Respuestas a las preguntas de evaluacin
z Juicio con el propsito de evaluacin desde un punto de
vista amplio con base en los resultados de los cinco
criterios

9 Evaluacin Ex-ante: si es vlido implementar un

9
Conclusin

9
9
9

proyecto especfico y si el contenido de sus planes

es adecuado o no
Evaluacin Intermedia: si un proyecto est
produciendo los efectos esperados y si hay
necesidad de modificar sus planes o no
Evaluacin Final: si un proyecto se considera una
buena prctica o un fracaso
Evaluacin Ex-post: si los efectos producidos estn
sustentados o si el proyecto vali la pena o no
Juicios para otros propsitos de evaluacin

z Brinda las bases

Examina si se puede atribuir el problema a la forma en
que se especificaron las relaciones causales (una
cuestin derivada de la planeacin del proyecto) o al
proceso de implementacin (una cuestin derivada de la
implementacin de un proyecto)

z Medidas especficas, sugerencias y consejos sobre un

Recomendaciones

proyecto objetivo que aquellos interesados deben tomar

en consideracin

z Lecciones aprendidas a travs de la experiencia de un

Lecciones Aprendidas

proyecto objetivo (informacin til para determinar y

formular proyectos en el futuro o para la gestin de otros
proyectos vigentes)

98

3. Envo de Informacin sobre los Resultados de la Evaluacin

Es necesario reportar los resultados de la evaluacin de manera sencilla y clara a los
usuarios potenciales. Si el informe es difcil de entender, los resultados de la evaluacin
no se retroalimentan y utilizan fcilmente. Ocasionando que se termine por desperdiciar
los recursos (sobre todo tiempo y dinero) invertidos en la evaluacin. Los informes deben
explicar los temas clave de manera clara para aquellos que no participan directamente en
el estudio de evaluacin, para que puedan seguir y entender los resultados con facilidad.
En la JICA, los resmenes tales como la Tabla de Evaluacin Ex-ante y la Tabla del
Resumen de los Resultados de la Evaluacin se anexan al informe de la evaluacin (o al
documento de un proyecto en el caso de la evaluacin ex-ante). Adems, los resmenes
se deben preparar en ingls para retroalimentar a los pases socios. Estos resmenes de
los resultados de la evaluacin se publican en la pgina de la JICA para demostrar la
responsabilidad. (Consulte las tablas 2-3-2, 2-3-3 y 2-3-4 que muestran ejemplos de los
formatos de estos documentos.)
A continuacin se muestran consejos sobre como informar adecuadamente los
resultados de la evaluacin.

Consejos para preparar un informe

z Evite un informe redundante. Limite el tamao de la parte principal a unas 30 o 40 pginas.
Asegrese de hacer un resumen de los resultados de la evaluacin.
z Escriba un informe usando expresiones especficas de manera simple, enfatizando los temas que
desea transmitir. Evite utilizar trminos tcnicos con mucha frecuencia.
z Cuando explique los datos, utilice tablas y figuras de manera adecuada y simple para que los
lectores puedan recibir el mensaje que se quiere transmitir a travs de ellos.
z Establezca las limitaciones del estudio de evaluacin.
z Proporcione las bases de los juicios en los resultados de la encuesta de evaluacin.
z Estipule las fuentes de los datos mencionados.
z En un apndice incluya la tabla de evaluacin, el contenido del cuestionario y los datos
recopilados.

99

Tabla 2-3-2 Ejemplo del Contenido de un Informe de Evaluacin (en una

Evaluacin Final)
ndice
Prlogo
Mapa del Sitio del Proyecto
Fotografas
Abreviaturas

Resumen de los Resultados de la Evaluacin

Captulo 1 Alcance del Estudio de Evaluacin

- Antecedentes y Objetivo del Equipo encargado de la Evaluacin
- Equipo encargado de la Evaluacin y Marco de Tiempo
- Descripcin General del Proyecto, etc.
(por ejemplo, Antecedentes del Proyecto, Marco Lgico, etc.)

Captulo 2 Mtodos de Evaluacin

- Preguntas de Evaluacin, Datos Necesarios e Indicadores
- Mtodos de Recopilacin de Datos
- Mtodos de Anlisis de Datos
- Restricciones y Limitaciones del Estudio de Evaluacin

Captulo 3 Logros del Proyecto

- Insumos y Productos
- Propsito del Proyecto
- Proceso de Implementacin

100

Tabla 2-3-2 (continuacin)

Captulo 4 Resultados de la Evaluacin
4-1 Evaluacin de Cada uno de los Cinco Criterios
- Describe los resultados del anlisis de datos, los resultados y bases de la
evaluacin y los factores que dificultan o contribuyen relacionados con cada
uno de los Cinco Criterios de Evaluacin

4-2 Conclusin
- Examine los factores que dificultan o contribuyen y emita juicios sobre la
evaluacin de resultados a partir de un punto de vista amplio
- Resuma los temas ms notables cuando sea necesario
Captulo 5 Recomendaciones y Lecciones Aprendidas
5-1 Recomendaciones
- Describa las medidas especficas, sugerencias y consejos relativos a un
proyecto objetivo o a un programa de cooperacin relacionado.
- Describa las recomendaciones de cada usuario potencial, en orden de
prioridad, y de ser posible, en un marco de tiempo.
5-2 Lecciones Aprendidas
- Describa informacin til, obtenida a partir de los proyectos objetivo, para
determinar proyectos y formular proyectos similares o la implementacin y
la gestin de otros proyectos vigentes.
- Describa informacin til para formular un programa de cooperacin en el
rea relacionada.

Apndice:
1.

Programa del Estudio

2.

Entrevistados Principales

3.

Minutas

4.

Tabla de Evaluacin

5.

Cuestionario, Temas en Cuestin, etc.

6.

Recopilacin de Datos y Resultados del Anlisis

7.

Lista de Literatura y Documentos Recopilados

8.

Otros Materiales Relacionados

101

Tabla 2-3-3 Ejemplo del Resumen de una Evaluacin Intermedia y

Final
I. Lineamientos del Proyecto
Pas:
Problema/Sector:
Divisin a cargo:
Divisin del Departamento

Perodo
Cooperacin

(R/D):
de (Extensin):
(F/U) :

Ttulo del Proyecto:

Esquema de cooperacin:
Costo total:
_____
yenes
Costo por participante: _____
yenes
Porcentaje de la contribucin de Japn: _ %
Organizacin de Implementacin del Pas Socio:
Organizacin de Apoyo en Japn:

Cooperacin
Relacionada:
1 Antecedentes del Proyecto

2 Descripcin General del Proyecto

(escriba brevemente una descripcin del proyecto/programa de capacitacin en una o dos oraciones)
(1) Meta General (Copie su meta general, propsito del proyecto, productos de su PDMe)
(2) Propsito del Proyecto
(3) Productos
(4) Insumos
Del lado japons:
Experto de largo plazo ______ Equipo
Yenes
Experto de Corto Plazo ______ Costo local
Yenes
Becarios recibidos ______ Otros
Yenes
Del lado de _____________:
Contraparte
______ Equipo
______divisa local (______ yenes)
Terreno e Instalaciones
______ divisa local (______ yenes) Costo local
yenes)
Otros
______ divisa local (______ yenes)
II. Equipo de Evaluacin
Miembros del Equipo
de Evaluacin
Perodo
de Da/mes/ao ~ da/mes/ao
Evaluacin
III. Resultados de la Evaluacin
1 Resumen de los Resultados de la Evaluacin
(1) Pertinencia

______divisa local (______

Tipo de Evaluacin: Final o Ex-post

(2) Efectividad
(3) Eficiencia
(4) Impacto
(5) Sustentabilidad

102

2 Factores que promueven la sustentabilidad y el impacto

(1) Factores relativos a la Planeacin
(2) Factores relativos al Proceso de Implementacin
3 Factores que dificultan la sustentabilidad y el impacto
(1) Factores relativos a la Planeacin
(2) Factores relativos al Proceso de Implementacin
4 Conclusin
5 Recomendaciones
6 Lecciones Aprendidas
7 Situacin del Seguimiento

103

Tabla 2-3-4 Hoja de Evaluacin Ex-ante (Proyectos de Cooperacin

Tcnica)
1. Ttulo del Proyecto:
2. Descripcin General de la Cooperacin
(1) Descripcin general del objetivo y productos del proyecto
(2) Perodo de Cooperacin
(3) Monto total de la cooperacin (Japn)
(4) Agencia de Implementacin en el Pas Socio
(5) Agencia de Cooperacin en Japn
(6) Grupo Objetivo y Beneficiarios
3. Necesidad y posicin de la cooperacin
(1) Situacin actual y Problemas
(2) Posicin dentro de las polticas nacionales del gobierno del pas A
(3) Posicin dentro de la poltica japonesa de asistencia para el extranjero y del plan de la
JICA para la implementacin de programas por pas
4. Marco de Trabajo de la Cooperacin
(1) Objetivo de la Cooperacin (Efectos Directos)
i) Objetivos a alcanzar al final de la cooperacin (Propsito del Proyecto)
ii) Objetivos que se espera alcanzar despus del final de la cooperacin (Meta General)
(2) Productos y Actividades
(3) Insumos
i) Del lado japons
ii) Del lado del pas socio
(4) Factores externos (suposiciones importantes que deben concretarse)
5. Resultados de la Evaluacin con base en los cinco criterios de evaluacin
(1) Pertinencia
(2) Efectividad
(3) Eficiencia
(4) Impacto
(5) Sustentabilidad
6. Consideracin de los problemas de Pobreza, Gnero y Medio Ambiente
7. Lecciones Aprendidas de Experiencias Pasadas
8. Plan de Evaluacin para el Futuro

104

Parte III
Gestin de la Evaluacin
del Proyecto

105

Captulo 1 Problemas en la Gestin de Evaluaciones

Este captulo explica cmo debe la JICA gestionar los proyectos de evaluacin (es decir,
su mtodo) y los problemas que se deben abordar.

En muchos casos, consultores

manejan la recopilacin de datos y el anlisis de las evaluaciones; sin embargo, los

departamentos operativos del proyecto deben gestionar el estudio de evaluacin incluyendo la contratacin de consultores - para asegurar que ste se realiza de acuerdo
con el propsito de la evaluacin.

Consejos!
-

La gestin empieza con la preparacin del aviso pblico sobre el contenido de la

evaluacin. Este aviso debe aclarar el propsito y antecedentes de la evaluacin y
las preguntas de la evaluacin. Cuando se est preparando el aviso es til referirse
a un TOR.

Es extremadamente importante seleccionar el personal adecuado para asegurar la

calidad de la evaluacin.

Cuando se est preparando y manejando la Tabla de Evaluacin, el departamento

operativo del proyecto debe brindar informacin y asesora adecuada al equipo de
evaluacin ya que tiene mayor acceso a la informacin que sobre la que la tabla se
basa.

Cuando se coordine con el personal del sitio, es necesario incluir en la evaluacin

cualquier consejo que el gobierno de la contraparte brinde sobre la tabla.

Al hacer los preparativos previos a la evaluacin, es importante enviar cuestionarios y

hacer citas con el personal interesado. En este momento se debe confirmar si el
cuestionario refleja o no el contenido de la tabla y si las personas que se entrevistaron
en las citas son fuentes de informacin adecuadas o no. Tambin es muy importante
tener suficiente tiempo para los preparativos.

En el estudio de campo, es muy importante crear un consenso con los socios en

relacin con el diseo de la evaluacin y sus resultados.

La compilacin de los resultados de la evaluacin (que incluye la formulacin de

recomendaciones y lecciones aprendidas) es un proceso vital que influye en cmo se
aplica la evaluacin. Es necesario hacer esfuerzos para confirmar que los resultados
de la evaluacin se presenten como la base para formular recomendaciones y
lecciones especficas y prcticas.

El departamento operativo del proyecto es responsable de examinar los resultados de

la evaluacin y retroalimentarlos a los proyectos.

106

1. El Papel de los Departamentos Operativos del Proyecto de la JICA

Las evaluaciones de la JICA, desde la etapa ex-ante hasta la ex-post, se realizan con el
propsito de gestionar la operacin del proyecto; y por ello es necesario que los
resultados de la evaluacin se retroalimenten directamente a la toma de decisiones. Para
que esto suceda, el personal de la JICA, (supervisores del proyecto, jefes de evaluacin y
supervisores de departamento) que pertenezca a un departamento a cargo de un
proyecto especfico debe encargarse personalmente de realizar las evaluaciones. Es
ms, dicho personal adquiere el doble papel de evaluador y de gerente de evaluacin
para que puedan ayudar al lado evaluador como miembros del equipo de evaluacin.
Por lo general, el perodo de evaluacin se puede dividir en tres sub-perodos: el
perodo preparatorio, el perodo de evaluacin en el sitio y el perodo de
consolidacin.

En cada uno, el departamento operativo del proyecto y el equipo de

evaluacin realizan principalmente las siguientes tareas.

(1) Perodo preparatorio

Durante el perodo preparatorio de una evaluacin, se disea un plan de evaluacin
general que cubra el alcance de la evaluacin y los mtodos que se van a utilizar. Este
trabajo se divide principalmente en dos reas: 1) formulacin de un aviso pblico y 2)
preparacin previa a la evaluacin.
Antes de formular el aviso pblico, se realiza un estudio sobre el propsito de la
evaluacin con base en los materiales del proyecto pertinente y sobre el alcance y
mtodos de la evaluacin. Se prepara un TOR (Trminos de Referencia - un documento
que seala los puntos contrados por los evaluadores) donde se incorporan los resultados
del estudio arriba mencionado. Despus, tomando el aviso pblico que se prepar con
base en el TOR y otros procedimientos (aprobacin de los funcionarios del gobierno,
etc.), se realizan las operaciones de gestin que cubren todas las reas de la preparacin
previa a la evaluacin. Esto incluye la seleccin del personal del equipo de evaluacin,
preparacin de una Tabla de Evaluacin, coordinacin con el personal local y el envo de
los cuestionarios antes de la evaluacin. Sin embargo, se debe destacar que el aviso
pblico de la JICA sustituye al TOR, y por ello es en extremo importante preparar un
aviso pblico adecuado.

(2) Perodo de evaluacin en el sitio

La actividad durante el perodo de evaluacin en el sitio se centra en la preparacin de un
marco de trabajo para la evaluacin, y en que el equipo de evaluacin recopile datos y
lleve a cabo su anlisis/interpretacin. Si los resultados de la evaluacin se deben vaciar
en minutas, el equipo de evaluacin y el personal del pas objetivo llevan a cabo
discusiones sobre las conclusiones, recomendaciones y lecciones aprendidas, y el

107

departamento operativo utiliza este proceso para promover el consenso dentro del equipo
de evaluacin.

En el caso de las evaluaciones de proyectos especficos, hay casos

donde el anlisis de datos no se termina ya que la evaluacin en el sitio se limit a dos o

tres semanas3, y hay casos donde el anlisis e interpretacin de datos contina en el
perodo de consolidacin despus que el equipo regresa a Japn.

(3) Perodo de consolidacin de los resultados de la evaluacin

El perodo de consolidacin de los resultados de la evaluacin incluye la interpretacin de
datos (cuando es necesario) y hacer el Informe de Evaluacin por escrito.

La

responsabilidad de escribir el informe se divide para aprovechar al mximo el papel que

desempea cada miembro del equipo.
Los resultados de la evaluacin se deben retroalimentar al proceso de toma de
decisiones de la organizacin.

Por eso, una vez que se recibe el Informe de la

Evaluacin, el departamento operativo debe dar a conocer la informacin a travs de

instrucciones, seminarios y otros eventos y debe poner en uso los resultados. La tabla 31-1 muestra los pasos del trabajo de evaluacin.
Los departamentos operativos de la JICA son responsables de gestionar estas
actividades de manera adecuada. Bsicamente, esto significa que son responsables por
el trabajo que asegurar la calidad de la evaluacin (es decir, el control de calidad). Este
captulo presenta los siguientes cinco puntos que los departamentos operativos deben
asumir como papel para asegurar la calidad de la evaluacin.

Los papeles de los departamentos de la JICA encargados de la evaluacin son los

siguientes:
-

Preparacin de un aviso pblico

Gestin de los preparativos previos a la evaluacin

Manejo de la evaluacin en el sitio

Preparacin de informes

Retroalimentacin de los resultados de la evaluacin

Tabla 3-1-1: Tareas del departamento operativo de la JICA (evaluacin

del proyecto)
Flujo de la evaluacin
Planeacin de la evaluacin
*La preparacin empieza
aproximadamente 2 meses
antes de la evaluacin en el
sitio
*Se estipulan los consultores
un mes antes de la
evaluacin en el sitio

Tareas (lista de verificacin o lista de pendientes)

Preparacin de la publicidad de un contrato
- Coordinacin con el personal en el sitio (solicitudes de
informacin, recopilacin de materiales, etc.)
- Proceso de los objetivos de evaluacin
- Establecimiento de los propsitos de la evaluacin
- Estudio y determinacin de las preguntas de
evaluacin
- Estudio del alcance y mtodos de la evaluacin (marco

El perodo de evaluacin ex-post de las evaluaciones de programas por pas, las

evaluaciones de programas y otros es largo

108

de trabajo de la evaluacin)
Estudio de la composicin del equipo de evaluacin
Preparacin de la publicidad de un contrato

Preparacin previa a la evaluacin

- Seleccin del personal del equipo (incluyendo el
anuncio de los consultores)
- Preparacin de la Tabla de Evaluacin
- Envo por adelantado de los cuestionarios
- Coordinacin en el sitio (programa, establecimiento de
citas, etc.)
- Evaluacin en Japn, si es necesario (entrevistas con
los expertos que regresan, los miembros del comit de
apoyo nacional, etc.)
- Discusiones y acuerdo sobre el diseo de evaluacin
- Recopilacin de datos
- Anlisis de datos
Evaluacin en el sitio
(2 a 3 semanas)*
- Interpretacin de datos
- Acuerdo bsico sobre los resultados de la evaluacin
(minutas, etc.)
- Anlisis de datos (si es necesario continuar)
Preparacin del Informe de
- Interpretacin de datos (si es necesario continuar)
Evaluacin
(1 a 2 semanas)
- Preparacin del Informe de Evaluacin
Informe de Evaluacin/
- Instrucciones y seminarios celebrados
retroalimentacin
- Retroalimentacin al gobierno socio y las agencias
interesadas
- Reflexin sobre el proceso de toma de decisiones
- Decisiones sobre los proyectos objetivo
- Planeacin de proyectos similares
- Formulacin de programas de cooperacin
*El perodo de evaluacin total para las evaluaciones ex-post en el caso de las
evaluaciones de programas por pas, evaluaciones de programas, etc., tiende a ser ms
largo.

109

2. Preparacin de la Publicidad de un Contrato

La gestin de la evaluacin empieza con la preparacin de un TOR (Trminos de
Referencia - un documento que seala las responsabilidades que contraen los
evaluadores).

La presentacin del TOR aclara el alcance de la evaluacin y sus

enfoques desde el punto de vista de quin haya pedido la evaluacin. En el caso de las
partes contratadas, el TOR aclara el alcance de su autoridad y responsabilidad.

El

proceso de preparacin de un TOR incluye aclarar los antecedentes y propsito de la

evaluacin, examinar la composicin del equipo de evaluacin que sea mejor para
realizar una evaluacin consistente con el propsito, y formular una imagen conceptual de
los efectos finales. La tabla 3-1-2 muestra ejemplos de los puntos que se pueden incluir
en un TOR. Se debe observar que cuando se anuncia pblicamente la seleccin de
consultores, es importante tener en mente todos estos puntos al preparar el borrador del
anuncio as como de los pedidos por escrito.
Como se puede observar al examinar los puntos muestra, el proceso de preparacin de
un TOR o el anuncio de un contrato es igual que el proceso utilizado para el diseo de
una evaluacin. Especficamente, el departamento operativo debe describir con claridad,
los antecedentes y propsitos de la evaluacin y las preguntas principales de la
evaluacin". Si las preguntas Qu es lo que queremos aprender a travs de esta
evaluacin? y Quin debe recibir la retroalimentacin de los resultados? no se
responden con claridad no se puede considerar que la evaluacin tenga sentido.
A continuacin se renen los puntos que el departamento operativo debe estudiar
cuando prepara el aviso de un contrato. (En estos lineamientos hay referencias que
describen metodologas relacionadas.)

(1) Confirmacin de los antecedentes y propsito de la evaluacin

Primero que nada, es necesario confirmar el objetivo y propsito de la evaluacin. El
propsito y los objetivos de retroalimentacin supuestos de una evaluacin difieren
dependiendo de la etapa en que se realiza dentro del ciclo del proyecto. Adems, existen
casos donde se evala una serie de proyectos de manera transversal para cubrir un tema
determinado (por ejemplo, gnero, pobreza o el medio ambiente).

Las preguntas

Cules preguntas de evaluacin son importantes? Qu tipo de datos se deben

obtener? y Cmo se deben evaluar los datos? reciben respuestas diferentes
dependiendo del propsito de la evaluacin. Por ello, es importante tener siempre en
mente el propsito cuando se procede con la evaluacin. Es de vital importancia evitar
que la implementacin de la evaluacin se convierta en el propsito. (Ver 2-2-2.)

110

Tabla 3-1-2: Ejemplos de los Puntos incluidos en los TORs de Evaluacin

1. Antecedentes y Propsito
-

Descripcin del proyecto que se va a evaluar

Propsito de la evaluacin

Objetivo/receptor esperado de los resultados de la evaluacin (es decir, el usuario de

los resultados de la evaluacin)

2. Preguntas Principales de la Evaluacin

-

Cinco criterios de evaluacin (incluyendo las razones cuando se incluyen criterios de

prioridad)

Preguntas de la evaluacin (Qu se debe aprender a travs de la evaluacin? y

preguntas principales relacionadas)

3. Mtodos de Evaluacin Sugeridos/Requeridos

-

Presentacin de un marco de trabajo para el mtodo de evaluacin dentro de un

alcance viable (es decir, comparacin con reas sin proyecto, comparacin
antes/despus de los grupos de implementacin, evaluacin participativa, anlisis
estadsticos, anlisis de la eficiencia de costos, anlisis cualitativo, etc.)

Presentacin de los mtodos de recopilacin de datos especficamente deseables, si

los hubiere (por ejemplo, cuestionarios, entrevistas, grupos de control, etc.; incluya
fuentes de informacin y muestras objetivo si es posible)

Lista de las fuentes de informacin existentes

4. Miembros del Equipo y Papeles

-

Papeles de los miembros del equipo; divisin de responsabilidades

Habilidades que necesita cada miembro del equipo (por ejemplo, conocimiento
necesario de un experto sobre la evaluacin arriba mencionada, capacidad analtica,
experiencia, habilidades de lenguaje, etc.; si hay requisitos deseables, se deben
enumerar junto con los requisitos mnimos)

5. Calendario de las Tareas Principales

-

Tareas principales y calendarios especficos para el perodo preparatorio, la evaluacin

en el sitio y el perodo de consolidacin

6. Productos esperados
-

Tipos de productos esperados, personas a recibir los productos y plazo lmite

Temas propuestos para incluir en el Informe de Evaluacin

Otros materiales

7. Presupuesto

Desglose del presupuesto y monto total

(2) Determinacin de las preguntas de la evaluacin

Para poder realizar una evaluacin que est alineada con su propsito, se deben
considerar aquellos puntos cuya evaluacin podra ser benfica.

En caso de las

evaluaciones que se realizan para mejorar un proyecto objetivo, es importante hacer

preguntas que identifiquen sentimientos relativos a temas y problemas cotidianos en
conexin con varios temas obtenidos a partir de los informes y de la informacin de
supervisin. En cuanto a las evaluaciones ex-ante que contribuyen a la formulacin de

111

planes de proyecto, hay una probabilidad alta de que las preguntas de evaluacin se
concentren en el contenido del plan del proyecto, su pertinencia, su pertinencia ante otros
programas y su eficiencia. Despus de considerar preguntas que sern la base de la
evaluacin, es posible pensar en preguntas an ms especficas desglosando estas
preguntas; sin embargo, este paso se puede dejar pendiente hasta la seleccin de los
miembros del equipo. Como la JICA ha generado normas de evaluacin (los Cinco
Criterios de Evaluacin), es posible tomar en consideracin preguntas de evaluacin
especficas utilizando estas normas como referencia. (Ver 2-2-1.)

(3) Examen del marco de trabajo del mtodo de evaluacin

Una vez que se determinan el propsito y las preguntas de la evaluacin, el siguiente
paso es estudiar el mtodo de evaluacin. Los puntos que se examinan aqu incluyen
mtodos de recopilacin, anlisis y evaluacin de datos (por ejemplo, la comparacin
entre regiones con/sin intervencin, evaluacin participativa, anlisis estadstico, anlisis
de efectividad de costos, anlisis cualitativo, etc., as como encuestas por cuestionario,
entrevistas, discusiones de los grupos de control, etc.) (ver 2-2-2, 2-2-3 y 2-2-4)
En este momento slo se debe describir el mtodo adecuado ya que el equipo de
evaluacin llevar a cabo la evaluacin segn su propia experiencia. Lo importante es
estudiar el marco de trabajo del mtodo de evaluacin de forma que considere todos los
tipos de habilidades que se requerirn de los miembros del equipo (incluyendo los
consultores), el tiempo que ser adecuado, etc.

(4) Estudio de la composicin del equipo

Despus de estudiar el marco de trabajo del mtodo de evaluacin, es importante
considerar las especialidades de los miembros del equipo.

Como se explic en el

Captulo 1 de la Parte I Criterios para una Buena Evaluacin, se requiere de personal

muy confiable y que pueda llevar a cabo una evaluacin justa. Por ello, se requiere
experiencia en los campos pertinentes, el conocimiento de los esquemas de asistencia, el
conocimiento de la teora de evaluacin y la capacidad de investigacin. En algunos
casos, una sola persona puede brindar la experiencia en todas estas reas, en otros, se
requiere un equipo de dos o ms personas. Es importante elegir los recursos humanos
adecuados tomando en consideracin el contenido del proyecto pertinente, el propsito
de la evaluacin, el mtodo de evaluacin que se planea utilizar y otros puntos.4
Por ejemplo, es importante que un equipo de miembros tenga capacidades en el
anlisis estadstico y las encuestas sociales si se tiene pensado hacer una encuesta por
cuestionario para una poblacin grande.

Si la evaluacin se va a centrar en la

participacin pblica, los miembros debern tener experiencia en evaluaciones

4

Incluso para las evaluaciones internas, es necesaria la perspectiva de un tercero para mantener la
objetividad. Por ello, las terceras partes que no estn involucradas en la implementacin del proyecto se
pueden emplear como lderes del equipo o miembros.

112

participativas y habilidades en el anlisis cualitativo y la moderacin. El examen de las

habilidades que los miembros del equipo deben poseer es una labor en extremo
importante ya que tiene un impacto directo sobre la calidad de la evaluacin.

(5) Verificacin de la imagen conceptual de los productos esperados y el

presupuesto de la evaluacin
Es importante aclarar el contenido del informe final, los puntos que se deben incluir en l
y el plazo final. Adems, es importante confirmar todo el presupuesto para el proyecto de
evaluacin. Como en muchos casos es necesario determinar previamente el monto de
dinero que se puede aplicar a la evaluacin, es frecuente que estos puntos se conviertan
en condiciones que influyan la forma en que se estudian las preguntas de la evaluacin y
la escala de la misma. Si el presupuesto es ajustable, es posible tomar en consideracin
las acciones adecuadas a la escala de la evaluacin. Por ejemplo, despus de ver el
propsito de la evaluacin y sus preguntas, podra ser necesario ajustar el presupuesto o
el calendario si es que se deben contratar consultores locales o realizar una encuesta
ms grande. La parte contratada para realizar la evaluacin debe considerar en trminos
concretos los tipos de evaluacin que puede realizar con base en el propsito de la
misma, los productos esperados y los materiales de evaluacin.

Referencia: Empleo de consultores locales

Hay casos en los que el equipo de evaluacin que manda Japn no puede obtener por s
mismo suficientes datos si se va a implementar una investigacin social para medir el
impacto sobre los residentes locales, si el objetivo de la evaluacin es grande, o si se va
evaluar el impacto sobre los beneficiarios, En esos casos, es necesario contratar un
consultor local y crear un marco de trabajo de inicio parcial de la encuesta antes que
llegue el equipo de evaluacin y adoptar un enfoque donde el consultor local y el equipo
realicen la evaluacin juntos, etc.

Ventajas de contratar un consultor local

z
z
z

Como el consultor local conoce la situacin local, es posible que incluya la perspectiva
local no slo en la implementacin de la evaluacin, sino tambin en el anlisis de
datos.
El consultor local domina el idioma local.
Es ms fcil obtener la cooperacin de la gente objetivo de la evaluacin.
Se puede emplear al consultor local de tal manera que satisfaga las condiciones
locales de muestreo/recopilacin de encuestas por cuestionario, etc.

Puntos a recordar cuando se contrata a un consultor local

z
z
z

Se debe elegir un consultor que tenga las habilidades de evaluacin y la experiencia

necesarias.
Antes de la evaluacin, el consultor debe comprender cabalmente el diseo de la
evaluacin (propsito de la evaluacin, preguntas, mtodos, etc.).
Se debe definir claramente la escala de la evaluacin (mtodo de compilacin de
resultados y productos esperados).
Durante la evaluacin se debe llevar a cabo una supervisin.

113

Despus de estudiar aquellos puntos como los arriba presentados, es importante

reflejarlos en un aviso pblico adecuado. El contenido del aviso debe diferir de acuerdo
con el propsito de la evaluacin, las preguntas de la evaluacin, el mtodo supuesto de
recopilacin de datos, etc. Es inconcebible que cada evaluacin tenga un aviso pblico
que presente la misma metodologa. Para poder llevar a cabo una evaluacin til, la
parte que solicita la evaluacin debe considerar qu tipo de metodologa es deseable,
qu tipos de tecnologa se necesitan y quin debe administrar estas tecnologas.
La tabla 3-1-3 presenta los puntos del aviso pblico que se utilizan en los contratos de
servicio actuales de la JICA as como su relacin con los temas de estudio. Aunque la
imagen conceptual de los productos esperados y otros elementos estudiados no se
deben incluir necesariamente en el aviso pblico, estos puntos se deben compartir de
manera adecuada entre el personal interesado una vez que se hayan determinado los
miembros del equipo.

114

Tabla 3-1-3: Ejemplos de puntos en los avisos pblicos y su relacin con

los puntos de estudio
*Por favor consulte la tabla 3-1-2 para ver ejemplos de los puntos del TOR.
Puntos Muestra de la
Publicidad del Contrato

1. Consultor
que se va a
contratar

2. Perodo
programado
de
operaciones

3. Vacunas
necesarias
4. Propuesta
bsica

5. Puntos a
recordar
cuando se
hagan las
descripciones

Puntos de
responsabilidad,
aos de
experiencia
(despus de
haberse
graduado de la
universidad)
Perodo
preparatorio,
perodo de
envo, perodo
de
consolidacin,
etc.
Necesarias/
innecesarias
Nmero de
copias que se
deben enviar,
perodo para
enviarlas, etc.
Idiomas, pas/
regin objetivo,
operaciones
similares

Relacin con los puntos de estudio

previos a la evaluacin
(Contenido a reflejarse en la
Publicidad del Contrato)
Estudio de la composicin del equipo:
experiencia necesaria para la
evaluacin, aos de experiencia

Relacin con
el contenido*
del TOR
4. Miembros
del Equipo y
Papeles

Estudio del marco de trabajo de la

evaluacin: perodo necesario de
evaluacin (por ejemplo, un
cuestionario de gran escala requiere
ms tiempo del usual)

5. Calendario
de las Tareas
Principales

Estudio de la composicin del equipo:

es necesario tener experiencia en los
campos de la evaluacin (no
simplemente experiencia en
evaluacin, sino tambin experiencia
en encuestas sociales y manejo
estadstico, experiencia en reas
objetivo, etc.)

4. Miembros
del Equipo y
Papeles

3. Mtodos de
Evaluacin
Sugeridos/Req
ueridos
4. Miembros
del Equipo y
Papeles
1.
Antecedentes y
Propsito
2. Preguntas

6.
Condiciones

Posibilidades de
refuerzo,
condiciones de
remuneracin,
etc.

7.
Composicin
del personal

Composicin del
equipo de
evaluacin

Estudio de la composicin del equipo:

es necesaria la experiencia del
personal despus de considerar el
propsito de la evaluacin y el marco
de trabajo de evaluacin

8. Propsito
general

Antecedentes de
la evaluacin,
descripcin del
proyecto,

Estudio de los antecedentes del

proyecto, confirmacin del propsito y
examen de las preguntas principales
de la evaluacin: propsito para aplicar

115

propsito de la
evaluacin, etc.

9. Responsabilidades

10. Otros
temas

Mtodo de
evaluacin,
responsabilidad
es especficas
Necesidad de
intrpretes, etc.

los resultados de la evaluacin y

preguntas principales de la evaluacin
que deben verificar esta solicitud (El
objetivo no es conducir una evaluacin
bajo los Cinco Criterios de Evaluacin)
Estudio del marco de trabajo de la
evaluacin: mtodos principales de
evaluacin

Principales de
la Evaluacin

3. Mtodos de
Evaluacin
Sugeridos/Req
ueridos

Es necesario considerar los puntos

que no se mencionaron arriba pero
que tienen un peso importante sobre
las habilidades del consultor

116

3. Preparacin Preliminar de la Evaluacin

Antes de empezar realmente con una evaluacin, el departamento operativo de la JICA
debe elegir a los miembros del equipo de evaluacin (y a los consultores), preparar la
Tabla de Evaluacin y coordinarse con el personal en el sitio.

(1) Seleccin de los miembros del equipo

Los miembros del equipo de evaluacin que tienen la experiencia y habilidades
adecuadas se deben elegir de acuerdo con el diseo de evaluacin que se estudi
durante el proceso de preparacin del aviso pblico. La seleccin de consultores se
basar en el proceso establecido en el aviso pblico.

(2) Preparacin de la Tabla de Evaluacin

En la preparacin preliminar, se deber preparar como parte del diseo de evaluacin
una Tabla de Evaluacin que se enfoque en el equipo de evaluacin.

(Consulte el

Captulo 2, Parte II, para ver la metodologa bsica de cada punto dentro de la Tabla de
Evaluacin.) Como el departamento operativo tiene mayor acceso a la informacin del
proyecto necesaria para el diseo de evaluacin, el departamento debe gestionar el
proceso de formulacin del diseo de evaluacin al tiempo que comparte la informacin
arriba mencionada con el equipo.
El departamento operativo proporcionar la informacin necesaria para preparar la
Tabla de Evaluacin al tiempo que presta atencin a las siguientes cuestiones para
asegurar la calidad de la evaluacin.

Enfoque del departamento operativo

para la preparacin de la Tabla de Evaluacin
Preguntas de evaluacin
- Confirmar el propsito de la evaluacin y los objetivos de retroalimentacin, y
presentar preguntas generales de evaluacin.
- En caso de las preguntas generales de evaluacin, es necesario revisar que se hayan
considerado preguntas especficas desglosndolas en sub-temas, etc.
Criterios y mtodos
- Presentar los criterios y mtodos de la evaluacin (por ejemplo, los valores objetivo,
mtodos de comparacin, etc.)
- Si no hay valores objetivo en el marco lgico o si se considera que los indicadores no
son adecuados, discutir nuevos criterios (para sustituir los valores objetivo) e
indicadores con las personas interesadas.
Datos necesarios
- Prestar materiales relativos a los datos existentes (informacin de seguimiento,
estadsticas, etc.)
Fuentes de informacin y mtodos de recopilacin de datos
- Brindar asesora sobre quin puede proporcionar los datos necesarios y dnde se
puede acceder a dicha informacin.
- Confirmar si las fuentes de informacin y los datos son imparciales.

117

Brindar informacin sobre todo acerca de los informadores clave y

personas/organizaciones que se deben evaluar.
Verificar si el diseo es lo suficientemente claro para responder a las preguntas de
evaluacin.

(3) Coordinacin con el personal en el sitio

Es necesario llevar a cabo una coordinacin preliminar adecuada con el personal del sitio
antes de la evaluacin en el sitio. Especficamente esto incluye actividades tales como la
coordinacin del calendario de evaluacin, la obtencin de consejos de la oficina local de
la JICA en relacin con la Tabla de Evaluacin, distribucin de cuestionarios y puntos de
entrevista, solicitud de citas con las fuentes de informacin, etc. En cuanto al contenido
de la Tabla de Evaluacin, la asesora de la oficina local debe ser muy valiosa para
asegurar fuentes de informacin, brindar antecedentes culturales y sociales, mostrar los
mtodos de recopilacin de datos de manera adecuada, etc. Adems, como las
evaluaciones de proyectos normales se realizan en perodos cortos (dos o tres semanas),
es necesario asegurar un tiempo cuando se puedan distribuir los cuestionarios antes de
la evaluacin y en el cual el equipo de evaluacin pueda realizar cierto nivel de anlisis
durante su misin.
Si todas estas operaciones son consistentes, ser conveniente que el perodo de
preparacin sea lo ms largo posible.

118

4. Gestin de las Evaluaciones en el Sitio

La evaluacin en el sitio empieza cuando se termina la planeacin de la evaluacin
(enfocada a la Tabla de Evaluacin). Existen tres tareas necesarias para gestionar las
evaluaciones en el sitio: 1) la promocin de un consenso relativo al diseo de la
evaluacin, 2) la recopilacin de datos y el anlisis de los resultados de la evaluacin, y
3) la promocin del consenso relativo a los resultados de la evaluacin (preparacin de
las minutas, etc.).

(1) Promocin del consenso relativo al diseo de evaluacin (mediante reuniones

con el Comit de Evaluacin Conjunta)
Cuando el equipo llega al sitio de la evaluacin, se realizan reuniones con el lado del
socio para llegar a un acuerdo y compartir informacin sobre el contenido de la
evaluacin con base en la Tabla de Evaluacin que desarroll Japn.5 En el caso de lo
los proyectos de cooperacin tcnica, se establece un Comit de Evaluacin Conjunta
para conducir una evaluacin conjunta con el gobierno socio. Se debe crear consenso
sobre el diseo de la evaluacin con los siguientes objetivos:

Objetivos de la creacin de consenso

-

Compartir el propsito de la evaluacin entre el personal interesado

Es extremadamente importante compartir el propsito de la evaluacin con el lado del
socio. Como existe la percepcin fuerte de "la evaluacin es igual a una libreta de
calificaciones", es importante comprender que la evaluacin (incluyendo los medios
para aplicar los resultados de la evaluacin), es una parte de la gestin del proyecto.

Fomentar la comprensin del mtodo de evaluacin

Los medios para evaluar un proyecto se deben compartir con el lado del socio. Aqu,
es

necesario

explicar

las

perspectivas

para

confirmar

las

condiciones

de

implementacin y los Cinco Criterios de Evaluacin, el pensamiento detrs de los

modelos de relaciones causales, los mtodos para recopilar y analizar datos, etc.
-

Correccin del diseo de evaluacin

Es necesario intercambiar opiniones con la parte del socio sobre el contenido de la
Tabla de Evaluacin, y se deben realizar los cambios necesarios cuando sea factible.
Esto ser una oportunidad para obtener opiniones de la parte del socio sobre las
condiciones locales y para discutir sobre una evaluacin eficiente y efectiva
(incluyendo si hay algn problema en la determinacin de los mtodos de muestro o
con la regin objetivo, o no).

Si la evaluacin cuenta con un elemento de participacin fuerte, es conveniente llevar a cabo talleres
para que el personal interesado pueda participar en la labor de diseo de la evaluacin. Consulte el
Anexo II para obtener informacin sobre la evaluacin participativa.

119

(2) Recopilacin y anlisis de datos

Una vez que empieza la evaluacin, se debe confirmar el progreso (por ejemplo, se est
realizando la recopilacin de datos sin retrasos? Hay algn problema en la tasa de
respuestas?).

El proceso de analizar y evaluar los datos recopilados incluye la

evaluacin de acuerdo con los Cinco Criterios de Evaluacin, la formulacin de una

conclusin y la preparacin de recomendaciones y lecciones aprendidas. Adems de lo
anterior, la administracin debe asegurar que se realiza un anlisis apropiado desde los
siguientes puntos de vista.

Puntos a verificar para evaluar los Cinco Criterios de Evaluacin y

formular las conclusiones
-

Se dio respuesta precisa a las preguntas de la evaluacin?

Se estn analizando los factores que dificultan/promueven?

Las conclusiones apoyan el propsito de la evaluacin?

Se estn analizando los elementos vinculados con las recomendaciones y lecciones

aprendidas?

Puntos a verificar cuando se preparan las recomendaciones y lecciones

aprendidas
-

Los datos recopilados y los resultados del anlisis se mencionan como la base de las
recomendaciones/lecciones aprendidas?

Se han aclarado los problemas de retroalimentacin?

Las recomendaciones/lecciones aprendidas son especficas y realistas?

(3) Creacin de un consenso fundamental relativo a los resultados de la evaluacin

(Comit de Evaluacin Conjunta)
Cuando se termina la evaluacin, se celebra una reunin para discutir los resultados de la
evaluacin y se realiza la creacin de un consenso fundamental con el personal del pas
socio. En el caso de los resultados de la evaluacin (incluyendo las recomendaciones y
lecciones aprendidas) cuya informacin sea insuficiente o que no se pueda llegar a un
consenso a raz de diferencias de interpretacin, el hecho de que haya limitaciones en los
datos se debe mencionar especficamente. Con base en esto, cada una de las opiniones
expresadas se deber reflejar en el Informe de Evaluacin (es decir, se presentan juntos
los puntos de vista de ambas partes) cuando ste se prepare posteriormente.
Los efectos finales secundarios que se obtienen al compartir los resultados de la
evaluacin son 1) una mejor comprensin de parte del socio de los mtodos de
evaluacin, y 2) una mejor aplicacin de las recomendaciones y lecciones aprendidas por

120

parte de las organizaciones en el pas socio.

La parte del socio es un objetivo de

retroalimentacin importante. Se puede esperar un mejor sentido de propiedad de los

resultados de la evaluacin de parte del socio si se le incluye en el proceso de
evaluacin.

(4) Preparacin de las Minutas de las Juntas

Cuando se llega a un consenso sobre los resultados de la evaluacin en el Comit de
Evaluacin Conjunta, se preparan las "minutas" que renen los puntos que ya se han
acordado. Entonces se firma este documento y se intercambia entre el equipo y el pas
socio. Este documento contiene los puntos acordados al momento de la evaluacin en el
sitio. Posteriormente, una vez que el equipo regresa a Japn, se prepara el Informe de
Evaluacin con base en las Minutas.

Aunque las minutas (Resumen del Estudio de

Evaluacin) no son ms que un registro de los puntos bsicos de acuerdo alcanzados en

el sitio de la evaluacin, el Informe final de la Evaluacin es un documento amplio que
cubre la presentacin de datos, conclusiones, recomendaciones/lecciones aprendidas,
etc. que sirvieron como base para la evaluacin.
En la Tabla 3-1-4 se presenta una composicin muestra de las minutas. Es importante
observar que surgirn algunas diferencias de acuerdo con el propsito de la evaluacin.

121

Tabla 3-1-4: Composicin Muestra de unas Minutas

-

Documento de consenso

Anexo: Resumen del Informe del Estudio de Evaluacin

Introduccin
-Objetivo del Estudio de Evaluacin
-Miembros del Equipo de Evaluacin
-Calendario del Estudio

1. Descripcin General del Proyecto

-Antecedentes del Proyecto
-Resumen del Proyecto

2. Metodologa de la Evaluacin
-Preguntas e Indicadores de la Evaluacin
-Mtodo de Recopilacin y Anlisis de Datos
-Limitaciones del Mtodo

3. Logros del Proyecto y Proceso de Implementacin

4. Resultados de la Evaluacin
-Pertinencia
-Efectividad
-Eficiencia
-Impacto
-Sustentabilidad

5. Conclusin

6. Recomendaciones y Lecciones Aprendidas

122

5. Preparacin del Informe de Evaluacin

Una vez que el equipo regresa a Japn, se renen los resultados de la evaluacin en una
Tabla de Evaluacin Ex-ante o Tabla de Resumen de los Resultados de la Evaluacin
y en un Informe de la Evaluacin. Si no fue posible finalizar el anlisis e interpretacin de
datos lo suficiente durante el perodo de la evaluacin en el sitio, ser necesario continuar
con el anlisis.

Se preparar un resumen del informe en el idioma oficial del pas

objetivo y se enviar a las organizaciones interesadas en ese pas. La preparacin de un

informe fcil de entender es una parte extremadamente importante de la evaluacin. No
hay posibilidades de retroalimentar los resultados de la evaluacin si no se presentan
apropiadamente.

Un miembro del personal del departamento operativo del proyecto

actuar como miembro del equipo para escribir el informe, sin embargo, para poder
mantener la calidad del informe ser importante que el departamento verifique si el
informe fue escrito con claridad o no. Especficamente se debe poner atencin en los
siguientes puntos (consulte la Tabla 2-3-2 sobre el formato del informe).

Puntos que se deben verificar al preparar el Informe de la Evaluacin

-

El informe es demasiado largo?

Est escrito de manera especfica y concisa?

Se elabor haciendo nfasis en los temas de comunicacin deseados?

Se especifica claramente que las bases de los juicios se derivan de los resultados de
la evaluacin?

Se utilizan las grficas y tablas correctamente para explicar los datos?

Se indica claramente cules son las fuentes de los datos citados?

Se mencionan claramente los factores limitantes en la evaluacin?

La Tabla de Evaluacin, los cuestionarios, datos recopilados, etc., se anexan como

materiales de referencia?

123

6. Retroalimentacin de los Resultados de la Evaluacin

El informe que prepara el equipo de evaluacin representa un medio para brindar
informacin para la retroalimentacin y para rendir cuentas. Su objetivo es mejorar el
efecto de aprendizaje sobre el mejoramiento operativo y la rendicin de cuentas a travs
de la correcta aplicacin de los resultados de la evaluacin. Una vez que se termina el
informe, el departamento encargado de la JICA brinda informacin a las partes
interesadas a travs de los siguientes medios. Las partes que recibirn la informacin
incluyen las organizaciones interesadas en el pas objetivo; por lo tanto, es necesario
preparar el resumen en ingls.

(1) Retroalimentacin de informacin en el proceso de toma de decisiones

-

El departamento operativo da forma concreta a las recomendaciones y lecciones

aprendidas, toma decisiones sobre medidas para abordarlas y se hace responsable
de reflejarlas en la gestin del proyecto.

Los resultados de la evaluacin se aplican principalmente a nivel del supervisor a

travs de su anotacin en documentos relacionados con el proyecto (por ejemplo,
Programas por Pas de la JICA, documentos del proyecto, etc.).

(2) Asegurar la retroalimentacin y rendicin de cuentas en el proceso de

aprendizaje organizativo

El personal interesado comparte conocimientos a travs de reuniones de evaluacin.

Estas reuniones se deben realizar en momentos oportunos y deben asistir las
personas adecuadas (es decir, los usuarios de la informacin de la evaluacin).

Es necesario realizar seminarios de retroalimentacin sobre los temas tomados de las

recomendaciones/lecciones aprendidas que se sabe han tenido importancia especial
en otros proyectos similares. De esta manera, se brindar informacin a un conjunto
ms amplio del personal interesado.

El informe se deber preparar dentro de un perodo de tres meses. Se debe colocar

en la pgina Web de la JICA y distribuir al personal interesado. Se debe preparar un
resumen en ingls para las organizaciones interesadas en el pas objetivo.

124

Captulo 2 Temas en la Evaluacin Ex-ante y Ex-post

Descripcin General de este Captulo:

La evaluacin de proyectos en la JICA tiene cuatro tipos de ciclos de proyecto:
evaluacin ex-ante, evaluacin intermedia, evaluacin final y evaluacin ex-post. Como
cada tipo de evaluacin tiene propsitos diferentes, los puntos de vista y enfoques de los
Cinco Criterios de Evaluacin tambin difieren ligeramente entre ellos.
Este captulo describe las caractersticas y puntos a recordar de cada tipo de estudio
de evaluacin, y tambin muestra ejemplos de casos, sobre todo para la tabla de
evaluacin y la interpretacin de la evaluacin. El concepto bsico de la evaluacin, el
flujo de las investigaciones y las teoras de los mtodos de evaluacin son los mismos
para todos los tipos de estudios de evaluacin.

En las evaluaciones de proyectos, los exmenes se realizan bsicamente desde el punto

de vista de los Cinco Criterios de Evaluacin, pero la percepcin de cada punto es
diferente, dependiendo del momento en que se realiza el estudio de evaluacin. Por
ejemplo, en la evaluacin ex-ante antes de empezar un proyecto, se puede examinar la
pertinencia de acuerdo con la situacin real, pero desde otros puntos de vista, la
encuesta slo se puede realizar con base en predicciones y prospectos. En una
evaluacin intermedia despus de haber iniciado el proyecto, la pertinencia y la
eficiencia se pueden evaluar de acuerdo con la situacin real y los resultados, pero la
efectividad y el impacto slo se pueden examinar de acuerdo con lo que se considera
necesario y posible en ese momento para la evaluacin, y eso depende del grado en que
se haya producido algn efecto en el plazo intermedio. La tabla 3-2-1 resume estas
diferencias de puntos de vista para la evaluacin segn cada tipo de estudio de
evaluacin.
La profundidad y enfoque del examen de cada uno de los Cinco Criterios de
Evaluacin tambin puede variar de acuerdo con las caractersticas de un proyecto y los
problemas a los que se enfrente. Por ejemplo, para proyectos pequeos tal vez no sea
adecuado realizar una encuesta con cuestionarios costosos, sino utilizar otro mtodo
sencillo. O, si las partes interesadas saben que hay problemas de eficiencia que afectan
un proyecto, tal vez sea necesario realizar el estudio dando mayor enfoque al examen de
la eficiencia.
La figura 3-2-1 presenta un resumen de los mtodos de evaluacin y su aplicacin en
cada tipo de estudio de evaluacin explicado en los Captulos 1 al 3, Parte II.

125

Tabla 3-2-1 Diferencias entre los Puntos de Vista segn el Tipo de

Proyecto de Evaluacin
Evaluacin

SeguimienNota 2

Evaluacin

Evaluacin

Evaluacin

Intermedia

Final

Ex-post

Ex-ante

to

Nota 1

Confirmacin
de los
resultados
Comprensin
del proceso
de implementacin
<Cinco Criterios de Evaluacin>
Pertinencia

Eficiencia

Impacto

Efectividad

Sustentabilidad

z: Examen con base en la situacin y resultados reales

: Examen con base en predicciones y prospectos
: Examen de acuerdo con lo que se considera necesario y posible para la evaluacin
- : Todava no es posible realizar un examen completo, o se termin en una fase
anterior.

Nota 1: En caso de una evaluacin ex-ante, esto significa realizar un estudio de base o
establecer indicadores.
Nota 2: Por lo general, un examen con base en los Cinco Criterios de Evaluacin est
fuera del alcance del seguimiento, pero para su operacin y gestin, es
importante tener siempre en mente los puntos de vista de estos Cinco
Criterios de Evaluacin.

126

Figura 3-2-1 Mtodos de Evaluacin de Proyectos y su Aplicacin en los

Estudios de Evaluacin
De la aplicacin a la
Evaluacin Ex-ante

Flujo de la
Evaluacin

Estudio de base
Prediccin sobre el proceso
de implementacin
Juicio de valor con base
en los Cinco Criterios de
Evaluacin/prediccin
del efecto producido y
factores que dificultan

Comprensin de la
situacin real del
proyecto
z
z
z

Resultados
Proceso
de
Implementacin
Relaciones
causales

Cinco Criterios de
Evaluacin

Confirmacin del
marco lgico
Confirmacin de
los resultados
Confirmacin del proceso
de implementacin
Juicio de valor con base en los
Cinco Criterios de
Evaluacin/prediccin del
efecto producidor y factores
que dificultan

Conclusin
<Juicio general >

Juicio sobre el xito

o fracaso del
proyecto

proyecto*

Presentacin de

Formulacin de la

los Resultados

Creacin de la tabla de
resumen de los
resultados de la
evaluacin y el informe
de la evaluacin

Determinacin de la
necesidad/
pertinencia del
proyecto

Formulacin de los
documentos del

Tabla de la

Recomendaciones

Evaluacin Ex-ante

Implementacin

Lecciones
Aprendidas

Retroalimentacin
Uso

Dar a conocer los

resultados

Dar a conocer los

resultados

127

Comparacin con los resultados de la

Uso del
marco lgico

evaluacin ex-ante

Creacin del
marco lgico

Confirmacin del marco lgico

1. Puntos Clave de los Estudios de Evaluacin Ex-ante

(1) Papel de los Estudios de Evaluacin Ex-ante
En general, los estudios de evaluacin ex-ante de la JICA tienen dos propsitos: i)
planeacin del proyecto y ii) planeacin de la evaluacin. En la JICA, las evaluaciones exante se planean y realizan de acuerdo con los Cinco Criterios de Evaluacin. Los
resultados de las evaluaciones ex-ante se utilizan para mejorar el plan y para determinar
la pertinencia del proyecto. La evaluacin ex-ante brinda informacin que servir como
base para dar seguimiento y evaluacin despus que empieza un proyecto y es un paso
indispensable hacia la adecuada gestin de un proyecto a lo largo de su ciclo.
El producto de la evaluacin ex-ante consiste de documentos del proyecto, que
incluyen el marco lgico (PDM en la JICA) y la Tabla de Evaluacin Ex-ante. Los
factores inhibidores o limitantes que se identifican en la evaluacin ex-ante se reflejan en
la planeacin del proyecto segn sea necesario, o se escriben en las columnas de los
Cinco Criterios de Evaluacin en la Tabla de Evaluacin Ex-ante como puntos a recordar
despus que empez un proyecto.
Este documento describe principalmente la parte de evaluacin del estudio de
evaluacin ex-ante. No trabaja sobre la teora de planeacin. La teora de planeacin
incluye mtodos de estudio base y la teora del marco lgico, as como la forma de crear
un marco lgico (ver Anexo 1), de establecer indicadores, de establecer metas, y
mtodos de anlisis de riesgos. Este captulo de los Lineamientos de la Evaluacin utiliza
ejemplos de casos para explicar principalmente lo mtodos para examinar los conceptos
del proyecto que se planearon a travs de estos procesos mediante los Cinco Criterios de
Evaluacin y cmo crear una Tabla de Evaluacin Ex-ante.
Observe que incluso en los casos donde se implementa la evaluacin ex-ante en
forma simplificada, por ejemplo donde no se enva un equipo de estudio para la
evaluacin ex-ante y no se crean documentos para el proyecto, se debe realizar la
evaluacin con base en el concepto y puntos de vista de evaluacin que se indican aqu,
y los resultados se debern incorporar en el plan de implementacin.

128

Figura 3-2-2 Los Dos Papeles de los Estudios de Evaluacin Ex-ante

Establecimiento del plan

Plan de
implementacin
Documentos del
proyecto
Tabla de Evaluacin Ex-ante

Evaluacin ex-ante del plan

(2) Propsito y Puntos de Vista de Evaluacin de los Estudios de Evaluacin Exante

Las evaluaciones ex-ante evalan planes antes de iniciar un proyecto. Los resultados de
la evaluacin se utilizan para mejorar el plan y para juzgar la pertinencia del proyecto. Por
tanto, la evaluacin primero se realiza haciendo nfasis principalmente en la pertinencia.
Evaluacin de pertinencia quiere decir examinar si la cooperacin de la JICA es
pertinente desde el punto de vista de i) necesidad - existe la necesidad en la regin,
sociedad y entre los residentes aplicables?, ii) prioridad - la poltica de desarrollo del
pas socio coincide con las prioridades de Japn?, y iii) la idoneidad del proyecto como un
medio - por qu se eligi un proyecto con este tipo de objetivo? La regin objetivo y el
grupo objetivo son adecuados? - y otros. Cuando se evalan los otros criterios de
evaluacin (efectividad, impacto, sustentabilidad, etc.) el punto que difiere ms de los
estudios de evaluacin de la intermedia y de las evaluaciones posteriores a ella es que la
evaluacin se basa en predicciones y prospectos en lugar de logros y datos del proceso
de implementacin anteriores. En concreto, el examen es sobre si realmente se producir
o no un efecto cuando se implemente el proyecto segn este plan, y si el proyecto est
planeado de tal manera que el efecto se puede comprender y verificar de manera
confiable o no6.
6

Un mtodo para los estudios de evaluacin que incluye el punto de vista de si el efecto se puede

129

Los exmenes que no evalan los logros sino la validez de un plan con base en las
predicciones y prospectos incluyen esencialmente dos aspectos. Uno es examinar si cada
componente de un proyecto es claro y razonable o no. Aqu, se consideran la idoneidad
de los indicadores y metas establecidos, qu tan apropiados son los medios para obtener
los indicadores, y otros puntos con base en su relacin con los datos de base. El examen
considera si el efecto pronosticado se puede lograr y es conveniente. Cuando se observa
su relacin con los datos de base, es importante primero utilizar un mtodo de
investigacin para obtener esos datos y luego considerar si es posible un seguimiento
posterior. Si los medios para obtener los indicadores son demasiado costosos para ser
prcticos, esos datos no se podrn utilizar. Cuando se hacen recomendaciones sobre los
indicadores adecuados, metas y los medios para obtener los indicadores a travs de este
tipo de examen, tambin se construye una base para el seguimiento y la evaluacin
despus que empez un proyecto. (Refirase a 2-1-3 (4) sobre cmo verificar los
indicadores y valores bjetivo.)
El otro aspecto es examinar si la estructura del plan del proyecto (es decir, la relacin
entre el propsito y los medios) est formulada de manera adecuada y si hay prospectos
de alcanzar el objetivo esperado. Este punto de vista cuestiona la lgica de las relaciones
causales entre los componentes individuales de un proyecto. Tambin es necesario
realizar un examen profundo sobre si las actividades planeadas para cierto objetivo son
adecuadas. Para estos exmenes, se puede utilizar el concepto de modelo lgico, una
teora de evaluacin descrita en la Parte II, Captulo 1 (refirase a 2-1-3). Cuando se trata
de examinar el plan del proyecto segn un marco lgico (el modelo de causa y efecto
donde los insumos conducen a las actividades, que a su vez conduce a los productos y
que finalmente conducen al objetivo), tal vez el producto para obtener un objetivo, o las
actividades o insumos para alcanzar un producto sean insuficientes. La valoracin
tambin puede descubrir que el enfoque que se tiene pensado para un proyecto no es
eficiente ya que, comparado con la inversin, su efecto ser pequeo. Otra posibilidad es
que suposiciones /riesgos importantes sean demasiado altos y que su influencia en el
proyecto sea demasiada. El dar retroalimentacin sobre los resultados de esos exmenes
al trabajo de planeacin para poder desarrollar un plan mejor y ms apropiado conduce a
la gestin efectiva del proyecto.

(3) Lista de Verificacin de la Evaluacin Ex-ante

Los estudios de evaluacin ex-ante son principalmente sobre planes, y por lo tanto, la
planeacin y la investigacin necesarias para realizar una evaluacin se conducen y

verificar y comprender es la Determinacin de la Evaluabilidad. Este mtodo utiliza investigacin

cualitativa enfocada en la lgica del proyecto, en qu tan claro es el objetivo y en los indicadores
establecidos, tratando de identificar si el proyecto evaluado satisface las condiciones mnimas de
evaluabilidad. (Para obtener ms informacin refirase a Rossi, PH., Freeman, H.E., Lipsey, M.W.,
Evaluacin - Un enfoque sistemtico (Evaluation A systematic approach), 6a ed, 1999, SAGE
Publication, p. 157.)

130

determinan simultneamente. Por esta razn, no se realiza ningn trabajo de acuerdo con
un diseo de evaluacin predeterminada como en los dems estudios de evaluacin. Las
tablas siguientes son listas de verificacin de los puntos de vista para una evaluacin con
base en un borrador de un plan de proyecto.
Es necesario referirse a estas listas de verificacin antes de la evaluacin en el
sitio en el estudio de evaluacin ex-ante, para poder confirmar si los temas de la encuesta
estn completos. Luego, esto se debe reflejar en el plan del estudio. Sin embargo,
observe que los siguientes slo son los principales puntos de verificacin. Se deben
agregar puntos a las encuestas que correspondan con el contendido del proyecto,
conforme sea necesario.

131

Tabla 3-2-2 Principales Puntos de Verificacin en los Estudios de

Evaluacin Ex-ante (los puntos que se muestran con fondo gris se examinan con
base en la situacin y logros reales)
Puntos de
Puntos de Verificacin de la Evaluacin
Evaluacin
Plan

La meta general, el objetivo del proyecto y el producto son claros?

Cada indicador expresa de manera precisa su significado respectivo?

Planeacin

La objetividad y la posibilidad de reproduccin (se puede recopilar

repetidamente el mismo tipo de datos) estn aseguradas en los mtodos

* Algunos puntos
son los mismos

para obtener cada indicador?

El grupo objetivo est establecido claramente?

que en los puntos

Relaciones causales

de evaluacin que
aparecen ms
adelante. De todas
maneras se
mencionan en el
encabezado de
esta tabla como
puntos a confirmar

Las relaciones actividades producto objetivo del proyecto

meta general son relaciones de medios propsito?

Las suposiciones importantes para la produccin del producto estn

establecidas adecuadamente? La lgica actividades suposiciones
importantes producto es correcta?

Las suposiciones importantes para el logro del objetivo del proyecto

primero en una

estn

establecidas

adecuadamente?

La

lgica

producto

evaluacin ex-ante

suposiciones importantes objetivo del proyecto es correcta?

Las suposiciones importantes para el logro de la meta general estn

establecidas adecuadamente? La lgica objetivo del proyecto
suposiciones importantes meta general es correcta?
Hay algn problema en el sistema de gestin del proyecto (sistema de
seguimiento, proceso de toma de decisiones, etc.)?
El proyecto tiene un buen reconocimiento en la agencia de
implementacin o contraparte?

Proceso de

Se colocar una contraparte adecuada?

Implemen-

El insumo para realizar actividades segn lo planeado est

tacin
(Prospecto)

garantizado?

El grupo objetivo o las organizaciones relacionadas participan en el

proyecto en gran medida? El proyecto es altamente reconocido? O,
se espera un aumento en participacin o reconocimiento?

Hay algn otro tema o factor que dificulta las actividades y stos se
debieran recordar en el proceso de implementacin del proyecto

132

(Principales Puntos de Verificacin en los Estudios de Evaluacin Ex-ante - continuacin)

Puntos
de
Puntos de Verificacin de la Evaluacin
Evaluacin
<<Cinco Criterios de Evaluacin>>
Necesidad
El proyecto es consistente con las necesidades del pas, regin o
sociedad objetivo?
El proyecto es consistente con las necesidades del grupo objetivo?
Prioridad
El proyecto es consistente con la poltica de desarrollo del pas socio?
El proyecto es consistente con la poltica de asistencia para el
extranjero de Japn y del plan de la JICA para la implementacin de
programas por pas?
Sustentabilidad como un medio
El proyecto es adecuado como estrategia para producir un efecto con
respecto a los temas de desarrollo del campo y sector objetivo del pas
Pertinencia
socio? (El enfoque y la regin objetivo del proyecto son adecuados?
Qu efectos de sinergia hay para brindar ayuda con la cooperacin de
otros donantes?)
La seleccin del grupo objetivo es adecuada? (Meta, volumen,
distribucin de gneros, etc.)
Hay algn efecto de difusin ms all del grupo objetivo?
Los beneficios del efecto y la carga de los costos estn distribuidos
equilibradamente?
Japn tiene una ventaja tecnolgica? (Japn tiene conocimientos
(know-how) acumulados sobre la tecnologa objetivo? Es posible
aprovechar las experiencias de Japn? etc.)

Efectividad
(Prospecto)

Objetivo del proyecto

El objetivo del proyecto est claramente mencionado?
Los indicadores del objetivo del proyecto expresan con exactitud el
objetivo?
Los indicadores y metas del objetivo del proyecto son adecuados de
acuerdo con los datos de base?
Los medios para obtener los indicadores del objetivo del proyecto son
adecuados? (Se han medido los indicadores necesarios? No son
demasiado costosos? Se pueden reproducir? Se pueden utilizar como
medios de seguimiento? etc.)

Relaciones causales
Se alcanzar el objetivo del proyecto como efecto de ste una vez que
se complete?
Se ha planeado suficiente producto para alcanzar los objetivos del
proyecto?
Las suposiciones importantes del producto al objetivo del proyecto se
perciben correctamente? Existe una posibilidad alta que las
suposiciones importantes sean verdad?
Hay factores que obstruyen el logro del objetivo del proyecto?

133

(Principales Puntos de Verificacin en los Estudios de Evaluacin Ex-ante - continuacin)

Puntos de

Puntos de Verificacin de la Evaluacin

Evaluacin
Producto
Los indicadores del producto expresan con exactitud su significado?

Las metas para el producto son adecuadas?

Los medios para obtener los indicadores del producto son adecuados?
(Se han medido los indicadores necesarios? Son demasiado
costosos? Se pueden reproducir? Se pueden utilizar como medios de
seguimiento? etc.)

Relaciones causales
Se han planeado suficientes actividades para producir el producto?
Se tiene planeado un insumo de una cantidad y calidad adecuada para
realizar las actividades?

Las suposiciones importantes de las actividades al producto se

perciben

correctamente?

Existe

una

posibilidad

alta

que

las

suposiciones importantes sean verdad?

Eficiencia
(Prospecto)

Momento oportuno
Se plane correctamente el momento del insumo?

Costo

El producto justifica el costo que se va a invertir si se compara con

proyectos similares (comparacin con el costo total o los costos unitarios
de proyectos similares de la JICA y otros donantes o con proyectos
similares realizados por el pas en cuestin)? (Hay algn medio
alternativo para obtener los mismos resultados a menor costo? Es
posible alcanzar un nivel de logro ms alto con el mismo costo?)

El objetivo del proyecto justifica el costo que se va a invertir si se

compara con proyectos similares (comparacin con el costo total o los
costos unitarios de proyectos similares de la JICA y otros donantes o
con proyectos similares realizados por el pas en cuestin)? (Hay algn
medio alternativo para obtener los mismos resultados a menor costo?
Es posible alcanzar un nivel de logro ms alto con el mismo costo?)

134

(Principales Puntos de Verificacin en los Estudios de Evaluacin Ex-ante - continuacin)

Puntos de

Puntos de Verificacin de la Evaluacin

Evaluacin
Meta general:

Los indicadores de la meta general la expresan con exactitud?

Los indicadores y objetivos de la meta general son adecuados de
acuerdo con los datos de base?

Los medios para obtener los indicadores de la meta general son

adecuados? (Se han medido los indicadores necesarios? Son
demasiado costosos? Se pueden reproducir? Se pueden utilizar como
medios de seguimiento? etc.)

Relaciones causales
Se espera alcanzar la meta general como un efecto del proyecto?
La relacin y lgica entre la meta general y los temas de desarrollo son
claras?

Las suposiciones importantes del objetivo del proyecto a la meta

general se perciben correctamente? Existe una posibilidad alta que las

Impacto
(Prospecto)

suposiciones importantes sean verdad?

Hay factores que obstruyen el logro de la meta general?

Efectos de difusin

Se asume que hay algn efecto o influencia ms all de la meta

general? Se estn tomando medidas para contrarrestar influencias
especialmente negativas?
* Influencias sobre el establecimiento de polticas y sobre la
preparacin de leyes, sistemas, normas y similares
* Influencias sobre los aspectos sociales y culturales tales como
gnero, derechos humanos, ricos y pobres
* Influencia sobre la proteccin ambiental
* Influencia derivada de cambios tecnolgicos
* Influencias econmicas sobre la sociedad objetivo, las partes
del proyecto, los beneficiarios, etc.

Existen diferentes influencias positivas y negativas debido a las

diferencias entre gneros, grupos tnicos, o estratos sociales?

135

(Principales Puntos de Verificacin en los Estudios de Evaluacin Ex-ante - continuacin)

Puntos de
Evaluacin

Puntos de Verificacin de la Evaluacin

Polticas y sistemas
La asistencia de la poltica continuar una vez que termine la
cooperacin?
Los reglamentos y sistemas legales pertinentes estn preparados?
Hay planes para su preparacin?
En el caso de proyectos dirigidos a sitios piloto, se cuentan con
esfuerzos asegurados para ayudar posteriormente con la difusin?
Aspectos organizativos y financieros

Se tiene la capacidad organizativa para implementar actividades que

Sustentabilidad
(Prospecto)
* Aquello
indispensable
para asegurar
la sustentabilidad
(continuidad
del efecto)
depende del
contenido del
proyecto. Se
debe realizar
el estudio con
esto en
mente.

produzcan efectos una vez que termine la cooperacin? (Colocacin de

recursos humanos, proceso de toma de decisiones, etc.)
Se tiene suficientemente asegurado el sentido de conciencia de la
iniciativa propia hacia el proyecto en la agencia de implementacin antes
del inicio del proyecto?
El presupuesto (incluyendo los gastos de operacin) est asegurado?
Se han tomado medidas presupuestarias suficientes del lado del pas
aplicable?
Qu tan alta es la probabilidad de que aumente el presupuesto en el
futuro mediante la implementacin del proyecto? Las medidas para
asegurar los presupuestos son suficientes?
Tecnologa

Los mtodos de transferencia de tecnologa empleados en el proyecto

son aceptables? (Nivel de tecnologa, factores sociales y
convencionales, etc.)
El plan de mantenimiento y manejo del equipo que se introducir en el
proyecto es adecuado?
El proyecto contiene un mecanismo para su difusin?
Cul es la probabilidad de la agencia de implementacin poder
mantener el mecanismo para su difusin?
En el caso de proyectos dirigidos a sitios piloto, la tecnologa es del
tipo que se puede difundir a otros sitios?
Sociedad, cultura y medio ambiente
Hay alguna posibilidad de inhibir un efecto sostenido por la falta de
consideracin hacia las mujeres, los pobres y los socialmente
vulnerables?
Hay alguna posibilidad de obstaculizar un efecto sostenido debido a la
falta de consideracin hacia el medio ambiente?
Otros

Hay algn otro factor que pudiera obstaculizar la sustentabilidad?

Necesidad de
ajustes

(Considerado con base en los resultados de la evaluacin

anterior)
Es posible lograr el objetivo del proyecto en la situacin actual
(cambios en el grupo o sociedad objetivo)?
Es necesario ajustar los insumos, actividades y productos?
Hay alguna nueva suposicin importante que influya en el proyecto?
Cmo han cambiado los problemas, puntos, riesgos, etc. que se
sealaron en la evaluacin ex-ante?
Qu puntos se deben recordar para el futuro?

136

(4) Interpretacin y Resumen de los Datos de la Evaluacin Ex-ante

La interpretacin de los datos de la evaluacin ex-ante se centra en los Cinco Criterios de
Evaluacin. La interpretacin se resume en la Tabla de Evaluacin Ex-ante. En los
estudios de evaluacin ex-ante, es necesario reflejar los factores que dificultan y
obstaculizan el proyecto identificados en el proceso de evaluacin en los planes que se
incluyen en los documentos del proyecto. Adems, es necesario proponer el proyecto de
tal manera que, hasta donde sea posible, no lo afecten estos factores. Por otro lado, los
asuntos que se juzg se deben revisar despus que inici el proyecto se escriben en el
tema aplicable de la columna de los Cinco Criterios de Evaluacin en la Tabla de
Evaluacin Ex-ante. Estos temas a recordar se implementan tambin como metas de
seguimiento una vez que empez el proyecto y es necesario ubicarlas como temas
sujetos a seguimiento, junto con una verificacin del nivel de logro de los objetivos y
productos.
La Tabla de Evaluacin Ex-ante resume una descripcin del informe de los
resultados de la evaluacin ex-ante. Las bases del por qu se realiz la interpretacin de
esta manera, etc., se deben enviar como anexos de los documentos del proyecto (por
ejemplo, resultados de las entrevistas, resultados del anlisis del material, resultados de
la encuesta por cuestionario y otros resultados).
La Tabla 3-2-3 ofrece una descripcin de cada punto en la Tabla de Evaluacin
Ex-ante y resume los puntos a recordar cuando se llena la tabla. El caso 1 presenta un
ejemplo de cmo llenar una Tabla de Evaluacin Ex-ante.

137

Tabla 3-2-3 Tabla de Evaluacin Ex-ante: Contenido y Temas a Recordar

(para proyectos de cooperacin tecnolgica medianos y grandes)
Tema
1. Ttulo del
Proyecto
2.
Descripcin
General de
la
Cooperacin

Contenido
El ttulo del proyecto
Describe brevemente el contenido del
proyecto de la evaluacin ex-ante

(1)

(2)
(3)
(4)
(5)
(6)
3.
Necesidad y
posicin de
la
cooperacin

4. Marco de
Trabajo de
la
Cooperacin

Puntos a Recordar

[Temas Principales]
Descripcin general principalmente
del objetivo y productos del
proyecto
Perodo de Cooperacin
Monto total de la cooperacin
(Japn)

Agencia de Implementacin del Pas

Socio
Agencia de Cooperacin en Japn

Grupo objetivo, Beneficiarios,

tamao, etc.
Describe brevemente no slo los
antecedentes de la solicitud, sino que
tambin procesa la cooperacin de
Japn y la razn, etc.
[Temas Principales]
(1)
Situacin actual y problemas
(2)
Ubicacin dentro de las polticas
nacionales del gobierno en el pas
socio.
(3)
Relacin dentro de la poltica de
asistencia para el extranjero de
Japn, ubicndolo dentro del plan
de la JICA para la implementacin
de programas especficos por pas
(ubicacin dentro de los programas
de la JICA).
Aqu describe brevemente el contenido
del marco lgico. La descripcin aparece
en el orden que se muestra a
continuacin para que tambin lo puedan
entender las personas que no saben del
marco lgico.
[Temas Principales]
(1) Objetivo de la Cooperacin (Efectos
Directos)
i) El objetivo a alcanzar al final de la
cooperacin (objetivo del proyecto),
indicadores y metas
ii) El objetivo que se espera alcanzar al
final de la cooperacin (meta general),
indicadores y metas
(2) Productos y Actividades
i) El producto, las actividades para
lograrlo, indicadores y metas
ii)
(3) Insumos
i) Japn (monto total: yenes)
Envo de expertos, equipo

Tenga cuidado de no escribir

demasiados detalles. El plan
detallado se describe despus.
Es suficiente que el lector,
incluyendo un tercero, pueda
comprender una descripcin general
de lo que trata la evaluacin ex-ante.
Los beneficiarios en (6) son los
beneficiarios a nivel del objetivo del
proyecto (grupo objetivo).
Si es necesario, incluya un mapa o
fotografas del sitio del proyecto

Describa claramente los temas

importantes que son los
antecedentes del proyecto y la
ubicacin del proyecto para poder
solucionarlos.
Si es necesario, incluya un mapa o
fotografas explicando la situacin
actual y los problemas.

Trate de escribir de tal forma que un

tercero pueda entender la
descripcin

El objetivo a alcanzar al final de la

cooperacin es el objetivo del
proyecto

El "objetivo que se espera alcanzar

despus del final de la cooperacin
se refiere a la meta general.

Los productos se deben escribir en

secuencia junto con sus actividades,
indicadores y metas
correspondientes. No es necesario
mencionar todas las actividades.
Ofrezca una descripcin que resuma
las actividades principales
(ejemplos).

138

proporcionado, aceptacin de
becarios, otros
ii) Pas A (monto total: yenes)
Gastos del personal de la contraparte,
arreglos para las instalaciones y
terrenos, otros
(4) Factores externos (suposiciones
importantes que se espera que se
realicen).

5.
Resultados
de la
Evaluacin
de acuerdo
con los
Cinco
Criterios de
Evaluacin

6.
Consideracin de los
problemas
de Pobreza,
Gnero y
Medio
Ambiente
7. Lecciones
Aprendidas
de
Experiencias
Pasadas

8. Plan de
Evaluacin
para el
Futuro

i) Condiciones previas
ii) Suposiciones importantes para alcanzar
el producto
iii) Suposiciones importantes para alcanzar
el objetivo del proyecto
iv) Suposiciones importantes para alcanzar
la meta general
Resume la interpretacin de los datos, el
juicio sobre el valor del proyecto y los
factores que limitan cada uno de los
Cinco Criterios de Evaluacin.

(1)
(2)
(3)
(4)
(5)

[Temas Principales]
Pertinencia
Efectividad
Eficiencia
Impacto
Sustentabilidad

Describa claramente las bases y

razones de cada evaluacin. Sin
embargo, los resultados del anlisis
y los datos se deben anexar por
separado.

Los temas a recordar cuando se

implemente el proyecto se deben
escribir en palabras concretas junto
con sus bases. stos tambin sern
importantes como temas de
seguimiento una vez que empiece el
proyecto.

Menciona los impactos negativos tales

como pobreza, gnero, medio ambiente,
guerra y paz, etc. y la estrategia del
proyecto para abordarlos.

Menciona lo qu se aprendi de los

resultados de la evaluacin de otros
proyectos similares y cmo se reflejaron
para mejorar el proyecto.

Escriba el calendario para la evaluacin

intermedia, la evaluacin final y la
evaluacin ex-post.

z Utilice los informes de la evaluacin

(recomendaciones, lecciones
aprendidas) anteriores o del
conocimiento del sitio de la JICA, etc.
como fuentes para obtener
informacin sobre las lecciones
aprendidas a partir de objetos
similares.
z Si hay algn comentario especial en
relacin con el plan de evaluacin,
escrbalo aqu (por ejemplo, la
implementacin de un estudio de base
despus del inicio del proyecto, etc.).

139

Caso 1: Resumen de la Evaluacin Ex-ante

Proyecto para Reforzar la Educacin Secundaria
en materia de Ciencias y Matemticas en el Pas A
(Este ejemplo se basa en un caso de evaluacin ex-ante real, pero para este documento se hicieron
algunos cambios y adiciones.)

1.

Ttulo del Proyecto

Proyecto para Reforzar la Educacin Secundaria en materia de Ciencias y
Matemticas en el Pas A

2.

Descripcin General de la Cooperacin

(1)

Descripcin general del objetivo y productos del proyecto

Establecer un sistema para entrenar a becarios en la regin Occidental (cinco
prefecturas), implementar capacitacin de estos becarios a los maestros en servicio, y
establecer un centro de recursos para mejorar la educacin en materia de ciencias y
matemticas en el pas A.
(2)
Perodo de Cooperacin:
(3)
Monto total de la cooperacin (Japn)
Septiembre, 2003 a Agosto, 2008 (5 aos)
Yenes
(4)

Agencia de Implementacin del Pas

Socio

(5)

Agencia de Cooperacin en Japn

Universidad B
Ministerio de Educacin, universidad para la
Descripcin de la seriedad del
capacitacin de maestros de ciencias y
problema. ste es un punto de vista
matemticas (centro de capacitacin central
para evaluar la importancia
y centros de capacitacin del distrito)
(6)
Grupo Objetivo y Beneficiarios
Aproximadamente 3,000 maestros de la regin Occidental (cinco prefecturas)
(aproximadamente 650 escuelas secundarias)
(Mapa anexo - se omiti aqu.)
3.
(1)

Necesidad y posicin de la cooperacin

Situacin actual y problemas
Desde que el pas A obtuvo su libertad en 1963, ha estado trabajando en el desarrollo
educativo a nivel nacional. Para aumentar rpidamente los recursos humanos, se
estableci la expansin y mejoramiento de las instituciones educativas como poltica de
alta prioridad y ms del 30% del presupuesto del proyecto se asign a la educacin. Sin
embargo, la situacin ahora es que se seal una degradacin importante de la calidad,
sobre todo en las reas de ciencias y matemticas a causa de la escasez de libros de
texto, materiales de enseanza, instituciones y la falta de capacidad de los maestros de
ciencias y matemticas. En los antecedentes hay pilas de planes de estudio y problemas
financieros. Para un pas que busca industrializarse, el mejoramiento de la educacin en
materia de ciencias y matemticas es un tema apremiante. Especialmente en las regiones
Occidentales (cinco prefecturas), las habilidades acadmicas de los alumnos y la
capacidad de los maestros son ms bajas que en el resto del pas, y se necesita con
urgencia realizar esfuerzos para mejorarlas.
Una razn para la seleccin del enfoque (capacitacin
de maestros)

(2)

Razn para la seleccin

de la regin objetivo

Posicin dentro de las polticas nacionales del gobierno del pas A

El mejoramiento de la educacin secundaria en materia de ciencias y educacin
es una poltica principal del plan de desarrollo nacional del pas A. El pas A est

140

tratando de mejorar la calidad tanto desde el aspecto material como humano,

preparando instalaciones y material de enseanza o expandiendo la capacitacin
de los maestros. Especficamente en cuanto a la capacitacin de los maestros, el
plan maestro de educacin y capacitacin en este pas propone capacitar a los
maestros que estn actualmente en servicio. El documento de estrategia para la
lucha contra la pobreza (PRSP) tambin contiene esta propuesta como parte del
desarrollo de recursos humanos.
(3)

Posicin dentro de la poltica japonesa de asistencia para el extranjero y del plan de la

JICA para la implementacin de programas por pas
En Japn, el marco de trabajo general de la AOD y sus polticas a mediano plazo
estn dando una prioridad alta a la asistencia para la capacitacin de recursos
humanos, sobre todo en el campo de educacin en los pases en vas de
desarrollo para reducir la pobreza y promover el desarrollo de la sociedad. El plan
de asistencia por pas para el pas A tambin coloca al desarrollo de la educacin
y de recursos humanos como un rea central. Este proyecto es adems parte del
programa para fortalecer la educacin en materia de ciencias y matemticas en los
planes de implementacin de programas por pas de la JICA.

4. Marco de Trabajo de la Cooperacin

(1)
Objetivo de la Cooperacin (Efectos Directos)
i) Objetivos a alcanzar al final de la cooperacin (Propsito del Proyecto)
Es necesario fortalecer la educacin secundaria en materia de ciencias y
matemticas en la regin Occidental.
<Indicadores/metas> El grado de cambio en la instruccin se evaluar mediante la calificacin
de los siguientes puntos de vista, con base en los mtodos de seguimiento y
evaluacin* desarrollados en el proyecto.
z Mejoramiento del comportamiento de los maestros (promedio de ms de 3 en una
evaluacin de 0 a 4).
z Mejoramiento de los mtodos de enseanza (promedio de ms de 3 en una evaluacin
de 0 a 4).
z Mejoramiento del comportamiento de los estudiantes (promedio de ms de 3 en una
evaluacin de 0 a 4).
Indicators are written concretely,
together with targets

* La fuerza de trabajo de seguimiento y evaluacin desarrollar los mtodos de

seguimiento y evaluacin que se van a establecer en el proyecto. Los indicadores
principales para medir el resultado y el efecto del proyecto sern las habilidades
docentes, el grado de cambio en la instruccin y la capacidad de entrenamiento. Se
crearn listas de verificacin detalladas para cada uno de estos indicadores principales.
ii) Objetivos que se espera alcanzar despus del final de la cooperacin (Meta General):
Las habilidades en materia de ciencias y matemticas de los jvenes en el rea de
la capital deben mejorar.
<Indicadores/metas> Para el 2010, la calificacin promedio en los exmenes de ciencias y
matemticas de los jvenes en el rea de la capital debe alcanzar el
promedio nacional.
(2)
Productos y Actividades
i) Producto: En el centro de capacitacin central, los instructores adquieren sus habilidades.
Actividades: Implementacin de capacitacin para los instructores de los maestros
<Indicadores/metas> Indicador de la habilidad para capacitar (promedio de por lo menos 3
en una evaluacin de cinco pasos del 0 al 4), 200 personas como

141

personal de capacitacin, indicador de habilidades mejoradas del

personal de capacitacin (por lo menos dos temas ms despus de la
implementacin que antes de ella)
ii) Producto: En los centros de capacitacin del distrito se establece un sistema de reentrenamiento para los maestros en servicio.
Actividad: Implementar un re-entrenamiento para los maestros en servicio impartido por
instructores de maestros de los centros de capacitacin del distrito.
<Indicadores/metas> 300 asistentes en total, indicador de la habilidad de entrenamiento
(por lo menos dos temas ms despus de la implementacin que antes
de ella)
iii) Producto: Se refuerza el papel de los centros de capacitacin como centros de recursos.
Actividad: Desarrollar material docente, reorganizar y distribuir literatura
<Indicadores/metas> Desarrollo de 30 tipos de material docente en el centro de
capacitacin central, publicacin de por lo menos 20 documentos
nuevos en cada centro de capacitacin (cinco lugares),
establecimiento de un sistema de distribucin a las escuelas
secundarias objetivo.
(3)

Insumos

i) Japn (monto total: aproximadamente

yenes)
z Envo de expertos
Largo plazo: 12 (asesor principal, educacin en materia de fsica, qumica, biologa,
matemticas, evaluacin educativa, servicios clericales y coordinacin)
Corto plazo: planeado para las siguientes reas.
Administracin educativa del gobierno, evaluacin educativa, educacin en materia
de fsica, matemticas, qumica, biologa, ciencias
z Equipo proporcionado (monto total: aproximadamente
yenes)
Equipo para producir el material docente, equipo para experimentos, equipo
audiovisual, libros, autos, etc.
z Aceptacin de becarios (monto total aproximadamente
yenes)
Alrededor de 8 personas al ao
ii) Pas A (monto total: aproximadamente
yenes)
z Gastos del personal de la contraparte (30 personas)
z Arreglos para las instalaciones y terrenos, etc.
Salones de capacitacin y dormitorio en el centro de capacitacin central, oficina
dentro del ministerio de educacin, centros de capacitacin de distrito
z Gastos de las actividades del proyecto (aproximadamente yenes al ao)
(4)

Factores externos (suposiciones importantes que deben concretarse)

i) Condiciones previas
(nada en particular)
ii) Suposiciones importantes para alcanzar el producto
z 80% del personal de capacitacin entrenado continuar trabajando en la
capacitacin
z
z

iii) Suposiciones importantes para alcanzar el objetivo del proyecto

Continua el apoyo de las direcciones de educacin regionales
Los maestros entrenados seguirn trabajando en la educacin en materia de
ciencias y matemticas

iv) Suposiciones importantes para alcanzar la meta general

z Mantenimiento adecuado a las instalaciones y equipo para la educacin en materia
de ciencias y matemticas

142

5. Resultados de la Evaluacin con base en los Cinco Criterios

de Evaluacin
Como resultado de una evaluacin desde los puntos de vista que se mencionan a
continuacin, juzgamos que es apropiado implementar la cooperacin.
(1)

Pertinencia
Este proyecto se debe considerar de alta pertinencia por las siguientes razones:

z Como se mencion en "3. Necesidad y posicin de la cooperacin en esta Tabla de

Evaluacin Ex-ante, el plan de desarrollo nacional del pas A, el plan de desarrollo de la
educacin, el PRSP, etc., indican claramente que es indispensable fortalecer la
educacin en materia de ciencias y matemticas para elevar los recursos humanos y
alcanzar la industrializacin. Tambin existe un compromiso financiero identificable de
parte del gobierno.

z En cuanto a la educacin secundaria en el pas A, el nmero de maestros en relacin

con el nmero de estudiantes es suficiente, incluso al grado que el Banco Mundial y el
FMI recomendaron la reduccin de maestros para reducir el gasto pblico. En el anlisis
de problemas, el aspecto del equipo e instalaciones estuvo incluso mejor. No obstante,
se indic que los problemas de las habilidades y el comportamiento de los maestros son
un asunto serio, y juzgamos que el enfoque de este proyecto, que adopta la estrategia
de volver a capacitar a los maestros en servicio, es apropiado.
z El plan de asistencia por pas para el pas A tambin coloca el desarrollo de la educacin
y los recursos humanos como un tema central, y sobre todo el fortalecimiento de la
educacin en materia de ciencias y matemticas como una cuestin de desarrollo.

z Las regiones Occidentales son el objetivo de este proyecto porque aqu se puede
observar un deterioro de la educacin en comparacin con el resto del pas. La prioridad
y necesidad son extremadamente altas, y es muy adecuado haber seleccionado esta
regin como objetivo.
z En esta rea, podemos aprovechar las experiencias de Japn en el pasado con el
proceso de desarrollo educativo, esta cooperacin es de alta pertinencia.
(2)

Efectividad
Este proyecto promete ser efectivo por las siguientes razones:

z El grupo objetivo consiste de aproximadamente 3,000 maestros en servicio y el

mejoramiento de sus habilidades docentes se estableci como un indicador. Adems, se
llev a cabo el seguimiento para obtener este indicador, y el objetivo del proyecto es
claro.

z Para producir un efecto, es necesario mejorar la capacidad de entrenamiento de los

centros de capacitacin a nivel central y regional. Ya se asignaron 30 miembros del
personal al centro de capacitacin central, y tambin se cre una lista de 200 maestros
que son candidatos para el entrenamiento. Tambin se plane un seguimiento a travs
de un indicador para la capacidad de entrenamiento (indicador de aumento de la
capacidad). ste y otros esfuerzos confiables prometen conducir a la implementacin
efectiva del proyecto.
z Es muy probable que se materialice una de las suposiciones importantes - el apoyo
continuo de los consejos de educacin regionales - porque el compromiso en este

143

momento es alto.

z A partir de los puntos arriba mencionados, consideramos que se puede lograr una
instruccin de alta calidad para los maestros actualmente en servicio mediante tres
medios: la creacin de un sistema de capacitacin (concentrado en el centro de
capacitacin central), la implementacin de la capacitacin y el mejoramiento del centro
de recursos.
(3)

Eficiencia
Este proyecto promete ser eficiente por las siguientes razones:

z Los expertos de largo plazo ya estn arreglados. La mayora de los expertos de largo
plazo tienen experiencia como Voluntarios Japoneses para la Cooperacin con el
Extranjero y se puede esperar que comprendan la situacin real en el pas A y trabajar
de manera eficiente en las actividades de campo.
z Se planea utilizar las instalaciones y equipo existentes en los centros de capacitacin lo
ms que se pueda, y las copiadoras, computadoras personales y equipo para los
experimentos de ciencias y matemticas incluidos en el plan se obtendrn dentro del pas
A, para que el costo del equipo y material (
yenes) sea bajo en comparacin con
proyectos similares.

z Al capacitar a 200 instructores de maestros, se pueden capacitar 3,000 maestros y

probablemente alrededor de 200,000 alumnos se beneficiarn con ello. La relacin
costo-beneficio de este proyecto tambin es alta comparada con otros proyectos
similares (educacin en materia de ciencias y matemticas).

z En este momento, una suposicin importante es la estabilidad de la fuerza de trabajo de

(4)

los instructores, pero tambin se est considerando un sistema de calificacin para

instructores, y es altamente probable que 80% de los instructores conserven su puesto.
Impacto
Se espera que el impacto de este proyecto sea el siguiente:

z La meta general para mejorar las habilidades en materia de ciencias y matemticas de

la juventud promete alcanzarse dentro de los tres a cinco aos posteriores a la
terminacin del proyecto mediante la recapacitacin adecuada de los maestros que
estn actualmente en servicio. El riesgo radica en si es posible preparar el equipo
experimental y las instalaciones necesarias para la educacin en materia de ciencias y
matemticas para cada escuela objetivo. Actualmente se estn llevando a cabo los
planes para obtener el equipo relacionado como parte del programa de fortalecimiento
de la educacin en materia de ciencias y matemticas (tema de desarrollo) y
probablemente existirn efectos sinrgicos con esto.
z Mediante la creacin de un sistema de capacitacin en este proyecto, existe la
posibilidad de entrenar maestros a nivel nacional con el mismo tipo de mecanismo y
podemos esperar que la universidad para la capacitacin de maestros tome la iniciativa
de expandir este sistema a otras reas ms all de las ciencias y las matemticas
(impacto sobre las organizaciones y sistemas).

z Un impacto negativo podra ser el aumento de la brecha educativa entre las regiones
Occidentales y las otras regiones. Creemos que para asegurar que los resultados de
este proyecto se expandan a escala nacional, se requiere el apoyo continuo del
ministerio de educacin y la coordinacin con otros donantes tales como el Banco
Mundial.
(5)

Sustentabilidad

144

Como se muestra a continuacin, el gobierno socio promete continuar con los

efectos de este proyecto cuando termine el mismo.
i) Asistencia poltica y financiera
Este proyecto est ubicado como parte del desarrollo de recursos humanos en el
PRSP. Capacita continuamente a los maestros mediante la creacin de un sistema
de capacitacin a nivel central y regional. El compromiso de apoyar las polticas y
sistemas es alto. El plan de desarrollo de la educacin del pas A menciona muy
claro el fortalecimiento de la educacin en materia de ciencias y matemticas, para
que tambin se pueda contar con que el presupuesto quede continuamente
asegurado.
ii) Establecimiento de un sistema nacional de instructores de capacitacin
Es muy importante como incentivo dar a los instructores de los maestros una
calificacin. Esto podra convertirse en un medio no slo para asegurar la
estabilidad de recursos de capacitacin, sino tambin para mantener la calidad de
la capacitacin en el futuro. El pas A estableci que en estos momentos estn
considerando un sistema como ste. Necesitamos ayudar a la introduccin de este
sistema para asegurar las sustentabilidad de este proyecto.
iii) Estrategia participativa
Para asegurar la sustentabilidad, es importante que las partes del pas socio
tengan un sentimiento de conciencia de la iniciativa propia en relacin con este
proyecto. En este proyecto, planeamos adoptar una estrategia que incluya a las
partes de la educacin secundaria de cada regin (la oficinas de educacin
regionales, los directores de las escuelas, maestros, estudiantes y padres)
mediante la participacin para desarrollar una organizacin/sistema de
capacitacin y un plan de capacitacin que est en sincrona con la situacin
real del pas A. Por ejemplo, los instructores de los maestros se eligen por la
recomendacin de los consejos regionales de educacin y, para la operacin y
manejo de la capacitacin, se establecer un comit de organizacin de la
capacitacin que consta de miembros que representan las posiciones de los
centros de capacitacin central y de distrito. Adems incluiremos un
mecanismo para aadir las opiniones de las escuelas en las regiones y llevar a
cabo conferencias regulares. Este tipo de esfuerzos prometen aumentar el
sentido de conciencia de la iniciativa propia, y podemos esperar que se
conviertan en la base de la capacitacin continua y la expansin a nivel
nacional una vez que el proyecto haya terminado.

6. Consideracin de los problemas de Pobreza, Gnero y Medio Ambiente

En consideracin al gnero, el proyecto implementa lo siguiente: i) consideracin del
equilibrio de gneros en la recomendacin de instructores de maestros, y ii) tomar
estadsticas de los gneros de los beneficiarios finales - los estudiantes - y acumularlos
como datos del proyecto.

7. Lecciones Aprendidas de Experiencias Pasadas

Existencia de proyectos similares: s
En proyectos similares pasados, tanto el donante como el lado receptor tenan el punto de
vista estereotipado que la causa del deterioro de la educacin en materia de ciencias y
matemticas era la escasez de instalaciones y equipo educativos. Sin embargo, el
mejoramiento de nicamente las instalaciones y equipo, est vagamente sustentado y una
leccin aprendida es que los aspectos del manejo escolar y las habilidades de los
maestros tambin son importantes. En el estudio de base al inicio del proyecto, se hicieron
investigaciones no slo en relacin con las instalaciones y el equipo. Por el contrario, la
investigacin tambin se enfoc en la actitud de los maestros hacia la instruccin y en los
mtodos de instruccin y el hecho que se descubri es que existen problemas importantes
del lado humano que influyen en cmo se establece la estrategia de este proyecto.

145

8. Plan de Evaluacin para el Futuro

z Evaluacin Intermedia: alrededor de febrero, 2006
z Evaluacin Final: alrededor de febrero, 2008
z Evaluacin Ex-post: planeada para implementarse alrededor de tres aos despus que
la cooperacin termine

146

2. Puntos del Seguimiento y de los Estudios de Evaluacin Intermedia

(1) Propsito y Concepto Bsico del Seguimiento
El seguimiento es un trabajo de rutina interno del proyecto. Una vez que empieza un
proyecto, el seguimiento verifica si las actividades se realizan y si los productos se
obtienen segn lo planeado, y hace ajustes si es necesario. La supervisin es un pilar del
trabajo de gestin, gestin de los objetivos establecidos inicialmente en el plan y revisin
de las actividades y productos en respuesta a los diversos cambios durante el proyecto
de implementacin.
Para realizar el seguimiento de manera adecuada es necesario establecer un sistema
organizativo dentro del proyecto en la etapa de planeacin. Antes de empezar el proyecto
es necesario conducir consideraciones suficientes sobre quin le da seguimiento a qu y
cundo, y el tipo de proceso de toma de decisiones que se utilizar para que los
resultados se reflejen en ajustes, etc. El seguimiento verifica sobre todo el producto,
actividades, insumos y las suposiciones importantes del marco lgico y lleva un registro
cuidadoso de la situacin real del proceso de implementacin que no se menciona en el
marco lgico. El seguimiento ayuda a considerar si las actividades se deben continuar
segn lo planeado, si existe una probabilidad alta de concretar las suposiciones
importantes y si hay prospectos de alcanzar los objetivos. Al hacerlo, los objetivos,
indicadores de producto y metas establecidas en el estudio de evaluacin ex-ante se
convierten en la base de comparacin con el plan. Los temas a recordar escritos en la
Tabla de Evaluacin Ex-ante deben seguir siendo un enfoque del seguimiento. La tabla 32-4 ofrece un resumen de los temas de seguimiento generales.

147

Tabla 3-2-4 Puntos de Verificacin Principales del Seguimiento

Tema de

Puntos de Verificacin Principales del Seguimiento

Seguimiento
Funcionamiento

Cmo es el insumo real?

Hasta qu grado se alcanz el producto?
El producto se gener segn lo planeado?
Las suposiciones importantes de las actividades hacia el producto son

Generacin del
producto

verdaderas?
Los temas a recordar sealados en la evaluacin ex-ante presentan algn
problema?
Qu factor dificulta la generacin del producto?
Las actividades se implementaron segn lo planeado?
Hay algn problema en el mtodo de transferencia de tecnologa?
Si las actividades no son como se planean, qu factor las dificulta?
Se satisficieron las condiciones previas?
Hay suficiente comunicacin dentro del proyecto?
Hay suficiente comunicacin entre la Oficina Central de la JICA, la oficina

Actividades y el
proceso de
implementacin

local y el proyecto? La Oficina Central de la JICA y la oficina local adoptan

medidas adecuadas y brindan asesora pertinente para la operacin y la
gestin?
El proyecto tiene un buen reconocimiento en la agencia de implementacin o
contraparte? Hay un fuerte sentido de conciencia de la iniciativa propia?
El grado de participacin del grupo objetivo y las organizaciones
relacionadas con el proyecto es alto? El proyecto est altamente
reconocido?
Los temas a recordar sealados en la evaluacin ex-ante presentan algn
problema?
Los insumos se realizan como se plane?
Hay algn problema en la calidad, cantidad y tiempos del insumo?

Insumos

El insumo se pone a trabajar lo suficiente para generar el producto?

Si hay algn problema, cul es el factor que obstaculiza?
Los temas a recordar sealados en la evaluacin ex-ante presentan algn
problema?
(Considerado con base en los resultados del seguimiento de los
temas anteriores)
Es posible lograr el objetivo del proyecto en la situacin actual (cambios en

Necesidad de ajustes

el grupo o sociedad objetivo)?

Es necesario ajustar los insumos, actividades y productos?
Hay alguna nueva suposicin importante que influya en el proyecto?
Qu puntos se deben recordar para el futuro?

148

(2) Propsito y Puntos de Vista de la Evaluacin en los estudios de Evaluacin

Intermedios
Las evaluaciones intermedias se realizan a la mitad de un proyecto (en proyectos de
cinco aos, cuando han pasado alrededor de dos aos y medio). Su propsito es verificar
si el proyecto se implement sin problemas y est en camino de producir efectos.
Adems, las evaluaciones intermedias contribuyen al mejoramiento del contenido del
proyecto. Esta evaluacin se conduce a la mitad del perodo de un proyecto y se basa en
la informacin del producto y el proceso de implementacin hasta ese momento.
Concretamente hablando, las evaluaciones intermedias se centran en la pertinencia y la
eficiencia, junto con los factores que dificultan o contribuyen. Tambin se debe llevar a
cabo un anlisis de esos factores que dificultan o contribuyen. En cuanto a cmo se estn
mostrando la efectividad y los impactos, se examinan las tendencias futuras y
factibilidades con base en el resultado del producto y el estado de actividad. La
sustentabilidad se examina con base en los prospectos. Sobre todo en lo que respecta a
la efectividad, se requieren estudios profundos para ver si hay posibilidades de poder
alcanzar la efectividad en la mitad restante del proyecto. (Consulte la tabla 3-2-1.) Si
empiezan a aparecer impactos negativos en el transcurso del proyecto, se modifica la
estrategia del mismo con base en un anlisis de sus causas.
La evaluacin intermedia brinda una muy buena oportunidad de revisar el proyecto.
Incluso en el caso de proyectos que se planearon durante la evaluacin ex-ante, con
frecuencia las condiciones sociales reales y varios factores internos y externos
necesarios para el xito del proyecto se perciben mejor una vez que empiezan las
actividades. Con base en esto, es importante verificar una vez ms si la estrategia del
proyecto est bien como se plane (confirmacin de la pertinencia), si se debe aadir
algo a las actividades para producir un efecto, o si el calendario y la calidad de los
insumos son suficientes. Tambin es importante implementar medidas de mejoramiento
concreto y dar recomendaciones. Si el marco lgico no se compara lo suficiente entre las
partes, o la estrategia o actividades son insuficientes, o el objetivo no es claro, se debe
aprovechar al mximo la evaluacin intermedia para realizar una revisin a fondo. Como
resultado de esas revisiones, muchos proyectos se recuperan e incluso producen efectos
que merecen mencin especial. Tambin es importante que la evaluacin intermedia
detiene errores en la implementacin del proyecto (consulte la Falla de Implementacin:
1-2-2).
Con base en los resultados de la evaluacin intermedia, el proyecto y la divisin de
implementacin de la JICA - los principales receptores de la retroalimentacin - trabajan
en una revisin del proyecto, incluyendo una revisin del marco lgico.

149

Tabla 3-2-5 Principales Puntos de Verificacin en los Estudios de

Evaluacin Intermedia (los puntos que se muestran con fondo gris se examinan con
base en la situacin y logros reales)
Puntos de
Evaluacin

Puntos de Verificacin de la Evaluacin

Los insumos se implementaron como se plane? (en comparacin con

Verificacin
de los logros

Verificacin
del proceso
de
implementacin

los valores planeados)

El producto se gener segn lo planeado? (compare con las metas)

Hay posibilidades de alcanzar el objetivo del proyecto? (compare con
las metas)
Las actividades se implementaron segn lo planeado?
Hay algn problema en el mtodo de transferencia de tecnologa?
Hay algn problema en el sistema de gestin del proyecto (sistema de
seguimiento, proceso de toma de decisiones, funcin de la Oficina
Central y la oficina local* de la JICA?
El proyecto tiene un buen reconocimiento en la agencia de
implementacin y la contraparte?
Se asign una contraparte adecuada?
El grado de participacin del grupo objetivo y las organizaciones
relacionadas con el proyecto es alto? El proyecto est altamente
reconocido?
Se present algn otro problema durante el proceso de
implementacin del proyecto? Cul es la causa?
* Una pregunta para verificar la idoneidad de la capacidad de gestin
de la divisin de implementacin en la JICA y la oficina local. Por
ejemplo, la respuesta rpida y la asesora del seguimiento para los
ajustes durante la implementacin, comunicacin suficiente con el sitio
del proyecto, cooperacin con agencias relacionadas en Japn, etc.

<<Cinco Criterios de Evaluacin>>

Necesidad
El proyecto es consistente con las necesidades del pas, regin o
sociedad objetivo?
El proyecto es consistente con las necesidades del grupo objetivo?
Prioridad
El proyecto es consistente con la poltica de desarrollo del pas socio?
El proyecto es consistente con la poltica de asistencia para el
extranjero de Japn y del plan de la JICA para la implementacin de
programas por pas?
Sustentabilidad como un medio
El proyecto es adecuado como estrategia para producir un efecto con
respecto a los temas de desarrollo del campo y sector objetivo del pas
socio? (El enfoque y la regin objetivo del proyecto son adecuados?
Qu efectos de sinergia hay para brindar ayuda con la cooperacin de
Pertinencia
otros donantes?)
La seleccin del grupo objetivo es adecuada? (Meta, volumen,
distribucin de gneros, etc.)
Hay algn efecto de difusin ms all del grupo objetivo?
Los beneficios del efecto y la carga de los costos estn distribuidos
equilibradamente?
Japn tiene una ventaja tecnolgica? (Japn tiene conocimientos
(know-how) acumulados sobre la tecnologa objetivo? Es posible
aprovechar las experiencias de Japn? etc.)
Otros
Se ha presentado algn cambio en el entorno del proyecto
(poltica, sociedad, economa, etc.) desde que se realiz la
evaluacin ex-ante?

150

Efectividad
(Prospectos)

Pronstico de Logros del Objetivo del proyecto

Observando los resultados de los insumos y productos y la actividad,
es probable alcanzar el objetivo del proyecto?
Existe algn factor que obstaculice el logro del objetivo del proyecto?
Relaciones causales

Efectividad
El producto es suficiente para alcanzar el objetivo del proyecto?
(Prospectos) - En este momento, las suposiciones importantes del producto hacia el
objetivo del proyecto siguen siendo correctas? Es probable que las
continuacin
suposiciones importantes se concreten?

Nivel de logro del producto

El nivel de logro del producto es adecuado? (compare el resultado con

Eficiencia

las metas)
Hay factores que obstruyen el logro del producto?
Relaciones causales
Las actividades fueron suficientes para producir el producto?
Los insumos fueron suficientes para producir el producto?
Las suposiciones importantes de las actividades al producto tambin
son correctas en este momento? Hay alguna influencia a partir de las
suposiciones importantes?
Momento oportuno
Se realizaron los insumos en cantidad y calidad adecuadas en el
momento adecuado para conducir las actividades segn lo planeado?
Se est implementando?
Costo
El producto justifica el costo que se va a invertir si se compara con
proyectos similares (comparacin con el costo total o los costos unitarios
de proyectos similares de la JICA y otros donantes o con proyectos
similares realizados por el pas en cuestin)? (Haba algn medio
alternativo para alcanzar el mismo producto a menor costo? Fue
posible alcanzar una mayor eficiencia por el mismo costo?)
Hay prospectos de alcanzar el objetivo del proyecto que justifique el
insumo si se compara con proyectos similares (comparacin con el
costo total o los costos unitarios de proyectos similares de la JICA y
otros donantes o con proyectos similares realizados por el pas en
cuestin?). (Hay algn medio alternativo para obtener los mismos
resultados a menor costo? Es posible alcanzar un nivel de logro ms
alto con el mismo costo?)

151

Prediccin del logro de la meta general

Observando los resultados de los insumos y productos y el estado de

Impacto
(Prospectos)
* Si se pueden
observar impactos
negativos, examine
los factores con
base en la
situacin real y
revise el proyecto.

actividad, hay posibilidades de producir la meta general como un efecto

del proyecto? (Es posible verificar el efecto en la evaluacin ex-post?)
Es posible que el logro de la meta general tenga un impacto sobre el
plan de desarrollo del pas socio?
Hay factores que obstruyen el logro de la meta general?
Relaciones causales
La meta general y el propsito del proyecto son consistentes?
Las suposiciones importantes del objetivo del proyecto hacia la meta
general tambin son correctas en este momento? Existe una
posibilidad alta que las suposiciones importantes sean verdad?
Efectos de difusin
Se asume que hay algn efecto o influencia ms all de la meta
general? Se estn tomando medidas para contrarrestar influencias
especialmente negativas?
* Influencias sobre el establecimiento de polticas y sobre la
preparacin de leyes, sistemas, normas y similares
* Influencias sobre los aspectos sociales y culturales tales como
gnero, derechos humanos, ricos y pobres
* Influencia sobre la proteccin ambiental
* Influencia derivada de cambios tecnolgicos
* Influencias econmicas sobre la sociedad objetivo, las partes
del proyecto, los beneficiarios, etc.
Existen diferentes influencias positivas y negativas debido a las
diferencias entre gneros, grupos tnicos, o estratos sociales?
Hay algn otro impacto negativo? Qu medidas se han
tomado para eliminarlos?
Polticas y sistemas
La poltica de asistencia continuar an cuando termine la
cooperacin?
Los reglamentos y sistemas legales pertinentes estn preparados?
Hay planes para su preparacin?
En el caso de los proyectos dirigidos a sitios piloto, se puede asegurar
que posteriormente se realizarn esfuerzos para ayudar a difundirlos?
Aspectos organizativos y financieros

Se tiene la capacidad organizativa suficiente para implementar

Sustentabilidad
(Prospectos)
* Es importante
entender la
sustentabilidad
antes de llevar a
cabo la evaluacin
ya que puede
diferir entre
proyectos

actividades que produzcan efectos an cuando termine la cooperacin?

(Asignacin de recursos humanos, proceso de toma de decisiones, etc.)
Las agencias de implementacin tienen un sentido de conciencia de la
iniciativa propia suficientemente asegurado?
El presupuesto (incluyendo los gastos de operacin) est asegurado?
Se han tomado medidas presupuestarias suficientes del lado del otro
pas?
Es probable que aumente el presupuesto en el futuro mediante la
implementacin del proyecto? Las medidas para asegurar los
presupuestos son suficientes?
Tecnologa

Se estn aceptando los mtodos de transferencia de tecnologa

empleados en el proyecto? (Nivel de tecnologa, factores sociales y
convencionales, etc.)
El equipo se maneja y mantiene apropiadamente?
El proyecto contiene un mecanismo para su difusin?
Es probable que la agencia de implementacin pueda mantener el
mecanismo para su difusin?
En el caso de proyectos dirigidos a sitios piloto, la tecnologa es del
tipo que se puede difundir a otros sitios?
Sociedad, cultura y medio ambiente
Hay alguna posibilidad de inhibir un efecto sostenido por la falta de

152

consideracin hacia las mujeres, los pobres y los socialmente

vulnerables?
Hay alguna posibilidad de obstaculizar un efecto sostenido debido a la
falta de consideracin hacia el medio ambiente?
Otros
Hay algn otro factor que pudiera obstaculizar la
sustentabilidad?

Necesidad de
ajustes

(Considerado con base en los resultados de la evaluacin

anterior)
Es posible lograr el objetivo del proyecto en la situacin actual
(cambios en el grupo o sociedad objetivo)?
Es necesario ajustar los insumos, actividades y productos?
Hay alguna nueva suposicin importante que influya en el proyecto?
Cmo han cambiado los problemas, puntos, riesgos, etc. que se
sealaron en la evaluacin ex-ante?
Qu puntos se deben recordar para el futuro?

153

(3) Diseo de la Evaluacin Intermedia

Esta seccin explica los puntos para crear una tabla de evaluacin para la evaluacin
intermedia y presenta el ejemplo de un caso. Por favor consulte el Captulo 2, Parte II
para obtener una descripcin detallada de los mtodos de diseo de la evaluacin.

i) Temas al considerar las preguntas de evaluacin

Las partes involucradas determinan las preguntas de evaluacin tomando en cuenta cul
debe ser el enfoque de la evaluacin para que conduzcan a un mejoramiento del proyecto
y se obtengan recomendaciones y lecciones aprendidas tiles. En vista del propsito de
la evaluacin intermedia, las preguntas de la evaluacin se centran principalmente en si
el proyecto se implement segn lo planeado y cmo se debe revisar el proyecto para
evitar problemas. En principio, los Cinco Criterios de Evaluacin lo cubren todo, pero la
evaluacin se realiza con atencin en las preguntas de evaluacin especficas. (Consulte
el Caso 2.)

Caso 2: Preguntas de Evaluacin para la Evaluacin Intermedia

Proyecto para Mejorar la Vida de los Pobres en el Pas B
(Este ejemplo se basa en un caso de evaluacin ex-ante real, pero para este documento se hicieron
algunos cambios y adiciones.)

<Descripcin general del Proyecto>

El objetivo del proyecto evaluado es el mejoramiento de la capacidad para abordar los
problemas sociales (educacin, pobreza, higiene, etc.) a travs del poder de grupos de
actividades de los residentes de las regiones pobres objetivo. Para alcanzar este
propsito, el proyecto brinda rehabilitacin de los nios de la calle, asesora para los
residentes, capacitacin vocacional, oportunidades de educacin y otros.

<Preguntas de Evaluacin>
En esta encuesta, las partes involucradas acordaron de antemano realizar la evaluacin
con atencin a los siguientes temas. Las preguntas de evaluacin reflejan la creacin de
conciencia de los problemas de las partes involucradas y es clara la intencin de mejorar
el proyecto mediante la evaluacin intermedia.
z Qu problemas hay en el proceso de implementacin del proyecto (organizacin
administrativa, cambio de la percepcin y habilidades mejoradas del personal del
proyecto, etc.)?
z Una vez terminada la cooperacin, el proyecto se puede sustentar sin ayuda del
exterior? Qu puntos se deben atender en el futuro para esto?
Con base en estas preguntas de evaluacin, la evaluacin se realiz con atencin en
la eficiencia y prospectos de sustentabilidad. Para la pertinencia se utiliz
informacin que se pudo obtener al examinar los prospectos de sustentabilidad
(pertinencia del enfoque del proyecto, condicin de la asistencia poltica en el pas B).
Los otros criterios de evaluacin (prediccin de la efectividad e impacto) tambin se
cubrieron en menor grado.

154

ii) Temas al considerar criterios y mtodos de juicio

Para emitir un juicio del valor (es decir, evaluar) con base en los datos recopilados, se
necesita hacer una comparacin antes/despus, una comparacin del nivel de logros y
metas y un anlisis de las relaciones causales. El anlisis de las relaciones causales
cuestiona si realmente se produjo el efecto gracias a la implementacin del proyecto. En
una evaluacin intermedia, se examinan los prospectos del efecto, pero todava no se
pueden examinar las relaciones causales con base en los logros. Por ello, cuando se
juzgan principalmente los resultados e insumos, es vital una comparacin entre el sitio de
implementacin del proyecto y otro sitio (para el mtodo, consulte 2-2-2).

iii) Temas al considerar fuentes de informacin y mtodos de recopilacin de datos

En las evaluaciones antes de iniciar un proyecto, las personas a cargo del proyecto y la
oficina local deben - con base en la implementacin del proyecto hasta este momento haber captado el material que se puede utilizar como fuente de informacin importante,
as como identificar personas importantes que puedan convertirse en informantes clave.
El equipo de estudio de la evaluacin elige las fuentes de informacin adecuadas con
base en la informacin que proporcionan las personas a cargo.
Para las evaluaciones intermedias, es necesario utilizar los resultados del
seguimiento. Adems, se realizan entrevistas con las partes involucradas en el proyecto,
discusiones del grupo de control y encuestas por cuestionario, segn sea necesario. Los
resultados de la evaluacin intermedia deben conducir directamente a un mejoramiento
del proyecto vigente. Por ejemplo, se realizan talleres participativos para aislar los
problemas y se toman en consideracin medidas entre las partes involucradas como un
medio efectivo para comprender y luego utilizar las percepciones de las partes
involucradas. Los mtodos de recopilacin de datos, as como las caractersticas y puntos
a recordar se describen en la Parte II, Captulo 2 (2-2-1).

iv) Temas al crear la tabla de evaluacin

Por ltimo, el mtodo de evaluacin se resume en una tabla de evaluacin. La tabla
de evaluacin es una herramienta para pensar cmo se debe conducir el estudio de
evaluacin para que sea adecuado. En consecuencia, existe un formato bsico de la
tabla, pero se pueden aadir columnas segn sea necesario. La tabla de evaluacin se
utiliza para describir en detalle los datos que la evaluacin debe obtener, y tambin
identifica el mtodo de recopilacin de datos para poder visualizar lo que se debe hacer
en el estudio. En el proceso del estudio en s, tal vez no sea posible obtener algunos
datos como se esperaba, y puede haber algunos datos adems de los esperados. Si no
se pueden obtener datos, los evaluadores necesitan volver a trabajar en la tabla de
evaluacin y tomar en consideracin si existen otros medios factibles de verificacin y

155

cualquier dato til obtenido a partir de otros temas, o cualquier otro dato que se pueda
utilizar.

(4) Interpretacin y Utilizacin de los Datos de Estudio de la Evaluacin Intermedia

Tal como se explica en la Parte II, Captulo 3, evaluacin significa interpretar los datos
recopilados y analizados - no es suficiente si slo se enumeran los datos y se aaden los
resultados del cuestionario. Los estudios de evaluacin intermedia evalan un proyecto a
la mitad del mismo; viendo si el proyecto se implement segn lo planeado, cules son
las causas por las cuales las cosas salen mal, qu tiene xito y qu tipo de mejoras se
deben implementar. La interpretacin del estudio de evaluacin intermedia se basa en los
resultados del anlisis de los factores que dificultan y que contribuyen. Los resultados
tambin son una fuente de informacin importante para dirigir a los evaluadores hacia
recomendaciones y lecciones aprendidas concretas y prcticas.
La interpretacin consiste de evaluaciones de cada uno de los Cinco Criterios de
Evaluacin y una conclusin que es un anlisis cruzado de ellos. Si los factores que
dificultan y contribuyen no se analizan lo suficiente en la evaluacin de los Cinco Criterios
de Evaluacin, no habr una base para la conclusin y no se podrn presentar
recomendaciones y lecciones aprendidas concretas. Sobre todo, las evaluaciones
intermedias son una muy buena oportunidad para decidir sistemticamente las
revisiones del proyecto. La efectiva realizacin de la evaluacin intermedia tambin
afecta el xito o fracaso, posterior a ella, del proyecto. Para utilizar de manera efectiva los
resultados de la evaluacin intermedia se debe asegurar tiempo suficiente para consultas
profundas con las partes involucradas sobre los factores del proyecto que dificultan y las
medidas para resolverlos.
El siguiente paso, con base en los resultados de la interpretacin, es hacer un
borrador de las recomendaciones y lecciones aprendidas y crear un informe. Las
recomendaciones presentan medidas concretas, propuestas y asesora sobre el
mejoramiento del proyecto evaluado. Las lecciones aprendidas se identifican a partir de
las experiencias de proyectos aplicables, y se pueden generalizar o conceptualizar hasta
cierto grado. Tambin sirven como referencia de otros proyectos similares vigentes, o
para encontrar y formular proyectos en el futuro.
Como el propsito principal de la evaluacin intermedia es mejorar el proyecto
vigente, las recomendaciones dirigidas al proyecto respectivo constituyen una porcin
relativamente grande. Una vez que las divisiones del proyecto y de implementacin
reciben las recomendaciones, deben tomar acciones inmediatas para concretarlas. El
Caso 3 muestra un proyecto (Proyecto de educacin temprana en el pas C) donde los
resultados de la evaluacin intermedia se utilizaron concretamente, conduciendo a un
efecto que se produjo al final del proyecto.

156

Figura 3-2-3 Uso del Estudio de Evaluacin Intermedia: Ajustes del

Proyecto

Recopilacin de datos y anlisis en

el estudio de evaluacin intermedia

Es difcil extraer recomenda-

Interpretacin (Cinco Criterios de Evaluacin

y conclusin)
Juicio y anlisis tanto de los factores
limitantes como de los contribuyentes

Extraccin de las lecciones

aprendidas
Lecciones aprendidas generalizadas para proyectos similares

ciones concretas y lecciones

aprendidas si los factores limitantes y
los contribuyentes no se analizan.

Extraccin de recomendaciones
Direccin, consejo y propuestas de
mejoramiento con base principalmente en el factor limitante

Uso de las lecciones aprendidas

Ajustes con base en las recomendaciones

Uso en proyectos similares

Ajustes concretos mediante la divisin

de implementacin y el proyecto

Conducen a una
implementacin
efectiva del proyecto

157

Caso 3: Uso de los Resultados de la Evaluacin Intermedia

Proyecto de Fortalecimiento de la Educacin Temprana en el Pas C
(Este ejemplo se basa en un caso de evaluacin ex-ante real, pero para este documento se hicieron
algunos cambios y adiciones.)

z <Descripcin general del Proyecto>

Meta general: Es necesario mejorar la calidad de los servicios de educacin temprana en el
pas C.
Objetivo del proyecto: Es necesario mejorar la calidad de la educacin temprana en las
escuelas objetivo del proyecto (6 escuelas).
Producto: 1. Mejoramiento de la educacin de las maestras de educacin temprana
2. Estandarizacin de la educacin temprana
3. Fortalecimiento de la educacin temprana y cooperacin con las regiones vecinas
4. Mejoramiento del medio ambiente de la educacin temprana

z Conclusin de la Evaluacin Intermedia

El mejoramiento de la educacin temprana para el 2005 es un tema central en el plan de
salud de cinco aos del pas C. Este proyecto est ubicado como parte de este plan. Sin
embargo, al mismo tiempo el gobierno est promoviendo la privatizacin de instituciones
para la educacin temprana, lo que hace que el mejoramiento de la calidad de la
educacin temprana sea todava ms importante.

Tomando en cuenta estos

antecedentes, este proyecto es de alta pertinencia. Este proyecto se dirige a todas las
escuelas de educacin temprana en el pas y se considera como el camino ms corto
para mejorar la calidad en las guarderas a nivel nacional. Por lo tanto, la pertinencia del
enfoque tambin es alta.
Con la implementacin del proyecto, se est haciendo progreso en el establecimiento
de sistemas relativos a la educacin temprana - se introdujeron exmenes de certificacin
para la educacin temprana, la introduccin de reuniones regulares del Comit para
Reforzar la Cooperacin de la Prctica Educativa y Clnica y otros, y es claro que el
impacto es grande.
Por otro lado, es necesario reforzar el seguimiento y manejo del equipo para
considerar la sustentabilidad. En las condiciones actuales, el sistema de manejo es
insuficiente y todava hay preocupaciones en relacin con la sustentabilidad del efecto
despus del final de la cooperacin.

z Trabajo de revisin realizado por el proyecto en respuesta a los resultados de la

evaluacin intermedia
El proyecto desarroll las siguientes actividades nuevas adems de las actividades que
haba hasta ese momento con la intencin de fortalecer la sustentabilidad, que se seal

158

como un problema en la evaluacin intermedia. El nuevo producto y actividades se

aadieron al marco lgico.

(Producto y actividades principales aadidas)

Producto: 5

Promocin de actividades para la sustentabilidad.

Actividades: 5-1 Organizar comits y grupos de estudio para cada tema.

(Ocho comits y cuatro grupos de estudio para crear el borrador del plan de
estudio y de instruccin, libros de texto, material de aprendizaje en video,
educacin y cooperacin con las regiones vecinas, etc., se renen
regularmente y crean guas y manuales.)
5-2 Celebrar seminarios sobre cmo usar y manejar el equipo.
(Crear manuales de usuario para el equipo y celebrar seminarios en
intervalos regulares.)
5-3 Implementar el seguimiento
(Realizar un seguimiento cada medio ao con base en el marco lgico, y
revisar actividades o repetir las guas si es necesario.)

z Efectos de la adicin de actividades nuevas (extracto del informe de la

evaluacin final)
De acuerdo con los resultados de la evaluacin final del proyecto, se encontr que la adicin de
estas actividades tuvo los siguientes efectos.
Cada seis meses, se celebr un taller de seguimiento con base en el marco lgico. A travs de
este taller, la comunicacin continu sin problemas, igual que la gestin del proyecto - y el trabajo
en equipo se fortaleci. Como resultado, tanto los expertos como las contrapartes interactuaron
activamente entre s y trataron de resolver problemas.
La introduccin de un sistema de comit hizo posible la divulgacin de la tecnologa al campo
de la enseanza temprana como un todo y aument la sustentabilidad. El sistema de comit es
un mtodo para desarrollar actividades vibrantes a travs de la participacin de maestras
voluntarias de educacin temprana e ingenieros clnicos que asistieron a los seminarios
(alrededor de 80 personas regularmente) en comits organizados por temas. En entrevistas con
la contraparte, muchos apreciaron el hecho que a travs de este sistema se pudo obtener un
producto concreto al mismo tiempo que se intent diseminar la tecnologa y revitalizar la
comunicacin en todo el campo de la educacin temprana.
No hay problemas particulares en el mantenimiento y manejo del equipo. Consideramos que ste
es el resultado de crear manuales del equipo para el usuario y celebrar seminarios sobre cmo
usarlo y manejarlo (cuatro veces al ao) en respuesta a las recomendaciones de la evaluacin
intermedia.

159

3. Puntos Principales de los Estudios de Evaluacin Final

(1) Propsito y Puntos de Vista de la Evaluacin en los estudios de Evaluacin
Final
Las evaluaciones finales se realizan al trmino de la cooperacin; examinan a nivel
integral si se alcanz el objetivo del proyecto. En consecuencia, se examinan la
pertinencia, eficiencia y efectividad con base en la situacin y resultados reales. Tambin
se examinan el impacto y la sustentabilidad con base en los logros y el estado de
actividades hasta ese punto, y tambin en relacin con las tendencias futuras y la
factibilidad (consulte la tabla 3-2-1). Observe que aunque para fines del impacto y la
sustentabilidad la evaluacin final juzga los prospectos, la evaluacin debe identificar las
bases concretas de juicio para asegurarse que est fundamentado.
Los resultados de evaluacin de las evaluaciones finales se retroalimentan
principalmente a los departamentos operativos de la JICA y a las agencias
gubernamentales pertinentes y a la agencia de implementacin en el pas socio. Se
utilizan para juzgar si es adecuado terminar la cooperacin y para decidir el siguiente
paso. Si el pas socio continua el proyecto, los resultados tambin se utilizan como puntos
a recordar o lecciones aprendidas para proyectos similares.
Cuando se observan los prospectos para la efectividad y el impacto, los
evaluadores deben centrarse en las relaciones causales con el proyecto segn se
describe en la Parte II, Captulo 2 (2-2-2). Las evaluaciones realizadas despus que ha
pasado cierto tiempo a partir del inicio del proyecto deben considerar si el proyecto
provoc los efectos producidos. De ser posible, se debe presentar una evaluacin que
haga una comparacin con las regiones donde el proyecto no se ha implementado, y los
evaluadores necesitan recabar todos los datos que puedan explicar de manera
convincente que el producto y las actividades del proyecto provocaron el efecto.
La tabla 3-2-6 muestra una lista de los puntos de verificacin principales para las
evaluaciones finales.

160

Tabla 3-2-6 Principales Puntos de Verificacin en los Estudios de

Evaluacin Final (los puntos que se muestran con fondo gris se examinan con base
en la situacin y logros reales)
Puntos de
Evaluacin
Verificacin de
los logros

Verificacin del
proceso de
implementacin

Puntos de Verificacin de la Evaluacin

Se realiz el insumo de acuerdo con lo planeado? (en comparacin con los valores planeados)
El producto se gener segn lo planeado? (compare con las metas)
Se alcanzar el objetivo del proyecto? (compare con las metas)
Hay posibilidades de alcanzar la meta general? (compare con las metas)
Las actividades se implementaron segn lo planeado?
Hay algn problema en el mtodo de transferencia de tecnologa?
Hay algn problema en el sistema de gestin del proyecto (sistema de seguimiento, proceso de to
de decisiones, funcin de la Oficina Central y la oficina local* de la JICA?
El proyecto tiene un buen reconocimiento en la agencia de implementacin y la contraparte?
Se asign una contraparte adecuada?
El grado de participacin del grupo objetivo y las organizaciones relacionadas con el proyecto
alto? El proyecto est altamente reconocido?
Qu factores influyeron los problemas que se presentaron en el proceso de implementacin
proyecto y en el efecto producido?
* Una pregunta para verificar la idoneidad de la capacidad de gestin de la divisin de
implementacin en la JICA y la oficina local. Por ejemplo, la respuesta rpida y la asesora
del seguimiento para los ajustes durante la implementacin, comunicacin suficiente con e
sitio del proyecto, cooperacin con agencias relacionadas en Japn, etc.

<<Cinco Criterios de Evaluacin>>

Necesidad
El proyecto es consistente con las necesidades de la regin o sociedad objetivo?
El proyecto es consistente con las necesidades del grupo objetivo?
Prioridad
El proyecto es consistente con la poltica de desarrollo del pas socio?
El proyecto es consistente con la poltica de asistencia para el extranjero de Japn y del pl
de la JICA para la implementacin de programas por pas?
Pertinencia
Sustentabilidad como un medio
El proyecto es adecuado como estrategia para producir un efecto respecto a los temas
desarrollo del campo y sector objetivo del pas receptor? (Se seleccionaron apropiadamen
el enfoque del proyecto y la regin objetivo? Qu efectos sinrgicos se alcanzaron
cooperacin con otros donantes?
La seleccin del grupo objetivo es adecuada? (Meta, volumen, distribucin de gneros, et
Hubo algn efecto de difusin ms all del grupo objetivo?
Los beneficios del efecto y la carga de los costos se distribuyeron equilibradamente?
Japn tena una ventaja en tecnologa? (Japn tiene conocimientos (know-ho
acumulados sobre la tecnologa objetivo? Puede Japn compartir sus experiencias?, etc.)
Otros
Ha habido algn cambio en el medio del proyecto (poltica, economa, sociedad, etc.) des
que se hizo la evaluacin intermedia?

Logro del objetivo del proyecto

Se alcanz el objetivo del proyecto? (resultado del examen de logros)

Efectividad

Relaciones causales

El resultado fue suficiente para alcanzar el objetivo del proyecto? La lgica si el resulta
se produce, podremos alcanzar el objetivo del proyecto fue razonable?

Las suposiciones importantes del resultado hacia el objetivo del proyecto tambin s
161

Eficiencia

correctas en este momento? Hubo alguna influencia a partir de las suposicion

importantes?
Cules son los factores que dificultaron y promovieron el logro del objetivo del proyecto?
Generacin del resultado
La generacin del resultado es adecuado? (resultado del examen de logros)
Relaciones causales
Las actividades fueron suficientes para generar el resultado?
Las suposiciones importantes de las actividades al resultado tambin son correctas en es
momento? Hubo alguna influencia a partir de las suposiciones importantes?
Momento oportuno
Se realizaron los insumos en cantidad y calidad adecuadas en el momento adecuado pa
conducir las actividades?
Las actividades se implementaron en el momento oportuno?
Costo
El producto justifica el costo invertido en comparacin con proyectos similares (comparaci
del costo total o unitario de un proyecto similar realizado por la JICA u otros donantes en
pas?) (Hay algn medio alternativo para obtener el mismo producto a menor costo?
pudo lograr ms con el mismo costo?
El logro del objetivo del proyecto justifica el costo invertido en comparacin con proyect
similares (comparacin del costo total o unitario de un proyecto similar realizado por la JICA
otros donantes en el pas?) (Hay algn medio alternativo para obtener los mism
resultados a menor costo? Se pudo lograr ms con el mismo costo?)
Prospectos para el logro de la meta general

Observando los resultados de los insumos y productos y el estado de actividad, h

Impacto
(Prospecto)

posibilidades de alcanzar la meta general como un efecto del proyecto? (Es posible verific
el efecto en la evaluacin ex-post?)
Es posible que el logro de la meta general tenga un impacto sobre el plan de desarrollo d
pas socio?
Hay factores que obstruyeron el logro de la meta general?
Relaciones causales
Las metas generales y el objetivo son consistentes?
Las suposiciones importantes del objetivo del proyecto hacia la meta general tambin s
correctas en este momento? Existe una posibilidad alta que las suposiciones important
sean verdad?
Efectos de difusin
Hubo algn impacto positivo o negativo adems de la meta general?
* Influencias sobre el establecimiento de polticas y sobre la preparacin de leyes,
sistemas y normas
* Influencias sobre los aspectos sociales y culturales tales como gnero, derechos
humanos y pobreza
* Influencia sobre la proteccin ambiental
* Influencia derivada de cambios tecnolgicos
* Influencias econmicas sobre la sociedad objetivo, las partes del proyecto y los
beneficiarios
Hay impactos diferentes dependiendo de las diferencias entre gneros, grupos tnicos
clases (sobre todo impactos negativos)?
Hay alguna otra influencia negativa?

(Principales Puntos de Verificacin en los Estudios de Evaluacin Final - continuacin)

Puntos de
Puntos de Verificacin de la Evaluacin
Evaluacin
Polticas y sistemas
Sustentabili
La
poltica
de asistencia continuar an cuando termine la
dad
cooperacin?
(Prospectos)
Los reglamentos y sistemas legales pertinentes estn preparados?
Hay planes para su preparacin?
* Lo que es
En el caso de los proyectos dirigidos a sitios piloto, se cuenta con
importante para la
esfuerzos confiables para ayudar a difundirlos posteriormente?
sustentabilidad

162

depende de los
proyectos. El
estudio se debe
conducir despus
de entender esto.

Aspectos organizativos y financieros

Se tiene la capacidad organizativa suficiente para implementar

actividades que produzcan efectos incluso an termine la cooperacin?
(Asignacin de recursos humanos, proceso de toma de decisiones, etc.)
Las agencias de implementacin tienen un sentido de conciencia de la
iniciativa propia suficientemente asegurado?
El presupuesto (incluyendo los gastos de operacin) est asegurado?
Se han tomado medidas presupuestarias suficientes del lado del otro
pas?
Es probable que aumente el presupuesto en el futuro mediante la
implementacin del proyecto? Las medidas para asegurar los
presupuestos son suficientes?
Aspecto tcnico
Se estn aceptando los mtodos de transferencia de tecnologa
empleados en el proyecto? (Nivel de tecnologa, factores sociales y
convencionales, etc.)
El equipo se maneja y mantiene apropiadamente?
El proyecto contiene un mecanismo para su difusin?
Es probable que la agencia de implementacin pueda mantener el
mecanismo para su difusin?
En el caso del proyecto piloto, es posible transferir la tecnologa a otros
sitios?
Sociedad, cultura y medio ambiente
Hay alguna posibilidad de inhibir un efecto sostenido por la falta de
consideracin hacia las mujeres, los pobres y los socialmente
vulnerables?
Hay alguna posibilidad de obstaculizar un efecto sostenido debido a la
falta de consideracin hacia el medio ambiente?
Sustentabilidad en general
Considerando los aspectos anteriores como un todo, la sustentabilidad
es alta o baja?

163

(2) Diseo del Estudio de Evaluacin

Lo siguiente explica los puntos para crear una tabla de evaluacin para la evaluacin
final. Por favor consulte el Captulo 2, Parte II para obtener una descripcin detallada de
los mtodos de diseo de la evaluacin.

i) Temas al considerar las preguntas de evaluacin

Las preguntas de evaluacin en las evaluaciones finales varan desde Vali la pena
implementar el proyecto? y otras preguntas de alto nivel hasta preguntas concretas como
El mtodo de cooperacin tcnica que se introdujo en el proyecto fue efectivo? o El
efecto ser sustentable?. Las partes involucradas determinar las preguntas de
evaluacin en consideracin de cul debe ser el enfoque de la evaluacin para que
conduzcan a recomendaciones y lecciones aprendidas tiles. En principio, los Cinco
Criterios de Evaluacin cubren todo, pero la evaluacin se realiza con atencin en las
preguntas de evaluacin especficas. (Consulte el Caso 4)

ii) Temas al considerar criterios y mtodos de juicio

Al juzgar el valor del proyecto (es decir, evaluarlo) con base en los datos recopilados,
se necesita realizar una comparacin del nivel de logros y metas y un anlisis de las
relaciones causales (realmente se produjo el efecto gracias a la implementacin del
proyecto?). Sobre todo cuando se disea una evaluacin final para verificar la efectividad,
se hacen consideraciones sobre los mtodos que se deben utilizar para verificar las
relaciones causales dentro del proyecto. (Para ms informacin sobre el mtodo consulte
2-2-2.)

iii) Temas al considerar fuentes de informacin y mtodos de recopilacin de datos

En las evaluaciones antes de iniciar un proyecto, las personas a cargo del proyecto y
la oficina local deben - con base en la implementacin del proyecto hasta ahora - haber
captado el material importante que se puede utilizar como fuente de informacin y las
personas importantes que puedan convertirse en informantes clave.
El equipo de estudio de la evaluacin elige las fuentes de informacin adecuadas con
base en la informacin que proporcionan las personas a cargo. Tambin se deben
realizar encuestas de los beneficiarios finales (nivel de la meta general) o residentes
segn sea necesario. Los estudios que se realizan nicamente con respecto a las partes
involucradas harn que slo se observen fuentes limitadas de informacin a partir de
fuentes interesadas; por lo tanto, eso no es suficiente.
Los mtodos de recopilacin de datos, as como las caractersticas y puntos a
recordar se describen en la Parte II, Captulo 2 (2-2-1). Los evaluadores deben estudiar
cmo recopilar los datos eficientemente dentro del tiempo lmite. Primero que nada, se
debe observar detenidamente si ya existen materiales y datos que se puedan utilizar - y

164

stos se deben utilizar tanto como sea posible. Los evaluadores tambin deben
considerar cuidadosamente cmo recopilar los datos que todava no existen y que
necesitan investigarse. El proceso de crear preguntas y hojas de cuestionarios
adecuados tambin es extremadamente importante. Es necesario considerar muchos
puntos al crear cuestionarios - hacer un borrador de las preguntas desde el punto de vista
de la persona que responde para obtener opiniones sinceras, verificaciones cruzadas
sobre una percepcin mediante mltiples preguntas, o el uso de seleccin mltiple para
entender las tendencias a partir de datos cuantificados.*

iv) Temas al crear la tabla de evaluacin

El mtodo considerado desde los aspectos descritos arriba se resume finalmente en la
tabla de evaluacin. La tabla de evaluacin es una herramienta para considerar cmo se
debe realizar el estudio de evaluacin adecuadamente. En consecuencia, existe un
formato bsico de la tabla, pero se pueden aadir columnas segn sea necesario. La
tabla de evaluacin se utiliza para establecer en detalle los datos necesarios para la
evaluacin e identificar el mtodo de recopilacin de datos para poder visualizar lo que se
debe hacer en el estudio. En el proceso del estudio en s, tal vez no sea posible obtener
algunos datos como se esperaba, y puede haber algunos datos adems de los
esperados. Si no es posible obtener datos, los evaluadores pueden regresar a la tabla de
evaluacin y tomar en consideracin si existen otros medios factibles de verificacin, si
hay algn dato til obtenido a partir de otros temas, o si hay cualquier otro dato que se
pueda utilizar.
El caso 5 muestra el ejemplo de una tabla de evaluacin en una evaluacin final.
Obviamente, lo que est escrito en la tabla depende de las caractersticas del proyecto y
de la cantidad y calidad de la informacin que el equipo de estudio de evaluacin puede
obtener con anticipacin, y los evaluadores deben tener en mente que las preguntas de
evaluacin y los mtodos de estudios que aparecen en el siguiente caso son slo uno de
los muchos ejemplos. Dependiendo de la fuente de informacin o la cultura y la situacin
de la sociedad objetivo, las entrevistas pueden ser adecuadas en algunos casos, pero en
otros, las encuestas por cuestionario podran ser ms valiosas para obtener los datos.
*En algunos estudios de evaluacin anteriores se cometieron errores rudimentarios. Por ejemplo, se hicieron
cuestionarios que consistan de docenas de pginas (desanimando a la parte receptora a responder) o se hicieron
borradores de preguntas cuya respuesta se poda haber inferido de la literatura y materiales existentes. En el caso de
los estudios de evaluacin reales, se necesita la habilidad de investigadores sociales profesionales. Para obtener ms
detalles sobre los mtodos, consulte la bibliografa anexa Tcnicas y mtodos de encuestas (Survey techniques and
methods).

165

Caso 4: Preguntas de Evaluacin en la Evaluacin Final

(Este reporte se basa en un estudio de evaluacin real, pero su contenido se ha modificado parcialmente)

<Estudio de Evaluacin Final del Proyecto de Planeacin Familiar/WID>

El objetivo de este proyecto es que se debe practicar cada vez ms la planeacin de la
familia en la regin objetivo principal y en las regiones de seguimiento. Para lograrlo,
realizamos actividades educativas - actividades para mejorar el ingreso y los servicios de
atencin mdica de la gente, entre otros.
En esta encuesta, elaboramos un borrador de las siguientes preguntas de evaluacin
principales como resultados de las entrevistas con las partes involucradas de Japn y
discusiones en un taller de evaluacin local. Con estas preguntas de evaluacin en mente,
pudimos identificar los temas que debamos clasificar como prioritarios en nuestra encuesta
segn fuimos creando la tabla de evaluacin.
z Examen del mtodo de cooperacin tcnica
i) En este proyecto se introdujo el enfoque integrado de sectores mltiples (un
enfoque que observa no slo el aspecto de la atencin a la salud de la mujer, sino
que integra por ejemplo, actividades educativas para toda la regin y actividades
para generar ingresos para las mujeres) para la salud reproductiva (RH).
ii) Este enfoque provocar cambios en el comportamiento de las mujeres y la
conciencia en el medio ambiente?
iii) Cules son los principales factores que dificultan y que contribuyen a lo anterior?
z Examen del grado de contribucin de cada actividad
iv) Las tres actividades (planeacin de la familia/atencin a la salud materno-infantil,
actividades educativas y la generacin de ingresos) contribuyen al logro del
objetivo del proyecto?
v) Cules son los principales factores que dificultan y que contribuyen a lo anterior?
Qu lecciones aprendimos?
z Prospectos de sustentabilidad
vi) El proyecto regional alentar al comit, al comit regional de prstamos y al
equipo de apoyo regional a continuar sus actividades incluso una vez que termine
el proyecto?
vii) La operacin de fondos revolventes a partir de las actividades de generacin de
actividades funcionar incluso despus que termine el proyecto?
viii) Las tres agencias de implementacin (la comisin se poblacin de la tercera
edad, el ministerio de la salud y las ONGs) pueden utilizar las experiencias y
tecnologa adquiridas a travs de este proyecto en otros proyectos?

166

<Evaluacin final del seguimiento del plan de mejoramiento

de la tecnologa de vaciado>
El objetivo de este proyecto es que el centro de vaciado sea capaz de brindar servicios
tcnicos adecuados a la industria de vaciado. Para ello, realizamos una transferencia de
tecnologa de vaciado, cursos de capacitacin y consultas tcnicas y brindamos equipo.
Como este estudio es para la evaluacin de un proyecto de seguimiento, el borrador de las
preguntas de la evaluacin se realiz tomando en consideracin los antecedentes de la
cooperacin de seguimiento. En otras palabras, la razn de la cooperacin para el
seguimiento fue el hecho de que a travs del proyecto real, la agencia de implementacin no
pudo crear un sistema capaz de brindar servicios tcnicos adecuados a la industria privada de
vaciado, as que el estudio de evaluacin se centr en un examen para ver si se haba
resuelto este punto.
z Preguntas de Evaluacin: Puede ahora el sistema brindar servicios tcnicos
adecuados a la industria privada de vaciado?

167

Caso 5: Tabla de Evaluacin en la Evaluacin Final

Proyecto para Mejorar la Tecnologa de las Pequeas y Medianas Empresas
de Vaciado en el Pas D
(Este ejemplo se basa en un estudio de evaluacin real, pero para este
documento se hicieron algunos cambios y adiciones.)
z Descripcin general del Proyecto
Meta general: Es necesario mejorar las habilidades tcnicas de la pequea y mediana
empresa de vaciado en el pas D.
Objetivo del proyecto: Es necesario mejorar la calidad de los servicios de capacitacin y
de soporte tcnico que ofrece el centro de tecnologa de vaciado a la pequea y mediana
empresa.
Producto: 1. Fortalecimiento de la operacin del proyecto y de la organizacin
administrativa
2. Mejoramiento de las habilidades tcnicas de la contraparte
3. Instalacin, mantenimiento y manejo del equipo para una expansin de los
servicios de capacitacin.
4. Servicios de capacitacin que reflejen las necesidades de la pequea y
mediana empresa
5. Servicios de soporte tcnico que reflejen las necesidades de la pequea y
mediana empresa
z Agencia de implementacin
Centro nacional de vaciado del pas D
z Perodo de implementacin
Mayo, 1998 a abril, 2002
z Preguntas de Evaluacin
i) Los resultados del seguimiento muestran que el proyecto marcha sin
problemas. La efectividad es realmente alta? De ser as, qu factores
contribuyen a ello?
ii) El aseguramiento independiente de recursos financieros se considera un factor
importante para la sustentabilidad cuando termine el proyecto.
Cules son los prospectos para esto? Qu otras medidas se necesitan para
la sustentabilidad?

168

z Ejemplo de tabla de evaluacin

En muchos casos, si es pertinente, se pueden

utilizar los resultados de evaluaciones
anteriores (Ex-ante, Tabla de Evaluacin,
documentos del proyecto, Informe de la
Evaluacin Intermedia, etc.).

[Pertinencia] * El material que aparece con fondo gris ya se recopil

Preguntas de Evaluacin
Cinco
Criterios de
Evaluacin

Pregunta

Pregunta
secundaria

Criterios y
Mtodos de
Juicio

Datos
Necesarios
Ubicacin y
contenido del
plan de
produccin de
vaciado en el
plan de calidad y
productividad

Otros
El efecto que
busca el
proyecto es
consistente
con la poltica
nacional del
pas D?

Pertinencia

Las
necesidades
de
cooperacin
del centro de
vaciado son
altas?

El tamao
del grupo
objetivo es
adecuado?

El proyecto
es consistente
con la poltica
de asistencia
para el
extranjero de

El proyecto
aborda los
temas
centrales de
asistencia?

z
z

La seleccin
del grupo
objetivo es
adecuada?

Resultados
del estudio
de base

Fuente de
Informacin

Percepciones del
personal del
centro
Percepciones de la
pequea y
mediana
empresa
Proporcin
del grupo
objetivo en
comparacin con
todo el pas
D
Opinin de
las partes
interesadas

reas de
atencin de la
asistencia para
Japn al pas D

Recopilacin
de Datos

Proyecto del
plan de
calidad y
productividad
Divisin a
cargo del
Ministerio
de Industria

Revisin del
material

Documentos del
proyecto
Personal del
centro

Revisin del
material

Entrevistas

Entrevistas

Entrevistas

Gestin de
las
pequeas y
medianas
empresas

Tabla de
Logros del
Proyecto
Documentos del
proyecto

Revisin del
material

Entrevistas
z

Divisin a
cargo del
Ministerio
de Industria
z
Expertos
z
Contraparte
(C/P)
z Gestin de
las
pequeas y
medianas
empresas
Poltica de
asistencia del
pas D

Grupos de
control

Revisin del
material

169

El proyecto
aborda el
plan de
implementaci
n de
programa
por pas de
la JICA?

z
Japn tiene
una ventaja
tecnolgica en
comparacin
con otros
pases?

Existencia
de
programas
en el rea
de vaciado
Ubicacin
en los
programas

Plan de
implementacin
del programa por
pas de la JICA

Revisin del
material

Experiencias en
asistencia
en el campo
de vaciado
Experiencia
s de Japn
en el rea
de vaciado

Entrevistas

Divisin de
la JICA a
cargo del
proyecto
Comisin de
apoyo
nacional

170

[Efectividad] * El material que aparece con fondo gris ya se recopil

Preguntas de Evaluacin
Cinco
Criterios de
Evaluacin
Otros

Pregunta

Pregunta
secundaria

Criterios y
Mtodos de
Juicio

Fuente de
Informacin

(segn la Tabla
de Resultados)

(segn la Tabla
de Resultados)

Revisin del
material

Comparacin
antes/
despus

Desarrollo del
nmero de
asistentes

Lista de
asistentes del
centro

Revisin del
material

Satisfac
cin
promedio de
cada
curso de
por lo
menos
3.5 (5
niveles)
Por lo
menos
80% de
los
interrogados
estn
satisfechos
Estndares de
calidad
del
centro

Grado de
satisfaccin
promedio

Asistentes
anteriores

Encuesta por
cuestionario

Encuesta
completa de
todas las
compaas
objetivo (n
compaas)
* 10
compaas
entre stas
Libros de
control de
calidad del
centro
Expertos

Encuesta por
cuestionario

Registros
del centro
Expertos

Revisin del
material

Registros
de
capacitacin
Registros
de servicio
C/P
Expertos

Revisin del
material

Se alcanz el
producto?

El centro
brinda
capacitacin de
alta calidad?

Efectividad

Datos
Necesarios

Est
aumentando
el nmero
de asistentes de las
compaas?
El grado de
satisfaccin
ante la
capacitacin
es alto?

El grado de
satisfaccin
de las
compaas
es alto?
El centro
brinda servicios
de soporte
tcnico de alta
calidad?

El producto
del proyecto
contribuye al
logro del
objetivo del
proyecto?

La calidad
de los
productos
que produce
el C/P es
alta?
El mejoramiento de
habilidades
de los C/Ps
contribuye a
la
efectividad?
Se utiliza el
equipo?

Se
adquieren
las
tecnologas
en las
capacitacion
es y
mediante la
capacitacin
y servicio?

Nivel de
satisfaccin
Razn para
el
descontento

z
z

Datos de
calidad

Opiniones
expertas

Proporcin
de C/Ps que
recibieron la
transferencia de
tecnologa
z Opiniones
expertas
Tipos de equipo
utilizados en los
servicios de
capacitacin y
tcnicos, as
como la
frecuencia de uso
Contenido de la
transferencia de
tecnologa y
planes de estudio

z
z

z
z
z

Recopilacin
de Datos

Entrevistas

Revisin del
material
Entrevistas

Entrevistas

Entrevistas

171

Hay otros
factores de
contribucin
adems del
proyecto?

Hay factores
que obstruyen
el logro del
objetivo del
proyecto?

La tasa de
separacin
del trabajo
en el C/P
est
influyendo?
(Suposiciones
importantes)
Hay alguna
otra
influencia?

Opinin de las
partes
interesadas

z
z

C/P
Expertos
z Administracin
superior de
las
compaas
Informe de
seguimiento

Grupos de
control

* C/P (cabeza del

centro)

Entrevistas

Opinin de las
partes
interesadas

Grupos de
control

Informacin del
proceso de
implementacin

Informe de
seguimiento

Informacin del
proceso de
implementacin
Tasa de
separacin del
trabajo, razones
de la separacin
del trabajo

C/P
Expertos

Revisin del
material

Revisin del
material

172

[Eficiencia] * El material que aparece con fondo gris ya se recopil

Preguntas de Evaluacin
Cinco
Criterios de
Evaluacin
Otros

Pregunta
Desde el punto
de vista del
producto
obtenido, la
calidad,
cantidad y
oportunidad del
producto
fueron
adecuadas?

Pregunta
secundaria

Criterios y
Mtodos de
Juicio
z

La cantidad
de expertos
enviados,
sus reas de
experiencia
y la
oportunidad
con que se
enviaron
fueron
adecuadas?

Los tipos,
cantidad y
oportunidad
de la
instalacin
del equipo
proporcionado fueron
adecuados?

Eficiencia

La cantidad
de becarios
aceptados,
las reas, el
contenido de
la capacitacin, el
perodo de
capacitacin
y la
oportunidad
de aceptacin de
becarios
fueron
adecuados?
La
cantidad,
colocacin y
habilidades
de los C/P
fueron
adecuadas?
Hay algn
problema en
la calidad,
tamao y
conveniencia de los
edificios e
instalaciones?

Datos
Necesarios

Comparacin
de los
resultados
reales
con el
plan

z
z

Fuente de
Informacin

Hechos del
envo real
Actitud de
trabajo de
los expertos
Opinin de
las partes
interesadas

Hechos
sobre el
equipo
proporciona
do
realmente
Uso del
equipo
Opinin de
las partes
interesadas
Hechos de
la aceptacin real de
los becarios
Opinin de
las partes
interesadas

Colocacin
de C/P
Opinin de
las partes
interesadas

Condicin
actual de
los edificios
e instalaciones
Colocacin
del equipo
Opinin de
las partes
interesadas

Tabla de
logros
Informe
trimestral

Recopilacin
de Datos
Revisin del
material
Encuesta por
cuestionario

C/P,
expertos

Entrevistas

Tabla de
logros
Equipo, uso
y tabla de
manejo
C/P,
expertos

Revisin del
material
Encuesta por
cuestionario

Tabla de la
aceptacin
real de los
becarios

Revisin del
material
Encuesta por
cuestionario

Informes de
las agencias
que
aceptaron
becarios

Entrevistas

Entrevistas

C/P,
expertos

Tabla de la
colocacin
real de C/P
C/P,
expertos
Esquema
del equipo
C/P
Expertos

Revisin del
material
Encuesta por
cuestionario
Entrevistas

Observacin
Directa
Encuesta por
Cuestionario
Entrevistas

173

El monto
de
presupuesto
del proyecto
fue
adecuado?

Costo real
que cubri
el socio
Presupuesto anual del
centro
Opinin de
las partes
interesadas

z
z

z
El
mejoramiento de
habilidades
de los C/Ps
contribuye a
la
efectividad?
Los costos
generales
invertidos
fueron
adecuados?

Los costos
fueron
adecuados en
comparacin
con proyectos
similares?

Hay algn
factor que
dificulte la
eficiencia?

El costo
unitario para
realizar una
sesin de
capacitacin
es
adecuado?

z
Comparacin
con los
costos
generales invertidos
en proyectos
similares
Comparacin
con los
costos
unitarios
de proyectos
similares

Proporcin
de C/Ps que
recibieron la
transferencia de
tecnologa
Opiniones
expertas
Costo
general
invertido
Tipo de
producto y
poblacin
beneficiada
de
proyectos
similares

Costos
unitarios de
la capacitacin
Costos
unitarios
para la
capacitacin
en proyectos similares

z
z

Opinin de
las partes
interesadas

Tabla de
costos
compartidos
reales
Tabla del
presupuesto
del centro
* C/P
(cabeza del
centro)
Expertos
Registros
del centro
Expertos

Revisin del
material

C/P (cabeza
del centro)

Entrevistas

C/P
Expertos
Informes de
evaluacin
de
proyectos
similares

Entrevistas

C/P
Expertos

Grupos de
control

Entrevistas

Revisin del
material
Entrevistas

174

[Impacto] * El material que aparece con fondo gris ya se recopil

Preguntas de Evaluacin
Cinco
Criterios de
Evaluacin

Pregunta

Otros

Hay
posibilidades
de alcanzar la
meta general?

Impacto
Hay algn
otro efecto de
difusin?

Pregunta
secundaria

Criterios y
Mtodos de
Juicio

Datos
Necesarios

Mejoraron
las
habilidades
de los
ingenieros
en las
pequeas y
medianas
compaas?

Est
aumentando
el orden?

Cambios en
el volumen
de
exportacin
de las
pequeas y
medianas
compaas
de vaciado
Cambios en
la productividad promedio de las
pequeas y
medianas
compaas
de vaciado
Impacto
sobre las
polticas y
sistemas
relacionados
con las
compaas
de vaciado

Comparacin
antes/
despus

Evaluacin
tecnolgica
de las
compaas
representativas en 15
estados del
pas

Desarrollo
de los
logros de
negocios de
las
compaas
representativas en 15
estados del
pas
Desarrollo del
volumen de
exportacin

Fuente de
Informacin
z

30
compaas
representativas en 15
estados

Encuesta por
cuestionario

Material
sobre
logros de
negocios en
30
compaas
representativas

Revisin del
material

Estadsticas de
exportacin

Revisin del
material

Desarrollo de la
productividad
promedio

Estadsticas de
la industria de
vaciado

Revisin del
material

Opinin de las
partes
interesadas

Entrevistas

z
Hay alguna
otra
influencia
(positiva o
negativa)?

Recopilacin
de Datos

Papeles de la
industria de
vaciado

z
z

Opinin de las
partes
interesadas

Ministerio
de la
Industria
Personas
involucradas en las
compaas
C/P
Expertos
Diario de
vaciado
Ministerio
de la
Industria
Personas
involucradas en las
compaas
C/P
Expertos

Revisin del
material

Entrevistas

175

Hay alguna
lnea
divisoria con
respecto a
las otras
agencias de
capacitacin
relacionadas
y hay algn
efecto
sinrgico?
Cmo
evaluaron el
efecto de la
capacitacin
las personas
que la
terminaron?

z
z

El proyecto
contribuy en
gran medida al
impacto
producido?

Hay alguna
diferencia en
el resultado
del trabajo
de las
personas
que trabajan
en la misma
compaa
entre
aquellas que
recibieron la
capacitacin
y las que
no?

Comparacin
con los
trabajadores de
la misma compaa
que no
recibieron la
capacitacin

Papel de las
agencias de
capacitacin
relacionadas

Opinin de
las partes
interesadas

z
z

Trabajo
actual
Autoevaluacin
de las
personas
que terminaron la
capacitacin
con
respecto al
cambio en
su nivel de
habilidades
tcnicas

Opinin de
las partes
interesadas

Agencias
de capacitacin relacionadas
Ministerio
de la
Industria
Compaas
C/P
Expertos

Entrevistas

100
personas
que
terminaron
la capacitacin

Encuesta por
cuestionario

Personas
involucradas en las
compaas

Entrevistas

176

[Sustentabilidad] * El material que aparece con fondo gris ya se recopil

Preguntas de Evaluacin
Cinco
Criterios de
Evaluacin

Pregunta

Pregunta
secundaria

Criterios
y Mtodos de
Juicio

Datos
Necesarios
z

Otros
z

La
ubicacin del
centro en la
industria de
vaciado es
clara?

La
organizacin
tiene potencial
de operacin
y de gestin?

z
z
z

Sustentabilidad

La
organizacin
tiene
potencial
para
continuar el
negocio?

La situacin
financiera es
buena?

Fuente de
Informacin

Continuidad
de apoyo de
las agencias
relacionadas
Colaboracin con las
agencias
relacionadas
Papel del
centro

Funciones
de cada
divisin
Colocacin
y estabilidad
del personal
Establecimiento de
un sistema
de
seguimiento
Opinin de
las partes
interesadas

Situacin
financiera
del centro
Opinin de
las partes
interesadas

Los
esfuerzos
para el aseguramiento
independiente
de recursos
financieros
marchan sin
problema?

Plan para el
aseguramiento independiente
de recursos
financieros
Opinin de
las partes
interesadas

Recopilacin
de Datos

Ministerio
de la
Industria
Organizaciones
industriales

Entrevistas

Reglas
operativas de la
organizacin
Tabla de
colocacin del
personal
Registros
de seguimiento
del centro
C/P
(cabeza
del
centro),
expertos

Revisin del
material

Tabla de
presupuesto,
varias
tablas
financieras

Revisin del
material

C/P,
expertos
Plan para
el aseguramiento
independiente de
recursos
financieros
C/P,
expertos

Entrevistas

Entrevistas

Revisin del
material
Entrevistas

177

Mejor la
capacidad de
entrenamiento
del C/P?

Comparacin
antes/
despus

Se
estableci la
tecnologa
transferida?

La
tecnologa
transferida se
difundir
dentro de la
agencia de
implementacin?

El equipo se
maneja y
mantiene
apropiadamente?

z
z

Resultados
de la
evaluacin
de los
expertos
Resultados
de la autoevaluacin
del C/P
Existencia
de capacitacin mutua
dentro de la
agencia de
implementacin
Opinin de
las partes
interesadas
Estado del
mantenimiento y
manejo
Opinin de
las partes
interesadas

Expertos
C/P

Entrevistas

C/P
Expertos

Entrevistas

Informes
del mantenimiento y del
manejo
C/P,
expertos

Revisin del
material

Autoevaluacin
(encuesta por
cuestionario)

Entrevistas

Cuando los evaluadores examinan la sustentabilidad deben tomar en

consideracin la organizacin, los sistemas, las polticas, la tecnologa, la
sociedad/medio ambiente y otros puntos de vista, pero no es necesario darle la
misma importancia a todos los puntos de vista de manera estereotpica. Ello
debido a que lo que es importante para la sustentabilidad debe variar dependiendo
del proyecto. Los evaluadores debern analizar esto detenidamente y reflejarlo en
las preguntas de evaluacin.

178

(3) Interpretacin del Resumen de los Datos de Evaluacin Final

Tal como se explica en la Parte II, Captulo 3, evaluacin significa interpretar los datos
recopilados y analizados - no es suficiente si slo se enumeran los datos y se aaden los
resultados del cuestionario. Los estudios de evaluacin final se realizan al final de un
proyecto, e incluyen ver si vali la pena implementar el proyecto, por qu algunas cosas
no salieron bien y qu efectos tuvo el proyecto. La interpretacin se basa en los
resultados del anlisis de los factores que dificultaron y contribuyeron al proyecto. Estos
resultados tambin son una fuente de informacin importante que dirige a los evaluadores
hacia recomendaciones y lecciones aprendidas concretas y prcticas.
La interpretacin consiste de una evaluacin de cada uno de los Cinco Criterios
de Evaluacin y una conclusin que es un anlisis cruzado de ellos. Si los factores que
dificultan y contribuyen no se analizan lo suficiente en la evaluacin de los Cinco Criterios
de Evaluacin, no habr una base para la conclusin y la evaluacin no producir
recomendaciones y lecciones aprendidas concretas. En algunos informes de evaluacin,
se presentan las recomendaciones y lecciones aprendidas aunque no se presenten bases
slidas en la evaluacin de los Cinco Criterios. En estos casos, no se refleja ningn
resultado de una investigacin y anlisis amplios con base en los cinco criterios, y las
recomendaciones y lecciones aprendidas carecen de poder de convencimiento.
El siguiente paso, con base en los resultados de la interpretacin y anlisis, es
hacer un borrador de las recomendaciones y lecciones aprendidas y crear un informe.
Las recomendaciones presentan medidas concretas, propuestas y asesora sobre el
mejoramiento del proyecto evaluado. Las lecciones aprendidas se identifican a partir de
las experiencias de proyectos aplicables, y se pueden generalizar o conceptualizar hasta
cierto grado. Tambin sirven como referencia de otros proyectos similares vigentes, o
para encontrar y formular proyectos en el futuro. Tambin es necesario incluir las
recomendaciones para eliminar los factores inhibidores identificados en la interpretacin.
Los factores inhibidores se pueden presentar en proyectos similares como lecciones
aprendidas para que dichos proyectos no repitan los mismos errores. Tambin pueden
aprovecharse como lecciones aprendidas para hacer que los proyectos similares sean
ms efectivos.
Los evaluadores deben establecer claramente a quines se dirigen estas
recomendaciones y lecciones (a los receptores de la retroalimentacin). Las
descripciones concretas tales como la divisin de implementacin, la oficina local, la
agencia de implementacin en el pas socio, las organizaciones residentes, los expertos,
la contraparte, etc., facilitan el seguimiento posterior. Tambin es efectivo dar
recomendaciones por separado, de acuerdo con su trmino de realizacin recomendaciones a mediano y largo plazo y recomendaciones a corto plazo.
La tabla 3-2-7 ofrece un resumen de puntos a recordar en la interpretacin.
Despus de la tabla presentamos ejemplos de los Cinco Criterios de Evaluacin y la
conclusin (Casos 6 y 7). Observe que la forma de los casos que se presenta es una de
muchas. No es necesario tener que seguir la forma que presentamos todas las veces.

179

Tabla 3-2-7 Puntos para Recordar cuando se Interpretan los Resultados

del Estudio
Puntos para Recordar
Ejemplo/Consejo
[Cinco Criterios de Evaluacin]
z La realizacin de la evaluacin
(=respuesta a las preguntas)
con base en los datos
recopilados y analizados por
separado de cada pregunta de
la evaluacin facilita la
interpretacin y uso efectivo de
la tabla de evaluacin.
z En la evaluacin de cada uno
de los Cinco Criterios,
Compilacin
asegrese que escribe una
conclusin para cada criterio.

(consulte los casos que aparecen a

continuacin)

Ejemplo: La capacidad de llevar a cabo

la capacitacin es alta y sta se realiz
segn lo planeado. Por otro lado, la
evaluacin por parte de los becarios no
fue muy buena.
(No es claro si este comentario significa
que la efectividad es alta o no. Es
necesario mencionar las razones que
puedan convencer a las partes
interesadas.)

Cuando evale la efectividad y

el impacto asegrese de
verificar las relaciones causales
dentro del proyecto.

Ejemplo: Aument la cantidad de

madres y mujeres embarazadas que
visita las clnicas de salud. Por lo tanto,
la efectividad del proyecto es alta".
La efectividad no se puede juzgar sin
analizar si el incremento est
relacionado con el producto del proyecto
y los antecedentes.

Verificacin
de las
relaciones
causales
(Interpretacin de la
lgica)

Ponga atencin al hecho de que

no se puede considerar que el
proyecto haya tenido xito
nicamente por la apariencia de
los efectos de difusin, sin
mencionar si se alcanz la meta
general o el objetivo del
proyecto.

Ejemplo: (En un proyecto de salud

materno-infantil) El equipo de partera
tradicional que se introdujo en el
proyecto tambin fue aprovechado por
otra agencia de asistencia. Por sta y
otras razones, el proyecto tiene un
significado importante".

(Primero verifique si se comprendi

la meta general - la tasa de
mortalidad de las mujeres
embarazadas y de las mujeres
durante el parto, etc. Varios
impactos positivos no
necesariamente se convierten en la
base para juzgar el xito o fracaso
de un proyecto.)

180

Presentacin
de bases

Identifique claramente las bases

de la evaluacin en el texto de
la interpretacin. Si es
necesario, proporcione
explicaciones fciles de
entender utilizando, por
ejemplo, tablas o grficas para
aumentar la credibilidad de los
resultados de la evaluacin (sin
embargo, no es necesario incluir
todas las grficas y tablas en el
texto principal. Evite expresar
temas importantes como las
bases del juicio en la
evaluacin, sus resultados, etc.
nicamente en tablas y grficas
o en los resultados de la
investigacin sin explicarlos en
el texto).
Bsicamente la evaluacin se
debe basar en los datos
cuantitativos, pero los datos
cualitativos tambin son tiles.
Por ejemplo, es posible
presentar resultados a partir de
los factores de anlisis que se
pueden leer en las entrevistas o
de otras bases muy
convincentes (por ejemplo, la
adquisicin del ISO 9000).
No presente como bases los
datos sin elaborar de los
resultados del estudio sino los
resultados de su anlisis.
Presente los datos relacionados
en anexos.

Presentacin
de bases

Las bases con base en datos

mltiples aumentan la
credibilidad de los datos y la
objetividad de la evaluacin
(excepto por los datos donde se
puede garantizar la credibilidad
de una fuente de informacin.)

Ejemplo: La mayora de las

personas que terminaron la
capacitacin calificaron muy alto el
curso de capacitacin. Por lo tanto,
la efectividad del proyecto es alta".
(Cunta gente es la mayora y
qu tan alta es su proporcin?
Cules son las bases de la
evaluacin alta?) Todo esto no es
claro. El borrador de la conclusin
tiene que hacerse con referencia en
el anlisis de resultados del estudio.

Ejemplo: Los Resultados de las

entrevistas con expertos muestran
que la buena disposicin de la
contraparte hacia el proyecto y su
compromiso han aumentado.
(Es necesario anotar de inmediato y
presentar como bases los
comportamientos, fenmenos, etc.,
que indican indirectamente que
aument el compromiso.
Ejemplo: El equipo se obtuvo
segn lo planeado, y el
mantenimiento y manejo tambin es
adecuado (ver el Anexo 1).
Si la informacin adicional es el
informe del mantenimiento y el
manejo, no es claro lo que se debe
tomar de ste. Los resultados de un
anlisis del informe (por ejemplo, la
tasa de operacin, tasa de defectos,
tiempo promedio y costo requerido
por reparaciones, etc.) se deben
presentar como bases dentro del
texto principal.
Ejemplo: De acuerdo con la
comisin de abastecimiento de
agua, la construccin del pozo tuvo
un efecto extremadamente fuerte,
as que la efectividad de este
proyecto es alta.
(Faltan los datos de los puntos de
vista de los usuarios del pozo (los
residentes) y de la reduccin de
enfermedades infecciosas
transmitidas por el agua, como
efecto de la construccin del pozo.)

181

Junto con las bases para juzgar

la evaluacin, especifique
claramente por qu el resultado
fue como fue y analice los
factores inhibidores y
contribuyentes. Si esto no es
claro, no se pueden desarrollar
recomendaciones o lecciones
aprendidas concretas.

Ejemplo: Hasta ahora, 150

personas asistieron a los seminarios
de salud para residentes, pero la
cantidad de asistentes est
disminuyendo cada ao (se anexa
una tabla con los cambios a lo largo
de los aos). Como el grado de
satisfaccin y comprensin de los
asistentes hacia la salud es alta, las
actividades del IEC fueron
efectivas.
Al investigar la razn del por qu
est disminuyendo la cantidad de
asistentes, es posible investigar ms
a fondo las percepciones de los
residentes (incluyendo los
antecedentes del por qu asista) y
la idoneidad de los mtodos del
seminario.

Anlisis de
los factores
inhibidores y
contribuyentes
z

Relaciones
entre
resultados,
proceso de
implementacin y los
Cinco
Criterios de
Evaluacin

La expresin ...es adecuado

se usa frecuentemente, pero los
evaluadores deben investigar
qu es apropiado, hasta qu
punto y comparacin con qu y
por qu.

Los evaluadores pueden

consultar las declaraciones en
otros criterios de evaluacin y
mencionarlas como bases.
Como el mismo proyecto se ve
desde diferentes enfoques, hay
correlaciones estrechas.

[Conclusin]
z Los resultados de la evaluacin de
los Cinco Criterios de la Evaluacin
(u otros criterios de evaluacin) son
la base para la conclusin.
Observe los resultados de la
evaluacin en forma
interrelacionada. Despus describa
brevemente los temas que merecen
comentarios.

Presentacin
de las bases
para la
conclusin
z

Ejemplo: El envo de expertos se

realiz casi segn como se plane y
fue apropiado.
Lo que es apropiado no se puede
juzgar nicamente sobre la base del
criterio segn lo planeado.
Adems, los evaluadores necesitan
analizar los factores contribuyentes
a partir de los resultados del estudio
- qu fue apropiado, en qu forma
y por qu fue bueno?
Por ejemplo:
z La informacin del proceso de
implementacin tal como el
seguimiento o la creacin de
relaciones humanas, se puede
describir como un factor que
aument la efectividad.
z La informacin sobre
suposiciones importantes
relacionadas con la efectividad tal
como la solidez del establecimiento
en la contraparte, pueden
convertirse en una base para la
evaluacin de la sustentabilidad.
Los hechos y causas que no se
mencionan en los resultados de la
evaluacin de los Cinco Criterios de
Evaluacin y en el anlisis de los
factores inhibidores y contribuyentes no
se pueden mencionar nicamente en la
conclusin o en las recomendaciones y
lecciones aprendidas posteriores.

La conclusin conduce a
recomendaciones y lecciones
aprendidas concretas.

182

Respuestas a
las preguntas
de evaluacin

Si se hace un borrador de las

preguntas de control, contstelas
primero en la conclusin.

183

Caso 6: Interpretacin de una Evaluacin Final

Proyecto para Mejorar la Tecnologa de las Pequeas y Medianas Empresas
de Vaciado en el Pas D
(Este ejemplo se basa en un estudio de evaluacin real, pero para este documento se hicieron algunos
cambios y adiciones.)

1. Cinco Criterios de Evaluacin

[Pertinencia]
Este proyecto se debe considerar de alta pertinencia por las siguientes razones:
i) La pertinencia de la estrategia del proyecto es alta.
Tal como se seal en las sesiones de estudio y en las entrevistas a expertos durante
el estudio de evaluacin, es un hecho que el desarrollo de las compaas pequeas y
medianas es limitado si slo se realizan esfuerzos de cooperacin tcnica. Sin apoyo
tal como financiamiento para la introduccin de tecnologa nueva, etc., esta meta no
se puede alcanzar. Es necesario examinar la pertinencia de la estrategia para utilizar
transferencia de tecnologa teniendo en mente estos factores. Sin embargo, en el pas
D, el ministerio para la promocin de inversin brinda apoyo sistemtico a la industria
de vaciado ya que est relacionada con la industria automotriz, una industria
representativa del pas. Por ello, consideramos que esto no es un factor inhibidor.
(Figura 1: Desarrollo de financiamiento e inversiones en la industria de vaciado omitida aqu.)
Las reas individuales de la cooperacin tcnica cubren adecuadamente la
estructura industrial en el pas D, y la cooperacin fue adecuada como medio para
desarrollar compaas pequeas y medianas en el campo de vaciado. Es bien
conocido en el mundo que la tecnologa de Japn en el rea de vaciado es de primera
clase, y tambin en el rea de asistencia para el desarrollo Japn tiene experiencia en
cooperacin con los pases A y B. Adems, en esta transferencia de tecnologa de
vaciado, se aprovech el apoyo tcnico del Centro de vaciado de Japn - apoyado por
las experiencias del pasado. (Tabla 1: muestra ejemplos del know-how caracterstico
de la cooperacin tcnica y otros - omitida aqu.)
El grupo objetivo - el centro nacional de vaciado - es una institucin de
capacitacin vocacional especializada en tecnologa de vaciado, siendo su misin
contribuir al desarrollo de la industria de vaciado mediante la obtencin de recursos
humanos. El centro se mantiene por contribuciones igualadas de compaas que
tienen grandes esperanzas en el centro como una organizacin industrial. Por lo
tanto, se espera que el efecto de difusin derivado del fortalecimiento del centro sea
grande, haciendo del centro la mejor eleccin como grupo objetivo.
ii) La necesidad del proyecto es alta.
Desde 1990, el pas D ha venido promoviendo la desregulacin de las importaciones,
la introduccin de divisas extranjeras y la privatizacin de las compaas que maneja
el estado, y cada compaa est pasando por momento difciles para sobrevivir. El
mejoramiento de la calidad y productividad son un tema, sobre todo para fortalecer el
poder de competitividad de las compaas pequeas y medianas. La industria de
vaciado consta de aproximadamente 1,000 compaas y 51,000 personas. Entre
stas, 950 compaas estn clasificadas como pequeas o medianas.
Especficamente en el rea automotriz, los productos vaciados tienen una influencia
directa sobre la calidad del auto terminado, y para la industria automotriz que
representa la parte ms grande de la industria del pas D, es extremadamente
importante y muy necesario un mejoramiento en la calidad y productividad de la
industria de vaciado
En el centro nacional de vaciado, el grupo objetivo - las instalaciones y equipo
mostraban signos claros de deterioro y las habilidades del personal se estaban
deteriorando. El centro estaba en una condicin en que no poda cumplir

184

completamente su papel. La implementacin de este proyecto, que est dirigido a

fortalecer la funcionalidad del centro, es consistente con las necesidades.
iii) El proyecto es de alta prioridad.
El plan de calidad y productividad del pas D, una poltica nacional referente a la
calidad y productividad, menciona la promocin del mejoramiento de la calidad en la
produccin como uno de los temas de enfoque de su programa de integracin del
plan de desarrollo (1995-2000). Sobre todo en trminos de las tcnicas de vaciado, el
producto tiende a ser de baja calidad y la produccin est disminuyendo debido a una
escasez de tcnicos experimentados en comparacin con los pases desarrollados.
La meta general de este proyecto - mejoramiento de las habilidades de los ingenieros
en las compaas de vaciado pequeas y medianas - contribuir, a la larga, a
fortalecer su competitividad internacional gracias al mejoramiento de la calidad y la
productividad y por tanto, es consistente con la poltica nacional.
La poltica de asistencia para el extranjero de Japn ha tomado el desarrollo de las
compaas pequeas y medianas en el rea industrial como uno de los temas
centrales para la asistencia al pas D, por lo que este proyecto es consistente con la
poltica de asistencia japonesa. El proyecto tambin es consistente con el rea de
enfoque del plan de la JICA para la implementacin de programas especficos por
pas - desarrollo de las compaas pequeas y medianas y el control de calidad.

[Efectividad]
La efectividad de este proyecto se considera alta hasta cierto punto debido a las
siguientes razones, pero las revisiones del contenido de la capacitacin son
insuficientes.
i) El nivel de logro del objetivo del proyecto se considera alto hasta cierto punto.
En las evaluaciones de los asistentes a los cursos de capacitacin, el nivel de
satisfaccin promedio con respecto al material de estudio y la sesin supera el 3.5 en
cada curso (Tabla 2 - omitida aqu). La hoja de seguimiento de tecnologa de los
expertos tambin muestra altos niveles de habilidades tcnicas de la contraparte
(consulte el anexo 2).
La cantidad de becarios enviados de las compaas aument gradualmente
durante el tercer ao del proyecto, pero disminuyo en el cuarto ao y en la primera
mitad del quinto ao (Tabla 3 - omitida aqu). En los antecedentes, la cantidad de
asistentes disminuy porque cambiaron las necesidades de la industria (consulte el
anexo 1: Resultados de entrevistas a expertos y compaas). Los expertos sealaron
que con el tamao relativamente pequeo de la industria de vaciado, los esfuerzos
correspondientes a las necesidades de las compaas - tales como la introduccin de
tecnologas nuevas y la planeacin de nuevos cursos de capacitacin - eran
insuficientes.
En cuanto al suministro de servicios tcnicos, el nivel de satisfaccin en la
encuesta de seguimiento que implement el centro de las compaas result alto,
pero los expertos sealaron que los criterios de evaluacin no eran claros, por lo que
decidimos realizar una encuesta por cuestionario y entrevistas como un equipo de
investigacin. En una encuesta por cuestionario de 50 compaas, 36 respondieron
que estaban razonablemente satisfechas con los servicios del centro de vaciado. En
las entrevistas a las compaas (10 compaas), ocho respondieron que estn
utilizando la tecnologa que adquirieron en el centro en sus propios sitios de
fabricacin y que, en general, estn satisfechos con el trabajo del centro.
ii) Suponemos que el producto contribuy en gran medida al logro del objetivo del
proyecto.
La transferencia de tecnologa a la contraparte marcha sin problemas. Sus
habilidades tcnicas son de primer nivel en el pas D, y sus habilidades se utilizan en

185

la capacitacin y los servicios tcnicos. (Tabla 4: Evaluaciones por habilidad tcnica,

junto con la hoja de evaluacin de los expertos - omitidas aqu.) En cuanto al grado de
contribucin del mejoramiento de habilidades tcnicas de la contraparte, una encuesta
por cuestionario de la contraparte mostr que (a) un promedio de 80% de la
tecnologa transferida se utiliza en los cursos de capacitacin, y (b) 16 de los 22
encuestados contestaron que utilizan la tecnologa transferida para brindar servicios
tcnicos.
El equipo obtenido en el proyecto se utiliza suficientemente tanto en la capacitacin
como para servicios tcnicos. (Tabla 5: Tasa de operacin del equipo - omitida aqu.)
El problema con la tasa de rotacin de la contraparte, que se haba asumido como
un riesgo que obstaculizara el logro del objetivo del proyecto, qued en que tan slo
tres de 25 personas abandonaron su empleo. Considerando que la tasa de rotacin
en otras instituciones del gobierno y del sector privado es de un promedio de 50%,
podemos considerar que aqu la tasa de rotacin no es un factor inhibidor especfico.
iii) Otros factores contribuyentes
Como mtodo para producir un efecto en la cooperacin tcnica, el director del centro,
las contrapartes y los expertos comentaron que es efectivo establecer productos
objetivo para cada campo e implementar la transferencia de tecnologa a travs de la
produccin de dichos productos ya que ayuda a mantener un equilibrio entre la teora
y las habilidades prcticas. Este ejemplo demuestra cmo el establecimiento de una
meta clara puede conducir al xito.

[Eficiencia]
Desde el punto de vista del producto obtenido, los insumos se
manejaron eficientemente.
i) Los expertos se enviaron adecuadamente.
El envo de expertos se realiz segn lo planeado, para que la transferencia de
tecnologa planeada se pudiera llevar a cabo (Tabla 6: Hechos sobre el envo real
de expertos - omitida aqu). En la encuesta por cuestionario con la contraparte, 10
de los 22 encuestados dijeron que desde el punto de vista del producto alcanzado,
el envo de expertos fue adecuado. Sobre todo se evalu altamente la calidad de
los expertos a corto plazo. Esto se debe, por ejemplo, a que se enviaron expertos de
una calidad adecuada en relacin con los cargos de la tecnologa que se pag a sus
patrones mismos que suspendieron su trabajo (en compaas privadas) durante ese
perodo y porque se volvieron a enviar a algunos de los expertos de corto plazo.
Cuando tambin consideramos el tiempo limitado que las contrapartes tenan para
la transferencia de tecnologa (como la mayora de las contrapartes tenan otros
trabajos al mismo tiempo), podemos suponer que el mtodo de transferencia
concentrada de tecnologa mediante expertos de corto plazo fue adecuado.
Muchas de las contrapartes (13 de 22) mencionaron que otro de los factores que
contribuyeron al logro del objetivo hasta el final del proyecto fue el papel que jugaron
los expertos de largo plazo. Los expertos de largo plazo eran expertos con amplio
conocimiento y experiencia en vaciado, as como coordinadores que conocan muy
bien las circunstancias sociales del pas D. Suponemos que los factores que
promovieron el proceso de implementacin para la cooperacin tcnica fueron el
establecimiento de la comunicacin que se bas en una comprensin de la sociedad
y tambin la asistencia tecnolgica.
ii) La obtencin del equipo se realiz adecuadamente.
El equipo se obtuvo segn lo planeado y lo estn manejando correctamente
(Tabla 7: Lista de equipo, Tabla 5 (mostrada arriba) - omitida aqu). Algunos equipos
necesitaron ms tiempo del planeado para su instalacin y no estuvieron listos a
tiempo para el trabajo de los expertos de corto plazo, as que en ciertos campos
(campo X), la transferencia de tecnologa fue imposible. Sin embargo, el efecto
sobre el proyecto como un todo fue pequeo, gracias a clases complementarias que
ofrecieron los expertos de corto plazo cuando el equipo estuvo listo despus de
haber regresado a casa.

186

iii) La colocacin de las contrapartes fue adecuada en su mayor parte, pero muchos
tenan otro trabajo al mismo tiempo.
Las contrapartes se colocaron segn lo planeado. A la fecha, slo 3 de las 25
personas dejaron su trabajo, as que la estabilidad es buena. De acuerdo con los
planes iniciales, las contrapartes se dedicaran de tiempo completo a su trabajo en
el proyecto, pero en la realidad, casi la mitad de ellos (diez personas) tenan que
hacer otro trabajo al mismo tiempo. Segn las entrevistas con las contrapartes que
tenan otros trabajos al mismo tiempo, el tiempo promedio que le dedicaban a las
actividades del proyecto era alrededor de 41% de su tiempo de trabajo total, y
muchos sealaron que era difcil preparar la capacitacin mientras hacan otro
trabajo. No obstante, el hecho de que el proyecto haya producido un efecto incluso
cuando no todas las contrapartes estaban dedicadas a l tiempo completo (consulte
la pgina de Eficiencia) tambin nos permite juzgar que la eficiencia de la
implementacin fue alta.
iv) El costo total invertido en el proyecto fue tan bajo como el costo de proyectos
similares.
Comparado con el costo total de proyectos similares (proyectos del centro de
vaciado en los pases A y B), el costo de este proyecto fue aproximadamente 20%
ms bajo. Claro que hay diferencias en la situacin financiera de los pases objetivo,
en las etapas de desarrollo y en las mismas actividades, pero cuando observamos
el desglose del costo comparativamente, vemos que existe una diferencia notable
en los gastos de personal para los expertos (Tabla 8: Comparacin del desglose de
costos - omitida aqu). Creemos que en este proyecto, la combinacin eficiente de
expertos de corto plazo provoc la reduccin de costos. El siguiente factor que
redujo el costo general es que una gran parte del equipo se obtuvo localmente
(Tabla 8, mostrada arriba).
Fue imposible hacer una comparacin del costo unitario de la capacitacin ya que
(a) fue difcil sustituir el insumo con un valor econmico numrico para cada
producto, y (b) no existen costos unitarios por capacitacin en proyectos similares
que pudieran servir como comparativo de eficiencia.

[Impacto]
Se puede reconocer el siguiente impacto de la implementacin del proyecto y la
posibilidad de alcanzar la meta general de tres a cinco aos es alta.
i) Suponemos que es muy probable que se alcance la meta general.
Un indicador de la meta general mejoramiento del poder tcnico de las compaas
es el aumento de pedidos debido al mejoramiento de capacidad tcnica. Sin
embargo, en la encuesta por cuestionario realizada con las compaas en la
evaluacin final, no pudimos determinar ese cambio. En la auto-evaluacin de las
compaas realizada por el equipo de estudio de evaluacin, 70% de 50 compaas
respondieron que sus capacidades tcnicas mejoraron en algn rea (Tabla 9 omitida aqu). Especficamente muchas compaas que recibieron servicios tcnicos
informaron casos de xito en el mejoramiento de la calidad de los productos gracias
al mejoramiento de las tecnologas X e Y. stos se pueden percibir como el
surgimiento de un impacto a partir del centro de vaciado (consulte la Tabla 10 para
ver los tipos de casos de xito que dieron a conocer las compaas - omitida aqu).
Es necesario que el ministerio de industria en cooperacin con el ministerio de
polticas de la industria y el ministerio de promocin de la inversin aborden el
problema de fondeo de cada una de las pequeas y medianas empresas, que es
una de las suposiciones importantes, pero debido a la importancia de vaciado para
la industria automotriz ya existe un sistema de asistencia y no creemos que esto se
convierta en un problema tan serio.
Con base en estos hechos, es probable que la demanda aumente dentro de tres a
cinco aos.

187

ii) En entrevistas con las partes interesadas, los siguientes puntos se sealaron
como efectos de difusin positivos por la implementacin del proyecto.
z Fue posible reforzar (impacto en la industria) la colaboracin de agencias
relacionadas (asociacin de ingenieros del pas D, organizaciones industriales).
z Para utilizar la capacidad mejorada de capacitacin por proyecto y expandir el
rea no slo a nivel nacional, se est planeando el esquema de capacitacin para
terceros pases de la JICA.
z La tecnologa X, que se introdujo en el proyecto, incluye consideraciones para el
medio ambiente, y a travs de visitas a la fundicin, aument el inters de la
industria de vaciado del pas D por el medio ambiente (impacto sobre los aspectos
ambientales).

[Sustentabilidad]
Los prospectos de la sustentabilidad del proyecto sern posibles si los recursos
financieros y el equipo se manejan ms adecuadamente.
i) Hay promesas de continuar el apoyo poltico y del sistema.
El centro de vaciado es un instituto de capacitacin vocacional especializado en
la tecnologa de vaciado. Ha brindado recursos humanos a la industria de vaciado
del pas D a razn de ms de 250 personas por ao desde 1983 y es una institucin
importante para las pequeas y medianas empresas. Como centro tcnico para el
vaciado, tambin brinda servicios a gran nmero de compaas de vaciado. Cuando
consideramos el importante papel que juegan la pequea y mediana empresa en la
industria del pas D - que consiste principalmente de la industria automotriz - el
papel del centro de vaciado ser indispensable tambin en el futuro. El ministerio de
polticas de la industria, el ministerio de promocin del medio ambiente, los institutos
de capacitacin vocacional en todo el pas, el Centro de Desarrollo de vaciado (una
organizacin de la industria) y otras agencias relacionadas anunciaron que
continuarn apoyando al centro de vaciado.
ii) El centro de vaciado adquiri capacidades organizativas y operativas, pero hay
preocupacin por la planeacin del personal y el aseguramiento de recursos
financieros.
La percepcin de todos los expertos es que las capacidades operativas y
administrativas han mejorado en gran medida en comparacin con la situacin antes
de iniciar el proyecto.
La tabla 12 muestra la situacin financiera (omitida aqu). As como se invirtieron
grandes sumas en equipo, cada ao se requerirn los gastos de procuracin de
materiales de consumo y piezas necesarias para la operacin y los gastos de
mantenimiento tales como costos de reparacin. Con el aumento de actividades
tambin aumentarn los gastos (Tabla 13 - omitida aqu), y existe la preocupacin
que en el futuro cercano los recursos financieros sean insuficientes. En estos
momentos, la proporcin de recursos financieros obtenidos independientemente en
comparacin con los gastos es de alrededor de 50%, y ser an ms necesario
aumentar los ingresos a partir de los principales recursos financieros actuales cuotas de capacitacin y cuotas de servicio tcnico (por ejemplo, revisar el
contenido de las capacitaciones y servicios tcnicos, desarrollar estrategias de
mercado para asegurar clientes, etc.).
iii) Los prospectos de que la tecnologa transferida se va a difundir y establecer
son altos.
La hoja de seguimiento de tecnologa de los expertos tambin muestra que las
contrapartes cuentan con grandes capacidades de capacitacin (consulte el anexo 2
- omitido aqu). Adems, el material de enseanza desarrollado y los productos
objetivo producidos son de alta calidad. Los factores que conducen a la expectativa
que la tecnologa se va a establecer son, por ejemplo, planes del centro de vaciado
para realizar capacitaciones cruzadas de diferentes reas y su capacidad de autodesarrollo (tal como inscripcin en el curso de maestros).

188

En cuanto al mantenimiento y manejo del equipo, se esboz un plan de

mantenimiento preventivo y tambin durante el tiempo que el proyecto est vigente,
esperamos que el mantenimiento y el manejo se implementen de acuerdo con este
plan.

2. Conclusin

Este caso
llega a una
conclusin
teniendo en
mente
preguntas
de
evaluacin
de alto
nivel.

En las
recomendaciones se
incluyen
detalles ms
concretos
sobre cmo
trabajar para
asegurar
recursos
financieros.

Este proyecto se implement en respuesta a la poltica nacional y a las

necesidades de la agencia de implementacin (centro nacional de vaciado) y a las
fuertes necesidades de la industria de vaciado en el pas D con la intencin de
mejorar la tecnologa de vaciado de la pequea y mediana empresa en este pas.
Con el mejoramiento de las capacidades tcnicas del centro nacional de vaciado
ahora se brindan capacitacin y servicios tcnicos de alta calidad, y esperamos que
a la larga mejoren las habilidades tcnicas de las mismas compaas. Este proyecto
tuvo una alta efectividad.
Entre los factores contribuyentes podemos mencionar, por ejemplo, el hecho de
que se hayan implementado las actividades casi como se haba planeado y que la
agencia de implementacin ya tena capacidad operativa de cierto nivel. Otro factor
es que los recursos humanos se colocaron de manera adecuada. Otro factor
contribuyente importante es la buena relacin que se construy basada en la
confianza mutua entre los expertos y las contrapartes. El seguimiento se realiz
adecuadamente y ambas partes siguieron las actividades como socios,
compartiendo el objetivo de este proyecto. En nuestro enfoque hacia la cooperacin
tcnica introdujimos de dos a tres productos objetivo por cada rea de transferencia
de tecnologa, y transferimos la tecnologa a travs de la fabricacin de dichos
productos objetivo. Esto ayud a mantener un equilibrio entre la teora y las
habilidades prcticas y tambin comunic una gua prctica a las compaas, al
tiempo que estableca metas claras. Esto result ser efectivo para una transferencia
de tecnologa sin problemas.
Por otro lado, sigue habiendo cierta preocupacin con respecto a la
sustentabilidad. Actualmente, la proporcin de ingreso independiente del suministro
de servicios tcnicos y dems en el centro nacional de vaciado es de 50%, lo que la
hace ser una organizacin con una tasa de autofinanciamiento relativamente alta.
Sin embargo, el valor del equipo proporcionado en este proyecto alcanza los 354
millones de yenes, y esperamos que cada ao se requieran gastos de procuracin
de materiales de consumo y piezas necesarios para la operacin, as como los
gastos de mantenimiento tales como costos de reparacin. Adems, existe la
preocupacin en cuanto a la reduccin de ingresos debido a la disminucin de
asistentes, como se muestra en el estudio de evaluacin que se realiz. En cuanto a
los antecedentes de la disminucin, algunos sealan que no se dio necesariamente
respuesta suficiente a los cambios recientes en las necesidades de capacitacin de
las compaas y es probable que sea necesario reaccionar ms activamente ante
estas necesidades que incluyen la comercializacin. En cuanto al mantenimiento y
manejo del equipo - hasta ahora, los expertos de corto plazo han reparado,
ajustado, etc. parte del equipo. En el futuro, una seccin de los servicios de
mantenimiento tendr que manejarlo independientemente.
Segn los resultados de la evaluacin utilizando los Cinco Criterios de
Evaluacin, ni el plan (estrategia del proyecto, relaciones causales) ni el proceso de
implementacin muestran ningn problema serio, y por ello pudimos confirmar que
la meta general se va a alcanzar y creemos que la cooperacin se puede terminar
sin problemas. En el futuro, el centro necesita realizar esfuerzos ms slidos para
asegurar los recursos financieros al mismo tiempo que responde a los cambios de la
situacin.

189

Caso 7: Interpretacin de una Evaluacin Final (2)

Los siguientes ejemplos son interpretaciones de los Cinco Criterios de Evaluacin a
partir de Resmenes de Evaluacin anteriores.

[Pertinencia]

El caso aqu fue que la prioridad era alta, pero haba problemas
con algunas de las necesidades de los beneficiarios (necesidad).
La tecnologa que no est en sincrona con las necesidades puede
convertirse en un factor que obstruya la efectividad y el impacto.

Programa de Desarrollo Agrcola Integral en el Pas A

Propsito del Proyecto: La productividad agrcola en los subsitios del proyecto (los
distritos de demostracin dentro del programa de riego de la regin K que estn
cultivando miembros de la asociacin de riego) aumenta mediante mejoras en el cultivo.
El Ministerio de Agricultura formul un Plan de Mediano plazo para el Desarrollo
Agrcola (1993-1998), y ha estado promoviendo un Programa de Fortalecimiento para
la Produccin de Granos de Cereal, centrndose en el arroz. En el Programa de la
Cosecha Dorada (Golden Harvest Program), una poltica para el desarrollo y difusin
de tecnologa que se adapta a las caractersticas especficas de la regin, el 7 distrito
del Ministerio de Agricultura es una regin designada para aumentar el cultivo de arroz;
y los distritos de riego desarrollados en el Plan de Desarrollo de Riego K y el Plan de
Desarrollo Agrcola B (Fase 1) estn designados como los distritos de ms alta
prioridad para la produccin de arroz. Por las razones antes expuestas, el objetivo del
proyecto y la meta general son consistentes con la poltica de desarrollo agrcola del
pas A, por lo que es de alta pertinencia.
Por otro lado, los agricultores de pequea escala o aquellos con bajos ingresos no
podrn fcilmente aplicar la nueva tecnologa desarrollada en este proyecto. Hubo
inconsistencias con las necesidades de algunos de los beneficiarios del proyecto. Esto
se debe en parte a que las investigaciones bsicas realizadas en la fase de preparacin
no fueron suficientes.

Proyecto del Centro de Tecnologa de Vaciado de Metal en el Pas B

Propsito del Proyecto: El Centro de Vaciado de Metal adquiere la capacidad de brindar
capacitacin y apoyo tcnico para la tecnologa de moldeado de plstico.
En el Plan Nacional de Desarrollo de Mediano Plazo del Pas B (1999-2004) y en el
Plan de Desarrollo de Mediano Plazo para la Ciencia y la Tecnologa (los mismos), el
gobierno del Pas B se enfoc en el desarrollo industrial a travs del mejoramiento de
las habilidades tcnicas, ubicando a la industria de moldeado y a la industria de la
produccin como elementos indispensables. El propsito del proyecto y la meta general
son consistentes con la poltica nacional y las necesidades de los beneficiarios, as que
el proyecto tiene pertinencia.
Al inicio del proyecto, la industria de moldeado de plstico tena un potencial alto, as
que se consider adecuada la cooperacin en el moldeado de plstico dentro de la
industria de moldeado que es tan diversa. Sin embargo, en la actualidad la demanda
del moldeado a presin en el pas B es todava mayor. Por lo anterior, aunque la meta
general y el propsito del proyecto eran consistentes con los planes de desarrollo, las
actividades estaban limitadas al moldeo de plstico, y el proyecto no tuvo una influencia
directa sobre la industria de moldeo como un todo que incluye varias tecnologas
(moldeado de plstico, moldeado a presin, ect.).

El caso aqu fue que la prioridad era alta, pero el plan no era adecuado en algunos puntos como medio
para solucionar problemas. En este caso, un punto de vista importante de la evaluacin es la pregunta
sobre el tipo de influencia que puede tener la baja importancia del plan en la efectividad del proyecto.
Tambin es importante un examen sobre el proceso de implementacin, y si el seguimiento se realiz de
manera adecuada respondiendo a los cambios de la situacin o no.

190

[Efectividad]

Aqu las relaciones causales entre el efecto y el

proyecto se evaluaron cualitativamente a travs de
una comparacin con distritos no pilotos (aplicacin
de un diseo semi-experimental.

Planeacin Familiar y el Proyecto de Salud Materno Infantil en el Pas C

Propsito del Proyecto: La conciencia sobre los cuidados de salud primaria y
reproductiva aumentan a travs del mejoramiento de los servicios de salud primaria y
reproductiva en los distritos pilotos de la tercera regin.
Los siguientes puntos se utilizaron como indicadores objetivo. Muestran las
diferencias importante entre los distritos piloto y los no-piloto. Podemos ver que en los
distritos piloto la conciencia sobre la importancia de las revisiones mdicas y el manejo
continuo de la salud durante el embarazo, el parto y despus del nacimiento provocan
una diferencia en el comportamiento.

Oportunidad de la primera revisin

prenatal de salud (mes del embarazo)
Nmero de revisiones prenatales de
salud
Revisiones de salud para bebs y nios
pequeos (%)

Distrito Piloto
1.8

Distritos No-pilotos
2.3

4.3

1.7

59.0

12.0

La razn para esto es la mayor conciencia de los beneficiarios, sobre todo las
mujeres embarazadas y la madres, que es una consecuencia del mejoramiento de
capacidades del personal de atencin mdica y de una revitalizacin de actividades con
participacin ciudadana que, nuevamente, son el resultado de la introduccin de listas
de supervisin para las revisiones mdicas de bebs y nios pequeos (incluyendo el
uso de libretas de abono para maternidad), oportunidades para que mdicos,
enfermeras, parteras y dems partes interesadas discutan actividades y problemas, y el
desarrollo de una amplia variedad de material educativo.

Aqu la relacin causal entre el efecto y el proyecto se evala

cualitativamente de acuerdo con su relacin con el resultado.

Proyecto para la Deteccin Temprana y Cura Rpida del Cncer de Prstata

Propsito del Proyecto: Establecer un sistema de exmenes para el cncer de prstata
en la regin meta.
Se espera alcanzar el propsito del proyecto al final del mismo. Mediante
capacitaciones, seminarios y otras actividades de expertos, las contrapartes adquirieron
la tecnologa bsica para implementar un sistema de examen de cncer de prstata. Al
final del proyecto, la contraparte implement exmenes de cncer de prstata para ms
de 12,000 personas en la ciudad B. De stos, 813 resultaron positivos, 273 de ellos se
sometieron al segundo diagnstico de cncer, y a 69 personas se les diagnostic con
cncer de prstata, as que el proyecto contribuy de manera significativa a la deteccin
temprana y diagnstico de cncer (los datos corresponden hasta Mayo, 2003). Adems,
se reconoci el contenido de seis tesis de investigacin y estn recibiendo subsidios
para la investigacin del departamento de ciencias y tecnologa del pas C, de la
agencia de ciencias y tecnologa del ministerio B y de la universidad B. Como este
proyecto introdujo el primer sistema de examen de cncer de prstata en la regin
meta, podemos considerar que el nivel de logros del propsito del proyecto frente al
cncer de prstata se debe al producto del proyecto.

191

[Efectividad]

Aqu, se explican los elementos tanto positivos como

negativos antes que el equipo de estudio de evaluacin
emita su juicio final.

Proyecto para Mejorar el Sistema de Seguimiento Agroqumico

Propsito del Proyecto: Se proporciona al mercado alimentos seguros con un nivel
adecuado de residuos agroqumicos.
Como se mencion en el objetivo del proyecto, para realizar un sistema de
seguimiento de residuos agroqumicos y la formulacin de drogas agroqumicas, se
mencionan los siguientes indicadores: (1) datos de registro de agroqumicos
almacenados y organizados, (2) implementacin sistemtica de agroqumicos
residuales, (3) creacin de conciencia en las agencias interesadas sobre la importancia
de la implementacin continua de estas investigaciones, y (4) el reconocimiento de la
importancia del uso efectivo de los resultados de las pruebas de agroqumicos
residuales. Las investigaciones de agroqumicos residuales no cubren todos los
productos del pas D, y en realidad no podemos decir que la Oficina de Cosechas
Agrcolas y la Agencia de Fertilizantes y Agroqumicos reconocen lo suficiente la
importancia de utilizar los datos de anlisis.
Sin embargo, cuando lo consideramos integralmente, los cinco productos casi se
alcanzaron como se plane desde el principio y este proyecto transfiri tecnologa y
know-how sobre elementos importantes para el establecimiento de un sistema de
seguimiento agrcola, de manera que ahora la contraparte puede implementar
independientemente anlisis de agroqumicos residuales, anlisis de formulacin de
drogas, pruebas sobre sustancias qumicas residuales en productos agrcolas, etc. Por
tanto, consideramos que este proyecto prepar las bases para alcanzar el objetivo.

Proyecto de Desarrollo para la Agricultura de Riego a Pequea Escala

Propsito del proyecto: Sistema de cultivo en regiones agrcolas de riego bajo la
jurisdiccin de la Compaa Pblica para el Desarrollo de Riego
Hasta cierto punto, la efectividad es alta. Se realizaron investigaciones y anlisis de la
situacin de cultivo principalmente en las regiones modelo sin ningn problema. Aunque
los niveles de logros varan dependiendo de las tcnicas particulares, cada una se
mejor. Por ejemplo, se eligieron variedades adecuadas para cada campo de cultivo.
En dos regiones modelo se establecieron, y enfatizaron hasta cierto punto, sistemas de
apoyo para cultivo - tales como organizaciones de agricultores y un mecanismo de
diseminacin. El establecimiento de estos sistemas de cultivo modelo contribuyeron en
gran medida al logro del propsito del proyecto.
Sin embargo, no podemos decir que el logro del objetivo sea completamente un
efecto directo del proyecto, ya que hay algunos efectos causados por insumos adems
de este proyecto, como instalaciones de riego construidas con cooperacin financiera
no reembolsable.

Aqu la obtencin del objetivo del proyecto

se deba juzgar con base en contribuciones
que no fueran el proyecto.

192

Aqu los evaluadores trataron de

comparar con proyectos similares
pero no encontraron un proyecto
comparable.

[Eficiencia]

Proyecto para el Desarrollo de Aguas Freticas y Capacitacin para el Suministro de

Agua
Propsito del Proyecto: Se fomentan recursos humanos para el desarrollo de aguas
freticas y el proyecto de suministro de agua, incorporando los puntos de vista del
Genero y Desarrollo.
El insumo humano y fsico tanto de Japn como del pas E en este proyecto se utiliz
eficientemente y contribuy a los productos de las actividades. Hubo un gran insumo de
equipo en este proyecto, ascendiendo a 375 millones de yenes. Esto fue necesario
como la inversin inicial del centro, y potencialmente el equipo se utilizar por mucho
tiempo. Tambin es necesario examinar la eficiencia de este insumo desde un punto de
vista a largo plazo.
Observe que como no se ha realizado ningn proyecto en frica que brinde el mismo
tipo de capacitacin en las mismas reas tcnicas del centro, fue difcil comparar este
proyecto con los costos de otros.

Proyecto de Salud Materno Infantil

Propsito del Proyecto: i) Reducir la mortalidad entre mujeres embarazadas, bebs y
nios pequeos en las regiones piloto (distritos A y B); ii) reducir las enfermedades
epidmicas dentro del alcance del EPI (Programa Extendido de Vacunacin) y erradicar
la polio en el pas T; iii) mejorar los servicios peditricos en el MMC (centro mdico).
La cantidad y oportunidad de insumos del lado japons fue prcticamente adecuada.
Sin embargo, en el rea de salud materno infantil, segn la evaluacin de la contraparte
en cuanto al tiempo y oportunidad de envo de expertos fue bajo. Tambin fue baja la
eficiencia de la actividad para establecer sistemas de referencia para los nacimientos
de alto riesgo ya que los planes de actividades no fueron suficientes debido a que el
manejo y direccin de los consejeros principales no alcanzaron la meta de factores
geolgicos y por una falta de habilidades de coordinacin de los expertos de largo
plazo. Adems, en el servicio peditrico en el centro mdico, las especialidades de los
expertos fueron parcialmente diferentes a las expectativas del pas T. Esto tambin
provoc una baja eficiencia.
En cuanto a los insumos del lado del pas T, hubo dos factores que obstaculizaron la
eficiencia: el pas T no soport una carga de costos suficiente y se asign al gerente de
operaciones para el laboratorio peditrico demasiado tarde.

El caso aqu fue que la insuficiencia de

planes de actividades hacia el resultado
provoc una baja eficiencia.

193

[Impacto]

Aqu los evaluadores detectaron

cambios en los indicadores de la meta
general. Sin embargo, se desconoce
la relacin causal con el proyecto.

Proyecto para la Prevencin de Enfermedades Infecciosas entre los Nios

Propsito del Proyecto: Fortalecer el establecimiento del sistema de prevencin de
enfermedades infecciosas (principalmente polio, pero tambin tuberculosis) que estn
dentro del alcance del EPI (Programa Extendido de Vacunacin).
En los ltimos cinco aos, las tasas de mortalidad de bebs, nios menores de cinco
aos y mujeres embarazadas han disminuido. Creemos que, en gran medida, estas
mejoras se deben a que ha disminuido la cantidad de brotes de enfermedades
infecciosas. Esto se logr a travs del reforzamiento de la aplicacin del sistema de
prevencin de enfermedades del EPI en el proyecto y de las actividades mdicas
materno infantiles que se fortalecieron como parte de las actividades.

Mortalidad de bebs y nios pequeos (por cada 1,000

nacimientos)
Mortalidad de nios menores de cinco aos (por cada
1,000 nacimientos)
Mortalidad de mujeres embarazadas y parturientas (por
cada 100,000 nacimientos)

1995
104

2000
82

170

106

656
(1993)

530

Adems, se produjeron los siguientes efectos positivos: (1) el sistema de aplicacin

de vacunas de las provincias que se desarroll en el programa se convirti en el
lineamiento nacional, (2) las actividades de informacin, educacin y comunicacin
(IEC) ayudaron a mejorar el conocimiento de las enfermedades infecciosas del pblico
en general, (3) el Ministerio de Salud realmente no tena la costumbre de llevar registros
y la falta de documentos era una causa de la baja recepcin de vacunas de la UNICEF,
pero el fortalecimiento del sistema de organizacin y manejo de documentacin bsica
elev el nivel de habilidades administrativas del personal en el Ministerio, etc.

Proyecto para Mejorar la Tecnologa de Diagnstico de Enfermedades Infecciosas del

Ganado
Propsito del Proyecto: Obtener tcnicas para la investigacin bsica y aplicada de
mtodos de diagnstico inmunolgico de enfermedades infecciosas.
Hay una gran diferencia entre el propsito del proyecto "fortalecimiento de la
investigacin inmunolgica e inmuno-patolgica" y la meta general desarrollo de la cra
de ganado. Como las actividades del proyecto estn limitadas dentro del centro de
investigacin inmunolgica, en esta etapa no se puede observar ningn impacto
organizativo, econmico o social importante. Para alcanzar la meta general se debern
resolver temas como el diseo e implementacin de polticas de desarrollo agrcola, el
establecimiento de una agencia para la divulgacin de tecnologa de diagnstico y la
organizacin de servicios veterinarios. Sin embargo, desde el aspecto tcnico hubo
efectos de difusin tales como la introduccin de las tcnicas de diagnstico
desarrolladas en el proyecto en el departamento de veterinaria de la Universidad de
Agricultura M y la Oficina de Veterinaria del Ministerio de Alimentos y Agricultura, o la
divulgacin del conocimiento de tcnicas de diagnstico inmunolgico en clnicas
veterinarias regionales y otros laboratorios nacionales de investigacin y agencias
gubernamentales relacionadas. La divulgacin de las tcnicas adquiridas en el proyecto
ser posible si se fortalecen instalaciones tales como los complejos de bio-investigacin
o los centros veterinarios regionales.
Aqu la distancia entre el objetivo del proyecto y la
meta general era tan grande que era imposible una
evaluacin. Es necesario volver a examinar la
pertinencia en la fase de planeacin.

194

El caso aqu es que desde los aspectos

polticos, tecnolgicos y financieros, la
sustentabilidad es alta aunque existe
todava posibilidades para mejorar.

[Sustentabilidad]
Programa de Mejoramiento para el Centro Mdico y la Seguridad Ocupacional
Propsito del Proyecto: Fortalecer las funciones del Centro de Salud y la Seguridad
Ocupacional.
En cuanto al aspecto poltico, el nuevo Noveno Plan de Desarrollo Nacional incluye la
promocin eficiente de la salud y la seguridad en el sitio de trabajo, y enumera nueve
actividades relativas a la salud ocupacional y la seguridad (actividades educativas, etc.).
El personal que trabaja en el centro tiene experiencia en dar a conocer trabajos de
investigacin, anlisis cientficos y xamenes, y en seminarios de organizacin
relacionados con el rea de la salud ocupacional y la seguridad. El centro adquiri una
gran cantidad de tcnicas y un gran nmero de personal con antecedentes de
educacin de alto nivel. De lo anterior, consideramos que la sustentabilidad tecnolgica
es alta. En cuanto al aspecto organizativo, al momento de la evaluacin final se est
llevando a cabo una reestructuracin organizativa, pero tambin despus de esta
reestructuracin, el centro dice que mantendr la organizacin, actividades y personal
actuales.
Por otro lado, hay un tema importante: asegurar expertos mdicos en el rea de
salud ocupacional y seguridad de otras organizaciones cuya cooperacin es
indispensable, as como asegurar operadores de maquinaria y dems personal de
asistencia en el rea de la salud ocupacional y la seguridad. Actualmente, los
prospectos de estabilidad financiera son buenos, ya que el centro asegur recursos
financieros del presupuesto nacional y se sistematiz el aseguramiento de
presupuestos mediante la fundacin del seguro de lesiones de trabajo.
De lo anterior, creemos que existen suficientes posibilidades de que el centro podr
utilizar de manera efectiva y continua los efectos directos de este proyecto en el futuro y
que tiene una alta sustentabilidad.

Proyecto para el Desarrollo de Produccin de Vegetales en Granjas Pequeas

Propsito del Proyecto: Mejorar la tecnologa de produccin de vegetales de
agricultores de pequea escala en el Laboratorio Nacional de la Oficina del Ministerio
de Agricultura y que los agricultores lderes de pequea escala en la regin meta la
utilicen.
Algunos de los agricultores lderes ahora guan a otros agricultores y esperamos que la
tcnica se divulgue en el futuro. Sin embargo, para seguir investigando y divulgando las
tcnicas en un rea ms extendida, el laboratorio necesita mantener la capacidad de
investigacin de vegetales y la Oficina de Extensin del Ministerio de Agricultura
necesita determinar los detalles de cmo apalancar la iniciativa del sector privado para
la divulgacin y fortalecer la capacidad de manejo.
A lo largo de la cooperacin, no podemos negar que el pas P no adopt una carga
suficiente de los costos locales. Por el momento, el laboratorio planea continuar sus
actividades con presupuestos nacionales. Su propio ingreso se paga por completo al
tesoro nacional, y luego se le regresa al laboratorio. No obstante, como existen muchos
factores de incertidumbre, tales como el calendario y proporcin del reembolso, la
situacin actual hace difcil ver un prospecto brillante para el mantenimiento y desarrollo
del efecto directo del programa y para el desarrollo organizativo y la difusin de la
produccin de vegetales.
En cuanto al aspecto tcnico, la contraparte adquiri slidamente las tcnicas
transferidas, pero en realidad no podemos decir que se han establecido en la
organizacin. Como investigadores, las contrapartes establecieron sus propios temas
de investigacin, pero no han llegado a un nivel en que puedan implementar los
mtodos de investigacin totalmente por s mismos.

Aqu la distancia entre el objetivo del proyecto y la

meta general era tan grande que era imposible una
evaluacin. Es necesario volver a examinar la
195
pertinencia en la fase de planeacin.

4. Temas Principales de las Evaluaciones Ex-post

(1) Propsito y Temas de las Evaluaciones Ex-post
Las Evaluaciones Ex-post verifican si los efectos directos que persegua el proyecto
continan cierto tiempo despus de la terminacin de la cooperacin. Los resultados de
estas evaluaciones se retroalimentan a proyectos similares de la JICA en la fase de
planeacin o a la formulacin de programas a macro nivel, por ejemplo, los Programas
por Pas de la JICA. stos se reflejan en la implementacin efectiva y eficiente de dichos
proyectos.
Como ya termin la cooperacin de la JICA, el resultado de las evaluaciones ex-post
tambin incluye recomendaciones para la organizacin del pas socio que contina las
actividades. Adems, un factor importante es que de la gestin de la organizacin como
un todo se extraen recomendaciones y lecciones aprendidas concretas para los esfuerzos
futuros de la JICA.
En las evaluaciones ex-post, los estudios se enfocan en dos criterios de evaluacin:
impacto - que se espera aparezca despus de cierto tiempo de haber terminado la
cooperacin, y sustentabiidad - donde los evaluadores observan si el efecto se produce
de manera continua despus que termin la cooperacin. Hasta la evaluacin final, estos
criterios siempre se examinaron sobre la base de sus posibilidades, pero en la evaluacin
ex-post, se examinan sobre la base de sus resultados. Si es necesario, las evaluaciones
tambin se realizan desde el punto de vista de la pertinencia (consulte la tabla 3-2-1).
Cuando se evala el impacto, es importante verificar las relaciones causales del
proyecto de cooperacin, igual que en el caso de la efectividad. Otros factores
independientes del proyecto pueden influir con mucha facilidad en el impacto, ya que es
un efecto indirecto esperado a largo plazo. Si el proyecto est ubicado como parte de un
programa, los evaluadores tambin deben observar los impactos desde el punto de vista
de los efectos sinrgicos con otros proyectos.
Cuando se examina la sustentabilidad, es posible realiza el anlisis refirindose al
insumo, actividades y productos continuados del proyecto de cooperacin, sobre todo si
el proyecto sigue dirigido por la misma organizacin que lo dirigi durante la cooperacin.
Por ejemplo, en los proyectos de capacitacin y divulgacin, los evaluadores pueden
captar la sustentabilidad si observan el estado de implementacin de las capacitaciones y
el desarrollo del material de enseanza. Adems, si el trabajo contina de una manera
nueva que es diferente al proyecto de cooperacin y esto muestra un efecto directo, los
evaluadores necesitan considerar si el nuevo sistema se desarroll a partir del efecto
directo de la cooperacin. Por ejemplo, en los proyectos de R/D, es posible examinar la
sustentabilidad captando el proceso de utilizacin de tcnicas desarrolladas para el
siguiente desarrollo.

196

Tabla 3-2-8 Puntos de Verificacin de las Evaluaciones Ex-post

Puntos de
Evaluacin

Impacto

Sustentabilidad
(Prospectos)
* Lo que es
indispensable para
asegurar la
sustentabilidad
depende del
contenido del
proyecto. Se debe
implementar el
estudio con esto en
mente.

Puntos de Verificacin de la Evaluacin

Nivel de logros de la meta general
Se alcanz la meta general? (compare con las metas)
Qu influencia tiene el logro de la meta general sobre el plan de
desarrollo del pas socio?
Contribuye a la solucin de problemas de desarrollo?
Cules son los factores que dificultaron y promovieron el logro de la
meta general?
Relaciones causales
La meta general es un impacto producido a travs de la
implementacin del proyecto?
Las suposiciones importantes del propsito del proyecto a la meta
general son correctas? Hay alguna influencia a partir de las
suposiciones importantes?
Efectos de difusin
Hubo algn impacto positivo o negativo adems de la meta general?
* Influencia sobre el desarrollo de polticas, leyes, normas y similares
* Influencias sobre los aspectos sociales y culturales tales como gnero,
derechos humanos, ricos y pobres
* Influencia sobre la proteccin ambiental
* Influencia derivada de cambios tcnicos
* Influencias econmicas sobre la sociedad objetivo, las partes
interesadas, los beneficiarios
Hay impactos diferentes dependiendo de las diferencias entre gneros,
grupos tnicos o estratos sociales (sobre todo impactos negativos)?
La agencia de implementacin del pas socio continua con las
actividades del proyecto? El efecto que persegua el proyecto
(propsito del proyecto o meta general) se produce continuamente con
esto?
Cules son los factores que dificultan y que contribuyen a la
sustentabilidad?
Polticas y sistemas
* Continuidad del apoyo poltico
* Desarrollo de estipulaciones y sistemas legales relacionados
* En el caso de proyectos centrados en sitios piloto, existen esfuerzos
confiables para ayudar a divulgar los efectos directos posteriormente?
Aspectos organizativos y financieros
z Se tiene suficiente capacidad organizativa para implementar
actividades que produzcan efectos? (Asignacin de recursos
humanos, proceso de toma de decisiones, etc.)
z Se tiene un sentido de conciencia de la iniciativa propia en las
agencias de implementacin?
z Aseguramiento del presupuesto (incluyendo los gastos de operacin)
Tcnicas
z Establecimiento de tcnicas transferidas
z Mantenimiento y manejo del equipo
z Hay algn mecanismo de divulgacin (incluyendo la divulgacin a

197

otras regiones de proyectos que se implementaron en los sitios piloto?

Sociedad, cultura, medio ambiente
z Hay factores que obstaculizan debido a la falta de consideracin
hacia las mujeres, los pobres y los socialmente vulnerables?
z Hay factores que obstaculizan debido a la falta de consideracin al
medio ambiente?
* Las evaluaciones ex-post examinan los resultados y los procesos de implementacin y
evalan la pertinencia segn sea necesario. Estos puntos de vista de evaluacin se manejan
igual que en las evaluaciones finales.

(2) Diseo de la Evaluacin Ex-post

El diseo de las evaluaciones ex-post tambin sigue el mismo proceso que otros estudios
de evaluacin. Consulte la Parte II, Captulo 2 para obtener explicaciones ms detalladas
sobre el diseo de la evaluacin. Las caractersticas del diseo de la evaluacin ex-post
son las siguientes:
i) Temas cuando se consideran las preguntas de evaluacin
Las principales preguntas de evaluacin comunes a todas las evaluaciones ex-post
son continua el efecto sin apoyo externo despus que termin la cooperacin? y se
produjo un impacto de largo plazo? Desde el punto de vista de los Cinco Criterios de
Evaluacin, impacto" y sustentabilidad son los criterios principales para esta
evaluacin. La evaluacin final termin de verificar la eficiencia y la efectividad y, por
principio, la evaluacin ex-post no verifica estos criterios.
Para hacer un borrador de preguntas de evaluacin ms concretas, los evaluadores
pueden utilizar los informes de las evaluaciones intermedia y final. Como ya se
examinaron los pronsticos de las posibilidades de sustentabilidad e impacto, los
evaluadores pueden obtener claves de lo que es importante verificar.
ii) Temas al considerar criterios y mtodos de juicio
Al examinar el impacto en las evaluaciones ex-post, los evaluadores necesitan
comparar el nivel de logros con las metas y analizar las relaciones causales para
determinar si la cooperacin realmente caus el impacto. A diferencia de los exmenes
de efectividad, con frecuencia los exmenes de impacto cubren amplias reas de la
sociedad objetivo, y en muchos casos, es adecuado captar las tendencias, por ejemplo,
en las encuestas por muestreo (consulte 2-2-2 para informacin sobre mtodos de
comparacin y 2-2-3 para encuestas por muestreo).
iii) Temas relativos a las fuentes de informacin y mtodos de recopilacin de datos
En comparacin con otros estudios de evaluacin es difcil identificar las fuentes de
informacin despus que termin la cooperacin ya que es posible que hayan transferido
a las personas que participaron en la cooperacin o que stas dejen sus trabajos.
Dependiendo del caso, los evaluadores necesitan consultar con anticipacin con la
agencia de implementacin del proyecto que se va a evaluar e identificar las fuentes de

198

informacin adecuadas junto con la agencia (consulte 2-2-1 para informacin sobre los
mtodos de recopilacin, tipos de datos y caractersticas/puntos a recordar).
iv) Temas relativos a la tabla de evaluacin
Al igual que en las otras evaluaciones, es necesario resumir el mtodo de evaluacin
en una tabla de evaluacin. Las evaluaciones ex-post se realizan bajo la iniciativa de la
oficina en el extranjero, para que sea posible consultar directamente a las partes
interesadas del pas socio que participaron en el diseo de la evaluacin. En este
momento, la tabla de evaluacin tambin se puede utilizar como herramienta de
comunicacin. El proceso de compartir el diseo con las agencias socias es importante
tambin para profundizar el conocimiento comn de la evaluacin y para obtener el
compromiso de parte del socio en relacin con el estudio de evaluacin.

(3) Interpretacin y Resumen de los Datos de la Evaluacin Ex-post

Tal como se explica en la Parte II, Captulo 3, evaluacin significa interpretar los datos
recopilados y analizados - no es suficiente si slo se enumeran los datos y se aaden los
resultados del cuestionario. Al igual que en las evaluaciones intermedia y final, el proceso
de interpretacin de las evaluaciones ex-post realiza una "evaluacin de cada uno de los
cinco Criterios de Evaluacin" y luego saca una conclusin. De ella se extraen las
recomendaciones y lecciones aprendidas.
Las metas principales de retroalimentacin de las evaluaciones ex-post son las
organizaciones que implementan el proyecto (el proyecto continua despus de la
cooperacin), la divisin de implementacin respectiva de la JICA, y las oficinas de la
JICA en el extranjero. Sobre todo en el caso de la ltima, los resultados de las
evaluaciones ex-post se convierten en fuentes de informacin importantes para hacer
bosquejos de programas para el rea especfica de ese pas, o cuando se hace el
borrador de proyectos nuevos. Incluso si se vio algn efecto durante la cooperacin
(aunque los resultados de la evaluacin final hayan sido buenos), en algunos casos los
efectos no estn sustentados al final de la cooperacin y no contribuyen al objetivo a
largo plazo que el proyecto persegua.

En estos casos, se cuestiona el valor de la

implementacin misma del proyecto, y estos casos brindad lecciones aprendidas valiosas
con respecto a cmo se deben formular los planes y estrategias de un proyecto.
La retroalimentacin a la JICA se utiliza principalmente para las siguientes
consideraciones.
z

Establecimiento de estrategias a largo plazo para el rea respectiva

Programa de cooperacin en el rea respectiva

Seleccin de las agencias de implementacin adecuadas

Necesidad de incorporar una estrategia para fortalecer la capacidad

organizativa

Estrategias efectivas del proyecto

199

Implementacin de proyectos relacionados en el rea correspondiente

Observe que, en principio, las evaluaciones ex-post se realizan bajo la iniciativa

de las oficinas en el extranjero.

200

Preguntas Frecuentes
relativas a la Evaluacin
de Proyectos de la JICA

201

Preguntas Frecuentes Relativas a la Evaluacin de Proyectos de la JICA

1. Preguntas generales sobre la Evaluacin de Proyectos de la JICA
1.1

La evaluacin ex-ante se enfoca en la planeacin del proyecto, pero no entiendo el significado de

la evaluacin que se realiza como parte de sta.

1.2

No entiendo la diferencia entre el mtodo PCM y el mtodo de evaluacin de la JICA.

2. Preguntas de evaluacin
2.1

No entiendo qu son las preguntas de evaluacin.

2.2

No entiendo la relacin entre las preguntas de evaluacin y los Cinco Criterios de Evaluacin.

3. Mtodo de encuestas cuando hay un problema con el marco lgico

3.1

Qu se debe hacer cuando el propsito del proyecto es simplemente una nueva exposicin del
producto?

3.2

Qu se debe hacer cuando la meta general difiere del propsito del proyecto?

3.3

Cmo se evalan los proyectos que tienen dos propsitos?

3.4

Cmo se evalan los proyectos que tienen planos vagos o que difieren de la PDM que se
prepar inicialmente?

4. Indicadores
4.1

Qu se debe hacer cuando no hay suficientes indicadores o no coinciden con el propsito del
proyecto?

4.2

Cmo se debe llevar a cabo la evaluacin cuando se determina que no existen valores objetivo
o son inadecuados?

4.3

Cmo se puede verificar si los valores objetivo son adecuados?

4.4

Es necesario considerar todos los indicadores como cuantitativos?

5. Mtodo de evaluacin
5.1
5.2

No me queda claro qu significa la "lgica" del proyecto.

Cmo se deben presentar los resultados de la evaluacin cuando parece que el proyecto no
podr alcanzar su propsito?

5.3

El proyecto est implementando actividades que no se mencionan en el marco lgico y dichas

actividades estn produciendo productos. Cmo se evalan esos productos? Se consideran
efectos indirectos?

5.4

No entiendo cul es el punto de vista del proceso de implementacin y cmo se utiliza en la

evaluacin.

5.5

Cmo se evalan puntos tales como el nivel de funciones aumentadas, conocimientos/

habilidades mejoradas y empoderamiento?

5.6

Cuando se evala el mejoramiento de capacidad, etc., cmo se evalan los proyectos que no
tuvieron buen seguimiento hasta el momento de la evaluacin?

5.7

Cmo se evalan los proyectos que se implementan en colaboracin con otros donadores o los
proyectos del gobierno de un pas socio que la JICA asume parcialmente?

6. Cinco Criterios de Evaluacin

6.1

Por qu son necesarios los Cinco Criterios de Evaluacin?

6.2

Es necesario examinar los cinco criterios, an en el caso de proyectos pequeos?

6.3

Es suficiente con slo discutir la pertinencia que coincide con el plan de desarrollo y la poltica
de asistencia?

202

6.4

Cuando se verifica la efectividad, cmo se debe considerar la relacin causal con los productos?

6.5

Cmo se debe considerar el impacto cuando se va a determinar si es resultado de la

implementacin del proyecto?

6.6

Cmo se debe considerar la eficiencia de la cooperacin tcnica?

7. Papel de la Tabla de Evaluacin

7.1

Por qu es necesaria la Tabla de Evaluacin cuando existe el marco lgico?

7.2

No entiendo la relacin entre la Tabla de Evaluacin y el marco lgico.

7.3

Cmo evito que los datos necesarios y el alcance de la encuesta ocupen proporciones enormes
cuando prepare la Tabla de Evaluacin?

7.4

Incluso si preparo una Tabla de Evaluacin, no s cmo utilizarla.

7.5

Por qu no se utiliza la PDM?

8. Pas socio
8.1

Es necesaria la participacin del pas socio en la evaluacin?

8.2

Cmo debe proceder en la evaluacin si el pas socio tiene su propio mtodo de evaluacin?

9. Preparacin del Informe de Evaluacin

9.1

Es necesario preparar una versin en ingls del informe?

9.2

Qu puntos se deben tener en mente cuando las personas a cargo verifiquen el informe?

1. Preguntas generales sobre las Evaluaciones de Proyectos de la JICA

1.1

La evaluacin ex-ante se

La evaluacin ex-ante de la JICA incluye tanto la

enfoca en la planeacin

planeacin del proyecto como la evaluacin del

del

no

contenido del plan. El papel de la evaluacin en la

entiendo el significado de

evaluacin ex-ante es verificar la idoneidad del

la

se

proyecto al observar su plan va los Cinco Criterios

realiza como parte de

de Evaluacin y retroalimentar a la planeacin

sta.

cualquier problema o tema que surja mediante este

proyecto,

evaluacin

pero

que

proceso.

Pg. 118

El objetivo es formular un proyecto

adecuado mediante este proceso.

1.2

No entiendo la diferencia

1. El mtodo PCM es una forma de evaluacin

entre el mtodo PCM y el

participativa

mtodo de evaluacin de

- El mtodo PCM es un mtodo de gestin de

la JICA.

proyectos

que

participacin.

incorpora

el

concepto

de

Est compuesto de 1) un mtodo

para formular planes participativos mediante la

implementacin de talleres participativos, y 2)
mtodos de seguimiento y evaluacin. Los PDM que
se utilizan en este proceso y los Cinco Criterios de
Evaluacin tambin se utilizan en el mtodo de
evaluacin de la JICA.
- El mtodo de Evaluacin de Proyectos de la JICA
que se explic en estos lineamientos se desarroll
reuniendo las caractersticas de los proyectos de
cooperacin tcnica de la JICA y los mtodos para
gestionar dichos proyectos. Por lo tanto, combinan

203

una variedad de tcnicas de evaluacin necesarias

en la evaluacin de la JICA, tales como la aplicacin
del marco lgico con base en un modelo lgico,
verificacin

del

proceso

de

implementacin,

preparacin de la Tabla de Verificacin, verificacin

de las relaciones causales, mtodos para llevar a
cabo evaluaciones cuantitativas y cualitativas, etc.
Por consiguiente,

las

evaluaciones

no

utilizan

nicamente el mtodo PCM.

- Por ejemplo, los talleres participativos, que son una
caracterstica principal del mtodo PCM, se utilizan
como medio para obtener consenso entre las partes
interesadas en la evaluacin ex-ante y estn
produciendo efectos.

Sin embargo, es importante

tomar nota que hacer esto no es tan suficiente como

una evaluacin ex-ante.

Cuando se realizan las

evaluaciones ex-ante, adems de las encuestas de

base

las

valoraciones

de

necesidades,

es

importante utilizar al mximo las tcnicas de

evaluacin arriba mencionadas.

2. La PDM y el mtodo PCM no son lo mismo

- La PDM, que es una herramienta de gestin de
proyectos utilizada en el mtodo PCM, es una forma
de marco lgico que se produce a partir del modelo
lgico. El marco lgico se utiliza ampliamente como
herramienta para la gestin de proyectos, no slo en
el mtodo PCM sino tambin en otros mtodos de
manejo. Por lo tanto, se debe observar que la PDM y
el mtodo PCM no se refieren a lo mismo.
- La JICA utiliza la PDM (marco lgico) porque realiza
sus evaluaciones utilizando el modelo lgico, que es
una de las teoras de evaluacin.

2. Preguntas de Evaluacin
2.1

No entiendo qu son las

- La evaluacin es una respuesta a las preguntas

preguntas de evaluacin.

sobre el proyecto, y las preguntas de evaluacin

Pgs. 51 - 54

son el punto de partida para encontrar dicha

respuesta.
- Las preguntas de evaluacin comparan las
etapas del proyecto evaluado y cada elemento de
su contenido con el propsito del mismo.

Se

establecen para cubrir temas que se deben

abordar para su verificacin. El departamento que
est a cargo del proyecto considera cules son los

204

puntos que se deben verificar y cules podran ser

tiles para corregir y mejorar el proyecto.
2.2

No
entre

entiendo
las

la

relacin

preguntas

evaluacin

los

- La JICA utiliza los Cinco Criterios de Evaluacin

de

como base para sus evaluaciones de proyectos y,

Cinco

en esencia, la evaluacin del proyecto (juicio de

Criterios de Evaluacin.

Pgs. 51 54

valor) se realiza tomando en consideracin los

cinco criterios. Cuando se consideran preguntas
de evaluacin especficas, es ms fcil establecer
preguntas si se observa cada criterio. La persona
a cargo puede seleccionar entre los cinco criterios
aquellos puntos que requieren nfasis y aquellos
que no.
- Sin embargo, en las evaluaciones sobre un tema
especfico, la pregunta de evaluacin y el tema
especfico son lo mismo. En esos casos, los Cinco
Criterios de Evaluacin no se pueden utilizar como
base.

3. Mtodo de encuestas cuando hay un problema con el marco lgico

Al disear la evaluacin, el equipo de evaluacin comprende el contenido y lgica del proyecto haciendo
referencia al marco lgico. Si el equipo observa algo inconsistente con el contenido del marco lgico,
puede adoptar las siguientes acciones.
3.1

Qu se debe hacer cuando

- Se pueden asumir dos casos: Primero, los

el propsito del proyecto es

conceptos de los productos y del propsito del

simplemente

proyecto parecen ser declaraciones de lo mismo

una

nueva

exposicin del producto?

Pgs. 38 - 40

ya que las partes interesadas no los entienden

bien. Segundo, hay un problema con la expresin

Ejemplo

(las oraciones deben decir cosas diferentes, pero

Propsito

del

Divulgar

la

Proyecto:

no estn bien expresadas).

tecnologa

- Si se est diciendo lo mismo de dos maneras,

adecuada al Pas A a los

verifique para ver si el contenido del marco lgico

agricultores modelo

refleja correctamente el proyecto real. El mtodo

para llevar esto a cabo incluye una revisin de los

Productos:
1)

Se

Tecnologa

informes del proyecto y de la informacin de

desarrolla
B,

que

la

seguimiento

es

interesado.

Si el propsito y productos del

entrevistas

con

el

personal

adecuada para el pas A

proyecto se entienden como debe ser (es decir, si

2) Se divulga la Tecnologa

se determina que las descripciones en el marco

B a los agricultores modelo

lgico no estn reflejadas en el proyecto real),

estos puntos se debern reflejar en las preguntas
de evaluacin en la Tabla de Evaluacin. Si es
necesario llevar a cabo una encuesta de campo
para identificar claramente los conceptos iniciales,
incluya en las columnas de Efectividad y Eficiencia
de la Tabla de Evaluacin inicialmente, cules

205

eran el propsito y los productos del proyecto?

como pregunta de evaluacin.

Despus lleve a

cabo una encuesta enfocndose en entrevistas

con

personas

materiales.

interesadas

revisiones

de

Luego, con base en esto, vuelva a

verificar la efectividad y eficiencia del proyecto.

- Por ltimo, hay muchos casos donde los
indicadores difieren, incluso si estn expresados
de la misma manera en la descripcin general del
proyecto. Por lo tanto, es importante ver primero
los indicadores.

(En el caso de la columna

izquierda, si el indicador para el Producto 2 se

refiere al nivel de mejoramiento tcnico de los
agricultores y el indicador para el propsito del
proyecto seala hacia el mejoramiento de la
productividad de la cosecha, no se puede decir
que estn describiendo lo mismo con diferentes
palabras.)

3.2

hacer

- Observe si la descripcin de la meta general

Pgs. 38 - 40

cuando la meta general

Qu

se

debe

describe correctamente las condiciones reales del

Pg. 192

difiere del propsito del

proyecto (por ejemplo, el personal del proyecto

proyecto?

tiene una idea de la meta general que coincide con

la descripcin?)

Los medios para realizarlo

incluyen revisiones de los informes del proyecto y la

informacin de seguimiento, as como entrevistas
con las personas interesadas. En casos donde el
contenido de la meta general se entiende como se
debe (es decir, se determina que las descripciones
en el marco lgico no reflejan correctamente las
condiciones reales), este punto se debe reflejar en
las preguntas de evaluacin de la Tabla de
Evaluacin.

En casos donde esto no se puede

confirmar sin una encuesta de campo, se debe

incluir la pregunta cul debe ser la meta general?
como una pregunta de evaluacin en la columna de
Impacto en la Tabla de Evaluacin. Despus se
debe realizar una encuesta enfocada en las
entrevistas con las partes interesadas y revisiones
de materiales. Luego se debe volver a verificar el
Impacto del proyecto.
3.3

Cmo

se

evalan

los

- Se pueden asumir dos casos: Primero, se

proyectos que tienen dos

presentan dos metas aunque se podran expresar

propsitos?

como una sola. Segundo, existen varios proyectos

Pgs. 38 - 40

dentro de un programa.

206

- En el primer caso, comntelo con las personas

interesadas para que se enfoquen en una sola meta
cuando hagan el diseo de evaluacin.

Si las

metas no se pueden unificar, es necesario evaluar

el proyecto por separado, como dos proyectos
diferentes.
- En casos donde hay muchos proyectos, y se
puede asumir que estn reunidos en un solo
programa, realice la evaluacin considerando la
meta del programa.

Por ejemplo, si no hay un

programa general que cubre varias reas, y hay

marcos lgicos que se enfocan en cada rea,
verifique

los

resultados,

el

proceso

de

implementacin, la eficiencia y la efectividad de

cada marco lgico; luego realice una evaluacin
creando un marco lgico para el programa en
general que observe la pertinencia, el impacto y la
sustentabilidad

(los

grupos

del

proyecto

se

implementan con base en la misma estrategia, as

que les deber ser posible compartir propsitos y
metas generales del proyecto).

3.4

Cmo

se

los

- Si el proyecto tiene un plan vago, primero trate de

tienen

arreglar el proyecto a evaluar utilizando al mximo

planos vagos o que difieren

el modelo lgico del proyecto y armando un marco

de la PDM que se prepar

de trabajo para l. Cuando haga esto, consulte la

inicialmente?

informacin

proyectos

evalan
que

cualitativa

obtenida

mediante

Pg. 38 - 40

las

revisiones de los documentos del proyecto y los

informes relacionados, entrevistas con las partes
interesadas, etc.
- Con base en esto, examine las preguntas de
evaluacin, las normas de juicio, los mtodos de
recopilacin de datos, etc., y prepare una Tabla de
Evaluacin.
- En el caso de proyectos que tienen planes vagos
o que no son lgicos, hay casos donde puede ser
difcil enfocarse en cul de los muchos efectos
directos es el propsito del proyecto y cules son
los efectos indirectos.

Esto pasa sobre todo

cuando el proyecto mismo es el resultado directo y

donde no hay conciencia de los resultados a largo
plazo.

En esos casos, es imposible realizar una

evaluacin cercana de la Efectividad e Impacto

entre los Cinco Criterios de Evaluacin. Por tanto,
realice la evaluacin dentro de un alcance factible

207

una vez que decida explicar estas limitaciones en el

Informe de la Evaluacin. Este tipo de evaluacin
no es intil, ya que existe la posibilidad de poder
obtener recomendaciones y lecciones aprendidas
concretas relativas a la etapa de planeacin (por
ejemplo, falta de claridad en los resultados
esperados, falta de conciencia entre el personal del
proyecto y problemas de gestin).

4. Indicadores
4.1

Qu

se

debe

hacer

- Si se considera que los indicadores son

cuando no hay suficientes

insuficientes

indicadores o no coinciden

evaluacin debe considerar indicadores nuevos y

con

llevar a cabo una evaluacin que sea consistente

el

propsito

del

proyecto?

inadecuados,

el

equipo

Pgs. 41 - 43

de

con estos indicadores.

- En este caso, existe una alta probabilidad de que
surjan problemas en los resultados del proyecto que
se comprende mediante el seguimiento.

Por lo

tanto, se puede suponer que el enfoque de la

evaluacin no se extender ms all de la
verificacin de resultados debido a las limitaciones
de tiempo. En este caso, es importante observar
claramente dichas limitaciones en el Informe de
Evaluacin

utilizando

declaraciones:

a)

no

el

siguiente

se

pudo

tipo

realizar

de
una

evaluacin completa sobre la verificacin de la

relacin causal, etc., b) como resultado, el marco de
trabajo de seguimiento y la evaluacin intermedia
fueron insuficientes (en el caso de evaluaciones
finales), y c) como no se pudo implementar la
evaluacin

con

indicadores

inadecuados,

es

importante estudiar correctamente la pertinencia de

los indicadores aprovechando las oportunidades
que se presentan no slo en la evaluacin ex-ante,
sino tambin en el seguimiento.
4.2

Cmo se debe llevar a

- El equipo de evaluacin puede establecer un

cabo la evaluacin cuando

alcance razonable de los criterios de comparacin

se

para la evaluacin (por ejemplo, valores promedio

determina

que

no

existen valores objetivo o

Pg. 61

del pas, normas internacionales de juicio, etc.).

son inadecuados?

4.3

Cmo se puede verificar

- Cuando se clasifican de manera general, la

si los valores objetivo son

mayora de los problemas con la verificacin de los

adecuados?

valores objetivo cae en uno de los siguientes tres

208

patrones. Por favor consltelos cuando realice las

evaluaciones.
1.

Casos

donde

las

necesidades

de

los

beneficiarios se enumeran como los valores

objetivo sin modificacin. Es importante volver
a determinar si estos criterios son adecuados o
no

comparndolos

contra

la

escala

actividades del proyecto.

2. Casos en donde no es claro cmo se determin
el nmero de personas objetivo. Por ejemplo, si
el valor objetivo es se capacitarn 200
trabajadores de extensin, no hay mencin de
por qu el nmero 200 es pertinente (por
ejemplo, qu impacto tendr sobre el sistema
de divulgacin, etc.).
3.

Casos

en

donde,

aunque

el

nivel

de

satisfaccin y otros trminos se cuantifican y se

establecen como valores objetivo, las razones
detrs de esas cantidades no son claras. Por
ejemplo, si el valor objetivo es 50% de los
participantes

en

la

capacitacin

estn

satisfechos, la base para la cifra 50% no es

clara.
4.4

Es necesario considerar

- Como regla, los indicadores se deben ver como

todos los indicadores como

cuantitativos para conservar la objetividad.

cuantitativos?

embargo, en los casos donde esto es difcil, es

Pgs. 41 - 43

Sin

posible realizar una evaluacin indicando las bases

cualitativas que son aceptables para las partes
interesadas.

Por ejemplo, es posible utilizar

adquisicin de calificaciones internacionales (por

ejemplo, ISO9000, etc.) o emisin de certificados
de una entidad autorizada.
- El punto importante es confirmar si las partes
interesadas aceptan o no los puntos que se estn
utilizando como bases para la evaluacin.

5. Mtodo de evaluacin
5.1

No me queda claro qu

- La evaluacin verifica si los insumos o actividades

significa

realmente condujeron o no a los resultados que se

proyecto.

la

"lgica"

del

esperaban al inicio.

Pgs. 33- 38

Los proyectos que se

determina tienen una tasa alta de incidencia se

consideran lgicos.

Es importante considerar

planes que tienen las posibilidades ms altas de

producir los efectos finales deseados despus de
haber considerado por completo las suposiciones

209

importantes del marco lgico (en el rea de la

evaluacin

la

investigacin

se

utiliza

con

frecuencia el trmino verosmil).

- Aunque se puede utilizar el enfoque si-entonces
del marco lgico como referencia para confirmar la
lgica, es importante considerar los siguientes
puntos de vista para confirmar la pertinencia de su
contenido:
1. Consulte las experiencias de proyectos similares.
2. Aprenda cules mtodos son efectivos para cada
rea (es necesario tener expertos y consultores
que hagan esto).
3. Estudie los mtodos de implementacin de otros
donadores.
4. Tome en cuenta la experiencia nacional en el
rea objetivo.

5.2

Cmo se deben presentar

- Describa las bases de la poca posibilidad de

los

la

alcanzar el propsito del proyecto (resultados de las

evaluacin cuando parece

mediciones de los indicadores, etc.) y analice y

que el proyecto no podr

explique los factores que dificultaron el progreso y

alcanzar su propsito?

condujeron a esta situacin. La evaluacin ganar

resultados

de

importancia

si

stos

se

reflejan

en

Pg. 40

las

recomendaciones y lecciones aprendidas. Como la

evaluacin se realiza para mejorar el proyecto, es
importante observar claramente las razones por las
que tiene una tasa de logros baja.
5.3

El

proyecto

est

- El hecho que se estn llevando a cabo actividades

implementando actividades

del proyecto significa que en cierto grado estn

que no se mencionan en el

utilizando insumos del mismo, y por tanto, no son

marco

efectos indirectos.

lgico

actividades

dichas
estn

- Si estas actividades adicionales se pueden incluir

productos.

como parte de las actividades del proyecto (y si no

Cmo se evalan esos

hay problemas en trminos de la lgica), inclyalos

productos?

Se

en la evaluacin.

consideran

efectos

produciendo

indirectos?

Pgs. 38 - 40

- En caso que no exista una conexin directa entre

las

actividades

adicionales

y el propsito

productos del proyecto, estudie los antecedentes

para saber por qu se aadieron estas actividades
y cul es su pertinencia.

Por ejemplo, si estas

actividades se implementaron por un exceso de

insumos, esto conduce a preguntas sobre la
pertinencia del plan de insumos y el proceso de
implementacin. O, si las actividades adicionales
estn contribuyendo a la generacin de productos o

210

a alcanzar el propsito del proyecto, se pueden

evaluar como factores contribuyentes.
5.4

No entiendo cul es el

La

informacin

sobre

el

punto de vista del proceso

implementacin

de implementacin y cmo

implementacin de actividades y los puntos que

se utiliza en la evaluacin.

ocurren en el sitio del proyecto. Por lo tanto, existe

incluye

el

proceso

de

estado

de

Pgs. 46- 47

mucha informacin cualitativa en esos puntos, tal

como la comunicacin entre los expertos y las
contrapartes, la relacin entre el proyecto y los
beneficiarios, y la relacin entre la Oficina Central
de la JICA y el proyecto. Aunque algunos de estos
puntos tal vez no se entiendan con slo medir los
valores objetivo de los indicadores, pueden tener un
impacto sobre la gestin del proyecto.
- Con frecuencia se puede utilizar la informacin
sobre el proceso de implementacin cuando se
analizan

los

factores

contribuyen

en

que

un

dificultan

proyecto

(por

que

ejemplo,

identificacin de la falla de implementacin). Por

lo tanto, cuando estudie cada uno de los Cinco
Criterios de Evaluacin, observe la correlacin entre
el

proceso

de

implementacin-la

informacin

relacionada y los resultados del estudio de los

criterios. En los casos donde se confirma alguna
correlacin (pero no lo suficiente para demostrar
una

relacin

causal),

realice

entrevistas

cuestionarios para buscar una relacin causal de

mayor profundidad.

5.5

Cmo se evalan puntos

- Incluso aquellos puntos que a simple vista

tales como el nivel de

parecen

funciones

funciones,

aumentadas,

difciles

de

medir (aumento

mejoramiento

del

de

las

conocimiento/

conocimientos/ habilidades

tecnologa, empoderamiento, etc.), es posible llevar

mejoradas

a cabo evaluaciones estableciendo indicadores

empoderamiento?

Pgs. 41 - 43

sustituto, etc. Por ejemplo, en el caso del aumento

de las funciones, considere concretamente la
funcin que se debe aumentar. Si el objetivo es
aumentar

la

capacidad

para

implementar

la

capacitacin, es posible evaluar el aumento de

habilidad

para

implementar

la

capacitacin

observando 1) el proceso de implementacin y la

idoneidad

de

sus

actividades

consecutivas,

incluyendo la planeacin e implementacin de la

capacitacin, la auto-evaluacin, y la revisin de los
planes de capacitacin (se necesitar una serie de

211

indicadores para medir estos puntos), y 2) si los

participantes en la capacitacin y los expertos
comprometidos con la transferencia de tecnologa
consideran

la

capacitacin

adecuada

(se

necesitan indicadores detallados para determinar

que tan apropiada la consideran).
- De la misma manera, considere indicadores
sustituto para el mejoramiento del conocimiento/
tcnico y el empoderamiento.

En cuanto al

incremento de capacidad de recursos humanos, en

muchos casos (excepto en la educacin bsica),
ste se considera como una herramienta donde la
gente cumple con cierto tipo de meta, y es posible
utilizar indicadores para medir los beneficios
exactos y cambios positivos que han ocurrido. Por
ejemplo, la gente encontr trabajo como resultado
de los esfuerzos para aumentar el conocimiento?
O, aument la influencia de los ciudadanos en la
poltica como resultado de los esfuerzos hacia el
empoderamiento (por ejemplo, el nmero de
recomendaciones de polticas, etc.)? O, de nuevo,
se estimularon las actividades de los grupos de
jvenes de la comunidad como resultado del
empoderamiento (ejemplos de las actividades
reales, etc.)?
- Los siguientes mtodos principales se pueden
utilizar para medir estos indicadores:
1. Medicin del aumento de capacidad comparando
las calificaciones de las pruebas antes y
despus de la implementacin del proyecto.
2. Medicin del aumento de capacidad utilizando
una hoja de clasificacin que se desarroll
antes del proyecto.
3. Comparacin de las habilidades de la gente a la
que se dirigi el proyecto con gente a la que no.
4. Estudio de las calificaciones (evaluaciones
ampliamente

reconocidas)

obtenidas

para

mostrar adquisicin de habilidades.

5.6

Cuando

se

evala

el

- Si no se ha implementado una encuesta base o

Pgs. 62 - 63

de

la

seguimiento hasta el momento de la evaluacin, es

Pgs. 77 - 78

mejoramiento

capacidad, etc., cmo se

imposible

evalan los proyectos que

comparaciones

no

regulares.

tuvieron

seguimiento

hasta

buen

captar

los

cambios

antes/despus

mediante
mediciones

Por consiguiente, la evaluacin ser

el

poco persuasiva. Sin embargo, es posible hacer

momento de la evaluacin?

comparaciones de los cambios con gente o

sociedades en regiones vecinas donde no se

212

implement el proyecto.

Incluso si esto no se

puede hacer, realice encuestas utilizando diferentes

mtodos sobre fuentes de informacin que sean tan
diferentes como sea posible (es decir, verificacin
trilateral) y trate de recopilar datos objetivamente,
etc.
5.7

Cmo

se

evalan

proyectos

los

- En el caso de proyectos que se implementaron en

que

se

colaboracin con otros donadores y gobiernos

en

socios, realice la evaluacin considerando el

con

otros

implementan
colaboracin

Pgs. 43- 44

proyecto como parte de un programa.

donadores o los proyectos

- En este caso, aunque la meta principal del

del gobierno de un pas

proyecto de la JICA sea la meta del programa, en

socio que la JICA asume

todos los casos el propsito del proyecto es el

parcialmente?

beneficio que se espera se exprese mediante la

implementacin del proyecto de la JICA.
- Es muy probable que las actividades y metas de
los proyectos de otros donadores y gobiernos
socios se conviertan en suposiciones importantes
del proyecto de la JICA. Por lo tanto, es importante
tener comunicacin con estos donadores/gobiernos
sobre

la

demarcacin

responsabilidades.
compartir

las

de

papeles

Adems, con el inters de

metas,

es

aconsejable

tener

discusiones que empiecen al principio de la etapa

de planeacin y que incluyan la validez de la
estrategia del proyecto de cada lado.

6. Cinco Criterios de Evaluacin

6.1

Por qu son necesarios

- Los Cinco Criterios de Evaluacin forman la base

Pgs. 21 - 22

los

de evaluacin del valor del proyecto desde una

Pgs. 55- 59

Cinco

Evaluacin?

Criterios

de

perspectiva integral.
una

evaluacin

sin

Aunque es posible realizar

los

Cinco

Criterios

de

Evaluacin, para la JICA son la base de la

evaluacin (es decir, el nivel mnimo que se debe
estudiar) ya que cubren todos los puntos necesarios
para llevar a cabo una evaluacin general de un
proyecto de asistencia para el desarrollo.
- Por ejemplo, incluso en el caso de proyectos
efectivos que alcanzaron su meta mediante la
implementacin del proyecto desde el punto de
vista de la efectividad, la asistencia para el
desarrollo pierde su importancia si los efectos
finales estn limitados a cierto grupo de personas
(una distribucin injusta: punto de vista de la
pertinencia). Lo mismo se aplica si un proyecto es

213

efectivo pero tiene costos que son ms altos de lo

necesario (punto de vista de la eficiencia) y por
tanto no se puede esperar que sea sustentable.
Para poder evaluar la validez de los proyectos del
sector pblico-beneficio (que no se pueden medir
utilizando nicamente la tasa de rentabilidad y la
proporcin de las utilidades, como en el caso del
sector privado), es importante realizar verificaciones
desde diversos puntos de vista.
- Por otro lado, la prioridad que se le da a cada uno
de

los

Cinco

Criterios

de

Evaluacin

vara

dependiendo del tipo de proyecto y de los temas

involucrados.

Por ejemplo, en el caso de un

proyecto a pequea escala, tal vez no sea

adecuado

llevar

cabo

una

encuesta

por

cuestionario, que cuesta dinero, y por tanto se

deben utilizar otros mtodos de verificacin sencilla.
O, si la gente interesada est conciente que la
eficiencia es un punto de inters primario para el
proyecto, tal vez sea necesario realizar una
encuesta que ponga ms nfasis en la verificacin
de la eficiencia.
6.2

Es

necesario

examinar

- Aunque puede haber muchas diferencias en la

los cinco criterios, an en

importancia que se le da a los cinco criterios, es

el

necesario examinarlos todos.

caso

de

proyectos

pequeos?

- En el caso de las evaluaciones ex-ante de

proyectos pequeos, se debe poner atencin
especial a la pertinencia y hasta el ltimo se
deben estudiar las preguntas se producirn los
resultados? y el proyecto es muy caro? en
trminos de la eficiencia y la efectividad para
asegurar la rendicin de cuentas.
- El alcance de la evaluacin y la recopilacin de
datos se deben realizar adecuadamente dentro del
presupuesto.

En los casos donde no se pueden

realizar estudios amplios debido a las limitaciones

del presupuesto, revise la documentacin y los
materiales lo ms que le sea posible.

6.3

Es suficiente con slo

- No, no es suficiente. Lo que no se debe olvidar es

discutir la pertinencia que

el punto de vista que examina si la estrategia y los

coincide con el plan de

medios para lograr que el proyecto sea efectivo

desarrollo y la poltica de

frente a un problema de desarrollo en el pas socio

asistencia?

son adecuados o no.

mtodos

de

Pg. 56

Los ejemplos incluyen

transferencia

de

tecnologa,

214

establecimiento de actividades y seleccin de

metas y regiones.
- En las evaluaciones ex-ante, evale la pertinencia
de la estrategia con base en las encuestas de base
y la valoracin de las necesidades. Necesitamos
estar

siempre

concientes

que

los

talleres

participativos por s mismos no siempre son

suficientes.
6.4

la

- Cuando se observa la relacin causal entre el

Pgs. 62 - 63

efectividad, cmo se debe

Cuando

se

verifica

efecto y la implementacin de un proyecto de

Pg. 188

considerar

cooperacin tcnica, el mtodo que se usa ms

la

relacin

causal con los productos?

comnmente

es

una

combinacin

de

dos

elementos: 1) comparacin de las condiciones

antes y despus de la implementacin del proyecto,
y 2) evaluacin para determinar si los artculos
producidos, habilidades y servicios que forman el
producto del proyecto se estn utilizando para
satisfacer el propsito del mismo o si estn
vinculados con la realizacin del propsito del
proyecto.
-

En

las

comparaciones

antes/despus,

se

requieren los datos base que se recopilaron en la

evaluacin ex-ante o inmediatamente despus que
inici el proyecto. Cuando observamos la conexin
con el producto, si el propsito del proyecto es, por
ejemplo, mejorar la habilidad de capacitacin de
las instituciones de capacitacin en el pas socio,
estudie el grado en que se estn utilizando las
nuevas habilidades que se adquirieron a travs del
proyecto (es decir, el producto), el grado al que se
estn enseando las habilidades correctamente,
etc. Tambin es posible verificar si el equipo y los
materiales proporcionados (es decir, el producto) se
estn utilizando.
- Adems, estudie para ver si las suposiciones
importantes mencionadas en el marco lgico, as
como otros elementos externos supuestos estn
influyendo en el proyecto.
6.5

Cmo se debe considerar

- Bsicamente se puede utilizar el mismo mtodo

el impacto cuando se va a

descrito en el caso de la efectividad. Sin embargo,

determinar si es resultado

en el caso del impacto, es importante tener en

de la implementacin del

mente que el impacto es el efecto que surge

proyecto?

despus que ha pasado cierto tiempo de la

Pg. 62 - 63

implementacin del proyecto, y que puede haber

una gran cantidad de influencias de incertidumbres
que no estn relacionadas con el proyecto.

215

- De los temas incluidos bajo impacto, la meta

general incluye el beneficio que alcanza a los
beneficiarios finales y que cubre un amplio rango.
Por ello, es necesario llevar a cabo las encuestas
por muestreo y las comparaciones con las regiones
y gente a la que no se dirigi el proyecto. Aunque
es difcil especificar dichas regiones y personas, es
posible hacer comparaciones entre la gente,
regiones y organizaciones que tienen cualidades
muy similares dentro de un rango limitado para
recopilar los datos base y ver los cambios del
impacto

(incluyendo

las

comparaciones

antes/despus) antes de la implementacin del

proyecto.

Por ejemplo, hubo un caso en un

proyecto para estimular a maestros de ciencias y

matemticas, en que se hicieron comparaciones
entre las calificaciones de las pruebas de alumnos
de matemticas y ciencias, y entre los estudiantes
que tomaban clase con maestros capacitados y con
maestros sin capacitacin. (La prueba se realiz a
nivel nacional y no form parte de un proyecto.)

6.6

Cmo se debe considerar

- Eficiencia es un punto de vista que considera si

la

los

eficiencia

de

cooperacin tcnica?

la

recursos

invertidos

llegaron

de

Pg. 57

manera

oportuna, si se utilizaron lo ms econmicamente

posible y si se obtuvieron efectos finales o no. Por
ejemplo, los juicios los materiales y equipo
necesarios

se

proporcionaron

lo

ms

econmicamente posible en el sitio y la cantidad

de expertos de largo plazo se redujo al mnimo
mediante el uso de tantos expertos de un tercer
pas como fue posible representan evaluaciones de
eficiencia. De ser posible, las comparaciones de
costos con casos menos eficientes lo hacen ms
convincente.
-

Dentro

de

una

escala

factible,

realice

comparaciones con proyectos similares utilizando

clculos de costos. Por ejemplo, calcule el costo
unitario de cada producto y vea si est dentro de
lmites apropiados.

Si es difcil calcular el costo

unitario, es posible comparar los costos generales

utilizando metas de la misma escala y proyectos
que tengan productos similares.
Actualmente, la JICA no cuenta con una base de
datos

suficiente

para

comparar

la

eficiencia

216

(eficiencia de proyectos similares). Por esta razn,

pueden existir casos donde sea imposible realizar
una evaluacin adecuada calculando los costos
(juicio de valor por comparacin).

Por tanto,

cuando sea posible, es importante acumular estos

datos expresando los costos en tablas.

Ejemplo: Comparacin del costo del insumo

1. Comparacin de los costos que se necesitan
para diversas estrategias dentro de un proyecto:
- Ahorros en los costos de insumos si se utilizan
equipo y materiales locales (comparacin con la
obtencin del extranjero).
- Ahorros en los costos de insumos limitando la
cantidad de expertos de largo plazo y enviando
expertos de corto plazo oportunamente.
2. Comparacin con proyectos del mismo tamao y
con contenido de cooperacin similar.
-

Comparacin

de

los

costos

de

inversin

generales.

Costo del insumo por cada producto/insumo

(Comparacin con proyectos similares.)
Comparacin del costo necesario para realizar una
sesin de capacitacin (1 sesin), comparacin del
costo necesario para desarrollar tecnologa nueva,
comparacin del costo necesario para construir una
planta de agua potable sencilla (1 ubicacin), etc.

Propsito

del

proyecto/costo

de

la

inversin

(comparacin con proyectos similares).

Comparacin del costo necesario para capacitar a
un participante para que pueda encontrar empleo
dentro de los seis meses siguientes despus que
termin la capacitacin, comparacin del costo
necesario para que una familia realice un plan
familiar, etc.

7. Papel de la Tabla de Evaluacin

7.1

Por qu es necesaria la

- El marco lgico es una herramienta que se debe

Tabla

Evaluacin

utilizar cuando se planea y gestiona el proyecto. La

cuando existe el marco

Tabla de Evaluacin es una herramienta que se

lgico?

debe utilizar cuando se evala el proyecto.

de

La

Tabla

de

Evaluacin

implementar la evaluacin.

describe

Pg. 82

cmo

Por tanto, cubre las

217

preguntas de la evaluacin, los datos a recopilar,

los mtodos de recopilacin, las normas de
evaluacin, etc. Por otro lado, el marco lgico es
una tabla que brinda una descripcin general del
plan de proyecto que se va a evaluar; brinda la
informacin que se necesita cuando se estudian los
mtodos de evaluacin.
7.2

No entiendo la relacin

- No siempre es posible utilizar en la evaluacin los

Pg. 49-50

entre

indicadores,

Pg. 82

la

Evaluacin

Tabla
y

el

de
marco

lgico.

valores

objetivo

etapas

para

introducir los indicadores que aparecen en el marco

lgico tal como estn. A veces no son adecuados.
Por lo tanto, el equipo de evaluacin debe examinar
cuidadosamente si es posible utilizar esos puntos
tal como estn.
- Cuando examine el mtodo de evaluacin
mediante la Tabla de Evaluacin, va a necesitar
otra informacin que no est incluida en el marco
lgico.

Por ejemplo, cuando observamos la

pertinencia, es necesario utilizar la informacin

sobre el plan de desarrollo, los antecedentes detrs
del establecimiento de la estrategia de asistencia,
etc., que no estn incluidas en el marco lgico. Tambin en el rea de impacto, cuando se buscan
efectos indirectos surge la necesidad de identificar
los diversos elementos que rodean al proyecto y
que no aparecen en el marco lgico.
7.3

Cmo evito que los datos

- Como generalmente el tiempo y el dinero para las

necesarios y el alcance de

evaluaciones estn limitados, es necesario limitar

la

ocupen

los mtodos de evaluacin. Para ello, es necesario

encuesta

proporciones

enormes

considerar varias perspectivas, incluyendo 1) qu

cuando prepare la Tabla de

clase de datos es absolutamente esencial para

Evaluacin?

responder a las preguntas de la evaluacin, y 2) si

Pg. 82

existe una probabilidad alta de obtener esos datos.

- Cuando prepare un cuestionario con base en la
Tabla de Evaluacin, tenga en mente que la hoja
debe ser prctica (por ejemplo, un cuestionario de
10 pginas no es adecuado).
- Sin embargo, para que los datos sean confiables,
tambin es importante realizar una evaluacin que
combine tantos mtodos como sea posible.

Por

ejemplo, cuando observe los efectos que tendr la

construccin de un pozo, no es suficiente con slo
entrevistar a una persona de la agencia de
implementacin; tambin es importante recopilar
datos de muchas otras fuentes, incluyendo los
usuarios, las organizaciones de mujeres en una

218

comunidad y la asociacin de agua. Limitar los

mtodos de evaluacin no significa seleccionar
nicamente un mtodo.
7.4

una

- Una vez que prepar la Tabla de Evaluacin,

Tabla de Evaluacin, no s

Incluso

si

preparo

prepare una hoja de estudio y una lista de

cmo utilizarla.

documentos a recopilar con base en la tabla y

Pg. 82

prepare la evaluacin.
- Cuando realice la evaluacin, utilice la tabla para
verificar si hacen falta datos recopilados o no.
Despus de recopilar los datos, regrese a las
preguntas en la Tabla de Evaluacin para analizar
las respuestas a cada pregunta. Puede compilar
los resultados en el Informe de la Evaluacin.

7.5

Por qu no se utiliza la

- Originalmente, se introdujo la PDM como una

PDM?

herramienta para verificar las posibilidades de

Pg. 82

implementar una evaluacin del proyecto objetivo.

Sin embargo, durante este proceso, algunas veces
ocurra un error operativo - convertir el proyecto en
uno que sea ms fcil de evaluar - lo que con
frecuencia causaba confusin en el sitio del
proyecto.
- Como la PDM convencional es una tabla que
brinda una descripcin general del plan de un
proyecto, tiene la desventaja que no cubre toda la
informacin que se necesita para la evaluacin.
Por eso se decidi disear las evaluaciones
adecuadamente con la preparacin de la Tabla de
Evaluacin.
8. Pas socio
8.1

Es

necesaria

la

- Como los proyectos de la JICA se implementan

Pgs. 109-

participacin del pas socio

conjuntamente con el pas socio, es absolutamente

110

en la evaluacin?

indispensable

que

la

evaluacin

tambin

se

implemente de manera conjunta con el pas socio.

Todos los pasos - desde el diseo de la evaluacin
hasta la recopilacin de datos; y los resultados del
anlisis y la evaluacin - se realizan de manera
conjunta con discusiones suficientes.
8.2

Cmo debe proceder la

- El modelo lgico que utiliza la JICA es una

evaluacin si el pas socio

metodologa general de evaluacin.

tiene su propio mtodo de

donadores utilizan los Cinco Criterios de Evaluacin

evaluacin?

del DAC, as que no representan en s una

metodologa especial.

Y muchos

Por lo anterior, se supone

que el modelo lgico de la JICA tiene muchos

puntos en comn con los mtodos de evaluacin

219

que utilizan sus pases socios.

No obstante,

despus de examinar detenidamente los mtodos

de evaluacin de ambas partes, es necesario llegar
a un acuerdo sobre un mtodo de evaluacin
comn.
- Como las evaluaciones siempre tienen un
propsito, despus de comparar los propsitos es
posible utilizar correctamente normas de evaluacin
nuevas que se piense son necesarias.

Es

importante siempre tener en mente la razn de la

evaluacin para seguir adelante adecuadamente
con las preguntas de la evaluacin y la recopilacin/
anlisis de datos.
9. Preparacin del Informe de Evaluacin
9.1

Es

necesario

preparar

- Es esencial que se prepare una versin en ingls

una versin en ingls del

del Informe de Evaluacin para poder compartir los

informe?

resultados de la evaluacin con el pas socio y as

poder utilizar los resultados en proyectos

Pg. 113

cooperacin posteriores. Aunque se prepara una

Minuta de las Juntas (M/M) al final de la evaluacin,
hay muchos temas que no se incluyen en las
Minutas.

Por ello, se prepara el Informe de

Evaluacin en ingls como paso final.

9.2

Qu puntos se deben

- Se debe poner mucha atencin para asegurarse

tener en mente cuando las

que el informe incluye los siguientes puntos

personas

principales.

verifiquen el informe?

cargo

Pg. 113

1. Se comprendieron exactamente los resultados

del proyecto?
2. Se verific la relacin causal entre los efectos y
el proyecto?
3. Se mencionan con precisin las bases de los
juicios de evaluacin?
4. Se analizaron adecuadamente los factores
contribuyentes y los que obstaculizan?
5. Los resultados de la verificacin del proceso de
implementacin se utilizaron en el anlisis de
los factores contribuyentes y que obstaculizan?
6. Las recomendaciones y lecciones aprendidas
se basan precisamente en los resultados de la
evaluacin?

220

Materiales Anexos
I.
II.
III.
IV.

Qu es el Marco Lgico?

Qu es la Evaluacin Participativa?
Qu es la Medicin de Resultados?
Lista de Documentos de Referencia

221

Material Anexo I: Qu es el Marco de Trabajo Lgico?7

Literalmente, el marco de trabajo lgico (tambin conocido como marco lgico o
logframe) es un marco de trabajo lgico que se utiliza para gestionar un proyecto (Tabla
1-1).8 Utilizado por los Estados Unidos desde la segunda mitad de la dcada de los 60
en el campo de la asistencia para el desarrollo como una tabla para el plan de un
proyecto, actualmente se utiliza en el flujo de gestin basada en resultados (RBM) como
la herramienta principal para aclarar las metas y organizar los indicadores necesarios
para medir los efectos finales.
La JICA utiliza el marco lgico para formular y gestionar los proyectos de
cooperacin tcnica, que son un medio para solucionar problemas de desarrollo. Por
tanto, es importante tomar en consideracin 1) que el marco lgico siempre est colocado
como parte de un problema de desarrollo importante (consulte el Cuadro 1-1) y 2) que el
marco lgico se debe modificar segn se requiera en el seguimiento durante el proyecto
de implementacin y en la evaluacin intermedia.

Adems, aunque el marco lgico

muestra el contenido de la composicin del proyecto y la lgica de su plan, simplemente

es un cuadro de descripcin general. Por ello, es importante tener en mente que no
explica todos los puntos (por ejemplo, los antecedentes del proyecto, las actividades
detalladas, la estructura de operacin del proyecto, el contenido detallado de la
cooperacin tcnica, etc.).
El marco lgico es una tabla de resumen del plan del proyecto que compila la
estrategia del proyecto en una matriz de cuatro renglones por cuatro columnas.
Concretamente, muestra los diversos elementos del proyecto (la meta general, el
propsito del proyecto, los productos, las actividades y los insumos), construye la relacin
vinculada entre causas y resultados, y coloca los valores esperados de las metas y
efectos finales en forma de indicadores antes de la implementacin del proyecto. Al
mismo tiempo, identifica las suposiciones importantes que pueden tener impacto sobre
el xito o fracaso del proyecto.

Materiales de referencia:
NORAD (Agencia Noruega de Cooperacin para el Desarrollo): The Logical Framework Approach
(LFA):Handbook for Objective-oriented Project Planning [El Enfoque del Marco Lgico: Manual de
Planeacin de Proyectos por Objetivos] (1990)
FASID (Fundacin para Estudios Avanzados en Desarrollo Internacional): Project Cycle
Management: Management Tool for Development Assistance [Gestin del Ciclo del Proyecto:
Herramienta de Gestin para la Asistencia para el Desarrollo] (2001)
8
De acuerdo con la definicin de la OCDE-DAC, el marco lgico (logframe) es una herramienta de
gestin utilizada para mejorar el diseo de las intervenciones para el desarrollo. Concretamente, la
Matriz de Diseo del Proyecto (PDM) que utiliza la JICA es una forma de marco lgico, y este documento
se refiere a todas esas matrices con el nombre general de marco lgico en la teora de la evaluacin.
-

222

Grfica 1-1: Temas de Desarrollo y el Marco Lgico

Mejoramiento de la higiene urbana (reduccin de la tasa

de infeccin de enfermedades transmitidas por el agua)

Mejorar la tasa

Se mejora la

Se construyen

Mejorar la

de extensin de

organizacin de

plantas de

conciencia de

Se elimina la
basura

la planta de agua

la

purificacin de

higiene de los

debidamente

potable

administracin

agua

ciudadanos

del medio
ambiente
Marco lgico de

urbano

Marco lgico de

Marco lgico de

Marco lgico de

un programa

un proyecto de

para construir

educacin

proyecto para

plantas de

sanitaria

mejorar la

purificacin de

administracin del

agua

un proyecto de
mejoramiento del
servicio de
abastecimiento

Marco lgico de un

un programa de
eliminacin de
basura

medio ambiente

urbano

223

Tabla 1-1: Marco Lgico (Logframe)

(Resumen Narrativo)

Meta General
Efectos indirectos, a
largo plazo; impacto
sobre la sociedad
objetivo
Propsito del
Proyecto
Efectos directos sobre
el grupo y sociedad
objetivo

Productos
Bienes y servicios que
son producidos
mediante la
implementacin de
actividades
Actividades
Actividades para
generar los productos

Indicadores
Verificables
Objetivamente
Indicadores y valores
objetivo para medir los
logros hacia la meta
general
Indicadores y valores
objetivo para medir los
logros hacia e
propsito del proyecto

Indicadores y valores
objetivo para medir los
logros hacia los
productos

Medios de
Verificacin

Suposiciones
Importantes

Fuentes de
informacin para los
indicadores en la
columna de la
izquierda
Fuentes de
informacin para los
indicadores en la
columna de la
izquierda

Condiciones necesarias
para que los efectos del
proyecto sean
sustentables

Fuentes de
informacin para los
indicadores en la
columna de la
izquierda

Insumos
(Tanto de Japn como del pas socio)

Factores externos que

se deben satisfacer
para que el proyecto
pueda contribuir con la
meta general, pero que
al mismo tiempo son
inciertos
Factores externos que
se deben satisfacer
para que el proyecto
pueda contribuir con el
propsito del proyecto,
pero que al mismo
tiempo son inciertos
Factores externos que
se deben satisfacer
para que el proyecto
pueda generar
productos, pero que al
mismo tiempo son
inciertos
Condiciones previas
Condiciones que se
deben satisfacer antes
de iniciar las actividades

Composicin Lgica del Marco Lgico (consulte el Cuadro 1-2)

Al centro de la composicin lgica del marco lgico est la relacin vinculada entre
actividades - productos - propsito del proyecto - meta general. Es la lgica de la
hiptesis si-entonces; por ejemplo si se realiza una actividad, entonces se obtendr un
producto; si se obtiene el producto, entonces se cumplir con el propsito del proyecto; y
si se cumple con el propsito del proyecto, entonces contribuir con la meta general. El
proceso de construir esta hiptesis est basado en el conocimiento de la situacin actual
que se obtiene observando las relaciones de causa y efecto involucradas en los
problemas que enfrenta el grupo objetivo y su sociedad, as como las causas de estos
problemas (es decir, anlisis del problema). Mientras ms realista sea la hiptesis, mejor
ser el plan del proyecto. Por tanto, los siguientes puntos son importantes: a) conexin
directa entre los elementos si y entonces (mientras mas directa, mejor), b) control de
varios problemas mediante los esfuerzos del proyecto, y c) actividades efectivas y de bajo
riesgo. Esta lgica se puede utilizar para encontrar las relaciones causales del proyecto y

224

los resultados cuando se realiza el seguimiento y las evaluaciones (consulte la Parte II,
Captulo 1 del texto principal).

Si la lgica si-entonces por s misma fuera suficiente para generar los productos
esperados, no habra necesidad de adoptar pasos posteriores. Sin embargo, como la
lgica si-entonces es el nico medio que tiene el proyecto para solucionar problemas,
existe una variedad de factores externos que pueden tener un impacto sobre el proyecto.
El marco lgico identifica estos factores en la columna Suposiciones Importantes y
aclara el vnculo entre la lgica de las actividades - productos - propsito del proyecto meta general y las suposiciones importantes.

Esto incluye expresar el contenido

general del plan del proyecto utilizando la lgica si-entonces en la siguiente relacin
vinculada: si se implementa una actividad, y, adems, se satisfacen las condiciones
externas que son importantes pero que el programa no puede controlar (y), entonces se
pueden obtener los productos.

(La lgica para el paso productos - propsito del

proyecto - meta general es la misma.) Las condiciones externas son una herramienta
efectiva para la planeacin y formulacin del proyecto desde estas perspectivas: Es
suficiente nicamente implementar el contenido del plan del proyecto? e Incluso si se
implementa el proyecto, habrn elementos externos que obstaculicen la expresin de
los resultados?
Cuando se realiza el seguimiento o las evaluaciones, las suposiciones importantes
juegan un papel importante como meta de las encuestas. El entorno del proyecto est
cambiando siempre.

Y en muchos casos, las suposiciones importantes que se

identificaron durante la formulacin del proyecto tienen un impacto que excede lo

predicho en la implementacin del proyecto. Aqu es importante revisar el contenido del
plan y confirmar suposiciones importantes nuevas a travs del seguimiento y la
evaluacin intermedia. En las evaluaciones finales y ex-post, a veces las condiciones
externas son factores que obstaculizaron el logro de las metas. Por eso, el evaluado
debe estudiar si se dio seguimiento a la presencia de dichas condiciones externas
durante la implementacin del proyecto o no. Es necesario evitar que las suposiciones
importantes se manejen como puntos que confunden dnde recae la responsabilidad en
el proceso de implementacin.

225

Cuadro 1-2: Composicin Lgica del Marco Lgico

Resumen Narrativo

Suposicin Importante

Meta General

Condiciones de

Objetivo del Proyecto

si

Sustentabilidad

entonces

si
Productos

si

entonces
Actividades

si

y
Condiciones Previas

entonces

si

Definicin de Cada Columna del Marco Lgico

(1) Resumen Narrativo e Insumos

El resumen narrativo se compone de actividades, productos, propsito del proyecto y
meta general, e incluye elementos que se convierten en el marco de trabajo del plan del
proyecto. Un proyecto requiere de ciertos recursos como insumos (gente, materiales,
dinero, etc.), genera productos a travs de varias actividades y trabaja para alcanzar
objetivos.

Y una de las caractersticas del marco lgico es que los objetivos se

perciben en dos niveles: el propsito del proyecto y la meta general.

<<Meta general>>
La meta general es el efecto a largo plazo que se espera alcanzar mediante la
implementacin de un proyecto. Cuando se planea un proyecto es necesario dedicar
suficiente atencin a estudiar cmo contribuir la meta general al tema de desarrollo (es
posible que el tema de desarrollo en s se convierta en la meta general, dependiendo del
proyecto). La JICA percibe la meta general como el impacto que sentir la sociedad
objetivo de tres a cinco aos despus que termin el proyecto.

<<Propsito del proyecto>>

El propsito del proyecto es el efecto directo sobre el grupo objetivo (incluyendo la gente
y las organizaciones) y la sociedad que se espera alcanzar mediante la implementacin
del proyecto.

En el caso de la cooperacin tcnica, el propsito del proyecto

226

generalmente se alcanza al final del proyecto. 9 Por tanto, el nivel de logros hacia el
propsito del proyecto es una seal que indica si el proyecto est generando productos o
no y si la implementacin del proyecto tuvo sentido.

Cuando los proyectos que

generan productos pero que no expresan beneficio para el grupo objetivo, la inversin de
una gran cantidad de recursos y la implementacin del proyecto en s pierden su
importancia.

<<Productos>>
Los productos son bienes y servicios que genera el proyecto hacia el logro del
propsito del proyecto. A diferencia del propsito del proyecto que indica un cambio
positivo para los beneficiarios, los productos se refieren a cuestiones que generan
aquellos que implementan el proyecto. Si observamos un proyecto que se enfoca en la
capacitacin, por ejemplo, la implementacin de la capacitacin es un producto,
mientras que el propsito del proyecto ser mejoramiento de los conocimientos de los
becarios, aplicacin de la tecnologa adquirida en el sitio de trabajo, etc.

<<Actividades e insumos >>

Los insumos" se refieren a los recursos (personal, materiales y equipo, gastos
operativos, instalaciones, etc.) necesarios para generar los productos y se enumeran
como los recursos tanto de Japn como del pas socio. Las actividades se refieren a
una serie de acciones necesarias adoptadas para generar los productos mediante los
insumos, y son acciones que implementa el equipo del proyecto en el sitio. Como el
marco lgico es una descripcin general del plan del proyecto, los planes de accin
detallados se preparan por separado.

Sin embargo, las actividades principales que

indican la estrategia del proyecto se enumeran en el marco lgico.

(2) Indicadores verificables objetivamente y medios de verificacin

Los indicadores verificables objetivamente aplicables a las columnas de Productos,
Propsito del Proyecto y Meta General muestran los indicadores y valores objetivo
utilizados para medir especficamente el nivel de logro de cada una. La columna Medios
de Verificacin indica claramente las fuentes de informacin de estos indicadores. Los
datos que se obtienen de las fuentes de informacin deben ser muy confiables,
accesibles y obtenerlos no debe ser demasiado caro. Con base en estas condiciones, es
importante establecer tantos indicadores y fuentes de informacin como sea necesario
para poder obtener tantos datos objetivos como sea posible.

Hay casos, dependiendo del contenido o las caractersticas del proyecto, donde no se obtienen efectos
directos sino hasta cierto tiempo despus que ste termin. En un proyecto de riego, por ejemplo, no se
pueden obtener cambios en la proyeccin del arroz hasta despus que se terminaron las instalaciones
de riego.

227

Los indicadores y valores objetivo se establecen en las encuestas de base y otras

actividades en la etapa de planeacin. En la evaluacin ex-ante, el estudio de pertinencia
de dichos indicadores, los valores objetivo y los medios para obtenerlos son parte
importante del trabajo de verificacin. Los indicadores deben coincidir con el contenido
de las metas y los productos, y es importante que los medios para medirlos sean
objetivos y reproducibles (es decir, que con el mismo mtodo se puedan obtener los
mismos tipos de datos sin importar quin hace la medicin).
La determinacin de indicadores fciles de entender eleva la transparencia del
proyecto y es una parte esencial de su gestin. Mediante los indicadores es posible
verificar si el proyecto se est implementando de acuerdo con el plan inicial o no (es
decir, realizar un seguimiento). Dependiendo del proyecto, tal vez sea necesario revisar
los valores objetivo iniciales debido a diversos cambios del entorno externo y de las
condiciones de implementacin del proyecto. De acuerdo con esto, tal vez sea tambin
necesario volver a formular el contenido de los insumos, actividades y dems puntos.

(3) Suposiciones importantes y Condiciones previas

Las suposiciones importantes se refieren a los factores externos que el proyecto no
puede controlar, pero que pueden tener un impacto sobre el xito o fracaso del proyecto.
Los proyectos, que se eligen de acuerdo con ciertas normas, representan una manera de
contribuir a solucionar el problema del desarrollo. Por tanto, no cubre todos los factores
necesarios para solucionar los problemas.

Cuando se planean los proyectos, es

importante establecer metas que tengan las mayores posibilidades de llevarse a cabo; sin
embargo, en la realidad hay una serie de factores externos que el proyecto no puede
controlar y que tambin lo afectan.

Es importante establecer metas y estudiar la

pertinencia de las actividades identificando stos como suposiciones importantes en el

marco lgico durante la etapa de planeacin. Al mismo tiempo, es importante poner
mucha atencin a su impacto como punto de seguimiento durante la implementacin del
proyecto.
Como se indica en el Cuadro 1-3, en la columna de Suposiciones Importantes,
stas se identifican en trminos del grado de importancia para el proyecto, posibilidades
del proyecto de controlarlas, y la posibilidad de satisfacer las condiciones. Entonces se
marcan en el marco lgico como condiciones satisfechas. Adems, si es posible, se
debe anotar en trminos cuantitativos el grado en que se deben satisfacer las
condiciones. Esto facilitar la deteccin de cambios en las suposiciones importantes y el
impacto en el proyecto durante el seguimiento y la evaluacin (por ejemplo, 80% de los
maestros entrenados conservaron su empleo).

Aunque las suposiciones importantes estn ms all de la responsabilidad del

proyecto, se deben adoptar todos los pasos para evitar establecerlas intencionalmente

228

como medios para evadir responsabilidades en caso que el proyecto no marche bien. Es
importante discutir las suposiciones importantes como parte de la planeacin del proyecto
para determinar las actividades y metas que se deben establecer para que el proyecto
sea ms efectivo y tenga menos riesgos.
Las condiciones previas se refieren a las condiciones que se deben satisfacer
antes de implementar el proyecto. Se refieren a las condiciones que, si se satisfacen,
permitirn el inicio de las actividades (y no obstaculizarn las operaciones una vez que
inicie el proyecto).

229

Cuadro 1-3: Mtodos para Determinar las Suposiciones Importantes

La condicin es importante
para el proyecto?

El proyecto puede controlar

la condicin?

Hay alguna posibilidad de

satisfacer la condicin?

No es una suposicin

NO

importante

No es una suposicin

SI

Casi es
un hecho

importante

No es una suposicin
importante

Es probable,
pero no es
seguro

Es una suposicin

Se puede modificar el
contenido del proyecto?

importante (incluida
en el marco lgico y

NO

se le da seguimiento)

Modificar partes del proyecto

para que la condicin no lo
afecte
1. Peor
suposicin: el
proyecto no
tendr xito

230

Material Anexo II: Qu es la Evaluacin Participativa?10

La evaluacin participativa es un mtodo de evaluacin que ha atrado considerable
atencin desde la dcada de los 70. Es un medio para elevar la calidad de los resultados
de evaluacin mediante la participacin de las principales partes interesadas en un
proyecto en la evaluacin. La teora y mtodo de este tipo de evaluacin vara
grandemente de acuerdo con los propsitos y procesos que se desean enfatizar en la
evaluacin.11 Aunque la definicin de evaluacin participativa difiere dependiendo de la
agencia de asistencia, una filosofa comn en el campo de la asistencia para el desarrollo
es que se trata de 1) una evaluacin que se realiza conjuntamente con las personas
interesadas, incluyendo los residentes locales que son los beneficiarios, y 2) es una
evaluacin donde una amplia gama de personas participan de manera activa en todos los
procesos - desde el diseo de la evaluacin hasta la recopilacin y anlisis de la
informacin y la retroalimentacin de los resultados de la evaluacin. Sin embargo, el
alcance de las personas interesadas con el proyecto y el grado de participacin difieren
dependiendo de la agencia de asistencia y del proyecto.
Con estas caractersticas, las evaluaciones participativas difieren en trminos de
metodologa de las evaluaciones convencionales, donde los expertos en evaluacin y
ciertos equipos de expertos realizan las investigaciones.
En las evaluaciones
participativas, las personas que emiten los juicios de valor son las mismas partes
interesadas; el mtodo de evaluacin (incluyendo las normas de evaluacin), la encuesta
de evaluacin y la conclusin de los resultados de la evaluacin se realizan mediante el
consenso de todos los interesados. Este proceso vinculado conduce al incremento de la
capacidad entre los interesados y tiene un impacto positivo sobre operaciones
posteriores. Por tanto, los expertos en evaluacin en la evaluacin participativa
descartan el papel tradicional de asesor. En su lugar adoptan los papeles de
convocadores de juntas, proveedores de oportunidades, auxiliares, catalizadores y apoyo.
Los evaluadores actan como auxiliares brindando apoyo lateral que permite a las partes
interesadas realizar la evaluacin.
Las evaluaciones participativas no funcionan bien si no es hasta que se incorpora dicha
participacin en la etapa de evaluacin. Esto se debe a que es difcil que las partes
interesadas compartan el sentido de la importancia de la evaluacin participativa si no
estn involucradas tambin en los procesos de planeacin e implementacin.
En el ejercicio fiscal del 2000, el Instituto de Cooperacin Internacional emiti un informe
titulado Basic research on participatory evaluation [Investigacin bsica sobre la
evaluacin participativa], que define y explica este tipo de evaluacin como la JICA la
lleva a cabo de la siguiente manera.

Evaluacin participativa segn la JICA

La evaluacin participativa es una evaluacin que se lleva a cabo con la mayor
participacin posible de una amplia variedad de partes interesadas (incluyendo los
beneficiarios finales). Esta participacin est incluida en actividades tales como la
10

Materiales de referencia:
Instituto de Cooperacin Internacional, Agencia de Cooperacin Internacional del Japn:
Participatory Evaluation and International Cooperation [Evaluacin Participativa y Cooperacin
Internacional] (2001)
Cousin, J.B. y Whitmore, E.: Framing Participatory Evaluation, Understanding and Practicing
Participatory Evaluation, New Direction for Evaluation, [Construccin de la Evaluacin Participativa,
Conocimiento y Prctica de la Evaluacin Participatica, Nueva Direccin de la Evaluacin] American
Evaluation Association [Asociacin Norteamericana de Evaluacin], Jossey Bass, San Francisco;
pgs. 5 23
-

11

Entre los ejemplos podemos mencionar Stakeholder-based Evaluation [Evaluacin con base en las
Partes Interesadas], Democratic Evaluation [Evaluacin Democrtica], Utilization-focused Evaluation
[Evaluacin por Uso] y Empowerment Evaluation [Evaluacin del Empoderamiento]

231

preparacin de los planes de evaluacin; abastecimiento, recopilacin y anlisis de

informacin; y modificacin de los planes iniciales del proyecto. Aqu evaluacin no
se refiere nicamente a las evaluaciones realizadas al trmino de los proyectos, sino
tambin a las evaluaciones ex-ante, el seguimiento durante la implementacin del
proyecto, las evaluaciones finales y las evaluaciones ex-post.
Cuando la JICA implementa las evaluaciones participativas tiene por objetivo
obtener los siguientes efectos:
- Aumento de la capacidad de gestin
- Fortalecimiento de la conciencia de la iniciativa propia
- Retroalimentacin ms efectiva
- Rendicin de cuentas mejorada

232

Material Anexo III: Qu es la medicin de Resultados?12

(1) Antecedentes detrs de la Medicin de Resultados
En palabras sencillas, la medicin de los logros es la medicin regular de los efectos
finales y eficiencia de la poltica pblica y los programas pblicos (en adelante los
programas. En japons se le conoce con trminos tales como gyoseki kanshi
(supervisin de resultados), jimu-jigyo hyoka (evaluacin de la operacin) y jisseki hyoka
(evaluacin de resultados).
La teora detrs de la medicin de resultados fue desarrollada por Harry P. Hatry y
Joseph S. Wholey del Urban Institute (Instituto Urbanista), organizacin que analiza los
asuntos sobre poltica norteamericana, entre otros. Ellos concluyeron que en la
evaluacin de programas a gran escala mediante el mtodo de diseo experimental,13
que se utilizaba en EU para evaluar las polticas en esa poca, no era posible tener los
resultados de la evaluacin dentro del lmite de tiempo que requieren quienes hacen las
polticas y quienes implementan el proyecto en el sitio. Con esto en mente, aadieron a
la evaluacin de programas un aspecto de gestin administrativa con base en la nueva
administracin pblica, y luego investigaron y desarrollaron el marco de trabajo para la
medicin de resultados, que combina una evaluacin ms sencilla con una accin
administrativa mejorada. La medicin de resultados permite la implementacin oportuna
de evaluaciones a bajo costo, as como la generacin de resultados de la evaluacin que
son fciles de entender tanto para los contribuyentes como para las agencias de
implementacin de proyectos. Esto conduce a una mejor accin administrativa.
(2) Caractersticas y beneficios de la Medicin de Resultados
En la medicin de resultados se definen claramente los efectos finales de un programa, y
se mide el grado en que los objetivos numricos iniciales se ha alcanzado mediante el
establecimiento de indicadores que determinan resultados y objetivos numricos. Estos
indicadores y objetivos se miden regularmente y el resultado de la medicin se refleja en
el mejoramiento del proyecto y en la toma de decisiones. La gestin basada en los
marcos de trabajo lgicos que introdujeron la JICA y otras agencias de asistencia tambin
tienen su base en la filosofa detrs de la medicin de resultados.
La parte novedosa de la medicin de resultados radica en que: agrega a la
medicin de evaluacin tradicional, que se centraba nicamente en los insumos (tales
como los gastos) y los productos, una medicin con nfasis en los beneficios y efectos
finales para los beneficiarios y clientes (quienes expresan los resultados de la
implementacin del programa). 14 De la misma manera, al observar la eficiencia, la
medicin de resultados no toma en cuenta la relacin entre insumos y productos, sino
que se centra en el efecto final. Por ejemplo, en lugar de calcular el costo necesario para
implementar una clase que ayude a la gente a dejar de fumar y luego calcular la
eficiencia, la medicin de resultados observa la eficiencia estudiando el costo de la
inversin por cada participante en la clase que realmente ha dejado de fumar. En otras
palabras, la eficiencia de la implementacin del programa se debe ver como la relacin
con el beneficio que se expresa a travs de la implementacin del proyecto.
Otra caracterstica de la medicin de resultados es la medicin comn. Mientras
que desde el punto de vista del manejo del presupuesto es suficiente implementar
verificaciones aproximadamente una vez al ao, se requieren verificaciones frecuentes
12

Materiales de referencia:
Hatry, H.P.: Performance Measurement: Getting Results [Medicin de Resultados: Cmo Obtener
Resultados], Urban Institute, Washington D.C. (1999)
Sasaki, R. y Nishikawa- Sheikh, N.: Current Development and Prospects of Performance
Measurement [Desarrollo Actual y Prospectos de la Medicin de Resultados] The Japanese Journal
of Evaluation Studies, Vol. 1, No. 2 (2001); pgs. 45 - 52
-

13

Evaluacin del programa en este contexto se refiere a la evaluacin de polticas pblicas, programas
pblicos, etc.
14
Las definiciones de los diversos elementos de los programas (impacto, actividad, producto y efecto
final) son las mismos que se presentan en el modelo lgico en el texto principal (consulte la Parte II,
Captulo 1).

233

para determinar si determinadas acciones administrativas estn teniendo xito o no,

dnde estn los problemas, y si se estn generando resultados finales o no. Esto con el
fin de incitar a las partes interesadas a dar pasos hacia el mejoramiento del proyecto. Por
tanto, la medicin de resultados se aplica fcilmente cuando se realizan evaluaciones que
slo observan los cambios dentro de la regin objetivo, sin los grupos comparativos que
tipifican al mtodo de diseo experimental. Adems, como incluye la medicin comn de
indicadores desde los perodos previos al proyecto hasta los posteriores a ste, permite
una retroalimentacin rpida de los resultados.
Estas caractersticas hacen que la medicin de resultados sea apropiada para los
proyectos que brindan servicios pblicos. Esto se debe a que en los servicios pblicos es
necesario verificar constantemente la calidad de los beneficios que reciben los clientes y
beneficiarios y la eficiencia de dichos beneficios. Sin embargo, la medicin de resultados
no es muy adecuada para el sector de investigacin bsica o los proyectos que requieren
de una planeacin a largo plazo.

(3) Limitaciones y puntos que se deben recordar

Existen tres limitaciones y puntos que se deben recordar en relacin con la medicin de
resultados. Primero, como recopila datos nicamente de la regin objetivo de un
programa sin utilizar grupos de comparacin, es difcil verificar las relaciones causales
con el programa. En otras palabras, no se puede ignorar el impacto de elementos
externos sobre el programa. Adems, si slo se percibe el nivel de logros del efecto final,
es imposible identificar las razones por las que se alcanz dicho nivel, lo que dificulta el
diseo de estrategias para mejorar el programa. Ya se seal que para contrarrestar
estas limitaciones lo ms posible cuando se realiza la medicin de resultados, es
necesario proporcionar suficientes detalles alrededor de la implementacin del proyecto y
explicaciones de los datos del efecto final.
Segundo, hay casos en que no es posible medir directamente los efectos finales.
Uno, por ejemplo, es la medicin de la reduccin de puntos indeseables, tales como la
reduccin de la criminalidad o del consumo de drogas. En casos como stos, es
necesario medir los cambios en el nmero de incidentes y desarrollar indicadores
substituto que puedan captar la reduccin de la criminalidad identificando las
tendencias.
Tercero, la informacin de evaluacin que ofrece la medicin de resultados es tan
slo una parte de la informacin utilizada en la toma de decisiones y no es una
informacin que pueda afectar directamente los procesos de toma de decisiones sobre la
distribucin del presupuesto, el personal, etc. El objetivo principal de la medicin de
resultados es plantear preguntas, no presentar contramedidas o soluciones.
Aunque hay varias aplicaciones de la gestin de resultados, el mtodo de
evaluacin que utiliza la USAID (Agencia Norteamericana para el Desarrollo
Internacional) de los Estados Unidos representa una aplicacin que se combina con los
mtodos de evaluacin tradicional. Desde 1994, la USAID ha estado implementando la
medicin de resultados en todos sus programas. Al mismo tiempo, ha estado haciendo
una lista de programas extremadamente exitosos y de programas fallidos, realizando
evaluaciones tradicionales de dichos programas e identificando cursos de accin
utilizando el anlisis detallado para buscar las causas. ste es un ejemplo de la medicin
de resultados de bajo costo y fcil implementacin combinada con evaluaciones
detalladas muy costosas, y est recibiendo atencin como un mtodo para utilizar los
presupuestos de evaluacin de manera efectiva.

234

Material Anexo IV: Bibliografa

(** Aqu se enumeran los libros y materiales en ingls. Por favor consulte los Lineamientos
para la Evaluacin de Proyectos de la JICA - edicin japonesa para informacin sobre los
libros y materiales de referencia en japons.

Teoras Generales de Evaluacin

Evaluation: a systematic approach [Evaluacin, un enfoque sistemtico], 6a ed.
Rossi, Peter H., Reeman, Howard E., y Lipsey, Mark W., Sage Publications, 1999
z Evaluation [Evaluacin], 2a ed.
Weiss, Carol H., Prentice-Hall, 1998
z Handbook of Practical Program Evaluation [Manual de Evaluacin Prctica de
Programas]
Wholey, J.S., Hatry H.P. & K.E. Newcomer, Jossey-Bass, 1997
z Evaluation for the 21st Century: A Handbook [Evaluacin para el Siglo 21: Un
Manual]
Chelimsky, E. y Shadish W.R., Sage Publications, 1997
z Evaluation Thesaurus [Diccionario de Evaluacin] 4a ed.
Scriven, M., Sage Publications, 1991
z Evaluability Assessment: Developing Program Theory [Valoracin de la
Evaluabilidad: Desarrollo de la Teora de Programas]
Wholey, J.S., Jossey-Bass, 1987
z Theory-Driven Evaluation [Evaluacin con Base en la Teora]
Chen, Huey-Tsth, Sage Publication 1990
z Utilization-Focused Evaluation [Evaluacin Dirigida al Uso],
Patton M.Q., The New Century Text [El Texto del Nuevo Siglo], 3a edicin, Sage
Publications, 1997
z

Mtodo de Evaluacin de las Agencias de Asistencia

z JICA
- Lineamientos de la Evaluacin de Proyectos de la JICA
Oficina de Evaluacin, Departamento de Planeacin y Evaluacin, Japan
International Cooperation Publishing Co., Ltd., 2002
- Pgina Web de Evaluacin
http://www.jica.go.jp/evaluation/index.html
z Ministerio de Asuntos Exteriores (Japn)
- Pgina Web de la AOD http://www.mofa.go.jp/policy/oda/index.html
z JBIC
- Informes de Evaluacin Ex-Post
- http://www.jbic.go.jp/english/oec/post/index.phpz DAC
Glosario de los Principales Trminos sobre Evaluacin y Gestin Basada en
Resultados del DAC, OCDE, 2002
- http://www.idcj.or.jp/JES/DACyougoshu0214.pdf z ADB
- Lineamientos para la Preparacin de los Informes de Auditoria de los Resultados de
un Proyecto
(http://peo.asiandevbank.org/Documents/Guidelines/P.par/dpc)
- Pgina Web http://www.peo.asiandevbank.org/
z AusAID
- Pgina Web de Evaluacin
http://www.ausaid.gov.au/about/pia/Quality_Assurance_Page.cfm
z CIDA
- CIDA Evaluation Guide [Gua de Evaluacin de la CIDA], Jan.2000
- Asian Branch: A Guide for Self-Assessment and Monitoring [Oficina Asitica: Gua
para la Auto-Evaluacin y el Seguimiento], Ene. 2000.
z DANIDA
- Evaluation Guidelines [Lineamientos de Evaluacin] Febrero 1999 (2a edicin,
revisada 2001)

235

- http://www.um.dk/danida/evalueringsrapporter/eval-gui/index.asp - Pgina Web de Evaluacin http://www.um.dk/danida/evalueringer/

z EC
- Evaluation in the European Commission: A Guide to the Evaluation Procedures and
Structures Currently Operational in the Commissions External Co-operation
Programmes [Evaluacin en la Comisin Europea: Una Gua hacia los
Procedimientos y Estructuras de Evaluacin Actualmente en Uso en los Programas
de Cooperacin Exterior de la Comisin]
http://europa.eu.int/comm/europeaid/evaluation/methods/guidelines_en.pdf
- Pgina Web de Evaluacin
http://europa.eu.int/comm/europeaid/evaluation/methods/index.htm
z GTZ
- Project Monitoring: An Orientation for Technical Cooperation Projects [Seguimiento
de Proyectos: Una Orientacin sobre los Proyectos de Cooperacin Tcnica], 1998.
z UNICEF
- A UNICEF Guide for Monitoring and Evaluation: Making a Difference [Gua de la
UNICEF sobre Seguimiento y Evaluacin: Para Hacer la Diferencia], 1991
- Pgina Web de Evaluacin http://www.unicef.org/reseval/
z USAID
- Performance Monitoring and Evaluation TIPS [CONSEJOS sobre Seguimiento y
Evaluacin de Resultados]
http://www.usaid.gov/pubs.usaid_eval/#02
http://www.dec.org/partners/eval.cfm
z Banco Mundial
- Assessing Development Effectiveness: Evaluation in the World Bank and the
International Finance Corporation [Evaluacin de la Efectividad del Desarrollo:
Evaluacin en el Banco Mundial y en la Corporacin Financiera
Internacional],1998.
- Pgina Web de Evaluacin http: //www.worldbank.org/html/oed/evaluation
z OCDE DAC
- Pgina Web de Evaluacin http://www.oecd.org/dac/Evaluation/index.htm
- Red de Evaluacin del DAC
http://www.oecd.org/dac/Evaluation/htm/evallinkmem.htm
- Cinco Criterios de Evaluacin del DAC
http://www.oecd.org/dac/Evaluation/htm/evalcrit.htm
z The United States General Accounting Office
Evaluation Research and Methodology [Investigacin y Metodologa de la Evaluacin]
z Pginas Web de Evaluacin de las Siguientes Agencias de Asistencia
-IFAD
http://www.ifad.org/evaluation/index.htm
-UNDP
http://undp.org/eo/index.htm
- UNFPA
http://www.unfpa.org/publications/evaluation/index.htm
-UNHCR
http://www.unhcr.ch/evaluate/main.htm
-FAO http://www.fao.org/pbe/
z Pginas Web de las Asociaciones de Evaluacin
- Japan Evaluation Society [Sociedad de Evaluacin del Japn]
http://www.idcj.or.jp/JES
- American Evaluation Association [Asociacin Norteamericana de Evaluacin]
http://www.eval.org/
Mtodo de Evaluacin
<< Marco de Trabajo Lgico >>
z Program Logic: An Adaptable Tool for Designing and Evaluating Programs
[Lgica del Programa: Una Herramienta Adaptable para Disear y Evaluar
Programas]
Funnell, S. Evaluation News y Commnet, Vol.6 (1). pgs 5-7
z Program Theory in Evaluation: Challenges and Opportunities [Teora de
Programa en la Evaluacin: Retos y Oportunidades]

236

New Directions for Evaluation [Nuevas Direcciones de Evaluacin], No.87, Jossey

Bass
<< Medicin de los Resultados >>
z Performance Measurement: Getting Results [Medicin de los Resultados: Cmo
Obtener Resultados]
Hatry, H.P., Urban Institute, 2000
z Clarifying Goals, Reporting Results [Aclarando Metas, Dando a Conocer
Resultados]
Wholey, J.S. y Newcomer, K.E., In Katherin Newcomer, Using Performance
Measurement to Improve Public and Nonprofit Programs [Uso de la Medicin de
Resultados para Mejorar los Porgramas Pblicos y No Lucrativos], New Direction for
Evaluation [Nueva Direccin de Evaluacin], 1997
<< Mtodo de Diseo Experimental >>
z Social Experimentation [Experimentacin Social], Sage Classics 1
Campbell, D.T. y Russo, M.J., Sage Publications, 1999
z Quasi-experimentation: Design and analysis issues for field settings [Semiexperimentacin: Diseo y anlisis de temas para el ambiente de campo]
Cook, T.D. y Campbell, D.T., Rand McNally, 1979
<< Evaluacin Cualitativa >>
z Qualitative Research & Evaluation Methods [Investigacin Cualitativa y
Mtodos de Evaluacin]
Patton, M.Q., Sage Publications, 2002
z Qualitative Data Analysis: An Expanded Sourcebook [Anlisis Cualitativo de
Datos: Un Libro de Consulta Expandido] (2a ed.)
Miles, M.B. y Huberman, A.M., Sage Publications, 1994
<< Estudio de Caso >>
z The Art of Case Study Research [El Arte de la Investigacin del Estudio de
Caso]
Stake, R. E., Sage Publications, 1995
z Case Study Research [Investigacin del Estudio de Caso]
Yin, R.K., Sage Publications, 1984
<< Evaluacin del Programa de Desarrollo >>
z Monitoring and Evaluating Social Programs in Developing Countries: A
handbook for policy makers, managers, and researchers [Seguimiento y
Evaluacin de Programas Sociales en los Pases en Vas de Desarrollo: Un
manual para quienes hacen las polticas, gerentes e investigadores]
Valadez, J. y Bamberger, M., Banco Mundial, 1994
z Evaluating Country Development Policies and Programs: New Approaches for a
New Agenda [Evaluacin de las Polticas y Programas de Desarrollo de los
Pases: Nuevos Enfoques para una Nueva Agenda]
New Directions for Evaluation [Nuevas Direcciones de Evaluacin], No. 67, JosseyBass
<< Evaluacin Participativa >>
z Foundation of Empowerment Evaluation [Bases de la Evaluacin del
Empoderamiento]
Fetterman, D.M., Sage, 2001
z Participatory Evaluation in Education; Studies in Evaluation Use and
Organizational Learning [Evaluacin Participativa en la Educacin; Estudios del
Uso de la Evaluacin y el Aprendizaje Organizativo]
Cousins, J.B. y Earl, L.M., Falmer, 1995
z Partners in Evaluation: Evaluating Development and Community Programs with
Participants [Socios en la Evaluacin: Evaluacin de los Programas para el
Desarrollo y Comunidades con Participantes]
Feuerstein, M.T., MacMillan, 1986
z Evaluating the Arts in Education: A Responsive Approach [Evaluacin de las
Artes en la Educacin: Un Enfoque Responsivo]
Stake, R. E., Merrill, 1975
z Participatory
Evaluation
and
International
Cooperation
[Evaluacin
Participativa y Cooperacin Internacional]

237

Institute for International Cooperation [Instituto de Cooperacin Internacional], JICA,

2001
<< Evaluacin Organizativa >>
z Self-Assessment Tools for Nonprofit Organization [Herramientas de AutoValoracin para la Organizacin no Lucrativa]
Druchker, P.F.Foundation, Joseey-Bass, 1993
<< Paquete de Evaluacin >>
z Program Evaluation Kit [Paquete de Evaluacin de Programas], 2a Ed., Sage
Publications, 1987
1) Evaluators Handbook [Manual del Evaluador]
2) How To Focus An Evaluation [Cmo Enfocar una Evaluacin] (Stecher B.M. y
Davis W.A.)
3) How To Design A Program Evaluation [Cmo Disear un Programa de
Evaluacin] (Fitz-Giboon C.T. y Morris L.L.)
4) How to Use Qualitative Methods in Evaluation [Cmo Utilizar los Mtodos
Cualitativos en la Evaluacin] (Patton M.Q.)
5) How to Assess Program Implementation [Cmo Evaluar la Implementacin del
Programa] (King J.A., Morris L.L. y Fitz-Gibbon C.T.)
6) How to Measure Attitudes [Cmo Medir las Actitudes] (Henerson M.E., Morris L.L.
y Fitz-Gibbon C.T.)
7) How to Measure Performance And Use Tests [Cmo Medir los Resultados y
Utilizar las Pruebas] (Morris L.L, Fitz-Gibbon C.T. y Lindheim E.)
8) How to Analyze Data [Cmo Analizar los Datos]
9) How to Communicate Evaluation Findings [Cmo Comunicar los Resultados de la
Evaluacin] (Morris L.L, Fitz-Gibbon C.T. y Freeman M.E.)
Tcnicas de Evaluacin
<< Discusin de los Grupos de Control >>
z The Power of Focus Groups for Social and Policy Research [El Poder de los
Grupos de Control para la Investigacin Social y de Polticas]
Billson, J., Skywood Press, 2002
z Focus Groups [Grupos de Control] 3a ed.
Krueger, R.A. y Casey, M.A., Sage Publications, 2000
<< Anlisis Estadstico >>
z Practical Sampling [Muestreo Prctico]
Henry, G., Sage Publications, 1990
z Statistical Methods in Education and Psychology [Mtodos Estadsticos en
Educacin y Sicologa] 3a ed.
Glass, G. & Hopkins, K., Allyn y Bacon, 1996
z Design Sensitivity: Statistical Power for Experimental Research [Sensibilidad de
Diseo: Poder Estadstico de la Investigacin Experimental]
Lipsey, M. W., Sage Publications, 1990
<< Investigacin de Calidad - Metodologa de Entrevistas, Grupo de Control y
Observacin>>
z Qualitative Forschung [Investigacin Cualitativa]
Flick U., Rowohlt Taschenbuch Verlag GmbH, 1995
z Qualitative Research in Health Care [Investigacin Cualitativa en la Atencin a la
Salud], 2a ed.
Pope C. & Mays N., BMJ Books, 2000z Silverman, David, Doing Qualitative Research: Practical Handobook
[Investigacin Cualitativa: Manual Prctico] Sage Publication 2000
Diarios
z Japan Evaluation Research: Japan Evaluation Society [Investigacin de
Evaluaciones del Japn: Sociedad de Evaluacin del Japn]
z American Journal of Evaluation: The American Evaluation Association [Diario
Norteamericano de Evaluacin: La Asociacin Norteamericana de Evaluacin]

238

239