Vous êtes sur la page 1sur 30

Documentos de la Diniece

GUA
PARA EVALUACIN
de PROGRAMAS

EN EDUCACIN

AUTORIDADES
Presidenta de la Nacin
Dra. Cristina Fernndez de Kirchner
Ministro de Educacin
Prof. Juan Carlos Tedesco
Secretario de Educacin
Prof. Alberto Sileoni
Secretario de Polticas Universitarias
Dr. Alberto Dibbern
Subsecretaria de
Equidad y Calidad
Prof. Susana Montaldo
Subsecretario de
Planeamiento Educativo
Lic. Osvaldo Devries
Subsecretario de Coordinacin Administrativa
Arq. Daniel Iglesias
Secretario General del
Consejo Federal de Educacin
Prof. Domingo de Cara
Directora Ejecutiva del
Instituto Nacional de Educacin
Prof. Mara Rosa Almandoz
Directora Ejecutiva del Instituto Nacional
de Formacin Docente
Prof. Mara Ins Abrile de Vollmer
Directora Nacional de Informacin y
Evaluacin de la Calidad Educativa
Lic. MARTA KISILEVSKY

Elaboracin:
rea de Investigacin / Coordinadora: Liliana Pascual
Magdalena Chiara
Relaciones Institucionales y Comunicaciones:
Agustina Lpez
Diseo y Diagramacin:
Karina Actis
Juan Pablo Rodrguez
Coralia Vignau

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

NDICE
Presentacin.............................................................................................................5
1. Pasando en limpio los CONCEPTOS...............................................................7

Qu se entiende por evaluacin?......................................................................7

Cul es la diferencia con el monitoreo?.............................................................8

Qu se entiende por programa? Cmo se relaciona programa


y poltica?.......................................................................................................8

Cules son los componentes de un programa?.................................................9

Cules son las funciones de la evaluacin de programas?.................................9

Quines son los actores a considerar en una evaluacin?................................10

Con relacin a este captulo, tenga en cuenta que . .........................................10

Bajando a la prctica .......................................................................................11

Para seguir indagando .....................................................................................11

2. Decisiones en torno al DISEO de los Estudios Evaluativos........................12


Evaluacin y ciclo de vida de los programas: cundo evaluar?.........................12

La definicin de las PREGUNTAS: momento clave en el diseo


de un estudio evaluativo...................................................................................12

Una vez definidas las preguntas, cules son las decisiones a tomar
para disear un estudio evaluativo?..................................................................13

Cules son los tipos posibles de evaluacin de programas?.............................14

Con relacin a este captulo, tenga en cuenta que . ........................................16

Bajando a la prctica .......................................................................................16

Para seguir indagando .....................................................................................16

3. La Evaluacin en DIEZ fases............................................................................17


Fase 1: Conformacin del equipo evaluador.....................................................17

Fase 2: Reconstruccin de las coordenadas del programa a evaluar..................17

Fase 3: Identificacin de los actores e involucrados...........................................18
Fase 4: Recorte y Descripcin del Problema Focal.............................................18
Fase 5: Definicin de las preguntas y enunciacin de los objetivos....................19
Fase 6: Operacionalizando las preguntas para avanzar en la indagacin...........20
Fase 7: Relevamiento de datos.........................................................................21
Fase 8: Anlisis de los datos.............................................................................22
Fase 9: Elaboracin del informe........................................................................23
Fase 10: Devolucin de los resultados..............................................................25

Estudios Evaluativos realizados por DINIECE en el ltimo ao........................26

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE 

PRESENTACIN
La evaluacin de programas ha experimentado
un importante crecimiento en las ltimas dcadas
en el campo del desarrollo territorial y econmico,
as como en salud, asistencia social y educacin.
Estos avances se basan en el supuesto de que los
estudios evaluativos pueden contribuir de manera
sostenida con el proceso de mejora continua de las
polticas pblicas, tanto en su diseo como en su
implementacin, haciendo de este modo ms efectivas las intervenciones pblicas.
A la complejidad propia del diseo e implementacin de polticas orientadas a los servicios sociales
universales, la poltica educativa suma algunas particularidades (su institucionalidad, la naturaleza de
sus contenidos bsicos y los actores que la sostienen,
entre otros) que le confieren atributos particulares a
los procesos que se suceden en torno al ciclo de
la intervencin pblica. En este contexto complejo,
la disponibilidad de informacin confiable y vlida
resulta de vital importancia para mejorar la oportunidad y pertinencia de la toma de decisiones.
Dado el inters del Ministerio de Educacin de la
Nacin por promover el desarrollo y fortalecimiento
de capacidad estatal en torno a la generacin, uso y
reflexin sobre la informacin en los distintos niveles del sistema educativo nacional; y respondiendo
a los requerimientos realizados por distintas jurisdicciones, la DINIECE pone a disposicin de las instituciones provinciales este documento que busca
pasar en limpio una metodologa de evaluacin
de programas en educacin.
La misma ha sido elaborada recuperando desarrollos adaptados a los requerimientos de la poltica
educativa y sistematizando distintas metodologas
aplicadas por la DINIECE en evaluaciones a escala
nacional realizadas en los ltimos aos.1
Se advierte al lector que no encontrar aqu un
manual de evaluacin de programas y menos an
un estado del arte al respecto. La literatura existente es vasta y sera imposible sistematizarla en tan
pocas pginas. Sin pretensin de sustituir aquella
lectura, este documento pasa revista a un conjunto
de consideraciones conceptuales, metodolgicas y
tcnicas que -- a juicio del equipo de la DINIECE
-- pueden ser de utilidad para quienes desde los niveles provinciales deseen avanzar en el diseo e implementacin de estudios evaluativos de programas
en educacin.

Esta gua es una herramienta que busca orientar


a los equipos de evaluacin en el diseo y ejecucin
de estudios evaluativos. Para ello, se organiza tendiendo a responder las siguientes preguntas:
n Cules son los conceptos bsicos relativos a
la evaluacin y al mundo de los programas?
n Cules son las alternativas disponibles en
modelos de evaluacin? Cules los criterios para
seleccionar el modelo ms adecuado en un contexto concreto?
n Cules son las fases que atraviesa un proceso de evaluacin? Cules sus propsitos, alcance y
operaciones?
Si bien este documento pone el foco en los
programas en tanto unidades de evaluacin, no
los considera como mbitos aislados del conjunto
de la poltica educativa. Esta decisin supone reconocer que el programa en accin se articula
con otras intervenciones que constituyen la poltica educativa.
Este documento est organizado en tres partes.
Una primera parte, pasa en limpio un conjunto de
conceptos que ayudan a comprender qu se entiende por evaluacin y cules son las diferencias con el
monitoreo, la especificidad de los programas y su
relacin con la poltica pblica, los componentes de
un programa, las funciones de la evaluacin y sus
actores. En una segunda parte, se pasa revista a las
decisiones crticas que tienen lugar en torno al diseo de estudios evaluativos situando a la evaluacin
en el ciclo de vida de los programas, la definicin de
las preguntas y las decisiones clave que determinan
la adopcin del modelo a adoptar; el apartado termina con una muy sinttica presentacin de los modelos posibles y sus atributos principales. La tercera
parte, define los propsitos, alcance y operaciones
de cada fase.
Cada apartado finaliza con una recapitulacin
de las ideas centrales y, dados los propsitos de este
documento, con consideraciones prcticas para
orientar a los evaluadores en el diseo y ejecucin
de estudios evaluativos.

En las referencias bibliogrficas se consignan las evaluaciones realizadas por la DiNIECE


en los ltimos aos cuyas
reflexiones se recuperan en este
documento.
1

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE 

1. PASANDO EN LIMPIO LOS CONCEPTOS


Qu se entiende por
evaluacin?
Evaluar consiste en determinar el valor o mrito
de algo. En consecuencia, implica alguna identificacin de criterios y estndares relevantes y la realizacin de un anlisis adecuado a ellos. Tal como
seala Mokate (2000), la evaluacin aplicada a la
gerencia de acciones pblicas requiere de la especificacin y concertacin de expectativas, criterios
y/o estndares y su aplicacin a la valoracin de las
iniciativas.
Uno de los aspectos conceptualmente ms potentes para entrar a esta cuestin es que la evaluacin reconoce que el plan de accin que un programa se propone es una hiptesis de trabajo.
Desde esta perspectiva, la evaluacin reconstruye las relaciones causales esperadas en clave de
actividades productos objetivos intermedios
(efectos) objetivo final (impacto).
As, el diseo de la evaluacin (y las actividades
que compromete) tiene que apuntar a poner en el
centro del anlisis al problema focal al cual el programa busca resolver (paliar o modificar) y reconstruir los cambios en aquellos factores que (supone
esa hiptesis de trabajo que es el programa) inciden
de manera ms decisiva en la modificacin (progresiva) del problema focal.
La evaluacin debe ser concebida como un proceso de aprendizaje de la gestin. Sin embargo, es
necesario dar cuenta de ciertas condiciones para
que ello suceda, a saber:
Un primer tema es el que refiere a quines
son los sujetos de la evaluacin.
n Un segundo aspecto refiere a las funciones
que cumplir la evaluacin.
n Un tercer aspecto a considerar es el manejo
oportuno de los flujos de informacin (que
resultan de la evaluacin); la misma deber
ser relevante y acorde a los intereses de los
actores y a sus posibilidades de transformacin de la realidad.
n

A diferencia de otras valoraciones que se suceden en la vida cotidiana y en la gestin, la evaluacin supone la aplicacin sistemtica y explcita de
ciertos procedimientos regidos por los principios de
la confiabilidad y validez.

La evaluacin implica una reflexin, esto es,


tomar distancia de la accin para tomar sta
como objeto de anlisis, para revisar qu
es lo que se est proponiendo o qu se est
haciendo o qu se ha hecho, analizar las caractersticas de las metodologas de intervencin
planteadas o desplegadas, y determinar si la
orientacin es efectivamente hacia la direccionalidad deseable, aclarando cules escollos y
cules facilidades se presentan y cules logros
se esperan y/o se han obtenido.
Nirenberg (2008)

Por ejemplo, el diseo de la evaluacin de


un programa orientado a mejorar la retencin
de alumnos en los primeros aos de la escuela
bsica, deber explicitar cules son los factores
(operacionalizados en variables) que supone
inciden ms decisivamente en ese problema y
valorar el desempeo de esas variables sobre
las cuales el programa busca intervenir (formacin docente, organizacin escolar, recursos
didcticos, becas, entre otros).

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Cul es la diferencia
con el monitoreo?
El monitoreo de programas se ha diferenciado de la evaluacin en tanto ste hace un seguimiento de las acciones de la iniciativa que se evala
y los productos de dichas acciones; busca detectar
de manera oportuna deficiencias en el proceso de
ejecucin para hacer ajustes en la gestin. Su marco de referencia es el plan de actividades y, en consecuencia, analiza la ejecucin de las actividades en
relacin a dicho plan.
El monitoreo hace un seguimiento de la ejecucin de actividades, la asignacin de los productos y
el modo y cantidad como son usados los recursos.
La evaluacin, tal como se la ha definido, se
extiende ms all que el monitoreo porque reconoce que el plan de accin; tal como seala Mokate
(2000), constituye una hiptesis con respecto al camino que puede conducir al logro de los objetivos. La
evaluacin busca comprobar que el camino elegido
efectivamente est conduciendo a las mejoras en las
condiciones de vida que se buscaban promover.
Como puede advertirse, la formulacin de las
preguntas define el tipo de evaluacin y los procedimientos a adoptar.
El monitoreo se dirige a las preguntas siguientes:
i) en qu medida cumple la iniciativa las actividades
especificadas en su programacin?
ii) qu coincidencia se presenta entre la cantidad y
calidad de los servicios o actividades esperados y los que
se estn generando?
iii) en qu medida est la iniciativa llegando a los beneficiarios apropiados?
iv) los recursos del programa se utilizan de manera
apropiada? y
v) cules son las satisfacciones y las insatisfacciones de
diversos involucrados con respecto al desenlace de la
iniciativa?
Mokate, 2000

La evaluacin, entonces, propone responder las


siguientes preguntas, entre otras:
i) en qu medida cumple la iniciativa los objetivos que
justificaba su existencia?. En qu medida cumple dichos
objetivos con la calidad esperada, en los tiempos y lugares esperados?
ii) cumple los objetivos de manera eficiente?, equitativa?, sostenible?.
iii) qu efectos (positivos y/o negativos) se generan,
diferentes a los que se reflejan en los objetivos?
iv) hay determinadas circunstancias o caractersticas
entre las poblaciones objetivo que facilitan (o dificultan)
el logro de los objetivos?
v) cules caractersticas de la gestin facilitan (o dificultan) el logro de los objetivos?
Mokate, 2000

Qu se entiende por
programa? Cmo
se relaciona programa
y poltica?
El objeto de una evaluacin es un programa o
proyecto que se propone con el fin de mejorar y
modificar distintos factores que hacen a un funcionamiento insatisfactorio de la educacin y sus instituciones.
Programa y proyecto son conceptos relacionados que aluden a distintos niveles de organizacin en la cascada de la planificacin. En ambos
casos, se trata de acciones que se orientan a objetivos definidos conforme un determinado diagnstico
de una situacin o problema. En adelante, haremos
referencia de manera genrica a los programas.
Ahora bien, a lo largo de su ciclo de vida, los programas no se mantienen en estado puro; ya que
cuando se ponen en marcha, se relacionan con otros
programas, o con otras formas de organizacin.
La relacin de los programas educativos con
la poltica educativa en los distintos niveles (nacional, provincial o departamental) depende de las
caractersticas que asumen los procesos de gestin, las condiciones del contexto y las capacidades estatales.
Este ltimo aspecto resulta clave en tanto las
capacidades disponibles colaborarn con el modelado del programa como respuesta a las
cuestiones problematizadas en cada nivel.

Proyecto:
Es una empresa planificada consistente en un
conjunto de actividades interrelacionadas y
coordinadas con el fin de alcanzar objetivos
especficos dentro de los lmites de un presupuesto y un periodo de tiempo dados.
Programa:
Se constituye por un conjunto de proyectos
que persiguen los mismos objetivos. Establece
las prioridades de la intervencin, identificando
y ordenando los proyectos, definiendo el marco institucional y asignando los recursos que se
van a utilizar.
ONU (1984)

El concepto de gestin permite establecer conexiones entre el concepto de poltica


educativa y de programa ya que cuando se
habla de gestin de la poltica educativa,
se est hablando (tambin) de programas en
acto.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE 

Cules son los componentes


de un programa?
As definido, un programa supone la existencia
de ciertos componentes que expresan decisiones de
los actores gubernamentales sobre el POR QU,
QU, el COMO, el CUANDO, el CON QU
y el PARA QU, en parte, de una determinada intervencin pblica en educativa.
Implica recortar un PROBLEMA FOCAL y la
indagacin en los factores que inciden decisivamente en el mismo. Este anlisis supone la
existencia de un DIAGNSTICO (ms o menos participativo) de cul es la estructura y dinmica de la problemtica en torno a la cual
se propone intervenir y que justifica, adems,
la necesidad de intervencin.
n Supone la adscripcin o construccin de una
determinada TEORA DEL CAMBIO del problema focal sobre el cual pretende intervenir.
n Como resultado de la identificacin del problema focal, el anlisis diagnstico y la explicitacin (o no) de la teora del cambio que
sostiene al programa, es necesario que estn
planteados un conjunto de OBJETIVOS que
orienten la accin, expresando su POBLACIN OBJETIVO.
n Para alcanzar estos objetivos, el programa
disea un conjunto de ACTIVIDADES a las
que se les asignan RECURSOS, previstos en
el presupuesto del programa o bien aquellos
regulares de la institucin en la cual el programa va a desarrollarse.
n Los objetivos buscan alcanzar un conjunto
de RESULTADOS que prefiguran la situacin
objetivo que se quiere alcanzar una vez finalizado el programa, as como la COBERTURA
que espera alcanzar.
n

Cabe destacar que estos componentes suelen


estar presentes de manera explcita en los documentos de los programas, aunque con niveles desiguales
de coherencia interna. Sin embargo, el equipo de
evaluacin puede encontrarse en algn caso con un
conjunto de intervenciones denominadas por sus
responsables como programa pero que no tengan explicitados la totalidad de estos componentes,
o bien, los mismos padezcan de ciertas inconsistencias internas.
Esta situacin enfrenta al equipo evaluador a la
tarea de reconstruir (recuperando la visin de sus
promotores a travs de entrevistas y documentos)
el objeto a evaluar, esto es, el problema focal, el
diagnstico de partida, sus objetivos implcitos y su
poblacin objetivo, actividades principales y, probablemente, sus recursos.2 En estas circunstancias, se
trata de una tarea inicial que har posible -- posteriormente -- el diseo del estudio evaluativo.

Cules son las funciones


de la evaluacin de programas?
La evaluacin tiene como funcin principal la de
TOMAR DECISIONES en torno a una determinada
intervencin.
Las funciones de los estudios evaluativos son
diversas; la literatura (Fernndez Ballesteros, 1997)
seala cuatro posibles a saber:
Conocer acerca de las actuaciones sobre
el programa: Auxiliar en la toma de decisiones sobre el objeto a evaluar para eliminar la
intervencin, sustituirla por una alternativa o
mejorarla.
n Justificar las decisiones ya emprendidas.
n Fundamentar un gasto presupuestario:
Sustentar la ejecucin presupuestaria con informacin adicional referida a los objetivos
previstos y sus logros.
n Contrastar teoras: A pesar de las diferencias que existen entre la investigacin acadmica y los estudios evaluativos, es posible que
una evaluacin sea solicitada con la finalidad
de contrastar las hiptesis que sustentaron el
diseo del programa.
n

Dadas estas funciones posibles, el equipo evaluador deber indagar PARA QU ha sido encargada la evaluacin, esto es, cules son sus propsitos
tanto explcitos como implcitos.

Componentes de un programa:
Problema Focal.
Diagnstico.
Teora del cambio.
Objetivos.
Poblacin objetivo.
Actividades,
Recursos.
Cobertura.
Resultados.

En algunos casos, los recursos


tienen distintos orgenes (presupuestarios y no presupuestarios
y de diferentes organismos) de
modo que la tarea de la evaluacin ser tambin reconstruirlos
en su origen, institucionalidad
de gestin y magnitud.
2

10

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Quines son los actores a


considerar en una evaluacin?
En su diseo, el equipo evaluador tiene que prestar suma atencin a los actores de la evaluacin.
En cada uno de los niveles en que un programa
despliega su implementacin, sus procesos y resultados (xitos y fracasos) dependen de los actores
que intervienen.
El desarrollo de un estudio evaluativo requiere de
dar cuenta de los distintos niveles en que los actores
intervienen. Desde esta perspectiva, podra configurarse dos grupos de actores de la gestin, a saber:
Actores directamente comprometidos
con el desarrollo del programa: equipo
responsable (poltico y tcnico) y contrapartes provinciales, departamentales y en los
establecimientos.
n Actores cuyas tomas de posicin y aportes
inciden en el desarrollo del programa: sea
desde sus aportes como desde la capacidad
de veto que puedan tener (responsables de
las reas regulares de los ministerios sean
nacionales o provinciales --, responsables de
las instancias subnacionales vinculadas, legisladores, actores escolares, entre otros).
n

La identificacin de los niveles de anlisis resulta central para identificar los actores que, en cada

nivel, se encuentran en uno y otro grupo.


Ahora bien, por qu es importante identificar a
los actores de la implementacin de un programa?
Porque los actores facilitan u obstaculizan el
desarrollo de un programa conforme la convergencia o divergencia de las orientaciones
del programa respecto de sus intereses.
n Porque las visiones acerca del problema que
ellos tienen tendr incidencia directa o indirecta en la reorientacin del programa.
n Porque cada uno de ellos tiene (por fuera del
programa) ciertos mandatos institucionales.
n Porque, ms all de los recursos que un programa tiene para llevar adelante las actividades previstas, estos se combinan en cada
nivel con recursos de otro tipo aportados por
los actores que participan directa o indirectamente.
n

Es necesario reconstruir los recursos, visiones, intereses y mandatos para comprender y explicar las
orientaciones y caminos que un programa asume
en su implementacin. Asimismo, es importante
identificar los actores con los que se analizarn los
resultados de la evaluacin para contribuir con el
desarrollo de capacidad estatal.

Actores:
Aquellas formas concretas, ya sea organizaciones o individuos, que ejercen algn tipo
de incidencia en el proceso de gestin de un
programa.

Atributos de los actores:


Intereses.
Visiones sobre el problema.
Mandatos.
Recursos.

Con relacin a este captulo, tenga en cuenta que


n
n

n
n
n
n
n

Evaluar un programa es determinar su valor en relacin a ciertos criterios y estndares deseables.


La evaluacin supone una reflexin que toma distancia del programa y su implementacin, a
travs de la aplicacin de procedimientos sistemticos que respondan a los criterios de la confiabilidad y validez.
A diferencia de la evaluacin, el monitoreo hace un seguimiento de las acciones de la
iniciativa que se evala y los productos de dichas acciones.
En su implementacin, los programas se convierten en poltica educativa y la trama de intervenciones constituye su contexto.
El diseo de un estudio evaluativo tiene que tener en cuenta los distintos componentes de un
programa: problema focal, diagnstico, teora del cambio, objetivos, actividades y recursos.
La funcin principal de un estudio evaluativo es tomar decisiones en torno a una determinada
intervencin.
Los actores contribuyen con la implementacin de un programa educativo desde sus intereses,
visiones acerca del problema, mandatos institucionales y aporte de recursos.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Bajando a la prctica
n
n
n
n
n

Todo estudio evaluativo debe ser pensado, desde su diseo, como proceso de aprendizaje institucional.
Es imprescindible explicitar los procedimientos a adoptar para fundamentar la validez de los
resultados.
El mbito de anlisis de un estudio evaluativo debe recuperar el contexto de la poltica en el que
dicho programa tiene lugar.
Si los componentes de un programa no resultan del todo claros o explcitos, la tarea inicial del
evaluador consistir en reconstruir las coordenadas bsicas del programa.
El equipo evaluador deber desentraar para qu ha sido encargada la evaluacin para poder identificar las preguntas que resulten social e institucionalmente relevantes para la posterior
toma de decisiones.
La identificacin de los actores es clave para dar cuenta de la complejidad de la implementacin
al momento de responder a las preguntas que el estudio se plantea y para proponer espacios
de participacin desde los cuales analizar crticamente los resultados.

Para seguir indagando


Fernndez Ballesteros, R (1996) Evaluacin de Programas. Una gua prctica en mbitos sociales,
educativos y de salud, Ed. Sntesis, Madrid
Mokate, K. (2000); El Monitoreo y la evaluacin: Herramientas indispensables de la gerencia
social. Notas de Clase. INDES/ BID. www.indes.iadb.org
Niremberg.O. (2007) Modelos para la evaluacin de polticas: insumos para una mejora de la
gestin. En: Chiara, M. y Di Virgilio, M. M. Gestin de la Poltica Social: Conceptos y herramientas. Co-ediciones UNGS, Buenos Aires. En prensa.

11

12

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

2. DECISIONES EN TORNO AL DISEO


DE LOS ESTUDIOS EVALUATIVOS

Evaluacin y ciclo
de vida de los programas:
cundo evaluar?
No todos los estudios evaluativos son iguales.
Ms all de las diferencias, las evaluaciones
contribuyen (de hecho) a los objetivos de profundizar la transparencia de la accin gubernamental
y a mejorar el desarrollo de la gestin. En esta lnea
de reflexin, son distintos los momentos en que la
evaluacin puede aportar a estos propsitos generales.
Sin embargo, hay que tener en cuenta que el
ciclo de polticas no est organizado en momentos
estancos, sino en que es un continuo diseo
implementacin evaluacin redefinicin.
Desde esta perspectiva, si bien la evaluacin es una
accin sistemtica y diferenciada, entra en dilogo
(y debe hacerlo tambin sistemticamente) con los
otros momentos del ciclo de poltica (diseo e implementacin) produciendo en ellos modificaciones.
As concebido el ciclo de vida de las polticas, la
evaluacin es diferente segn aborde aspectos del
diseo o de la implementacin y en consecuencia
puede ser realizada:
n

Antes de iniciado el programa: evaluacin ex


ante.
n Durante la implementacin del programa:
evaluacin ex post.
n Una vez finalizado el programa: evaluacin
ex post.
Ahora bien, la decisin acerca del tipo de estudio evaluativo a encarar depende no slo del momento en que la evaluacin tiene lugar sino muy
especialmente de las preguntas que dan lugar al
estudio evaluativo y las posibilidades institucionales
y presupuestarias existentes para el desarrollo del
estudio.

La definicin de las
PREGUNTAS: momento clave
en el diseo de un estudio
evaluativo
Toda evaluacin compromete una reflexin sistemtica y fundada acerca de la accin. Esa reflexin
no se da en abstracto sino en las relaciones entre los
actores de la gestin del programa y de la poltica
educativa.
En consecuencia, para que exista una relacin
virtuosa entre evaluacin y gestin es necesario que
el equipo evaluador indague en las preocupaciones
que dan lugar a la evaluacin y formule de manera
explcita las preguntas que orientan dicha reflexin.
Debe advertirse que no se trata de una traslacin
lineal de las preocupaciones de quien solicita la evaluacin a las preguntas que orientarn la indagacin.
La formulacin de las preguntas constituye un
momento crucial del diseo del estudio evaluativo y
comprende un trabajo crtico del equipo evaluador
que debe tener en cuenta las siguientes cuestiones:
w

Las necesidades y motivaciones que dieron lugar al requerimiento. Por ejemplo: fundamentar un requerimiento presupuestario; indagar
acerca de cmo el programa est desarrollndose a nivel de departamentos o escuelas; por citar algunos ejemplos.
w El estado del arte respecto de la problemtica
en la que se inscribe el estudio. Por ejemplo,
los estudios acerca del fracaso escolar, educacin y pobreza, calidad educativa, dinmica escolar; por citar algunos ejemplos.
w El momento del desarrollo del programa en
que la evaluacin tendr lugar (antes, durante y despus).
w La mirada de otros actores vinculados con la
implementacin del programa y sus preocupaciones.
La reconstruccin de la situacin en el seno de
la cual se formulan las preguntas es una tarea que
puede realizarse a travs de:
n

Reuniones y encuentros de trabajo con decisores/solicitantes de la evaluacin.


n Entrevistas en profundidad y conversaciones
con actores vinculados con el programa.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Lectura de peridicos locales los que pueden


ser un emergente de la agenda pblica en la
que se inscribirn los resultados del estudio
evaluativo.
En consecuencia, la definicin de las preguntas
de un estudio evaluativo es un proceso de construccin que pone en dilogo las motivaciones de
la gestin con los avances en el campo acadmico.
Se trata de un primer momento en el proceso de
construccin del objeto de la evaluacin.
Las preguntas irn orientando la seleccin de la
estrategia de investigacin que se considere ms
adecuada para darles respuesta.

Una vez definidas las


preguntas, cules son
las decisiones a tomar para
disear un estudio evaluativo?
Una vez formuladas las preguntas, resta tomar
un conjunto de decisiones que van a definir qu
TIPO de EVALUACIN se va a adoptar y, en consecuencia, cul ser la METODOLOGA del estudio
evaluativo.
Se trata de decisiones diferentes en tanto la primera (tipo de evaluacin) tiene que ver con el momento en que se planifica el estudio y sus propsitos, mientras que la segunda (metodologa) refiere
al modo como van a aportarse y analizarse los datos
necesarios.:

13

Momento del programa en que se desarrolla


la evaluacin:
w Previo al inicio del programa.
w A medio camino de su implementacin.
w Finalizando una primera etapa.
w Finalizado el programa.

Propsitos:
w Promover ajustes en su diseo o abonar al
desarrollo de alternativas de intervencin.
w Conocer la cobertura de un programa.
w Conocer los puntos fuertes y dbiles de
su administracin y gestin.
w Valorar los cambios que el programa est
produciendo.
w Justificar una alternativa de inversin respecto de otra para un mismo objetivo.

Se trata de dar cuenta -- en la metodologa de


evaluacin -- de la complejidad de los procesos de
gestin del programa y de la forma que incide en la
modificacin del problema focal.
Dadas estas consideraciones, el empleo de tcnicas cuantitativas o cualitativas es una decisin
posterior que depender del momento en que se
plantee la evaluacin y de sus propsitos; en sntesis, la metodologa depende de la naturaleza de las
preguntas que se espera responder con los resultados del estudio evaluativo.
La triangulacin de aproximaciones cualitativas y
cuantitativas brinda pistas para poder dar cuenta de
la complejidad que estn expresando las preguntas
de un estudio evaluativo.

Preguntas posibles para la Evaluacin de la conceptualizacin


y del diseo de los programas:
n
n

Cules son el grado y distribucin de los problemas a los que se dirige el programa?
Se ha diseado el programa de acuerdo con los objetivos inicialmente perseguidos? Es lgico
y racional?
n Cules son las tensiones en torno a la definicin del problema que da origen al programa que
han tenido lugar en el momento de su diseo?
n Cul es la teora del cambio que sustenta el programa?
Adaptado de Ballart, 1997: 78

14

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Preguntas posibles para la Evaluacin de la implementacin de los Programas:


n

Hasta qu punto el programa est alcanzando la poblacin especfica o el rea a la que se


dirige?
n En qu medida el esfuerzo de la intervencin se est llevando a cabo como se especific en el
diseo original?
n Cules son los factores institucionales que facilitan los procesos de gestin en relacin al logro
de los objetivos y cules los obstaculizan?
Adaptado de Ballart, 1997: 78

Cules son los tipos posibles


de evaluacin de programas?
Son muy diferentes los criterios que permiten establecer los tipos de evaluacin y, en consecuencia,
guiar la decisin acerca de cul es el ms adecuado.
Dado el carcter no exhaustivo de este documento, se presenta aqu una de las clasificaciones
posibles que pueden ser tiles a los efectos de cruzar los criterios anteriormente aludidos (momento
en que se encuentra el programa y propsitos de la
evaluacin).
Esta clasificacin propuesta por Xavier Ballart
(1992) recupera cuatro tipos diferentes de evaluacin, a saber:
a. Evaluacin de la conceptualizacin

y del diseo de los programas:

n Intenta proporcionar informacin sobre:
w el problema del que se ocupa o debera
ocupar el programa;
w el proceso de formulacin y diseo del
programa; y
w la racionalidad intrnseca del mismo programa; es decir, hasta qu punto el diseo sirve a sus objetivos.
n

Sin serlo, abreva y dialoga con los resultados


de las investigaciones acadmicas relativas al
problema del que se ocupa el programa y sobre las polticas y programas orientados a su
resolucin.

b. Evaluacin de la implementacin

de los programas:
n

Busca aportar una valoracin sistemtica


acerca de:
w la cobertura del programa, es decir, hasta
qu punto el programa est alcanzando a
la poblacin o el rea a los que se dirige;
w la forma en que el programa se administra, tanto respecto de la utilizacin de

los recursos de que dispone como de los


servicios efectivamente distribuidos y su
oportunidad; y
w los factores institucionales que facilitan u
obstaculizan los procesos de gestin en
relacin al logro de los objetivos.
n

Requiere de asumir un abordaje tanto cuantitativo como cualitativo y hace uso de fuentes
primarias y secundarias.
n Apelan a distintas tcnicas para recolectar informacin: encuestas, entrevistas en profundidad y grupos focales.
c. Evaluacin de la eficacia o impacto
de los programas:
n

Examina en qu medida el programa produce un cambio en la direccin deseada.


n El anlisis de impacto supone la existencia de
un conjunto de objetivos operacionales y que
stos son indicativos del xito o del fracaso
del programa. Puede afirmarse que ste ha
funcionado correctamente si consigue algn
cambio en la situacin descripta por esos objetivos.
n El principal problema de la evaluacin de impacto es separar los efectos del programa de
los denominados efectos externos al programa, con la finalidad de determinar hasta
qu punto el programa es responsable de los
cambios observados durante y despus de su
puesta en prctica.
n Esto se consigue por diferentes diseos:
w

Diseos experimentales:
Son los ms potentes desde el punto de
vista metodolgico ya que utilizan grupos
experimentales o grupos de control. El
poder del mtodo reside en que se asig-

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

nan aleatoriamente a los individuos a


cada uno de los grupos (experimental
con programa -- y de control sin programa--); esta operacin asegura la igualacin de ambos grupos en todas las dems
variables que podran estar influyendo en
el resultado final.
w Diseos cuasi-experimentales:
La implementacin de un verdadero experimento resulta difcil tanto en la forma
como se administran los programas como
porque la asignacin aleatoria de personas a grupos experimentales resulta difcil
de sostener en un estado de derecho.
Por esta razn se adoptan mtodos que
conforman un grupo experimental y otro de
control sin requerir distribucin aleatoria. A
pesar de esta limitacin, mantienen algunas
de las ventajas de los experimentos.
Las alternativas a adoptar dependen del
momento en que el evaluador toma contacto con la evaluacin.
w Diseos no experimentales:
Se utilizan en aquellos casos en que la
poblacin no puede ser comparada con
grupos testigo o control para descartar
los efectos exteriores no atribuibles al
proyecto.
La disponibilidad de una lnea de base facilita la
medicin de los cambios producidos en el transcurso del desarrollo del programa.

15

d. Evaluacin de la eficiencia
de los programas:
n

El impacto de un programa deber tambin


ser evaluado por sus costos ya que podra
suceder que estn producindose unos resultados que sean escasos considerando los
costos en que ha incurrido.
n Esto supone incluir el anlisis costo-efectividad dentro del mbito de la evaluacin. Sin
embargo, estos anlisis requieren estudios
de impacto en tanto suponen conocer los
beneficios efectivamente causados por el
programa.
n En los programas en educacin la dificultad
para adoptar este tipo de modelos tiene que
ver con que no todos los outputs o inputs pueden ser valorables en trminos monetarios.

Lnea de Base:
Permite conocer el valor de los indicadores
al momento de iniciarse las acciones previstas
en un programa, es decir, definir el punto de
partida del proceso de cambio. Si bien suele
tener un carcter dominantemente cuantitativo, recurre tambin a informacin cualitativa.
Apela a fuentes secundarias (registros regulares, censos, encuestas, etc) o bien fuentes
primarias (producidas ad hoc).

Preguntas posibles para la Evaluacin de la eficacia o impacto de los Programas:


n
n

Ha sido el programa efectivo para alcanzar sus objetivos iniciales?


Se pueden explicar los resultados del programa como consecuencia de un proceso alternativo
que no incluya al programa mismo?
n Cul es la magnitud de los cambios alcanzados?
n A qu factores aparecen asociados?
Adaptado de Ballart, 1997: 78

Preguntas posibles para la Evaluacin de la eficiencia de programas:


n
n

Cules son los costos y beneficios de distribuir los servicios a los participantes de un programa?
Supone el programa en concreto un uso diferente de los recursos en comparacin con otros
alternativos?

Ballart, 1997: 78

16

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Con relacin a este captulo, tenga en cuenta que


n

La evaluacin es una accin sistemtica y diferenciada de la gestin que entra en dilogo (y


debe hacerlo tambin sistemticamente) con los otros momentos del ciclo de poltica (diseo e
implementacin) produciendo en ellos modificaciones.
Toda evaluacin compromete una reflexin sistemtica y fundada acerca de la accin. Esa reflexin no se da en abstracto, sino en las relaciones entre los actores de la gestin del programa
y de la poltica educativa.
La formulacin de las preguntas constituye un momento crucial en el diseo del estudio evaluativo y comprende un trabajo crtico que debe tener en cuenta: las necesidades y motivaciones
de quien solicita la evaluacin, el estado de arte respecto del problema, el momento en que se
desarrolla la evaluacin y la mirada de otros actores vinculados a la gestin.
Una vez formuladas las preguntas, corresponde avanzar en un conjunto de decisiones que van
a definir qu TIPO de EVALUACIN se va a adoptar y, en consecuencia, cul ser la METODOLOGA del estudio evaluativo.
La triangulacin de aproximaciones cualitativas y cuantitativas permite dar cuenta de la complejidad que estn expresando las preguntas de un estudio evaluativo.

Bajando a la prctica:
n

El diseo de un estudio evaluativo debe responder al momento en que el programa se encuentra y a las necesidades que motivan su desarrollo.
n La definicin de las preguntas es un momento clave que involucra el trabajo conjunto del equipo evaluador y de los responsables de la gestin.
n La seleccin del modelo de evaluacin depende del momento en que se encuentre el programa
as como de los desafos con que se enfrentan sus gestores directos y las necesidades de los
destinatarios e involucrados.

Para seguir indagando:


Ballart, X. (1992): Cmo evaluar programas y servicios pblicos?. Aproximacin sistemtica y
estudios de caso. Ministerio para las Administraciones Pblicas, Madrid.
Cohen, E. y Franco, R. (1988); Evaluacin de Proyectos Sociales, ILPES/ONU CIDES/OEA GEL
Coleccin Estudios Polticos y Sociales1ra. Ed. Buenos Aires.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

17

3. LA EVALUACIN EN DIEZ FASES


Habiendo recorrido un conjunto de consideraciones conceptuales y metodolgicas, se presenta
aqu una secuencia posible para ordenar el proceso
de trabajo del equipo a cargo de la evaluacin de
un programa.
Se advierte que estas operaciones suponen las
definiciones conceptuales y metodolgicas previas.
Las fases son las siguientes:
n
n
n
n
n
n
n
n
n
n

Fase 1: Conformacin del equipo evaluador.


Fase 2: Reconstruccin de las coordenadas
del programa a evaluar.
Fase 3: Identificacin de los actores o involucrados.
Fase 4: Recorte y descripcin del Problema
Focal.
Fase 5: Definicin de las preguntas y enunciacin de los objetivos.
Fase 6: Operacionalizacin de las preguntas
para avanzar en la indagacin.
Fase 7: Relevamiento de los datos.
Fase 8: Anlisis de datos.
Fase 9: Elaboracin del informe.
Fase 10: Devolucin de los resultados.

FASE 1:
CONFORMACIN DEL EQUIPO EVALUADOR
n

La conformacin del equipo evaluador es el


momento fundacional del proceso evaluativo. Sin embargo, debe advertirse que la misma debera realizarse en dos momentos.
w En un primer momento, se deber definir
un equipo pequeo para ocuparse del diseo del proyecto.
w En un segundo momento y recin cuando
el perfil del proyecto est definido, terminar de quedar conformado el equipo
con la enunciacin de los perfiles y tiempos de incorporacin.

objetivos implcitos, poblacin objetivo, actividades principales y recursos.


DESARROLLO:
n En aquellos casos en que el programa ha
sido objeto de una cuidadosa formulacin
no es necesario avanzar en el desarrollo de
esta fase.
n Sin embargo, es frecuente que los programas (en particular aquellos que no cuentan
con financiamiento internacional y que han
ido creciendo en sus recursos por medio
de decisiones incrementales) sean dbiles
en su formulacin inicial (expresada en su
formalizacin a nivel de documentos) pero
probablemente fuertes en las relaciones
institucionales y polticas que asumen en la
prctica.
n En esos casos, se hace imprescindible esta
reconstruccin a los efectos de evaluar los
acuerdos de accin alcanzados y, en muchos
casos, las inversiones, para no correr el riesgo de evaluar (exclusivamente) las decisiones
iniciales formalizadas en los documentos institucionales fundacionales perdiendo de vista
decisiones posteriores que los fueron constituyendo y ampliando.
n Se apela en estos casos a entrevistas en
profundidad, al relevamiento documental y hemerogrfico desde cuya triangulacin se reconstruya:
w El contexto de surgimiento del programa.
w Los debates que rodearon la decisin de
su creacin.
w La formalizacin institucional que le dio
sustento.
Reconstruir las coordenadas bsicas del
programa a evaluar:
w
w
w
w
w

FASE 2:
RECONSTRUCCIN DE LAS COORDENADAS
DEL PROGRAMA A EVALUAR
PROPSITO:
Identificar los componentes bsicos que organizan la intervencin del programa, esto
es: problema focal, diagnstico de partida,

problema focal,
diagnstico de partida,
objetivos implcitos y poblacin objetivo,
actividades principales y
recursos.

Esta descripcin debe formar parte del primer captulo de todo estudio evaluativo de
modo de hacer explcito el objeto que se est
evaluando.
n Se trata de una descripcin breve (sin problematizacin) que permite caracterizar el objeto a evaluar.

18

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

FASE 3:
IDENTIFICACIN DE LOS ACTORES
E INVOLUCRADOS
PROPSITO:
Conocer la trama de los actores y sus relaciones en el marco de las cuales se procesaron
y procesan las decisiones comprendidas en el
diseo, la implementacin y posterior re-definicin del programa en cuestin.
DESARROLLO:
n Esta reconstruccin alcanza a aquellos actores que estn comprometidos con la gestin
del programa (unidad u organismo a cargo y
otros organismos) en cada uno de los niveles
jurisdiccionales (nacional, provincial, departamental y escolar).
n Asimismo, supone identificar y reconstruir la
trama hacia aquellos actores que, si bien no
estn a cargo del diseo e implementacin
del programa, sus perspectivas y visiones son
importantes en tanto tienen capacidad de redefinicin del mismo.
n La definicin de actores ya referida asume a
formas concretas, organizaciones o individuos, que ejercen algn tipo de incidencia en
el proceso de gestin de un programa.
n Cabe destacar que se trata de una primera
identificacin ya que en el transcurso del
estudio pueden surgir otros actores cuya
perspectiva sea relevante conocer y que no
fueron identificados en este momento inicial.
En ese caso, se analizar su pertinencia en
relacin al diseo original.
n Cabe destacar que la decisin de incorporar
o excluir la perspectiva de algn actor del
anlisis puede tener consecuencias en los resultados finales, por lo cual debe ser tomada
de manera fundada y explcita en el proceso
de la investigacin.
n La nmina de actores confeccionada servir
para:
w Confeccionar la lista de personas a entrevistar.
w Construir los espacios de reflexin y difusin en torno a los resultados del estudio.

FASE 4:
RECORTE Y DESCRIPCIN DEL
PROBLEMA FOCAL
PROPSITO:
Reconstruir las condiciones de surgimiento
del programa

Delimitar y describir el problema focal sobre


el cual interviene el programa y el conjunto
de factores que incide en su existencia.
Reconstruir la/s hiptesis explicativas o red
causal de factores que, se supone, inciden de
manera decisiva en su existencia.
DESARROLLO:
n Se trata de hacer un anlisis retrospectivo
que reconstruya las condiciones de surgimiento del programa. Se busca comprender
-- ms all de sus objetivos -- la cuestin de
la agenda de gobierno a la que el programa
apunt a resolver o modificar.
n En el marco de este anlisis, adquiere relevancia la perspectiva de los distintos actores
que fueron identificados en el momento inicial.
n La reconstruccin de las condiciones de surgimiento del programa, implica considerar
los siguientes aspectos:
w Contexto de surgimiento y puesta en
marcha.
w Insercin en el contexto de las polticas
pblicas.
w Posicin respecto de las otras polticas
para el sector especfico.
w Polticas y estrategias antecedentes.
w Actores implicados y opciones adoptadas
y descartadas.
n La identificacin del problema focal supone
determinar el ncleo problemtico en torno
al cual se orienta el programa y, en funcin
del cual, se estructurar el anlisis del estudio
evaluativo.
n El recorte riguroso del problema focal se logra identificando un conjunto de descriptores que delimiten sus fronteras. Los descriptores son enunciados que hacen referencia
a situaciones cotejables que manifiestan y
corroboran la existencia del problema focal,
especificando dimensiones del mismo.
n Posteriormente, se apunta a reconstruir las redes causales, incorporando otros problemas y
relaciones a los efectos de ampliar el anlisis
de los factores que inciden en su desempeo.
n La reconstruccin de las hiptesis o teora
del cambio que sustenta el programa resulta
fundamental, tanto para su posible revisin
como para la identificacin de las preguntas
que orientarn el estudio evaluativo.
n Para esta reconstruccin, el equipo evaluador deber conocer el estado del arte
acerca de los distintos marcos explicativos
del problema focal para poder situar la teora del cambio que sustenta el programa en
un contexto ms general de la produccin
acadmica.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

19

FASE 5:
DEFINICIN DE LAS PREGUNTAS
Y ENUNCIACIN DE LOS OBJETIVOS
PROPSITO:
Formular los interrogantes a responder desde
la indagacin del estudio evaluativo.
Operacionalizar en objetivos generales y especficos los interrogantes que orientan la
indagacin.
DESARROLLO:
n Tomando como punto de partida las coordenadas del programa, la identificacin de los
actores y la descripcin del problema focal
(y las hiptesis causales que lo sustentan), el
equipo evaluador deber formular un conjunto de preguntas que orienten la indagacin del estudio y la posterior reflexin.
n Los interrogantes debern ser:
w Pertinentes en relacin al objeto a evaluar,
o sea, el programa.
w Relevantes en relacin a las necesidades sociales e institucionales que le
dan origen.
w Factibles de ser respondidos con los recursos y el tiempo disponible.
n Tal como ya se present , se trata de un momento de sntesis entre las necesidades y
motivaciones que originaron el estudio, el

n
n

estado del arte respecto de la problemtica


en que se inscribe el estudio, la lectura del
momento en que la evaluacin tiene lugar y
la mirada de otros actores involucrados directa o indirectamente.
Las preguntas pueden referir a:
w La conceptualizacin y el diseo.
w La implementacin.
w Los resultados y/o el impacto.
Formuladas las preguntas, se avanzar en la
formulacin de los objetivos generales y especficos del estudio.
El objetivo general describe lo ms precisamente posible el conocimiento que se espera
obtener respondiendo a la pregunta del estudio evaluativo.
Se enuncian con verbos infinitivos.
Los objetivos especficos operacionalizan dimensiones del objetivo general y se formulan
de modo tal de facilitar la organizacin del
estudio.
A medida que se avanza en el diseo del
estudio evaluativo, se podr volver a los objetivos para ajustarlos y precisarlos en relacin a las definiciones que se hayan tomado.
Cuanto ms precisos sean los objetivos, ms
fcil ser la tarea para orientar el trabajo del
equipo evaluador.

Un ejemplo de PREGUNTAS de Evaluacin del PIIE:


n

Conceptualizacin y el diseo
Cul es el problema que da lugar a la creacin del programa?
Cul es la teora del cambio que supone el programa?
Cules son las razones por las cuales se adopta este diseo institucional?

Implementacin
Cules fueron las estrategias adoptadas para llevar a cabo los cambios propuestos por el programa en cada uno de los niveles?
Cules son las modalidades de gestin del PIIE en el nivel provincial?
Cmo han incidido las diferentes matrices institucionales y la capacidad estatal en el desarrollo
del programa en cada jurisdiccin?
Cules han sido los modos tpicos de constitucin de los equipos tcnicos provinciales en tanto
dispositivos de articulacin entre la gestin nacional, la gestin provincial y las escuelas?

Impacto
Cules han sido los resultados de las intervenciones desarrolladas por el programa en el nivel
de las escuelas?
Cules son las valoraciones de los actores y las transformaciones de las prcticas en el trabajo
docente? Cules son las valoraciones de los actores respecto del impacto en las condiciones de
enseanza de las diferentes lneas de accin del PIIE?
Cmo se expresan en prcticas locales de enseanza los principios de confianza, transmisin e
igualdad que motorizan el diseo de las estrategias del Programa?

Evaluacin PIIE, DINIECE, 2007

20

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Ejemplo de Objetivos Generales y Especficos del Estudio Evaluativo PIIE:


Objetivo general
Analizar los aspectos crticos y las potencialidades del PIIE del MECyT de la Nacin para fortalecer las condiciones de enseanza en las escuelas primarias que atienden a los sectores ms
vulnerables.
Objetivos especficos

OE1. Sistematizar y analizar las principales estrategias implementadas por el Nivel Central para
el desarrollo del PIIE en las provincias.

OE2. Analizar comparativamente el alcance de las acciones desarrolladas por el programa en


una muestra representativa de escuelas a nivel nacional bajo programa y una muestra representativa de escuelas no PIIE con caractersticas similares a las escuelas bajo programa, en relacin
a un conjunto de variables pertinentes.

OE3. Analizar las modalidades particulares de gestin del PIIE en el nivel provincial, indagando en los atributos de las distintas matrices institucionales desde y sobre las cuales el
programa se implementa.

OE4. Reconstruir los modos tpicos de construccin / configuracin de los equipos tcnicos
provinciales como dispositivo de articulacin entre la gestin nacional, la gestin provincial y
las escuelas.

OE 5. Comprender las potencialidades y limitaciones de las diversas conformaciones de los


equipos provinciales y sus transformaciones a lo largo de la historia del programa, para dinamizar el uso de los recursos materiales y simblicos que el programa pone a disposicin en
el nivel de las escuelas.

Evaluacin PIIE, DINIECE, 2007

FASE 6:
OPERACIONALIZANDO LAS PREGUNTAS
PARA AVANZAR EN LA INDAGACIN
PROPSITO:
Operacionalizar los objetivos especficos de
para disear los instrumentos de recoleccin
de datos y las matrices de anlisis de informacin.
DESARROLLO:
n Una vez planteadas las preguntas, es conveniente ir avanzando en las siguientes precisiones a los efectos de poder ajustar la definicin de los objetivos generales y especficos:
w Recorte temporal: Refiere al periodo
que ser objeto de la observacin y en
funcin del cual se analizarn las series
de tiempo de los datos.
w Nivel de Anlisis: Alude al o los niveles
en que se indagar la respuesta a los interrogantes. Nacional? Provincial? Distrital o departamental? Establecimiento?

Unidad de Anlisis: Configura la unidad de relevamiento del dato. Funcionario, responsable del programa, tcnico?
Ministro provincial, responsable provincial del programa? Directivo, alumno,
establecimiento?
w Universo: Refiere al marco emprico general acerca del cual se espera que el estudio hable. Las acciones del programa
en las escuelas? Las prcticas administrativas del programa a nivel nacional?
w Operaciones: Las operaciones son las
manifestaciones que se registran en las
personas y organizaciones que han recibido el programa y que, se supone, expresan sus efectos.
n Una vez operacionalizadas las preguntas,
es necesario avanzar en la definicin de las
variables, los indicadores y las fuentes de
datos as como las tcnicas a utilizar en la
indagacin:
w Las variables son las caractersticas, atriw

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

butos, cualidades o elementos de una


unidad de anlisis que pueden ser medidas adoptando valores diferentes en cada
caso. Las variables describen los hechos,
fenmenos y realidades sociales, propias
de las acciones llevadas a cabo dentro de
un programa.
w Los indicadores son aquellos descriptores que expresan de manera directa modificaciones sustantivas en la variable. Deben ser: especficos (quin o qu se
est midiendo), observables y/o medibles,
apropiados, factibles, vlidos y deben incluir un componente cronolgico.

21

Las fuentes de datos pueden ser primarias o secundarias. Los datos primarios
son aquellos que el investigador obtiene
de manera directa de la realidad y que
son relevados por sus propios instrumentos; mientras que los datos secundarios
son registros escritos que proceden del
contacto con la prctica pero que fueron
seleccionados y procesados por otros investigadores o por la propia institucin.
n Es deseable que todas estas definiciones (sumadas a la grilla de recursos y cronograma de
actividades y productos) formen parte del documento del proyecto del estudio evaluativo.
w

Modelo de ndice de Contenidos de un Proyecto de Estudio Evaluativo:


n

Justificacin y contexto de la evaluacin: Recapitula evaluaciones previas, as como las motivaciones que dieron lugar a la evaluacin.

El objeto de la evaluacin: Describe el programa en sus coordenadas bsicas.

Los objetivos, aspectos conceptuales y metodolgicos.


- Objetivos Generales y Especficos.
- Marco conceptual.
- Modelo de evaluacin adoptado.
- Universo.
- Niveles de anlisis.
- Unidades de anlisis.
- Variables.
- Diseo muestral o criterios de seleccin de los casos.

Cronograma.

Recursos.

Anexos:
- Instrumentos de recoleccin de datos.
- Marcos muestrales o criterios de seleccin de los casos.

Tomado del Estudio Evaluativo PIIE, 2007

FASE 7:
RELEVAMIENTO DE DATOS
PROPSITO:
Aplicar los instrumentos de relevamiento
(encuestas, grupos focales y/o entrevistas en
profundidad) conforme las unidades de anlisis definidas en el proyecto y el marco muestral definido o los casos seleccionados.
Relevar los datos secundarios (presupuestarios, informes de avance y finales, documentos internos, estadstica educativa) conforme
las variables identificadas en el proyecto.

DESARROLLO:
n La duracin, modalidad de organizacin y
magnitud del trabajo de campo depender
de las caractersticas del proyecto.
n Se trata de un momento diferenciado del resto del proceso.
n Dado que en s mismo supone una intervencin en el mbito institucional (en el nivel
macro institucional o en el nivel del establecimiento), requiere de una rigurosa y, a la vez,
cuidadosa tarea de parte de la Coordinacin
del estudio. Si bien esta funcin puede estar a

22

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

cargo de un equipo diferenciado, debe mantener un dilogo permanente con el equipo


a cargo del proyecto por dos razones:
w la vigilancia del principio de validez en relacin a lo que se busca medir;
w el cuidado acerca de la relacin institucional con los organismos y establecimientos
escolares.
n Las tcnicas de relevamiento de la datos primarios son:
w Encuesta: es un conjunto de preguntas
normalizadas dirigidas a una muestra
representativa de la poblacin o instituciones, con el fin de conocer estados de
opinin o hechos especficos.
w Grupo focal: es una reunin con modalidad de entrevista grupal abierta y estructurada, en donde se procura que un grupo de personas seleccionadas discutan y
elaboren, desde la experiencia personal,
las cuestiones en torno a los determinantes y condicionantes de la salud.
w Entrevista en profundidad: intenta conocer las percepciones de la poblacin
sobre una determinada problemtica.
Consiste en una entrevista abierta semiestructurada por temas que no necesariamente han de seguir una secuencia
previamente fijada.

FASE 8:
ANLISIS DE LOS DATOS
PROPSITO:
Sistematizar los datos relevados y volver a las
preguntas para reconstruir una imagen de la
realidad capaz de responderlas.
DESARROLLO:
n En el anlisis de los datos hay que tener bien
presentes las preguntas que orientan la investigacin.
n En lo posible, se elaborarn matrices de anlisis que permitan formalizar el procesamiento
de los datos. Dichas matrices debern rescatar tanto los niveles de anlisis como los criterios para seleccionar los casos o segmentar
la muestra, segn corresponda.

En el anlisis hay que considerar que cada


dato habla de distintas cosas:
w Las encuestas pueden estar relevando
hechos pero siempre en clave de la memoria o reconstruccin siempre subjetiva
de los/las entrevistados.
w Las entrevistas en profundidad refieren
a interpretaciones sobre los hechos, a representaciones que elaboran los actores.
Son significativos como parte de la mirada de los actores (tal como han sido seleccionados como unidad de anlisis).
w Los grupos focales dan cuenta de la mirada colectiva, las convergencias y las divergencias en relacin a un conjunto de
ejes o cuestiones. No se trata de rescatar
slo los acuerdos del conjunto de personas que participan sino tambin aquellos
nudos en torno a los cuales se producen
divergencias significativas.
w La estadstica educativa permite elaborar indicadores a travs de los cuales se
puede monitorear el rumbo y alcance de
los cambios generados por el programa.
Los registros regulares son: Relevamiento
Anual, Censo Docente y Operativos Nacionales de Calidad Educativa.
w Los documentos de los programas e
informacin presupuestaria (registros
de bases de datos, informes de avance y
finales, informes provinciales, registros de
programacin y ejecucin presupuestaria)
son emergentes de los procesos administrativos de los programas. Son de suma
utilidad para el anlisis y hablan acerca
de los procesos poltico-institucionales
formales, administrativos y econmico-financieros.
w Los programas en educacin cuentan,
adems, con una fuente de formidable
potencial que son los cuadernos escolares, los documentos institucionales
y los registros fotogrficos realizados
bajo un protocolo unificado.
n La triangulacin en el anlisis de datos
cuantitativos y cualitativos tiene un enorme
potencial para la reconstruccin de los significados de los procesos, adems de su magnitud y tendencias.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

23

Ejemplo de Matriz de Anlisis para Caracterizacin de los actores:


La caracterizacin de los actores es un momento clave en el anlisis de los datos. Se propone a
continuacin una Matriz de Actores e Involucrados que permite reconstruir el conocimiento e inters que tienen en el programa, los conflictos potenciales con el programa y las virtudes que en l
reconocen, los recursos que movilizan (refiere a los recursos materiales y simblicos que cada actor
est dispuesto y tiene la posibilidad de comprometer en la accin o contra ella) y los mandatos (responsabilidad organizacional) que tiene cada actor en relacin a l.
Matriz de Actores e Involucrados
Actores /
involucrados

Conocimiento e intersen
el programa

Conflictos
potenciales

Virtudes
del programa

Recursos

Mandatos

Ministro
Consejo
Provincial
Referente
Programa A
Programa B
Equipo Tcnico
Supervisores

Tomado del Estudio Evaluativo PIIE, 2007.

FASE 9:
ELABORACIN DEL INFORME
PROPSITO:
Sistematizar los resultados del estudio para
responder a las preguntas planteadas originalmente.
DESARROLLO:
n Una vez realizado el primer anlisis de los
datos, el equipo evaluador deber avanzar
en la elaboracin de una primera versin de
ndice del informe para que el anlisis de los
datos vaya convergiendo en la elaboracin
de documentos de trabajo que constituyan,
posteriormente, los captulos del mismo.
n La primera versin del ndice del informe se
organiza segn la estructura de los objetivos
especficos de modo tal que cada captulo
o apartado del informe responda a las preguntas.

La primera versin del ndice debe ser analizada con el equipo de gestin promotor o solicitante de la evaluacin a los efectos de vigilar
que la propuesta siga ajustndose conforme
los requerimientos e interrogantes que le dieron origen al estudio.
n En tanto los estudios evaluativos cuentan con
un periodo corto de realizacin, es deseable
que el/la responsable de la Coordinacin
pueda distribuir entre los participantes del
equipo responsabilidades para la redaccin
primaria de los documentos de trabajo, para
luego quedar bajo la responsabilidad de un
equipo ms reducido su redaccin final.
n La elaboracin de versiones preliminares pero
formalizadas es til para dar lugar a la lectura
de parte de los actores involucrados haciendo posible la recuperacin -- en el anlisis -de su perspectiva acerca de la reconstruccin
de la realidad que el informe devuelve.

24

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

Ejemplo de ndice de Informe Final Estudio Evaluativo:


1. Fundamentacin del estudio.
2. Objetivos y metodologa.
3. La propuesta de regularizacin del 2do ciclo del nivel primario en la provincia
de Mendoza.
4. Contexto del proyecto de extraedad
5. Origen del proyecto y antecedentes.
6. Principales caractersticas del proyecto y de su implementacin.
7. Posiciones respecto de las modificaciones realizadas y pendientes en trminos de normativa.
8. Recursos materiales y recursos humanos.
9. Seguimiento y Evaluacin del Proyecto.
10. Valoraciones de los entrevistados sobre el desarrollo del Proyecto.
11. Seleccin de los establecimientos para el proyecto extraedad.
12. Participacin de directivos y de supervisores en la implementacin del Proyecto.
13. Organizacin y funcionamiento de los ncleos.
14. Seleccin de grados y tamao de los ncleos.
15. Criterios y procedimientos de seleccin de los maestros de los ncleos.
Principales caractersticas de los docentes.
16. El trabajo docente en los ncleos.
17. Instancias de articulacin entre el trabajo en los ncleos y en los grados.
18. Participacin de otros docentes: relaciones entre los maestros de las escuelas con ncleos
y colaboraciones entre establecimientos.
19. Materiales y documentos de apoyo para docentes.
20. Los alumnos de los ncleos: criterios y procedimientos de seleccin.
21. Criterios de promocin de los alumnos de los ncleos.
22. El proyecto extraedad y la articulacin entre ciclos.
23. Conclusiones y recomendaciones.
Bibliografa y fuentes citadas
Tomado del Estudio Evaluativo PROMER, Mendoza

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

25

FASE 10:
DEVOLUCIN DE LOS RESULTADOS
PROPSITO:
Analizar --en conjunto con los actores de la
gestin del programa-- los resultados del estudio evaluativo.
Recuperar en el anlisis la perspectiva de los
gestores en los distintos niveles.
Identificar nudos crticos en torno a los cuales producir recomendaciones.
DESARROLLO:
n Los espacios de trabajo podrn asumir distintas modalidades que oscilarn, conforme

las posibilidades y la disposicin del equipo


responsable de la gestin, entre la reunin
de trabajo y el taller participativo.
w La reunin de trabajo es un espacio de
encuentro con los responsables (polticos
y tcnicos) de la gestin del programa.
w El taller participativo es un espacio de articulacin de actores sociales y gubernamentales orientado a poner en dilogo los resultados con las visiones y perspectivas que
tienen desde su particular punto de vista.

Para seguir indagando


Cohen, E. y Franco, R. (1988); Evaluacin de Proyectos Sociales, ILPES/ONU CIDES/OEA GEL
Coleccin Estudios Polticos y Sociales1ra. Ed. Buenos Aires.
Fernndez Ballesteros, R (1996) Evaluacin de Programas. Una gua prctica en mbitos sociales,
educativos y de salud, Ed. Sntesis, Madrid
Mokate, K. (2000); El Monitoreo y la evaluacin: Herramientas indispensables de la gerencia
social. Notas de Clase. INDES/ BID. www.indes.iadb.org
Sotelo Maciel, A. J. (1997) Anlisis PROBES. Un mtodo para el anlisis situacional y la formulacin de estrategias, ESTS-UNLP, La Plata.
Saut, R. y otros (2005) Manual de metodologa. Construccin del marco terico, formulacin
de los objetivos y eleccin de la metodologa. Biblioteca Virtual CLACSO.

26

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

ESTUDIOS EVALUATIVOS REALIZADOS


POR DINIECE EN EL LTIMO AO:
DINIECE (2007/8) Estudio Evaluativo Programa
Integral de Igualdad Educativa (Coord. Gluz, N. y
Chiara, M.)
Vol. I. La puesta en marcha e implementacin
del programa y su contexto (2007)
Vol. II. El alcance de las acciones PIIE en las
escuelas desde la perspectiva de los actores
institucionales (2007)
Vol. III. Anlisis de la apropiacin jurisdiccional del programa y la conformacin y dinmica de trabajo de los equipos jurisdiccionales.
(2007)
Vol. IV. Modos de apropiacin del programa
desde un conjunto de instituciones escolares
seleccionadas. (2008)
Vol. V. Anlisis de las dimensiones pedaggico-didcticas, los modos de apropiacin
institucional del programa y su incidencia en
las prcticas de enseanza (Augustovsky, G).
(2008)

DINIECE (2008) La implementacin del Programa Nacional de Becas Estudiantiles en la Provincia


de Buenos Aires: Aportes para las polticas orientadas al cumplimiento de la obligatoriedad del nivel
secundario (Sinisi, L.y Montesinos, M. P).
DINIECE (2007) Proyecto de investigacin cualitativa en torno a la implementacin del Programa
Todos a estudiar: Un estudio de casos sobre el espacio puente
DINIECE (2008) Poltica de regularizacin de las
trayectorias escolares en el segundo ciclo del nivel
de enseanza primario de la provincia de Mendoza
Informe Final (Otero, M. P. y Padawer, A.) Proyecto
de Mejoramiento de la Educacin Rural (PROMER)
Prstamo BIRF 7353-AR Seguimiento y Evaluacin
Estudio Especial.
DINIECE (2008) Proyecto de Mejoramiento de la
Educacin Rural (PROMER) Prstamo BIRF 7353-AR
Seguimiento y Evaluacin Estudio Especial. (Otero,
M. P. y Padawer, A.) Proyecto de Mejoramiento de
la Educacin Rural (PROMER) Prstamo BIRF 7353AR Seguimiento y Evaluacin Estudio Especial.

GUA PARA EVALUACIN de PROGRAMAS EN EDUCACIN / DiNIECE

27