SNTESIS COMPARATIVA DE LOS

MODELOS DE EVALUACIN DE PROGRAMAS

Mster en Investigacin e Innovacin en Educacin

UNED, curso 2010-2011

Alumnos/as:
Francisco Crespo Molero
Cristina Garca Lpez
Mara Carmen Rodrguez Soto
Mara Jess Rubio Martnez

INTRODUCCIN

A peticin de la asignatura Investigacin Evaluativa, impartida por los profesores Ramn

Prez Juste y Catalina Martnez Mediano, se ha elaborado este cuadro comparativo que se
concreta en una sntesis de los aspectos ms importantes de los diferentes modelos de
evaluacin de programas trabajados durante este cuatrimestre.

La reflexin sobre los distintos modelos nos ha facilitado conocerlos mejor y profundizar
en sus puntos bsicos y en su desarrollo.
Para la elaboracin del documento, se han utilizando las nuevas tecnologas de la
informacin y la comunicacin, mediante la creacin de un documento virtual en google docs
que nos ha permitido trabajar en lnea y en tiempo real de manera cooperativa. Esto ha
facilitado la cohesin y el trabajo en equipo en las circunstancias que nos ocupa, la realizacin
de un mster online.

SNTESIS COMPARATIVA DE LOS MODELOS DE EVALUACIN DE PROGRAMAS

ele

TYLER
(modelo por
objetivos)

FUNCIONES
DE LA
EVALUACIN

STUFFLEBEAM
(modelo CIPP)

SCRIVEN

STAKE
(modelo de evaluacin
respondiente)

PREZ JUSTE
(Modelos complejos)

-Valorar la eficacia del

programa para la toma
de decisiones.

-La toma de decisiones

mediante un examen
sistemtico, tanto del
proceso como de los
resultados del
programa.

-La toma de decisiones

informada
informacin til para
ajustar las mejoras a las
necesidades reales:
*Comprensin de los
fenmenos
*Solucin de
problemas.
-Meta-evaluacin: juicio
sobre la calidad y los
mritos de una
evaluacin.

- Como servicio, orientada

al consumidor
Determinar la calidad,
mrito valor y logros del
programa u objeto que se
evala.
-Libre de costos: equilibrio
coste-beneficio positivo
-Meta-evaluacin

-Dar respuesta a las

necesidades de los usuarios
y beneficiarios de los
programas.

-Toma de decisiones para

conseguir la mejora tanto
del programa como del
personal implicado y, de
modo indirecto, del cuerpo
social en que se encuentra
inmerso.
-Bsqueda de la mejora
continuada.
-La evaluacin como
investigacin.

-Evaluacin basada en
objetivos.
-Proceso mediante el
cual se proporciona
informacin til que
sirva de gua para la
toma de decisiones y
ayude a comprender
los fenmenos
implicados.

-Diseo funcional
Examen sistemtico de
los acontecimientos
que ocurren durante el
proceso de aplicacin
de un programa y de
las consecuencias
(resultados) que se
derivan del mismo.
-Planificacin
estructurada

-Proceso mediante el
cual se proporciona
informacin til y
descriptiva acerca del
valor y mrito de las
metas, la planificacin,
la realizacin y el
impacto de un objeto
determinado, que sirva
de gua para la toma de
decisiones, solucionar
problemas de
responsabilidad y
promover la
comprensin de los
fenmenos implicados

-Evaluacin como ciencia

de la valoracin: Proceso de
determinar el valor y la
calidad de algo, siendo las
evaluaciones el resultado de
dicho proceso; El valor,
mrito o calidad como
constructos procedentes de
variables observables
-Enfoque libre de objetivos
o evaluacin libre de metas
previamente establecidas:
minimizar los prejuicios en
la construccin de las
afirmaciones de valor
- Evaluacin de resultados,
efectos y logros.

-La evaluacin como

proceso para descubrir el
mrito y las deficiencias de
un programa.
-La evaluacin como
servicio: (bsqueda de
soluciones): Debe servir a
las personas particulares
que participan en el
programa, ms que a sus
patrocinadores o directores.
-La evaluacin como reflejo
de valores: Emisin de
juicios de valor por parte de
los clientes, no de los
evaluadores. Pluralidad que
exige la bsqueda de
consenso.

-Proceso sistemtico de
recogida de informacin
rigurosa (valiosa, vlida y
fiable) orientado a valorar la
calidad y logros de un
programa como base para la
posterior toma de decisiones
de mejora.
-Evaluacin como
valoracin para la toma de
decisiones: tiene en cuenta
tanto los procesos como los
resultados (inicial, durante
el proceso y final).
-Establecimiento de planes
de mejora de forma
continuada.

-Sumativa: Determinar
la congruencia entre
los objetivos
propuestos y los
logros conseguidos
(eficacia)

-Formativa: Ayudar a
la mejora del programa
y a la de otros
programas con similar
propsito y
caractersticas.

-Formativa y sumativa
para maximizar la
utilizacin de los
resultados de evaluacin

-Emisin de juicios con dos

funciones: formativa y
sumativa

-Formativa: Tomar
decisiones
-Acreditacin institucional
-Mejora del funcionamiento
interno de una organizacin.

- Formativa y sumativa

OBJETIVO
DE LA
EVALUACIN

CONCEPTO
EVALUATIVO

CRONBACH

PARA QUIN

- Para los participantes

(educadores y
educandos)

-Para toda la
comunidad

-Para el que toma las

decisiones y para todos
aquellos que participan
en el programa.

-Para todos los que quieran

saber acerca de la calidad de
un producto, de un
programa, de un objeto, del
personal, etc.

-Para los participantes del

programa.

-Para todos los interesados

en el programa.
- Para el propio programa.

-Tcnico o experto
externo.

-Tcnico o experto
externo.
- Mediador entre
poltica y diseo de
programas.

-Especialista al servicio
de la organizacin y de
los miembros del
programa. Trabajo junto
con el personal que
aplica los programas
para evaluar resultados
(escalas de valoracin,
pruebas de logro o
rendimiento,)

- Externo. Propone que

desconozca los objetivos del
programa para que sea ms
objetivo a la hora de valorar
los resultados previstos e
imprevistos.

-Independiente, forma parte

de un equipo externo,
investiga mritos y
deficiencias del evaluado.
Es tcnico, analista y juez.
- Respondiente, acta como
facilitador: interpreta las
necesidades y resultados del
programa para y con los
implicados; Comprende la
pluralidad de intereses y los
refleja en sus informes;
Negocia con los
participantes los temas
sobre los que organizar el
estudio evaluativo; Ayuda a
conocer las circunstancias,
problemas y valoraciones
del programa a los
interesados, mediante la
experiencia vicaria.

- Experto que debe tener

conocimientos exhaustivos
sobre la evaluacin de
programas y , adems,
conocimiento del diseo y
ejecucin del programa a
evaluar para poder
implementar un proceso
evaluativo en que se puedan
tomar medidas rpidas para
la mejora en cuanto se
detecten deficiencias con el
fin de asegurar el logro de
los objetivos.

- Para valorar logros

(outputs) y
rendimiento.

- Estudios analticos en
profundidad.

- Ms adecuado para
programas amplios, ms
estructurados que
afectan a la institucin
educativa y no tanto a
un aula concreta (pe. la
atencin a la
diversidad).

- Valorar la calidad o mrito

de un programa: cubre las
necesidades del
consumidor?
- Justificar costos

-Ms adecuado para

problemas particulares y a
las cuestiones reales del
aula que afectan a los
alumn@s y profesores
cuando desarrollan un
programa educativo
determinado.

-Cuando se quiera saber el

grado de eficacia con que
un programa consigue el
logro de las metas para la
cuales fue elaborado en
base aun proceso de mejora
continua que supone la
monitorizacin de las
diferentes etapas del
programa: inicial,
procesual y final.

CARACTERSTICAS

DEL
EVALUADOR

MBITIOS Y
CONTEXTOS MS
ADECUADOS PARA
APLICAR

FASES
PRINCIPALES
DE LA
APLICACIN

METODOLOGA
EVALUATIVA

1. Especificar metas y
objetivos del
programa.
2. Delimitacin de
estos objetivos de
modo jerrquico (de
mayor a menor
concrecin)
3. Seleccionar o
elaborar instrumentos
adecuados para medir
las situaciones o
condiciones del
programa en que se
produce o no la
consecucin de dichos
objetivos.
4. Recopilar la
informacin necesaria
sobre la consecucin o
no de los objetivos.
5. Anlisis
comparativo de lo
logrado, que se deduce
de la informacin
recopilada y de lo que
quera lograr
(objetivos/metas
establecidas
previamente).

-Elementos bsicos:
UTOS
1. Unidades que son
sometidas a
evaluacin, individuos
o grupos participantes.
2. Tratamiento del
programa de
evaluacin.
3. Operaciones del
evaluador para la
recogida y anlisis de
datos o la elaboracin
de conclusiones.
4. Situaciones:
contexto social en el
que el estudio tiene
lugar (clima social,
econmico, poltico,...)
FASES:
1. Provisional: estudio
piloto del programa a
pequea escala.
2. Sper-realizacin: se
reelabora el programa
para probar su xito.
3. Prototpico: se aplica
el programa bajo las
condiciones ms
prximas a la realidad.
4. Operacin del
programa: el programa
se aplica.

- Cuatro tipos distintos

de evaluacin.
1. Evaluacin del
contexto (C)
2. Evaluacin de los
inputs (I) (entrada
/diseo/ planificacin)
3. Evaluacin del
proceso (P)
4).Evaluacin del
producto (P)
-Proceso:
1. Seleccin de la
informacin necesaria.
2. Obtencin de
informacin.
3. Proporcionar la
informacin a las partes
interesadas.

-Cuantitativa. Comparacin entre

grupos

-Metodologa
cuantitativa aunque
admite instrumentos
de tipo cualitativo.

-Metodologa diversa
para cada tipo de
evaluacin. Mixta.

-Fases:
1. Anlisis del contexto
(necesidades de los
usuarios).
2. Anlisis del proceso
(formativa).
3. Anlisis del producto
(sumativa).
-Meta-evaluacin.
1. Determinacin de los
criterios del mrito del
programa.
2. Determinacin de las
normas sobre el mrito.
3. La medida o evaluacin
de la realizacin.

-Perspectivista, mltiple:
Mltiples perspectivas
para obtener un retrato
ms amplio y completo de
la realidad (evitando
distorsiones y prejuicios).
-Diversa, mixta.

- 12 pasos que no siguen

una estructura lineal.
-Esquema de actuacin:
1. Examen de la base
conceptual del programa.
2. Descripcin:
antecedentes, actividades,
resultados.
3. Valoracin del programa.

1. Inicial o diagnstica (del

programa en s mismo;
formativa): Establecer la
calidad tcnica del
programa, su viabilidad y su
evaluabilidad; poner en
marcha el programa en
condiciones ptimas.
2. En el desarrollo (etapa
procesual; formativa):
Facilitar la toma a tiempo
de decisiones de mejora;
Acumular informacin para
mejorar futuras del
programa.
3.Final (sumativa):
Comprobar la eficacia del
programa
4. Institucionalizacin de la
evaluacin de programas

-Emergente; Los mtodos

deben ajustarse a las
situaciones en las que se
desarrolla el programa
-Estudio de casos en la
investigacin cualitativa.

-Metodologas
cuantitativas y cualitativas
- Mltiple.
Complementariedad
metodolgica

- Resultados finales
del programa o
producto.
-Medida de
consecucin de los
objetivos previstos.

-Estudios de procesos,
actitudes y logros.
- Procesos de E/A
- Actitudes del
alumnado y
profesorado.
- Resultados de los
alumnos.

-De las necesidades, de

los recursos, del
funcionamiento y del
impacto.

-Tanto la esperada como la

no esperada.

-Todo lo que vaya

ocurriendo en el programa.

-De tipo diverso: sobre el

propio programa, de los
contextos, de los procesos y
de los resultados.

MTODOS,
INSTRUMENTOS Y
TCNICAS

- Escalas de medida,
test de rendimiento o
de ejecucin,
cuestionarios.

-Variados, diversos.

-Se utilizan
instrumentos y tcnicas
como las escalas de
valoracin, test de logro
o rendimiento,
entrevistas,
cuestionarios, etc.

-Lgica probativa:
1. Determinar objeto que va
a ser evaluado.
2. Establecimiento e normas
y criterios de mrito y
calidad de los programas.
3. Resumir los resultados en
un juicio evaluativo.
-Listas de claves de control
de la evaluacin.

-Observacin entrevista,
anlisis de informes,...

- Variados: Observacin
entrevista, pruebas,
cuestionarios, etc.

TIPO DE INFORME
DE RESULTADOS

-Descriptivo

-Narrativo

-Frecuente y para
proporcionar una gua
para la mejora del
programa.

-Descriptivo
-El informe final se realiza
despus de la entrega de un
borrador para que sea
revisado y criticado (metaevaluacin). Puede incluir
recomendaciones sobre el
uso o destino de la
evaluacin y posibilidades
de generalizacin a otras
personas, programas y
situaciones.

-Fotogrfico, narrativo
(citas literales, ilustraciones,
metforas,), holista e
informal. Se presentan
informes al inicio y durante
la evaluacin como medida
para ir redefiniendo los
temas propuestos o cambiar
las prioridades de la
indagacin, si fuera
necesario.

-Descriptivo

POSIBLE
GENERALIZACIN

- Ninguna, se centra
en el anlisis de
objetivos, slo evala
el programa.

-Naturalista.
-Tres niveles de
concrecingeneralizacin: teora
de los UTOS.

-La que permitan el

muestreo y la
metodologa utilizada.

-La que permite la validez

externa dificultada por la
relatividad de los criterios
de valor.

- Naturalista, experiencia
vicaria: Los participantes
pueden elaborar sus propios
juicios de valor, leyendo el
informe descriptivo que
realiza el evaluador;
Tambin comparten la toma
de decisiones para la
realizacin de los cambios
para la mejora necesarios.

-La que permita el diseo

- Al tratarse de un modelo
evaluativo de carcter
investigativo, la
comparacin con otros
programas sera pertinente.
De esta manera
encontramos que s podra
tener cierto grado de
generalizacin.

TIPO DE
INFORMACIN A
RECOGER

UTILIDAD DE LOS
HALLAZGOS

-Hacer que las

escuelas (y la
educacin) sean ms
eficientes y efectivas:
que los estudiantes
sean mejor
enseados.

-Para la formacin de
la sociedad.
- La funcin poltica
de la evaluacin: las
instituciones polticas
aprenden de la
experiencia evaluativa
y la utilizan para
promocionar y/o
reforzar sus proyectos
polticos.

CRITERIOS PARA
JUZGAR
EVALUACIONES

-Los objetivos se
convierten en los
criterios: los fines
antes que los medios.

-Validez externa.
- Objetivos bien
definidos mejor que
en la comparacin
con otros grupos o
cursos (evaluacin
con referencia a
criterio).

CONTRIBUCIONES

-La evaluacin gana

en alcance y en
ejecucin prctica.
-La evaluacin como
parte misma del
diseo de los
programas.
-Los programas de
enseanza como
instrumento de
educacin efectivo.

-Diseos funcionales
y criterios de validez
interna y externa del
autor.
-Incluye la variable
proceso.

-Para tomar decisiones

de mejora

-Para valorar la calidad de

los objetos

-Valor y mrito del

programa: Utilidad,
factibilidad, tica y
exacta.

-Se introduce la
evaluacin de contextos,
procesos y tambin del
diseo.

-Para los participantes en el

programa, para el lector.

-Para la mejora tanto del

programa como de los
participantes y de la propia
comunidad.

- Listas claves de control

de la Evaluacin.
-La meta-evaluacin.

-Los mritos y deficiencias

de los programas ya que
ayudan a los participantes
a incrementar su
comprensin y a responder
a sus necesidades.

-La rigurosidad: (validez,

fiabilidad).
-Valoracin a partir de
criterios y referencias
preespecificados y, de la
informacin tcnicamente
diseada y
sistemticamente recogida.

-Listas de claves de
control para la evaluacin
(LCE) .
- Formas estandarizadas
para recoger y comunicar
la informacin evaluativa
sobre productos educativos
(procesos educativos,
contenidos, posibilidad de
transferencia, eficacia).
-El contrato en la toma de
decisiones.
- Mejora del producto:
beneficio para todos.

-Estudio de casos como

mtodo analtico de
investigacin para aplicar
a organizaciones y grupos
y el modelo de evaluacin
comprensiva y basada en
estndares.
-Cooperacin entre
evaluador y participantes.

-Gran contribucin a la
teora de programas y a la
defensa de la
complementariedad
metodolgica y tcnica en
la evaluacin de
programas.

DEBILIDADES

-La definicin de los

objetivos a veces es
arbitraria.
-El conocimiento
previo de los
objetivos puede sesgar
el resultado de la
evaluacin.
- La evaluacin como
acontecimiento
terminal que solo
permite juicios sobre
el producto final.

-Gran complejidad en el
anlisis, muy centrado
en criterios de validez.

- Posible aumento del

riesgo en el uso de
resultados.

-El evaluador puede

sustituir los objetivos del
programa por los propios.
Scriven lo resuelve
centrando el resultado de la
evaluacin en el producto
que el programa ha
generado, que es ms
objetivable, desvinculado la
subjetividad del evaluador.

- Aparente subjetividad y
dificultad para representar
los intereses de forma
equilibrada.
-Hacer generalizaciones an
cuando sus informes son
muy accesibles.
-Dificultad en distinguir lo
que es descripcin de lo que
es anlisis.

- Gran cantidad de
indicadores (74 distribuidos
en los tres momentos de
evaluacin), lo que supone
que:
1.Si no se cuenta con
personal bien preparado,
ste se ver incapacitado
para aplicarlos durante la
evaluacin.
2.Si no se conoce el
programa a implementar
ser difcil predecir
situaciones que favorezcan
su concrecin en la etapa
inicial y de proceso;
3. Tambin se puede fallar
al escoger la metodologa
(diseos y tcnicas) en el
momento final o de
presentacin de resultados
por lo que, estos puede que
no sean muestras de la
realidad que se pretende
mostrar y se tenga que
volver al punto de partida.