TEMA 1

CONCEPTOS BSICOS EN EVALUACIN DE

PROGRAMAS
Contenidos
1. Definiciones
2. Qu es un programa
3. Componentes bsicos de la E.P.
4. Qu intenta responder la E.P.
5. Fases en la historia de la E.P.
6. Modelos tericos en E.P.
7. Evaluacin y tica
8. Aspectos polmicos en la E.P.
9. Evaluacin y otros estudios
10. El futuro de la E.P.

1. DEFINICIONES
Riecken, 1972
Es la medicin de las consecuencias deseables o indeseables de una accin
psicosocial ejecutada para facilitar la obtencin de metas perseguidas por el
sujeto
Perloff, Perloff y Sussna, 1976
Es la determinacin de la medida en que un programa logr uno o ms de
sus objetivos, las razones por las cuales no los alcanz y la relacin existente
entre los efectos del programa y una amplia diversidad de variables y
caractersticas del programa
Spaniol, 1975
Es un proceso sistemtico y continuo que proporciona informacin acerca del
efecto o impacto de un programa, con el objeto de contribuir a adoptar una
decisin poltica de trascendencia
Ato, Quiones, Romero y Rabadn (1989)
La evaluacin de programas es un proceso que consiste en valorar si un
programa consigui o no en alcanzar los objetivos para cuya consecucin fue
ideado
Fernndez Ballesteros, 1995
Es la sistemtica investigacin a travs de mtodos cientficos de los efectos,
resultados y objetivos de un programa, con el fin de tomar decisiones sobre
l.
Freeman y Rossi, 1993
Es la aplicacin sistemtica de procedimientos de investigacin social para
evaluar la conceptualizacin, diseo, implementacin y utilidad de los
programas de intervencin social
Rossi, Freeman y Lipsey, 1999
Es el uso de procedimientos de investigacin social para investigar
sistemticamente la efectividad de programas de intervencin social
Requiere:
Recoleccin de datos
Existencia de criterios de valoracin

Perspectiva de Fernndez-Ballesteros (1995):

Evaluacin forma de investigacin cientfica
Debe maximizar la objetivacin de resultados
Control, manipulacin adecuada y medicin garantas de trabajo
riguroso
El evaluador se sita como experto, frente a otros valoradores de la misma
realidad

2. PROGRAMA
Conjunto especificado de acciones humanas y recursos materiales, diseados
e implantados organizadamente en una determinada realidad social, con el
propsito de resolver algn problema que atae a un conjunto de personas
Caractersticas bsicas de un programa
Especificacin previa
Implantacin coordinada

Objetivos del programa

De forma general, mejorar alguna de las condiciones humanas
Objetivo de la evaluacin: mejorar el programa

3. COMPONENTES BASICOS DE LA EVALUACION DEL PROGRAMA

Programa
supone un tratamiento: Conjunto de manipulaciones que han sido
programadas para ser implantadas en una determinada realidad
socioambiental.
se aplica a una serie de unidades: Conjuntos de sujetos a los que se ha
implantado una determinada intervencin.
pasa por la observacin de operaciones en las unidades en las que se ha
aplicado el programa: expresin de objetivos a cubrir con el programa o bien
efectos que el tratamiento ha producido en las unidades
la evaluacin se realiza sobre unos tratamientos, aplicados a unas unidades
en un contexto o situacin especficos.

4. QU INTENTA RESPONDER LA EVALUACIN DE PROGRAMAS

Respuestas externas en evaluacin

Certificacin de calidad / acreditacin externa al programa

Fundamentar decisiones de distribucin de recursos

Mejorar decisiones de futuros programas

Promover el conocimiento sobre qu y cmo se ha hecho

Proporcionar informacin pblica sobre los logros conseguidos

Respuesta a necesidades internas del programa

Comprobar la utilidad del programa

Servir de base para el mejoramiento continuo

Promover procesos de aprendizaje colectivo e individual sobre lo que se hace

y cmo se hace

Comprender los lmites y aciertos de un programa

5. FASES EN LA HISTORIA DE LA E.P (Cook, 1988)

1965-1975 Scriven y Campbell
Periodo asociado a teoras altamente objetivistas
Base: mtodo cientfico
1975-1982 La crtica
Descripcin vlida y comprensiva de cmo operan los programas
sociales
Ms uso de mtodos cualitativos que cuantitativos.
Evaluacin Bsqueda de efectos ms que la comprobacin de
hiptesis apriorsticas.
Autores: Weiss, Stake y Guba
Intentos de sntesis posteriores a 1980 (Cronbach)
Teoras de evaluacin prcticas
Menos limitadas tanto en mtodos, seleccin de cuestiones y rol del
evaluador

6. MODELOS TERICOS EN LA E.P

Chacn, Lpez y Prez, 1992.

Evaluacin centrada hacia los objetivos (Tyler, 1942)
Valora la coincidencia entre los objetivos del programa y los resultados
reales.
La evaluacin se considera un proceso recurrente: se reordenan los objetivos
en funcin de los resultados.
 No se explicita un diseo concreto.

Evaluacin responsiva (Stake, 1975)

Se ampla la perspectiva anterior, incluyendo el examen de antecedentes,
procesos, normas y juicios, adems de resultados.
Presenta un mtodo pluralista, flexible, holstico, subjetivo y orientado al
servicio.

Planificacin evaluativa (Cronbach, 1982)

Propone una evaluacin asentada en una planificacin previsora y flexible de
las actividades evaluativas.
Presenta el modelo de los UTOS.

Evaluacin orientada a la toma de decisiones (Stufflebeam, 1985)

La evaluacin es un proceso que proporciona informacin til para la toma
de decisiones.
Estructura bsica CIPP: Contexto, Entrada, Proceso, Producto.
Metodologa tanto cuantitativa como cualitativa

Mtodo cientfico de evaluacin (Campbell y Stanley, 1966; Cook y

Campbell, 1979)
Plantea que no hay diferencias metodolgicas entre evaluacin y mtodo
cientfico.
Utilizacin del mtodo quasi-experimental.

Modelo evaluativo orientado hacia el consumidor libre de metas

(Scriven, 1974)
El evaluador es un sustituto informado del consumidor.
El evaluador investiga todos los efectos del programa independientemente de
sus objetivos.
Diseos experimentales, pre-experimentales, anlisis de costes y mtodo
libre de metas.
EVALUACIN BASADA EN LA TEORA
Las creencias y supuestos que subyacen a un programa pueden expresarse
en trminos de una secuencia de causas y efectos, delimitada en fases
(Weiss, 1997)

Dificultades para explicar la teora subyacente

Percepcin de teora como algo abstracto y poco claro.
No obstante teora = conjunto de creencias y supuestos que rodean
las actividades de un programa.
La teora que se explicita puede no ser la nica que subyace al programa.
Los efectos pueden producirse por caminos distintos a los predichos en
la teora.

Cambio que se produce

Evaluacin Cmo se produce el cambio

Confusin en los componentes de la teora

Teora de implementacin:
Retroalimentacin de cmo est
funcionando el programa

Teora del
cambio Teora del programa:
Comprensin de cmo se logran
los efectos del programa
 Dificultad para identificar o construir teoras de los programas.

Primer paso
Documentos
Fuentes bsicas de informacin

Poca

Informacin de los Dificultad de articular

participantes teoras

Teora de las Ciencias Sociales

Investigacin previa
Observacin de programas en
accin

Razonamiento lgico

Evaluacin basada en la teora:

Recoge datos en proceso y resultados, analizando las relaciones entre
ellos.
Busca especificar los mecanismos que logran el cambio, no las
actividades asociadas al cambio.
Impone grandes exigencias en datos y recursos
El evaluador debe recoger datos de todos los pasos que le sea posible
Se necesitan fuentes adecuadas.
Consume tiempo y es caro, pero produce buenos resultados para la
evaluacin.

Los resultados no pueden generalizarse.

Como en otros modelos de evaluacin, sta no puede aplicarse
mecnicamente a otros lugares.
 Sin embargo, aporta informacin sobre pequeas conexiones, que
pueden ser tiles para otros sitios.
Los decisores pueden analizar los hallazgos obtenidos y sus
explicaciones, tratando de averiguar los patrones que emergern en el
futuro.

Necesidad de comparacin
Las intervenciones a nivel comunitario hacen difcil las asignaciones
aleatorias.
Evaluacin basada en la teora permite apoyar la existencia de
relaciones causales.
No obstante necesidad de estudios experimentales para garantizar la
causalidad.
Excesivo racionalismo
La labor evaluativa va dirigida a metas preestablecidas.
Tales objetivos a menudo cambian en el transcurso de la evaluacin.
La evaluacin no permite comprobar teoras.

Medida del error.

Problema general en ciencias sociales.
Se incrementa aqu: muchos constructos a medir.
Exigencias del anlisis de datos
Anlisis que permitan enlazar las teoras postuladas (anlisis de vas,
LISREL, anlisis de supervivencia).
Anlisis cualitativos y cuantitativos (emparejamiento de patrones
JUSTIFICACION DEL USO DE E. B. T.
Tipo de pregunta
planteada
Diseo de la evaluacin
Cmo y por qu
a) Pocas intervenciones
b) Cambios a largo plazo
c) De complejidad
moderada

En programas que se esperan resultados Descubrimiento de los

positivos, negativos o inconsistentes mecanismos
operativos

Recursos en costes y
tiempo
 Diseadores del Decisiones
ms
programa acertadas

Confrontan sus teoras de

Tcnicos cmo funciona el
programa
VENTAJAS PARA LAS DISTINTAS AUDIENCIAS

Destaca los aspectos ms relevantes

Evaluadores Da informacin de logros parciales

Da sufiente informacin final para
permitir recomendaciones

Directivos Permite determinar qu aspecto fracasa y

dnde

Directivos y
Ayuda a comprender qu, cmo y
promotores de por qu funciona un programa
otros programas

Facilita explicaciones
Polticos y
ms comprensibles a
pblico
estas audiencias
7. EVALUACIN Y TICA
Necesario ofrecer guas sobre diversos aspectos: derechos de publicacin, a
quien dar la informacin, etc.
Dos guas en USA:
JOint Committee on Standars for Educational Evaluation public en 1994
los estndares para E.P.
American Evaluation Association
Guiding principles for evaluators
Estndares de calidad
Competencia
Respeto a los participantes
Responsabilidades para el bienestar general: articular la diversidad de
intereses y valores

8. ASPECTOS POLMICOS EN LA E.P.

Cualitativo - cuantitativo
Primer enfoque: cuantitativo
Las dificultades inherentes de la investigacin aplicada cuestionan la utilidad
de los mtodos cuantitativos
Metodologa cualitativa: una forma ms comprensiva de apresar la realidad
Alternativa: multiplismo :
Utilizar mltiples enfoques tericos
Probar mltiples modelos causales multivariados
Plantear mltiples hiptesis rivales
Establecer mltiples definiciones operacionales de las mltiples variables
implicadas

Plantear cuestiones valorativas procedentes de las mltiples audiencias

implicadas
Establecer objetivos mltiples que permitan mltiples anlisis de
resultados
 Utilizar mltiples mtodos de evaluacin
Realizar mltiples anlisis de datos y contrastes de hiptesis.

Ciencia frente a poltica

La evaluacin de programas pretende maximizar el cientifismo de la
evaluacin
La Ciencia es un producto social
Mientras lo poltico interviene ms en las primeras fases del ciclo evaluativo,
los aspectos cientficos ganan prioridad en el diseo, planificacin,
implantacin y valoracin de los programas.

Lo poltico
En ocasiones, los resultados de una evaluacin tienen poco peso en las
decisiones en torno al programa
El poltico tiene un tiempo distinto al investigador, por lo que puede presionar
a este a entregar resultados antes de tiempo
La evaluacin tiene un objetivo prctico y poltico en su propia naturaleza
Si el problema es polmico, requerir rigor

Mudabilidad de los programas sociales

Los recursos, prioridades y la influencia de los financiadores de los
programas sociales tiende a ser dinmica
Pueden producirse cambios, a veces drsticos, en el curso del desarrollo del
programa
El evaluador debe estar preparado para asumir tales cambios

9. Diferencias entre evaluacin y otras actividades

Auditoria:
Cumplimiento de normas, regulaciones o estndares financieros
Contabilidad de recursos
Auditoria de gestin. Eficiencia
Imprescindible la independencia para asegurar la imparcialidad
 Investigacin
Desarrollar conocimiento
Generalizacin de resultados
Realizado por y para la comunidad cientfica (principalmente)
Medicin de realizaciones
Procesos descriptivos
Estudios de validez y fiabilidad en el proceso de obtencin de informacin
Anlisis de polticas (Policy analysis)
Formulacin de polticas
Anlisis de viabilidad financiera
Anlisis de coste-beneficio
Plan estratgico
Estudio de las tendencias de evolucin posibles de la Institucin o la zona
geo-poltica para trazar:
Objetivos a corto, medio y largo plazo
Estudio de DAFO: Debilidades, amenazas, fortalezas y oportunidades

Concretar las metas a conseguir, estableciendo objetivos estratgicos

Sistematizar el conjunto de evidencias y parmetros de medicin que
permitirn verificar los resultados de la evolucin
Definir las reglas de adaptacin que nos permitirn cambiar de estrategia a lo
largo de todo el proceso.

Evaluacin
Proceso sistemtico de obtencin de informacin objetiva y til
Objetivo: apoyar el juicio de valor sobre un programa o intervencin
Finalidad:
Comprensin de los resultados obtenidos
Toma de decisiones sobre futuras actuaciones

Comparacin entre evaluacin y otras investigaciones

La evaluacin de programas debe cubrir
Estndares idneos de calidad de investigacin cientfica
Estar totalmente dedicado a las necesidades de informacin requerida por los
decisores del programa
En ocasiones, tales objetivos se vuelven contradictorios

Diferencias
Toma de decisiones: la investigacin se centra en la bsqueda de
conocimiento, la E.P. en la aplicacin
La evaluacin tiene en cuenta la opinin del decisor.
La evaluacin compara lo que es con lo que debera ser
La evaluacin se produce en un marco de accin, donde lo ms importante
que est ocurriendo es el programa.
Es frecuente que se produzcan conflictos entre roles.
Muchos informes evaluativos quedan sin publicar.
Semejanzas
La evaluacin trata de comprender la relacin entre variables y de
establecer una relacin causal.
Los mtodos evaluativos representan un compromiso entre lo ideal y lo
factible
El evaluador tiene que tener un amplio conocimiento de metodologa de
investigacin, y aplicarlo en el mundo real.

10. FUTURO DE LA E.P. (Chelimsky y Shadish, 1997)

Idiosincrasia en cada pas
Los evaluadores en cada pas del globo utilizan sus propias
infraestructuras para apoyar sus esfuerzos,
Global,
Los esfuerzos realizados trascienden y se difunden por el planeta.
Transnacional,
 Los problemas y los programas que han de evaluarse trascienden las
fronteras de una nacin, de un continente y de un hemisferio